CN109801230B - 一种基于编码器结构的图像修复方法 - Google Patents
一种基于编码器结构的图像修复方法 Download PDFInfo
- Publication number
- CN109801230B CN109801230B CN201811568063.1A CN201811568063A CN109801230B CN 109801230 B CN109801230 B CN 109801230B CN 201811568063 A CN201811568063 A CN 201811568063A CN 109801230 B CN109801230 B CN 109801230B
- Authority
- CN
- China
- Prior art keywords
- network
- picture
- image
- training
- loss
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开一种基于新编码器结构的图像修复方法，对于一幅有缺失像素的图像，训练一个由编码器和译码器组成的卷积神经网络来回归缺失的像素值。编码器捕捉图像上下文得到一个紧凑的特征表示，译码器使用这些表示产生缺失图像内容；Alexnet可提高运行速度、网络运行规模和性能；而Densenet可减轻最大梯度消失问题，加强特征利用，减少参数数量。本发明考虑结合两者的优点，将添加使用Densenet架构。相比于原始编码译码器使用的Alexnet网络架构，本发明能够提取更加紧凑和真实的特征，同时使用WGAN‑GP对抗性损失代替传统的GAN对抗损失，提高了特征学习的速度和精度，增强了修复效果。
Description
技术领域
本发明属于图像处理技术，具体涉及一种基于编码器结构的图像修复方法。
背景技术
对于一幅被损坏的图像，尽管图像的中心部分缺失，我们大部分还是能根据它周围的像素轻易地想象出它的内容，而不必看它真实的场景。我们人类能够理解图片结构并做出视觉预测，即使只看见了场景的一部分。但是有些场景受个人经验的影响无法想象，并且手工修复工作量巨大且繁琐。如果运用深度学习，就能够自动的给图片填充缺失区域，可以极大地提高修复效率。
目前已有的图像修复方法有很多,其中基于深度学习方法的图像修复方法效果较为显著。现有方法大都是使用基于AlexNet的基础架构进行设计网络，进而进行特征提取，本发明使用基于Densenet和Alexnet网络构建生成网络，使用WGAN-GP的对抗损失进行训练。
发明内容
发明目的：本发明的目的在于解决现有技术中存在的不足，提供一种基于编码器结构的图像修复方法，本发明加入DenseNet架构，将两者的优势结合，对图片特征做进一步的挖掘，减轻图像修复的复杂度。
技术方案：本发明的一种基于编码器结构的图像修复方法，先使用基于Densenet架构的编码网络对缺失图像进行特征压缩提取，再将提取的特征送入基于Alexnet架构的解码网络进行图像复原，具体包括以下步骤：
步骤一：训练集预处理，如果图像像素超出预计范围，就缩放或切割成预计尺寸(例如128*128)，并对训练图像进行归一化处理，转化为张量，得到若干个训练样本im×m；
步骤二：构建基于Densenet和Alexnet网络的生成网络；
步骤三：构建传统的基于Alexnet网络的判别网络；
步骤四：对图片切割产生真实缺失中心区域图片x和缺失图片x0送入判别网络训练；
步骤五：使用WGAN-GP对抗性损失对步骤二和步骤三中的生成网络和判别网络进行联合训练；
步骤六：将测试图像送入步骤五中训练好的生成器，生成修复图像，计算均方误差MSE和峰值信噪比度量PSNR。
进一步的，所述步骤二中使用自编码器构造生成式网络的详细方法：
(2.1)生成式网络中的编码部分设置两个卷积层和三个全连接块结构层，前两层每一层的卷积核为a*a(a取正整数，例如如果是128×128的图片分辨率输入，则a＝4)，且使用lrelu激活函数，步长为d(针对128×128的图片分辨率输入，d＝2)；后三层紧跟的过渡层层使用的卷积核为a*a，且使用relu激活函数，步长为d；a和b均是正整数；
(2.2)生成式网络中的解码部分设置五层反卷积网络，反卷积核为a*a，步长为d；前四层使用relu激活函数，第四层使用tanh激活函数，反卷积的输出即为生成器的输出，即为待判别的中心缺失区域图片。
进一步的，所述步骤三中构造判别网络的方法为：对抗网络中设置对抗层网络模型的网络层为5层，卷积核是a*a，前4层使用lrelu激活函数，步长为d，第五层不使用激活函数，步长为d/2，将待判别的中心缺失区域图片输入模型，模型的输出即为对抗网络的输出，且该输出结果是一个数，判别图片是生成图片还是真实图片。
进一步的，所述步骤五中联合训练的具体步骤：
(5.1)首先对判别网络进行训练：将真实缺失中心区域图片x送入判别器D，计算该判别结果D(x)与1的BCELoss，最小化该loss；
(5.2)将缺失图片x0送入生成器G生成预测缺失中心图片G(x0)，把G(x0)送入判别网络D，得到结果D(G(x0))；计算该判别结果与0的BCELoss，最小化该loss；整个判别网络的损失函数为：
采用Adam优化使损失降到最小；
(5.3)对生成网络G进行训练：将生成图片G(x0)送入判别网络D，最小化该判别结果与“1”的BCELoss，即生成尽可能“真”的结果；生成网络的损失函数为：
(5.4)计算真实缺失区域图片x与生成缺失区域图片G(x0)的L2距离，即为重建损失函数：
整个网络的损失函数为重建损失和对抗损失的加权和：L＝λrecLrec+λadvLadv，λrec＝0.99，λadv＝0.01；
(5.5)采用Adam优化算法使损失函数L取最小，与此同时使生成式网络的损失函数LD最小化，判别式网络与生成式网络同时进行训练，之后再进行一次两个序列生成式网络的训练，反复迭代以上过程，当判别网络判定正确的概率趋近于0.5时，训练完成。
有益效果：本发明提出将AlexNet结构和DenseNet结构这两个网络架构的优点融合，能够减轻梯度消失现象，加强图像特征传递和利用，减少参数，在不加深网络深度的情况下，准确提取图像特征，加快图像处理的速度，通过WGAN-GP损失的联合训练改进的生成式对抗网络，提高图像修复精度。
附图说明
图1为本发明的网络流程图；
图2为实施例训练流程图。
具体实施方式
下面对本发明技术方案进行详细说明，但是本发明的保护范围不局限于所述实施例。
如图1所示，本发明通过结合AlexNet结构和DenseNet结构的优点进行图像特征提取，使用WGAN-GP对抗性损失训练生成式对抗网络，进而完成图像修复，具体包括以下步骤：
步骤1：训练集预处理，如果图像像素超出预计范围，就缩放/切割成预计大小(128*128)，并对训练图像进行归一化处理，转化为张量，得到若干个训练样本；预处理后的图像为im×m。
步骤2：构建基于Densenet和Alexnet网络的生成网络：
步骤201：生成式网络中的编码部分设置两个卷积层和三个全连接块，将预处理后的图像im×m输出到第一个卷积层，卷积核为a*a，a取正整数(针对128×128的图片分辨率输入，a＝4)，使用lrelu激活函数，步长为d取正整数(针对128×128的图片分辨率输入，d＝2)；后三层全连接块紧跟的过渡层层使用的卷积核为a*a，使用relu激活函数，步长为d；得到输出结果
再经过batch normalization归一化处理，再经过relu函数修正；修正结果输入到第二个卷积层进行相同的卷积、BN和relu操作，进而得到
步骤202：将
输入到第一个全连接块，每个全连接块包括16层的denselayer，每个denselayer的构造依次为BN归一化、ReLU修正、卷积(针对本128×128图像输入为例：卷积核为1，步长为1)(bottleneck减少计算量)、BN、ReLU、卷积(针对本128×128图像输入为例：卷积核为3，步长为1)，每个denselayer处理后图片大小不变，循环16次denselayer即为一个全连接块；一个全连接块处理后结果为im/4×m/4；
步骤203：每一个全连接块处理后均进入transitionlayer，transitionlayer的目的是为了改变图片大小，是因为每个DenseBlock结束后的输出channel个数很多，需要用1*1的卷积核来降维；Transitionlayer包括BN、ReLU、卷积(针对本128×128图像输入为例：卷积核为4*4，步长为2)。第一个全连接块加transitionlayer处理结果为
第二个全连接块加transitionlayer处理结果为
第三个全连接块加transitionlayer处理结果为
步骤204：针对本128×128图像输入为例：最后进入一个BN归一化，再进入一个a*a的卷积，处理结果为
步骤205：处理结果
进入生成式网络中的解码decoder部分，其中反卷积网络为五层，针对本128×128图像输入为例：反卷积核为4*4，步长为2，前四层使用relu激活函数，第四层使用tanh激活函数，反卷积的输出即为生成器的输出，针对本128×128图像输入为例：它是64*64像素的一张图片，为中心缺失区域图片。第一层反卷积网络计算结果为
第二层反卷积网络计算结果为
第三层反卷积网络计算结果为
第四层反卷积网络计算结果为
第五层反卷积网络计算结果为
最终得出缺失区域预测图片。
步骤3：构建基于Alexnet网络的判别网络
待判别图片为j64×64，对抗网络中设置对抗层网络模型的网络层为5层，针对本128×128图像输入为例：卷积核是4*4，前4层使用lrelu激活函数，步长为2，第五层不使用激活函数，步长为1，它的输出即为判别器网络的输出，判别图片是生成图片还是真实图片。
步骤4：对图片切割产生真实缺失中心区域图片x和缺失图片x0送入判别器网络和生成器网络训练；
步骤5：对整个生成式对抗网络进行联合训练；
步骤501：首先对判别网络进行训练：将真实缺失中心x送入判别器D训练。计算判别结果D(x)与1的BCELoss，最小化该loss。
步骤502：将缺失图片x0送入生成器G生成预测缺失中心图片G(x0)，把G(x0)送入判别网络D进行判别，得到结果D(G(x0))。计算判别结果与0的BCELoss，最小化该loss。整个判别网络的损失函数为：
步骤503：然后对生成网络G进行训练：将生成图片送入判别网络D，最小化判别结果与1的BCELoss，即生成尽可能“真”的结果。生成网络的损失函数为：
步骤504：计算真实缺失区域图片x与生成缺失区域图片G(x0)的L2距离，即为重建损失函数：
整个网络的损失函数为重建损失和对抗损失的加权和：L＝λrecLrec+λadvLadv，λrec＝0.99，λadv＝0.01。
步骤505：采用Adam优化算法使损失函数L取最小，与此同时使生成式网络的损失函数LD最小化，判别式网络与生成式网络同时进行训练，之后再进行一次两个序列生成式网络的训练，反复迭代以上过程，当判别网络判定正确的概率趋近于0.5时，训练完成。
步骤6：将测试图像送入训练好的生成器网络生成修复图像，计算均方误差MSE：
和PSNR峰值信噪比度量：
MAXI＝2B-1。
实施例1：
本实施例以ImageNet中的小狗数据集为例，采用本发明的基于编码器结构的图像修复方法进行图像修复，如图2所示，通过对缺失图像进行编码获得压缩特征，解码压缩特征修复缺失图像获得生成图像。判别器网络对生成图像和缺失图像进行判别，根据判别结果，生成网络(编码网络和解码网络)不断优化生成结果，直至判别器网络无法判别，即训练得到最佳生成网络。
通过实施例1可知，本发明能够减轻梯度消失现象，加强图像特征传递和利用，减少参数，在不加深网络深度的情况下，准确提取图像特征，加快图像处理的速度，最终提高图像修复精度，在多个技术领域可以广泛应用。
Claims (3)
1.一种基于编码器结构的图像修复方法，其特征在于：先使用基于改进的Densenet架构的编码网络对缺失图像进行特征压缩提取，再将提取的特征送入基于改进的Alexnet架构的解码网络进行图像复原，具体包括以下步骤：
步骤一：训练集预处理，如果图像像素超出预计范围，就缩放或切割成预计尺寸，并对训练图像进行归一化处理，转化为张量，得到若干个训练样本im×m；
步骤二：构建基于改进的Densenet和Alexnet网络的生成网络；使用自编码器构造生成网络的详细方法：
(2.1)生成网络中的编码部分设置两个卷积层和三个全连接块结构层，前者每一层的卷积核为a*a，且使用lrelu激活函数，步长为d；紧跟后者的过渡层使用的卷积核为a*a，且使用relu激活函数，步长为d，其中a和b均是正整数；
(2.2)生成网络中的解码decoder部分设置五层反卷积网络，反卷积核为a*a，步长为d；前四层使用relu激活函数，第五层使用tanh激活函数，反卷积的输出即为生成器的输出，即为待判别的中心缺失区域图片；
步骤三：构建基于改进的Alexnet网络的判别网络；构造判别网络的方法为：
对抗网络中设置对抗层网络模型的网络层为4层，卷积核是a*a，前3层使用lrelu激活函数，步长为d，第四层不使用激活函数，步长为d/2，将待判别的中心缺失区域图片输入判别器网络，判别器网络的输出即为对抗网络的输出，且该输出结果是一个数，判别图片是生成图片还是真实图片；
步骤四：对图片切割产生真实缺失中心区域图片x和缺失图片x0送入训练；
步骤五：使用WGAN-GP对抗性损失对生成网络和判别网络进行联合训练，进而得到生成器；
步骤六：将测试图像送入步骤五中训练好的生成器，生成修复图像，计算均方误差MSE和峰值信噪比度量PSNR。
2.根据权利要求1所述的基于编码器结构的图像修复方法，其特征在于：所述步骤五中联合训练的具体步骤：
(5.1)首先对判别网络进行训练：将真实缺失中心区域图片x送入判别器D，计算判别结果D(x)与1的BCELoss，最小化该loss；
(5.2)将缺失图片x0送入生成器G生成预测缺失中心图片G(x0)，把G(x0)送入判别器网络D，得到结果D(G(x0))；计算该判别结果与0的BCELoss，最小化该loss；整个判别网络的损失函数为：
默认λ取10，采用Adam优化使损失降到最小；
(5.3)对生成网络G进行训练：将生成图片G(x0)送入判别网络D，计算该最小化判别结果与1的BCELoss，最小化该损失即表示最小化生成图片与“真”的距离；生成网络的损失函数为：
(5.4)计算真实缺失区域图片x与生成缺失区域图片G(x0)的L2距离，即为重建损失函数：
整个网络的损失函数为重建损失和对抗损失的加权和：L＝λrecLrec+λadvLadv，λrec＝0.99，λadv＝0.01；
(5.5)采用Adam优化算法使损失函数L取最小，与此同时使生成式网络的损失函数LD最小化，判别式网络与生成式网络同时进行训练，之后再进行一次两个序列生成式网络的训练，反复迭代以上过程，当判别网络判定正确的概率趋近于0.5时，训练完成。
3.根据权利要求1所述的基于编码器结构的图像修复方法，其特征在于：所述步骤六中均方误差MSE和峰值信噪比度量PSNR的计算方法为：
MAXI＝2B-1，B代表编码一个像素用多少进制位。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811568063.1A CN109801230B (zh) | 2018-12-21 | 2018-12-21 | 一种基于编码器结构的图像修复方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811568063.1A CN109801230B (zh) | 2018-12-21 | 2018-12-21 | 一种基于编码器结构的图像修复方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109801230A CN109801230A (zh) | 2019-05-24 |
| CN109801230B true CN109801230B (zh) | 2022-08-26 |
Family
ID=66557337
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811568063.1A Active CN109801230B (zh) | 2018-12-21 | 2018-12-21 | 一种基于编码器结构的图像修复方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109801230B (zh) |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110175567A (zh) * | 2019-05-28 | 2019-08-27 | 吉林大学 | 基于wgan-gp和u-net的素描—照片转化方法 |
| CN110225350B (zh) * | 2019-05-30 | 2021-03-23 | 西安电子科技大学 | 基于生成式对抗网络的自然图像压缩方法 |
| CN110428462B (zh) * | 2019-07-17 | 2022-04-08 | 清华大学 | 多相机立体匹配方法和装置 |
| CN110533607B (zh) * | 2019-07-30 | 2022-04-26 | 北京威睛光学技术有限公司 | 一种基于深度学习的图像处理方法、装置及电子设备 |
| CN110766797B (zh) * | 2019-10-30 | 2021-08-13 | 中山大学 | 一种基于gan的三维地图修复方法 |
| CN111161158B (zh) * | 2019-12-03 | 2022-08-26 | 河海大学 | 一种基于生成网络结构的图像修复方法 |
| CN111275637B (zh) * | 2020-01-15 | 2024-01-30 | 北京工业大学 | 一种基于注意力模型的非均匀运动模糊图像自适应复原方法 |
| CN111340901B (zh) * | 2020-02-19 | 2023-08-11 | 国网浙江省电力有限公司 | 基于生成式对抗网络的复杂环境下输电网图片的压缩方法 |
| CN111476764B (zh) * | 2020-03-27 | 2021-08-24 | 西安科技大学 | 一种运动模糊ct图像三维重建的方法 |
| CN111667443B (zh) * | 2020-05-29 | 2021-10-12 | 东华大学 | 一种基于上下文融合的丝绸纹样图像修复方法 |
| CN111754439B (zh) * | 2020-06-28 | 2024-01-12 | 北京百度网讯科技有限公司 | 图像处理的方法、装置、设备以及存储介质 |
| CN111932444B (zh) * | 2020-07-16 | 2023-09-19 | 中国石油大学(华东) | 基于生成对抗网络的人脸属性编辑方法及信息处理终端 |
| CN111915522A (zh) * | 2020-07-31 | 2020-11-10 | 天津中科智能识别产业技术研究院有限公司 | 一种基于注意力机制的图像修复方法 |
| CN112116535B (zh) * | 2020-08-11 | 2022-08-16 | 西安交通大学 | 一种基于并行自编码器的图像补全方法 |
| CN113379036B (zh) * | 2021-06-18 | 2023-04-07 | 西安石油大学 | 一种基于上下文编码器的油气图像脱敏方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107945118A (zh) * | 2017-10-30 | 2018-04-20 | 南京邮电大学 | 一种基于生成式对抗网络的人脸图像修复方法 |
| CN108226892A (zh) * | 2018-03-27 | 2018-06-29 | 天津大学 | 一种基于深度学习的复杂噪声环境下的雷达信号恢复方法 |
| CN108520503A (zh) * | 2018-04-13 | 2018-09-11 | 湘潭大学 | 一种基于自编码器和生成对抗网络修复人脸缺损图像的方法 |
| US10140544B1 (en) * | 2018-04-02 | 2018-11-27 | 12 Sigma Technologies | Enhanced convolutional neural network for image segmentation |
-
2018
- 2018-12-21 CN CN201811568063.1A patent/CN109801230B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107945118A (zh) * | 2017-10-30 | 2018-04-20 | 南京邮电大学 | 一种基于生成式对抗网络的人脸图像修复方法 |
| CN108226892A (zh) * | 2018-03-27 | 2018-06-29 | 天津大学 | 一种基于深度学习的复杂噪声环境下的雷达信号恢复方法 |
| US10140544B1 (en) * | 2018-04-02 | 2018-11-27 | 12 Sigma Technologies | Enhanced convolutional neural network for image segmentation |
| CN108520503A (zh) * | 2018-04-13 | 2018-09-11 | 湘潭大学 | 一种基于自编码器和生成对抗网络修复人脸缺损图像的方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109801230A (zh) | 2019-05-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109801230B (zh) | 一种基于编码器结构的图像修复方法 | |
| CN115049936B (zh) | 一种面向高分遥感影像的边界增强型语义分割方法 | |
| CN110189278B (zh) | 一种基于生成对抗网络的双目场景图像修复方法 | |
| CN110751597B (zh) | 基于编码损伤修复的视频超分辨方法 | |
| CN110009576B (zh) | 一种壁画图像修复模型建立及修复方法 | |
| CN110570366A (zh) | 基于双判别深度卷积生成式对抗网络的图像修复方法 | |
| CN112862689B (zh) | 一种图像超分辨率重建方法及系统 | |
| CN108921942B (zh) | 对图像进行2d转制3d的方法及装置 | |
| CN110084813A (zh) | 一种基于三维深度学习网络的肺结节良恶性预测方法 | |
| CN112884758B (zh) | 一种基于风格迁移方法的缺陷绝缘子样本生成方法及系统 | |
| CN113468531A (zh) | 基于深度残差网络和混合注意力机制的恶意代码分类方法 | |
| CN112507849A (zh) | 一种基于条件生成对抗网络的动态到静态场景转换方法 | |
| CN113822954B (zh) | 一种面向资源约束下人机协同场景的深度学习图像编码方法 | |
| Mei et al. | Learn a compression for objection detection-vae with a bridge | |
| CN112862946B (zh) | 基于级联条件生成对抗网络的灰度岩心图像三维重建方法 | |
| CN116739932A (zh) | 一种基于盲点自监督的图像去噪深度学习算法 | |
| CN116681621A (zh) | 一种基于特征融合及复用的人脸图像修复方法 | |
| Wu et al. | End-to-end lossless compression of high precision depth maps guided by pseudo-residual | |
| CN112614196B (zh) | 基于四元数卷积神经网络的图像鲁棒性哈希认证方法 | |
| CN113112464B (zh) | 基于跨模态交流编码器的rgbd显著性物体检测方法及系统 | |
| Han et al. | Low resolution facial manipulation detection | |
| CN114422795A (zh) | 一种面部视频编码方法、解码方法及装置 | |
| CN114463449A (zh) | 一种基于边缘引导的高光谱图像压缩方法 | |
| CN110276715B (zh) | 一种图像去夜方法和装置 | |
| CN114581789A (zh) | 一种高光谱图像分类方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |