CN112330572A - 一种基于密集型网络的生成式对抗神经网络及失真图像复原方法 - Google Patents

一种基于密集型网络的生成式对抗神经网络及失真图像复原方法 Download PDF

Info

Publication number
CN112330572A
CN112330572A CN202011367891.6A CN202011367891A CN112330572A CN 112330572 A CN112330572 A CN 112330572A CN 202011367891 A CN202011367891 A CN 202011367891A CN 112330572 A CN112330572 A CN 112330572A
Authority
CN
China
Prior art keywords
layer
convolution
neural network
image
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011367891.6A
Other languages
English (en)
Other versions
CN112330572B (zh
Inventor
陈永利
许浩墨
张欣阳
严凡坤
朱富林
田佳园
钟京昊
王雪平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University of Science and Technology
Original Assignee
Tianjin University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University of Science and Technology filed Critical Tianjin University of Science and Technology
Priority to CN202011367891.6A priority Critical patent/CN112330572B/zh
Publication of CN112330572A publication Critical patent/CN112330572A/zh
Application granted granted Critical
Publication of CN112330572B publication Critical patent/CN112330572B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于密集型网络的生成式对抗网络及失真图像复原的方法，属于图像处理与图像分析的技术领域。以深度学习框架为基础，利用卷积神经网络搭建了生成式对抗神经网络的结构，提供了失真图像复原的网络模型及训练流程，解决了失真图像的复原、网络层数过多使得网络浅层信息在传递时的信息丢失问题。本发明将密集卷积神经网络和生成式对抗网络相结合，有效的利用卷积来提取图像的特征，使复原的图像质量高、细节丰富、忠实。本发明能够获得失真图像的真实信息并能进一步优化失真图像的细节，解决了失真图像包括模糊、残缺、噪声等的复原问题，在图像处理、图像分析、智能视觉以及智能检测等领域具有很好的应用潜力和价值。

Description

一种基于密集型网络的生成式对抗神经网络及失真图像复原 方法
技术领域
本发明属于图像处理与图像分析的技术领域，具体的涉及一种基于密集型网络的生成式对抗神经网络及失真图像复原方法。
背景技术
数码相机、工业摄像头、手机等数字化设备在捕获外界景物信息时，由于振动、遮挡以及外界干扰等因素的存在致使所捕获得到的图像存在失真现象，所捕获图像的外观上表现为图像细节不够清晰、内容残缺等，这严重影响了相关实际应用问题的解决。传统的失真图像复原方法在进行图像处理时，通常需要依据图像失真的成因来设计构建相应的图像处理模型，其图像处理的计算过程复杂，同时相应算法参数的筛选也需要由专业的技术人员来完成，所获得的图像复原的效果也有进一步改善的空间。近年来，随着机器视觉技术的发展，以卷积神经网络为代表的深度学习在图像复原方面得到了广泛的关注，卷积神经网络是以机器视觉理论为基础通过智能训练的方式建立失真退化图像包括模糊图像、噪声图像、残缺图像等与清晰图像之间的映射关系，智能化的进行失真退化图像的复原，成为当前相关领域的热点研究课题之一。
为了解决所述的图像失真问题，本发明基于深度学习框架提出了一种基于密集型网络的生成式对抗神经网络，以解决失真图像的高保真复原问题。将卷积神经网络引入图像复原领域，与传统意义上的图像复原相比，可以进一步优化图像内容的细节，并且随着网络结构的设计与优化，所获得的复原图像的质量会进一步提高。本发明的生成式对抗神经网络由密集型生成器和判别器以及网络优化控制器构成，所述的密集型生成器和判别器均是基于卷积神经网络进行构建的，其内的卷积层两两进行了交叉连接，网络中的深层次的卷积层也能够获得网络浅层的图像特征信息，并充分挖掘利用了图像复原过程中的先验知识，达到了很好的图像质量复原的目标。在构建网络过程中，本发明有效的解决了网络层数过多带来的浅层信息在传递过程中的信息丢失问题。
基于本发明提供的生成式对抗神经网络的框架结构，本发明也提出了一种基于密集型网络的生成式对抗神经网络的失真图像复原方法。该方法以本发明的神经网络框架结构为基础，构建了失真图像复原的生成式对抗神经网络模型的训练方法，通过训练获得了本发明提及的生成式对抗神经网络模型，利用该模型就能够进行失真图像的复原。本发明有效的解决了失真图像包括模糊图像、运动模糊图像、残缺图像、噪声图像等的复原问题，在图像处理、图像内容分析、计算机视觉、机器视觉以及工业产品的图像信息质量智能检测等领域具有很好的应用潜力和价值。
发明内容
本发明的目的是解决失真图像的高质量复原问题，以及网络层数过多使得网络浅层信息在传递过程中的信息丢失问题。本发明提供了一种基于密集型网络的生成式对抗神经网络，也提供了一种基于密集型网络的生成式对抗神经网络的失真图像复原的方法，利用本发明能够获得失真图像的真实信息并能进一步优化失真图像的细节恢复问题。
为了实现上述目的，本发明提供了一种技术方案，一种基于密集型网络的生成式对抗神经网络，其特征在于，该网络是由密集型生成器、判别器1、判别器2和网络优化控制器共同构成；所述的密集型生成器含有一个输入和一个输出，所述的输出可以作为所述的判别器1的输入；所述的判别器1含有一个输入和一个输出，所述的输出可以作为所述的网络优化控制器的输入；所述的判别器2含有一个输入和一个输出，所述的输出可以作为所述的网络优化控制器的输入；所述的网络优化控制器含有两个输入和多个隐式输出，其根据所获得的输入进行计算，依据计算结果进行隐式输出对所述的生成式对抗神经网络模型的卷积核的构建参数进行优化；所述的密集型生成器的输出连接着所述的判别器1的输入，所述的判别器1的输出连接着所述的网络优化控制器的输入，所述的判别器2的输出连接着所述的网络优化控制器的另一个输入。
上述技术方案中，所述的密集型生成器由填充层A、卷积层A1、实例归一化层1、Relu激活函数层、下采样层、卷积层AA1、运算层1、卷积层AA2、运算层2、卷积层AA3、运算层3、上采样层、填充层A、卷积层A2、双曲正切函数层、运算层4和压缩层依次串联构成；所述的下采样层是由下采样层B1和下采样层B2依次串联构成，所述的下采样层B1由卷积层B1、实例归一化层1和Relu激活函数层依次串联构成，所述的下采样层B2由卷积层B2、实例归一化层1和Relu激活函数层依次串联构成；所述的卷积层AA1、卷积层AA2和卷积层AA3均是由6个串联的残差层、填充层B和卷积层C依次串联构成，所述的残差层由填充层B、卷积层C、实例归一化层2、Relu激活函数层、填充层B、卷积层C、实例归一化层3和运算层5依次串联构成，所述的运算层5实现的是所述的残差层的输入与所述的实例归一化层3的输出之间的求和运算，所述的求和运算采用了add算法；所述的实例归一化层1、实例归一化层2和实例归一化层3具有完全相同的结构和功能；所述的运算层1实现的是所述的下采样层的输出与所述的卷积层AA1的输出之间的求和运算，所述的求和运算采用了add算法；所述的运算层2实现的是所述的运算层1的输出与所述的卷积层AA2的输出之间的求和运算，所述的求和求和运算采用了add算法；所述的运算层3实现的是所述的运算层2的输出与所述的卷积层AA3的输出之间的求和运算，所述的求和运算采用了add算法；所述的上采样层是由上采样层A1和上采样层A2依次串联构成，所述的上采样层A1是由转置卷积层A1、实例归一化层1和Relu激活函数层依次串联构成，所述的上采样层A2是由转置卷积层A2、实例归一化层1和Relu激活函数层依次串联构成；所述的运算层4实现的是所述的双曲正切函数层的输出与所述的密集型生成器的输入之间的求和运算，所述的求和运算采用了add算法；
所述的判别器1和判别器2具有完全相同的结构和功能，其均由卷积层D1、实例归一化层1、Leaky relu激活函数层、卷积层D2、实例归一化层1、Leaky relu激活函数层、卷积层D3、实例归一化层1、Leaky relu激活函数层、卷积层D4、实例归一化层1、Leaky relu激活函数层、卷积层E1、实例归一化层1、Leaky relu激活函数层、卷积层E2和Sigmoid激活函数层依次串联构成；
所述的网络优化控制器由损失函数和优化器构成；所述的损失函数为：
Figure BSA0000226134850000031
式中的S为清晰图像，D为判别器1或判别器2，N为清晰图像和失真图像的组数，G为密集型生成器，
Figure BSA0000226134850000032
为在VGG-19网络中的第i个最大层数之前的第j个卷积在激活之后所获得的特征图，Wi，j和Hi，j为特征图的维度，M为失真图像，a和b为像素的位置，λ为损失函数权重参数；所述的优化器根据所述的损失函数的值L进行优化，采用的优化规则为使所述的生成式对抗神经网络模型的所有神经元的梯度整体下降收敛；
所述的填充层A、填充层B的构建参数包括填充大小、填充方式和填充方法，实现对其输入的数据尺寸的扩展；所述的实例归一化层1、实例归一化层2、实例归一化层3的结构和功能完全相同，用来将其输入的数据调整到特定的范围；所述的卷积层A1、卷积层B1、卷积层B2、卷积层C、卷积层A2、卷积层D1、卷积层D2、卷积层D3、卷积层D4、卷积层E1和卷积层E2，具有完全相同的结构，所述的结构的构建参数包括卷积核的数量、卷积核的大小、卷积核的步长、卷积核的填充方式、卷积核的偏置项以及卷积核的初始值；所述的上述11个卷积层的功能是实现对其输入的特征图的提取；所述的上述11个卷积层的输出形式为卷积操作与偏置项的求和；所述的上述11个卷积层的差别体现在具有不同的“卷积核的数量”、“卷积核的大小”、“卷积核的步长”、“卷积核的填充方式”结构参数；
所述的转置卷积层A1、转置卷积层A2，具有完全相同的结构，所述的结构的构建参数包括转置卷积核的数量、转置卷积核的大小、转置卷积核的步长、转置卷积核的填充方式、转置卷积核的初始值；所述的转置卷积层A1、转置卷积层A2，功能是执行转置卷积操作，用来调整输入的数据尺寸；所述的转置卷积层A2的转置卷积核的初始值的设置与所述的转置卷积层A1的转置卷积核的初始值的设置相同；所述的转置卷积层A1、转置卷积层A2的输出形式为其执行的转置卷积操作的输出；所述的Relu激活函数层的构建，采用了修正线性单元激活函数进行处理；所述的Leaky relu激活函数层的构建，采用了带泄露修正线性单元函数进行激活处理；所述的Sigmoid激活函数层的构建，采用了Sigmoid激活函数进行激活处理；所述的双曲正切函数层的构建，采用了双曲正切函数进行激活处理；所述的压缩层是将输入进行压缩，压缩后的值的范围在(-1，1)区间。
所述的一种基于密集型网络的生成式对抗神经网络，其特征在于，所述的生成式对抗神经网络是基于tensorflow深度学习框架构建的；所述的生成式对抗神经网络中的填充层A的填充方法采用pad方法，填充大小为3，填充方式为REFLECT；所述的生成式对抗神经网络中的填充层B的填充方法采用pad方法，填充大小为1，填充方式为REFLECT；所述的生成式对抗神经网络中的网络优化控制器内的优化器采用了train.AdamOptimizer算法，所述的算法的学习率参数为0.0001；
所述的生成式对抗神经网络中所述的11个卷积层的卷积核的填充方式从“SAME”或“VALID”中选取；所述的卷积核的初始值为标准差等于0.01的标准正态分布，所述的初始值的生成方式采用random_normal_initi-alizer算法；所述的卷积核的偏置项的初始值为0，所述的初始值的生成方式采用zeros_initializer算法；所述的生成式对抗神经网络中所述的11个卷积层的输出形式为卷积操作与偏置项的求和，所述的卷积操作的卷积算法采用nn.conv2d算法；所述的生成式对抗神经网络中所述的11个卷积层的输出形式为卷积操作与偏置项的求和，所述的求和采用了add算法；所述的生成式对抗神经网络中的卷积层A1的构建参数为卷积核的大小为7*7、卷积核的步长为[1，1，1，1]、卷积核的填充方式为“VALID”、卷积核的数量为64；所述的生成式对抗神经网络中的卷积层B1的构建参数为卷积核的大小为3*3、卷积核的步长为[1，2，2，1]、卷积核的填充方式为“SAME”、卷积核的数量为128；所述的生成式对抗神经网络中的卷积层B2的构建参数为卷积核的大小为3*3、卷积核的步长为[1，2，2，1]、卷积核的填充方式为“SAME”、卷积核的数量为256；所述的生成式对抗神经网络中的卷积层C的构建参数为卷积核的大小为3*3、卷积核的步长为[1，1，1，1]、卷积核的填充方式为“VALID”、卷积核的数量为256；所述的生成式对抗神经网络中的卷积层A2的构建参数为卷积核的大小为7*7、卷积核的步长为[1，1，1，1]、卷积核的填充方式为“VALID”、卷积核的数量为3；所述的生成式对抗神经网络中的卷积层D1的构建参数为卷积核的大小为4*4、卷积核的步长为[1，2，2，1]、卷积核的填充方式为“SAME”、卷积核的数量为64；所述的生成式对抗神经网络中的卷积层D2的构建参数为卷积核的大小为4*4、卷积核的步长为[1，2，2，1]、卷积核的填充方式为“SAME”、卷积核的数量为128；所述的生成式对抗神经网络中的卷积层D3的构建参数为卷积核的大小为4*4、卷积核的步长为[1，2，2，1]、卷积核的填充方式为“SAME”、卷积核的数量为256；所述的生成式对抗神经网络中的卷积层D4的构建参数为卷积核的大小为4*4、卷积核的步长为[1，2，2，1]、卷积核的填充方式为“SAME”、卷积核的数量为512；所述的生成式对抗神经网络中的卷积层E1的构建参数为卷积核的大小为4*4、卷积核的步长为[1，1，1，1]、卷积核的填充方式为“SAME”、卷积核的数量为512；所述的生成式对抗神经网络中的卷积层E2的构建参数为卷积核的大小为4*4、卷积核的步长为[1，1，1，1]、卷积核的填充方式为“SAME”、卷积核的数量为1；所述的生成式对抗神经网络中的实例归一化层1、实例归一化层2、实例归一化层3的构建，均首先使用nn.moments算法计算其输入x的均值E和方差D，然后计算其输出b，b＝(x-E)/[(D+0.001)0.5]；
所述的生成式对抗神经网络中的转置卷积层A1、转置卷积层A2的转置卷积核的填充方式从“SAME”或“VALID”中选取；所述的生成式对抗神经网络中的转置卷积层A1、转置卷积层A2的转置卷积核的初始值采用标准差
Figure BSA0000226134850000051
的标准正态分布，a、b和c分别为所述的转置卷积核的长、宽和数量，所述的初始值的生成方式采用了random_normal_initializer算法；所述的生成式对抗神经网络中的转置卷积层A1、转置卷积层A2的转置卷积操作采用了nn.conv2d_transpose算法；所述的生成式对抗神经网络中的转置卷积层A1的转置卷积核的大小为3*3，转置卷积核的步长为[1，2，2，1]，转置卷积核的填充方式为“SAME”，转置卷积核的数量为128；所述的生成式对抗神经网络中的转置卷积层A2的转置卷积核的大小为3*3，转置卷积核的步长为[1，2，2，1]，转置卷积核的填充方式为“SAME”，转置卷积核的数量为64；
所述的生成式对抗神经网络中的Relu激活函数层，采用的激活算法是nn.relu算法；所述的生成式对抗神经网络中的Leaky relu激活函数层，采用的激活算法是nn.1eaky_relu算法；所述的生成式对抗神经网络中的Sigmoid激活函数层，采用的激活算法是nn.sigmoid算法；所述的生成式对抗神经网络中的双曲正切函数层，采用的激活算法是nn.tanh算法；所述的生成式对抗神经网络中的压缩层，采用的压缩算法是clip_by_value算法。
本发明同时也提供了一种基于密集型网络的生成式对抗神经网络的失真图像复原方法，其特征在于，包含如下步骤：
步骤1：构建所述的生成式对抗神经网络的图像数据训练集A，其中的清晰图像和失真图像一一对应，所述的清晰图像与所述的失真图像的长宽像素尺寸、图像个数、图像类型等完全相同；
步骤2：对所述的图像数据训练集中的所有图像进行随机裁切处理，裁切后所得到图像的长宽像素尺寸要小于原始图像的相应尺寸；
步骤3：对裁切后得到的图像数据训练集中的每一组清晰图像和失真图像，进行“逆时针旋转90度”、“左右方向翻转”、“上下方向翻转”、“左右方向翻转后逆时针旋转90度”、“上下方向翻转后逆时针旋转90度”中的随机的一种图像处理操作，得到处理后的图像数据训练集B，所述的图像训练集中的清晰图像和失真图像是一一对应的；
步骤4：将步骤3所述的图像数据训练集B中的一幅失真图像MM-1，输入到权利要求1所述的密集型生成器中，得到所述的密集型生成器的输出C，再将所述的输出C输入到权利要求1所述的判别器1中，得到所述的判别器1的输出D-1；
步骤5：将步骤3所述的图像数据训练集B中的与失真图像MM-1相对应的清晰图像MM-2，输入到权利要求1所述的判别器2中，得到所述的判别器2的输出D-2；
步骤6：将步骤4所述的输出D-1和步骤5所述的输出D-2，输入到权利要求1所述的网络优化控制器中，所述的网络优化控制器根据输入对所述的生成式对抗神经网络进行优化，实现对步骤3所述的图像数据训练集B的一组对应图像的训练；
步骤7：重复步骤2-6，实现步骤3所述的图像数据训练集B内的所有对应图像的训练，此时完成对所述的生成式对抗神经网络的一次训练，训练的结果保存在所述的生成式对抗神经网络内；
步骤8：重复步骤7，对所述的生成式对抗神经网络进行多次训练，获得可用于失真图像复原的生成式对抗神经网络模型DD；
步骤9：将需要进行复原处理的失真图像，输入到步骤8所述的生成式对抗神经网络模型DD的密集型生成器中，就可以由所述的生成式对抗神经网络模型DD的密集型生成器的输出得到的处理后的清晰复原图像。
所述的一种基于密集型网络的生成式对抗神经网络的失真图像复原方法，其特征在于，所述的步骤1，优选的，采用Python语言Python Imaging Library库中三次样条差值BICUBIC方法将所有的清晰图像和失真图像的长宽像素尺寸调整为640*360；所述的步骤2，优选的，裁切后的图像的长宽像素尺寸为原始图像的相应尺寸的1/2-2/3；所述的步骤3，优选的，使用的图像处理的方法为Python语言numpy库中rot90、fliplr和flipud算法及其组合算法；所述的步骤8，优选的，训练次数不少于50次。
本发明提供的基于密集型网络的生成式对抗网络及失真图像复原方法，具有下列特点：
1.本发明提供的一种基于密集型网络的生成式对抗神经网络，可以利用tensorflow深度学习框架以及Python语言进行网络的构建。
2.本发明提供的一种基于密集型网络的生成式对抗神经网络的失真图像复原方法，所涉及的步骤1-3使用了数据读取和数据增强策略，利用了Python语言的Pillow、numpy、random和os库。数据读取的目的是读取图像，使图片的大小统一，数据增强的目的是使输入的数据丰富，使所构建的网络学习时能够获得更多的特征信息。
3.本发明提供的密集型生成器，功能是将失真图像处理为清晰的图像，达到失真复原的目的，所使用的库为tensorflow和numpy库。该生成器含有两个卷积核大小为7*7的卷积层、上采样层、下采样层、18个残差层以及18个残差层之间夹杂的三个卷积核大小为3*3的卷积层和3个填充层、实例归一化层和双曲正切激活函数层等模块，通过控制不同模块之间的搭配和数量构建了所述的生成器。
4.本发明利用密集型卷积神经网络的思想来构建所述的生成器，核心部分为各层之间的搭配连接。首先对输入图像进行维度的填充，以使后续的卷积层操作所获得的特征图的大小得到控制；所述的下采样层的构建是为了避免过拟合问题。上采样层是为了调整所述的卷积层AA3输出特征图的尺寸；经过上采样层处理后，再进行图像维度的填充，然后进行卷积处理，目的是使图像恢复到原来的尺寸和状态；最后经双曲正切激活函数层的激活，将结果与初始的输入相加作为所述的密集型生成器的最终输出。
5.本发明提供的判别器的构建，所述的网络模型中使用了tensorflow和numpy库。该判别器由多个卷积层、实例归一化层、LeakyRelu激活函数层和Sigmoid激活函数层组成。
6.本发明提供的所述的网络优化控制器，其内含有训练目标函数(损失函数)和优化器；所述的优化器的功能是计算清晰图像和生成器输出的图像之间的差距，通过多次训练的方式减小目标函数的值，使输出图像更加接近清晰图像。所述的目标函数L由内容损失和对抗性损失组成，
Figure BSA0000226134850000071
其中，优选的，λ＝100，i＝j＝3。
7.本发明的可以用于盲图像的高质量复原，不需要估计传统方法所涉及的模糊核，有效减小了计算量，并进一步提高了运算速度和图像改善的质量。
8.本发明提供的神经网络，相比于其他的生成式对抗网络，更能有效的利用卷积操作获得的系列特征图，使复原后的图片细节更加清晰。
9.本发明的提供的方法，鲁棒性更高，能够解决多种情况下造成的图像失真问题，包括图像模糊、残缺图像、噪声图像等，在图像处理、图像内容分析、计算机视觉、机器视觉、工业产品的质量智能检测与控制等领域具有很好的应用潜力和价值。
附图说明
图1为本发明的所述的密集型生成器的结构图。
图2为本发明的所述的判别器的结构图。
图3为本发明的所述的网络优化控制器的结构图。
图4为本发明的所述的密集型网络的生成式对抗神经网络的结构关系图。
图5为本发明的所述的密集型生成器的残差层的结构图。
图6为本发明的所述的密集型生成器的上采样层的结构图。
图7为本发明的所述的密集型生成器的下采样层的结构图。
图8为本发明的所述的卷积层AA1、卷积层AA2、卷积层AA3的结构图。
图9为本发明的所述的密集型网络的生成式对抗神经网络的模糊图像复原方法的训练控制流程图。
图10为本发明的实施例一的生成式对抗神经网络模型的经过大小调整后的失真输入图像。
图11为本发明的实施例一的生成式对抗神经网络模型的经过大小调整后的与图10相对应的清晰图像。
图12为本发明的实施例一的生成式对抗神经网络的密集型生成器的一次训练所输出的图像。
图13为本发明的实施例一的生成式对抗式神经网络的判别器1的一次训练所输出的图像。
图14为本发明的实施例一的生成式对抗神经网络模型的密集型生成器的输入图像。
图15为本发明的实施例一的生成式对抗神经网络模型的密集型生成器的输出图像。
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式作进一步描述。以下实施例仅用于说明本发明，但不用来限制本发明的范围。
图1-8组成了本发明的一种基于密集型网络的生成式对抗神经网络的结构及结构关系流程图；图9为本发明的一种基于密集型网络的失真图像复原方法的训练控制流程图，包括所述的网络的训练流程以及网络模型的构建和使用；再结合本发明的提供的所述的神经网络的技术方案，以及所述的失真图像复原方法的技术方案，就能够构建针对相关领域的、针对具体问题进行相关神经网络的搭建和模型构建，是解决失真图像的高质量复原问题，以及网络层数过多使得网络浅层信息在传递过程中的信息丢失问题，包括模糊图像的复原、图像修复、图像去噪、图像质量提升、图像像质改善等。本发明提供的下列实施例就是依据图1-9的结构、控制流程图以及本发明提供的技术方案来实现的，具体实施例如下：
实施例一
首先，构建图像训练集A，含有NN＝1146组图像，失真图像和清晰图像一一对应，图像的格式为PNG格式，图像的大小为720*720像素，像素的位深度为24。采用Python语言Python Imaging Library库中三次样条差值BICUBIC方法将图像训练集A中的清晰图像和失真图像的长宽像素尺寸调整为为M*N，其中的M＝640，N＝360。图10为调整后的一幅失真图像，图11为与图相对应的清晰图像，其构成了图像训练集A中的一组图像。
然后，对图像数据训练集A中的所有图像进行随机裁切处理，裁切后所得到图像的长宽像素尺寸为M1*N1，其中的M1＝256，N1＝256。
再对裁切后得到的图像进行“逆时针旋转90度”、“左右方向翻转”、“上下方向翻转”、“左右方向翻转后逆时针旋转90度”、“上下方向翻转后逆时针旋转90度”中的随机的一种操作进行图像处理，得到图像数据训练集B，所述的图像训练集B中的清晰图像和失真图像是一一对应的。本实施例对裁切后的图像进行的操作，使用了图像处理的方法为Python语言numpy库中rot90、fliplr和flipud算法及其组合算法。
再利用本发明提供的基于密集型网络的生成式对抗式神经网络，见图4、图1、图2、图3、图5-8，来搭建本实施例的对抗式神经网络。本实施例的对抗式神经网络的结构及构建参数，与本发明的技术方案部分的描述相同。本实施例的网络优化控制器的损失函数的参数λ＝100，i＝j＝3，网络优化控制器内的优化器采用了train.AdamOptimizer算法，所述的算法的学习率参数为0.0001。
再利用本发明提供的基于密集型网络的生成式对抗神经网络的失真图像复原方法，进行本发明的实施例的生成式对抗神经网络模型DD的构建，其训练控制流程图见图9。将图像数据训练集B中一幅失真图像MM-1输入到密集型生成器中，密集型生成器对输入的图像进行处理并输出，所输出的图像C见图12。
再将密集型生成器的输出，见图12，输入到判别器1中，判别器1的输出D-1见图13。
再将与失真图像MM-1相对应的清晰图像MM-2输入到判别器2中，得到判别器2的输出D-2。
再将D-1和D-2输入到网络优化控制器中，进行网络优化控制器的处理，优化所构建的基于密集型网络的生成式对抗神经网络模型，实现对本实施例的图像数据训练B的一组对应图像的训练。依据图9所述的网络模型训练控制流程，对图像数据训练集B中的所有组图像进行训练，完后本实例所述的网络的实现了一次训练。依据图9所述的网络模型训练控制流程，对本实施例的网络进行多次训练，本实施例的训练次数为50次，得到本实施例的生成式对抗神经网络模型DD。
最后，将待处理的失真图像，见图14，输入到本实施例的生成式对抗神经网络模型DD的密集型生成器中，该密集型生成器的输出即为处理后的失真图像所对应的清晰复原图像，见图15。
实施例二
首先，构建图像训练集A，含有NN＝1200组图像，失真图像和清晰图像一一对应，图像的格式为JPEG格式，图像的大小为800*900像素，像素的位深度为24。将图像训练集A中的清晰图像和失真图像的长宽像素尺寸调整为为M*N，其中的M＝600，N＝400。
然后，对图像数据训练集A中的所有图像进行随机裁切处理，裁切后所得到图像的长宽像素尺寸为M1*N1，其中的M1＝M/2，N1＝N/2。
再对裁切后得到的图像进行“逆时针旋转90度”、“左右方向翻转”、“上下方向翻转”、“左右方向翻转后逆时针旋转90度”、“上下方向翻转后逆时针旋转90度”中的随机的一种操作进行图像处理，得到图像数据训练集B，所述的图像训练集B中的清晰图像和失真图像是一一对应的。
再利用本发明提供的基于密集型网络的生成式对抗式神经网络，见图4、图1、图2、图3、图5-8，来搭建本实施例的对抗式神经网络。本实施例的对抗式神经网络的结构及构建参数，与本发明的技术方案部分的描述相同。本实施例的网络优化控制器的损失函数的参数λ＝100，i＝j＝3，网络优化控制器内的优化器采用了train.AdamOptimizer算法，所述的算法的学习率参数为0.001。
再利用本发明提供的基于密集型网络的生成式对抗神经网络的失真图像复原方法，进行本发明的实施例的生成式对抗神经网络模型DD的构建，其训练控制流程图见图9。将图像数据训练集B中一幅失真图像MM-1输入到密集型生成器中，密集型生成器对输入的图像进行处理并输出，所输出的输出C。
再将密集型生成器的输出C，输入到判别器1中，判别器1的输出为输出D-1。
再将与失真图像MM-1相对应的清晰图像MM-2输入到判别器2中，得到判别器2的输出为输出D-2。
再将D-1和D-2输入到网络优化控制器中，进行网络优化控制器的处理，优化所构建的基于密集型网络的生成式对抗神经网络模型，实现对本实施例的图像数据训练B的一组对应图像的训练。依据图9所述的网络模型训练控制流程，对图像数据训练集B中的所有组图像进行训练，完后本实例所述的网络的实现了一次训练。依据图9所述的网络模型训练控制流程，对本实施例的网络进行多次训练，本实施例的训练次数为100次，得到本实施例的生成式对抗神经网络模型DD。
最后，将待处理的失真图像，输入到本实施例的生成式对抗神经网络模型DD的密集型生成器中，该密集型生成器的输出即为处理后的失真图像所对应的清晰复原图像。
实施例三
首先，构建图像训练集A，含有NN＝1600组图像，失真图像和清晰图像一一对应，图像的格式为JPEG格式，图像的大小为800*900像素，像素的位深度为24。将图像训练集A中的清晰图像和失真图像的长宽像素尺寸调整为为M*N，其中的M＝600，N＝400。
然后，对图像数据训练集A中的所有图像进行随机裁切处理，裁切后所得到图像的长宽像素尺寸为M1*N1，其中的M1＝2M/3，N1＝2N/3。
再对裁切后得到的图像进行“逆时针旋转90度”、“左右方向翻转”、“上下方向翻转”、“左右方向翻转后逆时针旋转90度”、“上下方向翻转后逆时针旋转90度”中的随机的一种操作进行图像处理，得到图像数据训练集B，所述的图像训练集B中的清晰图像和失真图像是一一对应的。
再利用本发明提供的基于密集型网络的生成式对抗式神经网络，见图4、图1、图2、图3、图5-8，来搭建本实施例的对抗式神经网络。本实施例的对抗式神经网络的结构及构建的基本参数，与本发明的技术方案部分的描述基本相同。本实施例的生成式对抗神经网络的卷积层A1的卷积核的大小为7*7、卷积核的步长为[1，1，1，1]、卷积核的数量为128、卷积核的填充方式为“VALID”；卷积层B1的卷积核的数量设置为256、卷积层C的卷积核的数量设置为512、卷积层D1-D4和卷积层E1的卷积核的大小为3*3、卷积核的步长为[1，1，1，1]、卷积核的数量为256、卷积核的填充方式为“SAME”；卷积层E2的卷积核大小为3*3、卷积核的步长为[1，1，1，1]，卷积核的数量为1，卷积核的填充方式为“SAME”；本实施例的网络优化控制器的损失函数的参数λ＝50，i＝j＝4，网络优化控制器内的优化器采用了train.AdamOptimizer算法，所述的算法的学习率参数为0.0001。
再利用本发明提供的基于密集型网络的生成式对抗神经网络的失真图像复原方法，进行本发明的实施例的生成式对抗神经网络模型DD的构建，其训练控制流程图见图9。将图像数据训练集B中一幅失真图像MM-1输入到密集型生成器中，密集型生成器对输入的图像进行处理并输出，所输出的输出C。
再将密集型生成器的输出C，输入到判别器1中，判别器1的输出为输出D-1。
再将与失真图像MM-1相对应的清晰图像MM-2输入到判别器2中，得到判别器2的输出为输出D-2。
再将D-1和D-2输入到网络优化控制器中，进行网络优化控制器的处理，优化所构建的基于密集型网络的生成式对抗神经网络模型，实现对本实施例的图像数据训练B的一组对应图像的训练。依据图9所述的网络模型训练控制流程，对图像数据训练集B中的所有组图像进行训练，完后本实例所述的网络的实现了一次训练。依据图9所述的网络模型训练控制流程，对本实施例的网络进行多次训练，本实施例的训练次数为200次，得到本实施例的生成式对抗神经网络模型DD。
最后，将待处理的失真图像，输入到本实施例的生成式对抗神经网络模型DD的密集型生成器中，该密集型生成器的输出即为处理后的失真图像所对应的清晰复原图像。
实施例二的生成式对抗神经网络的输出以及相应的网络模型的输出，请参考实施例一的相应输出；实施例三的生成式对抗神经网络的输出以及相应的网络模型的输出，也请参考实施例一的相应输出。
以上实施仅表达了本发明的实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都是属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (4)

1.一种基于密集型网络的生成式对抗神经网络，其特征在于，该网络是由密集型生成器、判别器1、判别器2和网络优化控制器共同构成；所述的密集型生成器含有一个输入和一个输出，所述的输出可以作为所述的判别器1的输入；所述的判别器1含有一个输入和一个输出，所述的输出可以作为所述的网络优化控制器的输入；所述的判别器2含有一个输入和一个输出，所述的输出可以作为所述的网络优化控制器的输入；所述的网络优化控制器含有两个输入和多个隐式输出，其根据所获得的输入进行计算，依据计算结果进行隐式输出对所述的生成式对抗神经网络模型的卷积核的构建参数进行优化；所述的密集型生成器的输出连接着所述的判别器1的输入，所述的判别器1的输出连接着所述的网络优化控制器的输入，所述的判别器2的输出连接着所述的网络优化控制器的另一个输入；
所述的密集型生成器由填充层A、卷积层A1、实例归一化层1、Relu激活函数层、下采样层、卷积层AA1、运算层1、卷积层AA2、运算层2、卷积层AA3、运算层3、上采样层、填充层A、卷积层A2、双曲正切函数层、运算层4和压缩层依次串联构成；所述的下采样层是由下采样层B1和下采样层B2依次串联构成，所述的下采样层B1由卷积层B1、实例归一化层1和Relu激活函数层依次串联构成，所述的下采样层B2由卷积层B2、实例归一化层1和Relu激活函数层依次串联构成；所述的卷积层AA1、卷积层AA2和卷积层AA3均是由6个串联的残差层、填充层B和卷积层C依次串联构成，所述的残差层由填充层B、卷积层C、实例归一化层2、Relu激活函数层、填充层B、卷积层C、实例归一化层3和运算层5依次串联构成，所述的运算层5实现的是所述的残差层的输入与所述的实例归一化层3的输出之间的求和运算，所述的求和运算采用了add算法；所述的实例归一化层1、实例归一化层2和实例归一化层3具有完全相同的结构和功能；所述的运算层1实现的是所述的下采样层的输出与所述的卷积层AA1的输出之间的求和运算，所述的求和运算采用了add算法；所述的运算层2实现的是所述的运算层1的输出与所述的卷积层AA2的输出之间的求和运算，所述的求和求和运算采用了add算法；所述的运算层3实现的是所述的运算层2的输出与所述的卷积层AA3的输出之间的求和运算，所述的求和运算采用了add算法；所述的上采样层是由上采样层A1和上采样层A2依次串联构成，所述的上采样层A1是由转置卷积层A1、实例归一化层1和Relu激活函数层依次串联构成，所述的上采样层A2是由转置卷积层A2、实例归一化层1和Relu激活函数层依次串联构成；所述的运算层4实现的是所述的双曲正切函数层的输出与所述的密集型生成器的输入之间的求和运算，所述的求和运算采用了add算法；
所述的判别器1和判别器2具有完全相同的结构和功能，其均由卷积层D1、实例归一化层1、Leaky relu激活函数层、卷积层D2、实例归一化层1、Leaky relu激活函数层、卷积层D3、实例归一化层1、Leaky relu激活函数层、卷积层D4、实例归一化层1、Leaky relu激活函数层、卷积层E1、实例归一化层1、Leaky relu激活函数层、卷积层E2和Sigmoid激活函数层依次串联构成；
所述的网络优化控制器由损失函数和优化器构成；所述的损失函数为：
Figure FSA0000226134840000021
式中的S为清晰图像，D为判别器1或判别器2，N为清晰图像和失真图像的组数，G为密集型生成器，
Figure FSA0000226134840000022
为在VGG-19网络中的第i个最大层数之前的第j个卷积在激活之后所获得的特征图，Wi，j和Hi，j为特征图的维度，M为失真图像，a和b为像素的位置，λ为损失函数权重参数；所述的优化器根据所述的损失函数的值L进行优化，采用的优化规则为使所述的生成式对抗神经网络模型的所有神经元的梯度整体下降收敛；
所述的填充层A、填充层B的构建参数包括填充大小、填充方式和填充方法，实现对其输入的数据尺寸的扩展；
所述的卷积层A1、卷积层B1、卷积层B2、卷积层C、卷积层A2、卷积层D1、卷积层D2、卷积层D3、卷积层D4、卷积层E1和卷积层E2，具有完全相同的结构，所述的结构的构建参数包括卷积核的数量、卷积核的大小、卷积核的步长、卷积核的填充方式、卷积核的偏置项以及卷积核的初始值；所述的上述11个卷积层的功能是实现对其输入的特征图的提取；所述的上述11个卷积层的输出形式为卷积操作与偏置项的求和；所述的上述11个卷积层的差别体现在具有不同的“卷积核的数量”、“卷积核的大小”、“卷积核的步长”、“卷积核的填充方式”结构参数；
所述的实例归一化层1、实例归一化层2、实例归一化层3的结构和功能完全相同，用来将其输入的数据调整到特定的范围；
所述的转置卷积层A1、转置卷积层A2，具有完全相同的结构，所述的结构的构建参数包括转置卷积核的数量、转置卷积核的大小、转置卷积核的步长、转置卷积核的填充方式、转置卷积核的初始值；所述的转置卷积层A1、转置卷积层A2，功能是执行转置卷积操作，用来调整输入的数据尺寸；所述的转置卷积层A2的转置卷积核的初始值的设置与所述的转置卷积层A1的转置卷积核的初始值的设置相同；所述的转置卷积层A1、转置卷积层A2的输出形式为其执行的转置卷积操作的输出；
所述的Relu激活函数层的构建，采用了修正线性单元激活函数进行处理；所述的Leakyrelu激活函数层的构建，采用了带泄露修正线性单元函数进行激活处理；所述的Sigmoid激活函数层的构建，采用了Sigmoid激活函数进行激活处理；所述的双曲正切函数层的构建，采用了双曲正切函数进行激活处理；所述的压缩层是将输入进行压缩，压缩后的值的范围在(-1，1)区间。
2.根据权利要求1所述的一种基于密集型网络的生成式对抗神经网络，其特征在于，所述的生成式对抗神经网络是基于tensorflow深度学习框架构建的；
所述的生成式对抗神经网络中的填充层A的填充方法采用pad方法，填充大小为3，填充方式为REFLECT；所述的生成式对抗神经网络中的填充层B的填充方法采用pad方法，填充大小为1，填充方式为REFLECT；所述的生成式对抗神经网络中的网络优化控制器内的优化器采用了train.AdamOptimizer算法，所述的算法的学习率参数为0.0001；
所述的生成式对抗神经网络中所述的11个卷积层的卷积核的填充方式从“SAME”或“VALID”中选取；所述的卷积核的初始值为标准差等于0.01的标准正态分布，所述的初始值的生成方式采用random_normal_initi-alizer算法；所述的卷积核的偏置项的初始值为0，所述的初始值的生成方式采用zeros_initializer算法；所述的生成式对抗神经网络中所述的11个卷积层的输出形式为卷积操作与偏置项的求和，所述的卷积操作的卷积算法采用nn.conv2d算法；所述的生成式对抗神经网络中所述的11个卷积层的输出形式为卷积操作与偏置项的求和，所述的求和采用了add算法；所述的生成式对抗神经网络中的卷积层A1的构建参数为卷积核的大小为7*7、卷积核的步长为[1，1，1，1]、卷积核的填充方式为“VALID”、卷积核的数量为64；所述的生成式对抗神经网络中的卷积层B1的构建参数为卷积核的大小为3*3、卷积核的步长为[1，2，2，1]、卷积核的填充方式为“SAME”、卷积核的数量为128；所述的生成式对抗神经网络中的卷积层B2的构建参数为卷积核的大小为3*3、卷积核的步长为[1，2，2，1]、卷积核的填充方式为“SAME”、卷积核的数量为256；所述的生成式对抗神经网络中的卷积层C的构建参数为卷积核的大小为3*3、卷积核的步长为[1，1，1，1]、卷积核的填充方式为“VALID”、卷积核的数量为256；所述的生成式对抗神经网络中的卷积层A2的构建参数为卷积核的大小为7*7、卷积核的步长为[1，1，1，1]、卷积核的填充方式为“VALID”、卷积核的数量为3；所述的生成式对抗神经网络中的卷积层D1的构建参数为卷积核的大小为4*4、卷积核的步长为[1，2，2，1]、卷积核的填充方式为“SAME”、卷积核的数量为64；所述的生成式对抗神经网络中的卷积层D2的构建参数为卷积核的大小为4*4、卷积核的步长为[1，2，2，1]、卷积核的填充方式为“SAME”、卷积核的数量为128；所述的生成式对抗神经网络中的卷积层D3的构建参数为卷积核的大小为4*4、卷积核的步长为[1，2，2，1]、卷积核的填充方式为“SAME”、卷积核的数量为256；所述的生成式对抗神经网络中的卷积层D4的构建参数为卷积核的大小为4*4、卷积核的步长为[1，2，2，1]、卷积核的填充方式为“SAME”、卷积核的数量为512；所述的生成式对抗神经网络中的卷积层E1的构建参数为卷积核的大小为4*4、卷积核的步长为[1，1，1，1]、卷积核的填充方式为“SAME”、卷积核的数量为512；所述的生成式对抗神经网络中的卷积层E2的构建参数为卷积核的大小为4*4、卷积核的步长为[1，1，1，1]、卷积核的填充方式为“SAME”、卷积核的数量为1；所述的生成式对抗神经网络中的实例归一化层1、实例归一化层2、实例归一化层3的构建，均首先使用nn.moments算法计算其输入x的均值E和方差D，然后计算其输出b，b＝(x-E)/[(D+0.001)0.5]；
所述的生成式对抗神经网络中的转置卷积层A1、转置卷积层A2的转置卷积核的填充方式从“SAME”或“VALID”中选取；所述的生成式对抗神经网络中的转置卷积层A1、转置卷积层A2的转置卷积核的初始值采用标准差
Figure FSA0000226134840000041
的标准正态分布，a、b和c分别为所述的转置卷积核的长、宽和数量，所述的初始值的生成方式采用了random_normal_initializer算法；所述的生成式对抗神经网络中的转置卷积层A1、转置卷积层A2的转置卷积操作采用了nn.conv2d_transpose算法；所述的生成式对抗神经网络中的转置卷积层A1的转置卷积核的大小为3*3，转置卷积核的步长为[1，2，2，1]，转置卷积核的填充方式为“SAME”，转置卷积核的数量为128；所述的生成式对抗神经网络中的转置卷积层A2的转置卷积核的大小为3*3，转置卷积核的步长为[1，2，2，1]，转置卷积核的填充方式为“SAME”，转置卷积核的数量为64；
所述的生成式对抗神经网络中的Relu激活函数层，采用的激活算法是nn.relu算法；所述的生成式对抗神经网络中的Leaky relu激活函数层，采用的激活算法是nn.leaky_relu算法；所述的生成式对抗神经网络中的Sigmoid激活函数层，采用的激活算法是nn.sigmoid算法；所述的生成式对抗神经网络中的双曲正切函数层，采用的激活算法是nn.tanh算法；所述的生成式对抗神经网络中的压缩层，采用的压缩算法是clip_by_value算法。
3.一种基于密集型网络的生成式对抗神经网络的失真图像复原方法，其特征在于，包含如下步骤：
步骤1：构建所述的生成式对抗神经网络的图像数据训练集A，其中的失真图像和清晰图像一一对应，所述的清晰图像与所述的失真图像的长宽像素尺寸、图像个数、图像类型等完全相同；
步骤2：对所述的图像数据训练集中的所有图像进行随机裁切处理，裁切后所得到图像的长宽像素尺寸要小于原始图像的相应尺寸；
步骤3：对裁切后得到的图像数据训练集中的每一组清晰图像和失真图像，进行“逆时针旋转90度”、“左右方向翻转”、“上下方向翻转”、“左右方向翻转后逆时针旋转90度”、“上下方向翻转后逆时针旋转90度”中的随机的一种图像处理操作，得到处理后的图像数据训练集B，所述的图像训练集中的清晰图像和失真图像是一一对应的；
步骤4：将步骤3所述的图像数据训练集B中的一幅失真图像MM-1，输入到权利要求1所述的密集型生成器中，得到所述的密集型生成器的输出C，再将所述的输出C输入到权利要求1所述的判别器1中，得到所述的判别器1的输出D-1；
步骤5：将步骤3所述的图像数据训练集B中的与失真图像MM-1相对应的清晰图像MM-2，输入到权利要求1所述的判别器2中，得到所述的判别器2的输出D-2；
步骤6：将步骤4所述的输出D-1和步骤5所述的输出D-2，输入到权利要求1所述的网络优化控制器中，所述的网络优化控制器根据输入对所述的生成式对抗神经网络进行优化，实现对步骤3所述的图像数据训练集B的一组对应图像的训练；
步骤7：重复步骤2-6，实现步骤3所述的图像数据训练集B内的所有对应图像的训练，此时完成对所述的生成式对抗神经网络的一次训练，训练的结果保存在所述的生成式对抗神经网络内；
步骤8：重复步骤7，对所述的生成式对抗神经网络进行多次训练，获得可用于失真图像复原的生成式对抗神经网络模型DD；
步骤9：将需要进行处理的失真图像，输入到步骤8所述的生成式对抗神经网络模型DD的密集型生成器，就可以由所述的生成式对抗神经网络模型DD的密集型生成器的输出得到的处理后的清晰复原图像。
4.根据权利要求3所述的一种基于密集型网络的生成式对抗神经网络的失真图像复原方法，其特征在于，所述的步骤1，优选的，采用Python语言Python Imaging Library库中三次样条差值BICUBIC方法将所有的清晰图像和失真图像的长宽像素尺寸调整为640*360；所述的步骤2，优选的，裁切后的图像的长宽像素尺寸为原始图像的相应尺寸的1/2-2/3；所述的步骤3，优选的，使用的图像处理的方法为Python语言numpy库中rot90、fliplr和flipud算法及其组合算法；所述的步骤8，优选的，训练次数不少于50次。
CN202011367891.6A 2020-11-30 2020-11-30 一种基于密集型网络的生成式对抗神经网络及失真图像复原方法 Active CN112330572B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011367891.6A CN112330572B (zh) 2020-11-30 2020-11-30 一种基于密集型网络的生成式对抗神经网络及失真图像复原方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011367891.6A CN112330572B (zh) 2020-11-30 2020-11-30 一种基于密集型网络的生成式对抗神经网络及失真图像复原方法

Publications (2)

Publication Number Publication Date
CN112330572A true CN112330572A (zh) 2021-02-05
CN112330572B CN112330572B (zh) 2023-01-06

Family

ID=74308227

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011367891.6A Active CN112330572B (zh) 2020-11-30 2020-11-30 一种基于密集型网络的生成式对抗神经网络及失真图像复原方法

Country Status (1)

Country Link
CN (1) CN112330572B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114119395A (zh) * 2021-11-15 2022-03-01 北京理工大学 失真检测与复原一体化的图像处理系统与方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110570353A (zh) * 2019-08-27 2019-12-13 天津大学 密集连接生成对抗网络单幅图像超分辨率重建方法
CN111861894A (zh) * 2019-04-25 2020-10-30 上海理工大学 基于生成式对抗网络的图像去运动模糊方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111861894A (zh) * 2019-04-25 2020-10-30 上海理工大学 基于生成式对抗网络的图像去运动模糊方法
CN110570353A (zh) * 2019-08-27 2019-12-13 天津大学 密集连接生成对抗网络单幅图像超分辨率重建方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
YULUN ZHANG,ET AL.: "Residual Dense Network for Image Restoration", 《ARXIV》 *
吴迪等: "密集连接卷积网络图像去模糊", 《中国图象图形学报》 *
李烨，等.: "面向图像复原的残差密集生成对抗网络新方法", 《小型微型计算机系统》 *
程鼎刚等: "一种基于条件生成对抗网络的图像盲去模糊模型", 《计算机应用研究》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114119395A (zh) * 2021-11-15 2022-03-01 北京理工大学 失真检测与复原一体化的图像处理系统与方法
CN114119395B (zh) * 2021-11-15 2024-06-11 北京理工大学 失真检测与复原一体化的图像处理系统与方法

Also Published As

Publication number Publication date
CN112330572B (zh) 2023-01-06

Similar Documents

Publication Publication Date Title
CN111275637B (zh) 一种基于注意力模型的非均匀运动模糊图像自适应复原方法
CN111028177B (zh) 一种基于边缘的深度学习图像去运动模糊方法
CN109903228B (zh) 一种基于卷积神经网络的图像超分辨率重建方法
CN111861894B (zh) 基于生成式对抗网络的图像去运动模糊方法
CN111091503B (zh) 基于深度学习的图像去失焦模糊方法
CN111242846B (zh) 基于非局部增强网络的细粒度尺度图像超分辨率方法
Zhao et al. Invertible image decolorization
CN112164011B (zh) 基于自适应残差与递归交叉注意力的运动图像去模糊方法
CN111612711A (zh) 一种基于生成对抗网络改进的图片去模糊方法
CN110796622B (zh) 一种基于串联神经网络多层特征的图像比特增强方法
CN111932461A (zh) 一种基于卷积神经网络的自学习图像超分辨率重建方法及系统
CN110610467B (zh) 一种基于深度学习的多帧视频去压缩噪声方法
CN109949217B (zh) 基于残差学习和隐式运动补偿的视频超分辨率重建方法
Guan et al. Srdgan: learning the noise prior for super resolution with dual generative adversarial networks
CN112669214A (zh) 一种基于交替方向乘子算法的模糊图像超分辨率重建方法
CN110503608B (zh) 基于多视角的卷积神经网络的图像去噪方法
Chen et al. Image denoising via deep network based on edge enhancement
CN112509144A (zh) 人脸图像处理方法、装置、电子设备及存储介质
CN112330572B (zh) 一种基于密集型网络的生成式对抗神经网络及失真图像复原方法
CN116188265A (zh) 一种基于真实退化的空间可变核感知盲超分重建方法
CN112348745B (zh) 一种基于残差卷积网络的视频超分辨率重构方法
US20220398696A1 (en) Image processing method and device, and computer-readable storage medium
CN112907456B (zh) 基于全局平滑约束先验模型的深度神经网络图像去噪方法
CN113538505A (zh) 一种基于深度学习的单张图片的运动估计系统及方法
CN108665412B (zh) 一种利用自然图像先验知识进行多帧图像超分辨重建的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant