CN108765320B - 基于多级小波卷积神经网络的图像复原系统 - Google Patents
基于多级小波卷积神经网络的图像复原系统 Download PDFInfo
- Publication number
- CN108765320B CN108765320B CN201810467098.XA CN201810467098A CN108765320B CN 108765320 B CN108765320 B CN 108765320B CN 201810467098 A CN201810467098 A CN 201810467098A CN 108765320 B CN108765320 B CN 108765320B
- Authority
- CN
- China
- Prior art keywords
- layer
- deconvolution
- wavelet
- convolution
- output result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013528 artificial neural network Methods 0.000 title description 4
- 230000001537 neural effect Effects 0.000 claims abstract description 69
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 40
- 230000004913 activation Effects 0.000 claims description 72
- 238000010606 normalization Methods 0.000 claims description 69
- 230000009466 transformation Effects 0.000 claims description 44
- 238000012549 training Methods 0.000 claims description 15
- 238000005070 sampling Methods 0.000 claims description 11
- 230000008602 contraction Effects 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 9
- 230000003213 activating effect Effects 0.000 claims description 6
- 230000006835 compression Effects 0.000 claims description 6
- 238000007906 compression Methods 0.000 claims description 6
- 230000006870 function Effects 0.000 claims description 6
- 238000010586 diagram Methods 0.000 claims description 4
- 238000011084 recovery Methods 0.000 claims description 4
- 238000000034 method Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20064—Wavelet transform [DWT]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
基于多级小波卷积神经网络的图像复原系统，属于图像复原领域，解决了现有基于卷积神经网络的图像复原系统无法兼顾图像复原质量和图像复原速度的问题。所述系统：小波变换层和卷积神经子网络交替排列，前者输出端与后者输入端相连。反卷积神经子网络和小波逆变换层交替排列，前者输出端与后者输入端相连。第一反卷积神经子网络输入端与第M卷积神经子网络输出端相连。第一小波变换层输出端还与第M小波逆变换层输入端相连。第一卷积神经子网络输出端～第M‑1卷积神经子网络输出端分别与第M反卷积神经子网络输入端～第二卷积神经子网络输入端相连。第一小波变换层的输入对象为待复原图像，第M小波逆变换层的输出结果为复原图像。M≥2。
Description
技术领域
本发明涉及一种图像复原系统，属于图像复原领域。
背景技术
在现实生活中，由于成像系统硬件图像采集分辨率的限制、图像采集过程中相机的移动和光线环境的变化、存储空间和传输带宽的限制，使得图像往往需要经过下采样和有损压缩等操作，进而导致图像出现模糊、噪声干扰以及分辨率低等低质量情形。这类低质量图像不仅影响人们的视觉感官，而且无法适用于人脸识别和目标检测等要求输入图像高质量的人工智能应用。因此，将低质量图像复原为高质量图像显得尤为必要。
近年来，学者们尝试将卷积神经网络应用于图像复原领域，包括去模糊、去噪声和超分辨等。在采用卷积神经网络对低质量图像进行复原时，通常通过增加卷积神经网络层数或增大滤波器的方式来增大卷积神经网络的感受野，以提升卷积神经网络的图像复原质量。然而，这种提升卷积神经网络图像复原质量的方式使得卷积神经网络的计算复杂度急剧升高，进而导致卷积神经网络的图像复原速度大幅度降低。
发明内容
本发明为解决现有基于卷积神经网络的图像复原系统无法兼顾图像复原质量和图像复原速度的问题，提出了一种基于多级小波卷积神经网络的图像复原系统。
本发明所述的基于多级小波卷积神经网络的图像复原系统包括收缩子网络和扩展子网络；
收缩子网络包括输入编码器和小波变换器，输入编码器包括M个卷积神经子网络，小波变换器包括M个小波变换层，小波变换层和卷积神经子网络交替排列，前者的输出端与后者的输入端相连；
扩展子网络包括输出解码器和小波逆变换器，输出解码器包括M个反卷积神经子网络，小波逆变换器包括M个小波逆变换层，反卷积神经子网络和小波逆变换层交替排列，前者的输出端与后者的输入端相连，第一反卷积神经子网络的输入对象为第M卷积神经子网络的输出结果；
第一小波变换层的输出端还与第M小波逆变换层的输入端相连；
第一卷积神经子网络的输出端～第M-1卷积神经子网络的输出端分别与第M反卷积神经子网络的输入端～第二卷积神经子网络的输入端相连；
第一小波变换层的输入对象为待复原图像，第M小波逆变换层的输出结果为复原图像；
M≥2。
作为优选的是，第一小波变换层输出4个子带图。
作为优选的是，M＝3；
输入编码器包括第一卷积神经子网络～第三卷积神经子网络，三者分别包括卷积层C1～卷积层C4、卷积层C5～卷积层C8和卷积层C9～卷积层C12；
小波变换器包括小波变换层W1～小波变换层W3；
小波变换层W1用于对待复原图像进行第一小波变换；
卷积层C1用于对小波变换层W1的输出结果依次进行第一卷积操作和激活操作；
卷积层C2用于对卷积层C1的输出结果依次进行第二卷积操作、块归一化操作和激活操作；
卷积层C3用于对卷积层C2的输出结果依次进行第三卷积操作、块归一化操作和激活操作；
卷积层C4用于对卷积层C3的输出结果依次进行第四卷积操作、块归一化操作和激活操作；
小波变换层W2用于对卷积层C4的输出结果进行第二小波变换；
卷积层C5用于对小波变换层W2的输出结果依次进行第五卷积操作、块归一化操作和激活操作；
卷积层C6用于对卷积层C5的输出结果依次进行第六卷积操作、块归一化操作和激活操作；
卷积层C7用于对卷积层C6的输出结果依次进行第七卷积操作、块归一化操作和激活操作；
卷积层C8用于对卷积层C7的输出结果依次进行第八卷积操作、块归一化操作和激活操作；
小波变换层W3用于对卷积层C8的输出结果进行第三小波变换；
卷积层C9用于对小波变换层W3的输出结果依次进行第九卷积操作、块归一化操作和激活操作；
卷积层C10用于对卷积层C9的输出结果依次进行第十卷积操作、块归一化操作和激活操作；
卷积层C11用于对卷积层C10的输出结果依次进行第十一卷积操作、块归一化操作和激活操作；
卷积层C12用于对卷积层C11的输出结果依次进行第十二卷积操作、块归一化操作和激活操作；
第一卷积操作为160个3×3×4、步长为1的卷积操作；
第二卷积操作～第四卷积操作均为160个3×3×160、步长为1的卷积操作；
第五卷积操作为256个3×3×640、步长为1的卷积操作；
第六卷积操作～第八卷积操作均为256个3×3×256、步长为1的卷积操作；
第九卷积操作为256个3×3×1024、步长为1的卷积操作；
第十卷积操作～第十二卷积操作均为256个3×3×256、步长为1的卷积操作；
激活操作采用ReLU函数；
第一小波变换～第三小波变换均为离散小波变换。
作为优选的是，输出解码器包括第一反卷积神经子网络～第三反卷积神经子网络，三者分别包括反卷积层D1～反卷积层D4、反卷积层D5～反卷积层D8和反卷积层D9～反卷积层D12；
小波逆变换器包括小波逆变换层I1～小波逆变换层I3；
反卷积层D1用于对卷积层C12的输出结果依次进行第一次反卷积操作、块归一化操作和激活操作；
反卷积层D2用于对反卷积层D1的输出结果依次进行第二次反卷积操作、块归一化操作和激活操作；
反卷积层D3用于对反卷积层D2的输出结果依次进行第三次反卷积操作、块归一化操作和激活操作；
反卷积层D4用于对反卷积层D3的输出结果依次进行第四次反卷积操作、块归一化操作和激活操作；
小波逆变换层I1用于对反卷积层D4的输出结果进行第一小波逆变换；
反卷积层D5用于对小波逆变换层I1的输出结果与卷积层C8的输出结果的特征加和结果依次进行第五反卷积操作、块归一化操作和激活操作；
反卷积层D6用于对反卷积层D5的输出结果依次进行第六反卷积操作、块归一化操作和激活操作；
反卷积层D7用于对反卷积层D6的输出结果依次进行第七反卷积操作、块归一化操作和激活操作；
反卷积层D8用于对反卷积层D7的输出结果依次进行第八反卷积操作、块归一化操作和激活操作；
小波逆变换层I2用于对反卷积层D8的输出结果进行第二小波逆变换；
反卷积层D9用于对小波逆变换层I2的输出结果与卷积层C4的输出结果的特征加和结果依次第九反卷积操作、块归一化操作和激活操作；
反卷积层D10用于对反卷积层D9的输出结果依次进行第十反卷积操作、块归一化操作和激活操作；
反卷积层D11用于对反卷积层D10的输出结果依次进行第十一反卷积操作、块归一化操作和激活操作；
反卷积层D12用于对反卷积层D11的输出结果依次进行第十二反卷积操作、块归一化操作和激活操作；
小波逆变换层I3用于对反卷积层D12的输出结果与小波变换层W1的输出结果的特征加和结果进行第三小波逆变换；
第一反卷积操作～第三反卷积操作均为256个3×3×256、步长为1的反卷积操作；
第四反卷积操作为1024个3×3×256、步长为1的反卷积操作；
第五反卷积操作～第七反卷积操作均为256个3×3×256、步长为1的反卷积操作；
第八反卷积操作为640个3×3×256、步长为1的反卷积操作；
第九反卷积操作～第十一反卷积操作均为160个3×3×160、步长为1的反卷积操作；
第十二反卷积操作为4个3×3×160、步长为1的反卷积操作；
激活操作采用ReLU函数；
第一小波逆变换～第三小波逆变换均为离散小波逆变换。
作为优选的是，第一小波变换和第三小波逆变换分别为哈尔小波变换和哈尔小波逆变换，或者第一小波变换和第三小波逆变换分别为多贝西小波变换和多贝西小波逆变换；
第二小波变换和第二小波逆变换分别为哈尔小波变换和哈尔小波逆变换，或者第二小波变换和第二小波逆变换分别为多贝西小波变换和多贝西小波逆变换；
第三小波变换和第一小波逆变换分别为哈尔小波变换和哈尔小波逆变换，或者第三小波变换和第一小波逆变换分别为多贝西小波变换和多贝西小波逆变换。
作为优选的是，所述图像复原系统还包括训练网络；
训练网络包括退化图像生成操作，退化图像生成操作将高清图像作为其输入，输出用于训练收缩子网络和扩展子网络的退化图像；
训练网络还通过重建损失来约束收缩子网络和扩展子网络的学习。
作为优选的是，退化图像生成操作通过对输入的高清图像进行降采样处理、添加噪声处理或JPEG压缩处理，得到退化图像。
作为优选的是，降采样处理采用双三次降采样法，采样尺度s∈{1:0.1:P}；
添加噪声处理采用高斯白噪声，噪声水平n∈{1:0.1:N}；
JPEG压缩质量参数q∈{0,10:0.1:Q}。
作为优选的是，重建损失为重建复原图像与其对应的高清图像之间的欧氏距离损失；
将复原图像与其对应的高清图像的欧氏距离损失定义为：
式中，x为高清图像，
为复原图像。
作为优选的是，训练网络采用Adam优化算法对收缩子网络和扩展子网络进行端对端的训练。
本发明所述的基于多级小波卷积神经网络的图像复原系统，在现有基于卷积神经网络的图像复原系统的基础上，引入了小波变换。小波变换器的第一小波变换层～第M小波变换层分别将待复原图像、第一卷积神经子网络输出的特征图～第M-1卷积神经子网络输出的特征图作为其输入，并分别输出子带图集，即无损下采样特征。相应地，第一卷积神经子网络～第M卷积神经子网络分别将第一小波变换层输出的子带图集～第M小波变换层输出的子带图集作为其输入，并分别得到特征图。另一方面，第一反卷积神经子网络～第M反卷积神经子网络分别将第M卷积神经子网络输出的特征图、第M-1卷积神经子网络输出的特征图与第一小波逆变换层的输出的特征加和～第一卷积神经子网络输出的特征图与第M-1小波逆变换层的输出的特征加和作为其输入。相应地，第一小波逆变换层～第M-1小波逆变换层分别将第一反卷积神经子网络输出的特征图～第M-1反卷积神经子网络输出的特征图作为其输入，并分别得到上变换后的特征。第M小波逆变换层将第一小波变换层输出的子带图集和第M反卷积神经子网络输出的特征图的特征加和作为其输入，输出复原图像。
本发明所述的基于多级小波卷积神经网络的图像复原系统，将小波变换作为卷积神经网络的无损下变换，能够在增大卷积神经网络感受野的同时提升卷积神经网络的拟合能力。因此，与现有基于卷积神经网络的图像复原系统相比，本发明所述的基于多级小波卷积神经网络的图像复原系统能够兼顾图像复原质量和图像复原速度。
附图说明
在下文中将基于实施例并参考附图来对本发明所述的基于多级小波卷积神经网络的图像复原系统进行更详细的描述，其中：
图1为实施例所述的基于多级小波卷积神经网络的图像复原系统的结构框图；
图2为实施例提及的含有噪声的退化图像；
图3为实施例提及的含有噪声的退化图像对应的复原图像；
图4为实施例提及的低分辨率的退化图像；
图5为实施例提及的低分辨率的退化图像对应的复原图像；
图6为实施例提及的JPEG压缩的退化图像；
图7为实施例提及的JPEG压缩的退化图像对应的复原图像。
具体实施方式
下面将结合附图对本发明所述的基于多级小波卷积神经网络的图像复原系统作进一步说明。
实施例：下面结合图1至图7详细地说明本实施例。
参照图1，本实施例所述的基于多级小波卷积神经网络的图像复原系统包括收缩子网络和扩展子网络；
收缩子网络包括输入编码器和小波变换器，输入编码器包括M个卷积神经子网络，小波变换器包括M个小波变换层，小波变换层和卷积神经子网络交替排列，前者的输出端与后者的输入端相连；
扩展子网络包括输出解码器和小波逆变换器，输出解码器包括M个反卷积神经子网络，小波逆变换器包括M个小波逆变换层，反卷积神经子网络和小波逆变换层交替排列，前者的输出端与后者的输入端相连，第一反卷积神经子网络的输入对象为第M卷积神经子网络的输出结果；
第一小波变换层的输出端还与第M小波逆变换层的输入端相连；
第一卷积神经子网络的输出端～第M-1卷积神经子网络的输出端分别与第M反卷积神经子网络的输入端～第二卷积神经子网络的输入端相连；
第一小波变换层的输入对象为待复原图像，第M小波逆变换层的输出结果为复原图像；
M≥2。
本实施例的第一小波变换层输出4个子带图。
本实施例的输入编码器包括第一卷积神经子网络～第三卷积神经子网络，三者分别包括卷积层C1～卷积层C4、卷积层C5～卷积层C8和卷积层C9～卷积层C12；
本实施例的小波变换器包括小波变换层W1～小波变换层W3；
小波变换层W1用于对待复原图像进行第一小波变换；
卷积层C1用于对小波变换层W1的输出结果依次进行第一卷积操作和激活操作；
卷积层C2用于对卷积层C1的输出结果依次进行第二卷积操作、块归一化操作和激活操作；
卷积层C3用于对卷积层C2的输出结果依次进行第三卷积操作、块归一化操作和激活操作；
卷积层C4用于对卷积层C3的输出结果依次进行第四卷积操作、块归一化操作和激活操作；
小波变换层W2用于对卷积层C4的输出结果进行第二小波变换；
卷积层C5用于对小波变换层W2的输出结果依次进行第五卷积操作、块归一化操作和激活操作；
卷积层C6用于对卷积层C5的输出结果依次进行第六卷积操作、块归一化操作和激活操作；
卷积层C7用于对卷积层C6的输出结果依次进行第七卷积操作、块归一化操作和激活操作；
卷积层C8用于对卷积层C7的输出结果依次进行第八卷积操作、块归一化操作和激活操作；
小波变换层W3用于对卷积层C8的输出结果进行第三小波变换；
卷积层C9用于对小波变换层W3的输出结果依次进行第九卷积操作、块归一化操作和激活操作；
卷积层C10用于对卷积层C9的输出结果依次进行第十卷积操作、块归一化操作和激活操作；
卷积层C11用于对卷积层C10的输出结果依次进行第十一卷积操作、块归一化操作和激活操作；
卷积层C12用于对卷积层C11的输出结果依次进行第十二卷积操作、块归一化操作和激活操作；
第一卷积操作为160个3×3×4、步长为1的卷积操作；
第二卷积操作～第四卷积操作均为160个3×3×160、步长为1的卷积操作；
第五卷积操作为256个3×3×640、步长为1的卷积操作；
第六卷积操作～第八卷积操作均为256个3×3×256、步长为1的卷积操作；
第九卷积操作为256个3×3×1024、步长为1的卷积操作；
第十卷积操作～第十二卷积操作均为256个3×3×256、步长为1的卷积操作；
激活操作采用ReLU函数；
第一小波变换～第三小波变换均为离散小波变换。
本实施例的输出解码器包括第一反卷积神经子网络～第三反卷积神经子网络，三者分别包括反卷积层D1～反卷积层D4、反卷积层D5～反卷积层D8和反卷积层D9～反卷积层D12；
本实施例的小波逆变换器包括小波逆变换层I1～小波逆变换层I3；
反卷积层D1用于对卷积层C12的输出结果依次进行第一次反卷积操作、块归一化操作和激活操作；
反卷积层D2用于对反卷积层D1的输出结果依次进行第二次反卷积操作、块归一化操作和激活操作；
反卷积层D3用于对反卷积层D2的输出结果依次进行第三次反卷积操作、块归一化操作和激活操作；
反卷积层D4用于对反卷积层D3的输出结果依次进行第四次反卷积操作、块归一化操作和激活操作；
小波逆变换层I1用于对反卷积层D4的输出结果进行第一小波逆变换；
反卷积层D5用于对小波逆变换层I1的输出结果与卷积层C8的输出结果的特征加和结果依次进行第五反卷积操作、块归一化操作和激活操作；
反卷积层D6用于对反卷积层D5的输出结果依次进行第六反卷积操作、块归一化操作和激活操作；
反卷积层D7用于对反卷积层D6的输出结果依次进行第七反卷积操作、块归一化操作和激活操作；
反卷积层D8用于对反卷积层D7的输出结果依次进行第八反卷积操作、块归一化操作和激活操作；
小波逆变换层I2用于对反卷积层D8的输出结果进行第二小波逆变换；
反卷积层D9用于对小波逆变换层I2的输出结果与卷积层C4的输出结果的特征加和结果依次第九反卷积操作、块归一化操作和激活操作；
反卷积层D10用于对反卷积层D9的输出结果依次进行第十反卷积操作、块归一化操作和激活操作；
反卷积层D11用于对反卷积层D10的输出结果依次进行第十一反卷积操作、块归一化操作和激活操作；
反卷积层D12用于对反卷积层D11的输出结果依次进行第十二反卷积操作、块归一化操作和激活操作；
小波逆变换层I3用于对反卷积层D12的输出结果与小波变换层W1的输出结果的特征加和结果进行第三小波逆变换；
第一反卷积操作～第三反卷积操作均为256个3×3×256、步长为1的反卷积操作；
第四反卷积操作为1024个3×3×256、步长为1的反卷积操作；
第五反卷积操作～第七反卷积操作均为256个3×3×256、步长为1的反卷积操作；
第八反卷积操作为640个3×3×256、步长为1的反卷积操作；
第九反卷积操作～第十一反卷积操作均为160个3×3×160、步长为1的反卷积操作；
第十二反卷积操作为4个3×3×160、步长为1的反卷积操作；
激活操作采用ReLU函数；
第一小波逆变换～第三小波逆变换均为离散小波逆变换。
本实施例的待复原图像的尺寸为m×n：
第一卷积操作～第四卷积操作的操作对象的分辨率为m/2×n/2；
第五卷积操作～第八卷积操作的操作对象的分辨率为m/4×n/4；
第九卷积操作～第十二卷积操作的操作对象的分辨率为m/8×n/8；
第一反卷积操作～第四反卷积操作的操作对象的分辨率为m/8×n/8；
第五反卷积操作～第八反卷积操作的操作对象的分辨率为m/4×n/4；
第九反卷积操作～第十二反卷积操作的操作对象的分辨率为m/2×n/2。
在本实施例中，第一小波变换和第三小波逆变换分别为哈尔小波变换和哈尔小波逆变换，或者第一小波变换和第三小波逆变换分别为多贝西小波变换和多贝西小波逆变换；
第二小波变换和第二小波逆变换分别为哈尔小波变换和哈尔小波逆变换，或者第二小波变换和第二小波逆变换分别为多贝西小波变换和多贝西小波逆变换；
第三小波变换和第一小波逆变换分别为哈尔小波变换和哈尔小波逆变换，或者第三小波变换和第一小波逆变换分别为多贝西小波变换和多贝西小波逆变换。
本实施例所述的基于多级小波卷积神经网络的图像复原系统还包括训练网络；
训练网络包括退化图像生成操作，退化图像生成操作将高清图像作为其输入，输出用于训练收缩子网络和扩展子网络的退化图像；
训练网络还通过重建损失来约束收缩子网络和扩展子网络的学习。
本实施例的退化图像生成操作通过对输入的高清图像进行降采样处理、添加噪声处理或JPEG压缩处理，得到退化图像。
降采样处理采用双三次降采样法，采样尺度s∈{1:0.1:8}；
添加噪声处理采用高斯白噪声，噪声水平n∈{1:0.1:N}；
JPEG压缩质量参数q∈{0,10:0.1:40}。
重建损失为重建复原图像与其对应的高清图像之间的欧氏距离损失；
将复原图像与其对应的高清图像的欧氏距离损失定义为：
式中，x为高清图像，
为复原图像。
本实施例的训练网络采用Adam优化算法对收缩子网络和扩展子网络进行端对端的训练。
下面参照图2～图7说明本实施例所述的基于多级小波卷积神经网络的图像复原系统能够对低质量图像进行高质量的复原：
图2为含有噪声的退化图像，图3为将图2输入所述基于多级小波卷积神经网络的图像复原系统得到的复原图像。对比图2和图3可知：本实施例所述的基于多级小波卷积神经网络的图像复原系统不仅适用于对噪声图像进行去噪，而且能够恢复出较好的纹理细节，并提升视觉效果。
图4为低分辨率的退化图像，图5为将双立方差值后的图4输入所述基于多级小波卷积神经网络的图像复原系统得到的复原图像。对比图4和图5可知：本实施例所述的基于多级小波卷积神经网络的图像复原系统不仅适用于对低分辨率图像进行超分辨，而且能够产生较好纹理细节，并提升视觉效果。
图6为JPEG压缩的退化图像，图7为将图6输入所述基于多级小波卷积神经网络的图像复原系统得到的复原图像。对比图6和图7可知：本实施例所述的基于多级小波卷积神经网络的图像复原系统不仅适用于对JPEG压缩图像进行去伪影，而且能够恢复出较好的纹理细节，并提升视觉效果。
经仿真实验，本实施例所述的基于多级小波卷积神经网络的图像复原系统对一张512*512的RGB图像进行复原，耗时80ms左右。这说明本实施例所述的基于多级小波卷积神经网络的图像复原系统具有较高的图像复原速度。
虽然在本文中参照了特定的实施方法来描述本发明，但是应该理解的是，这些实施例仅是本发明的原理和应用的示例。因此应该理解的是，可以对示例性的实施例进行许多修改，并且可以设计出其他的布置，只要不偏离所附权利要求所限定的本发明的精神和范围。应该理解的是，可以通过不同于原始权利要求所描述的方法来结合不同的从属权利要求和本文中所述的特征。还可以理解的是，结合单独实施例所描述的特征可以使用在其他所述实施例中。
Claims (7)
1.基于多级小波卷积神经网络的图像复原系统，其特征在于，所述图像复原系统包括收缩子网络和扩展子网络；
收缩子网络包括输入编码器和小波变换器，输入编码器包括M个卷积神经子网络，小波变换器包括M个小波变换层，小波变换层和卷积神经子网络交替排列，前者的输出端与后者的输入端相连；
扩展子网络包括输出解码器和小波逆变换器，输出解码器包括M个反卷积神经子网络，小波逆变换器包括M个小波逆变换层，反卷积神经子网络和小波逆变换层交替排列，前者的输出端与后者的输入端相连，第一反卷积神经子网络的输入对象为第M卷积神经子网络的输出结果；
第一小波变换层的输出端还与第M小波逆变换层的输入端相连；
第一卷积神经子网络的输出端～第M-1卷积神经子网络的输出端分别与第M反卷积神经子网络的输入端～第二反卷积神经子网络的输入端相连；
第一小波变换层的输入对象为待复原图像，第M小波逆变换层的输出结果为复原图像；
M≥2。
2.如权利要求1所述的基于多级小波卷积神经网络的图像复原系统，其特征在于，第一小波变换层输出4个子带图。
3.如权利要求2所述的基于多级小波卷积神经网络的图像复原系统，其特征在于，M＝3；
输入编码器包括第一卷积神经子网络～第三卷积神经子网络，三者分别包括卷积层C1～卷积层C4、卷积层C5～卷积层C8和卷积层C9～卷积层C12；
小波变换器包括小波变换层W1～小波变换层W3；
小波变换层W1用于对待复原图像进行第一小波变换；
卷积层C1用于对小波变换层W1的输出结果依次进行第一卷积操作和激活操作；
卷积层C2用于对卷积层C1的输出结果依次进行第二卷积操作、块归一化操作和激活操作；
卷积层C3用于对卷积层C2的输出结果依次进行第三卷积操作、块归一化操作和激活操作；
卷积层C4用于对卷积层C3的输出结果依次进行第四卷积操作、块归一化操作和激活操作；
小波变换层W2用于对卷积层C4的输出结果进行第二小波变换；
卷积层C5用于对小波变换层W2的输出结果依次进行第五卷积操作、块归一化操作和激活操作；
卷积层C6用于对卷积层C5的输出结果依次进行第六卷积操作、块归一化操作和激活操作；
卷积层C7用于对卷积层C6的输出结果依次进行第七卷积操作、块归一化操作和激活操作；
卷积层C8用于对卷积层C7的输出结果依次进行第八卷积操作、块归一化操作和激活操作；
小波变换层W3用于对卷积层C8的输出结果进行第三小波变换；
卷积层C9用于对小波变换层W3的输出结果依次进行第九卷积操作、块归一化操作和激活操作；
卷积层C10用于对卷积层C9的输出结果依次进行第十卷积操作、块归一化操作和激活操作；
卷积层C11用于对卷积层C10的输出结果依次进行第十一卷积操作、块归一化操作和激活操作；
卷积层C12用于对卷积层C11的输出结果依次进行第十二卷积操作、块归一化操作和激活操作；
第一卷积操作为160个3×3×4、步长为1的卷积操作；
第二卷积操作～第四卷积操作均为160个3×3×160、步长为1的卷积操作；
第五卷积操作为256个3×3×640、步长为1的卷积操作；
第六卷积操作～第八卷积操作均为256个3×3×256、步长为1的卷积操作；
第九卷积操作为256个3×3×1024、步长为1的卷积操作；
第十卷积操作～第十二卷积操作均为256个3×3×256、步长为1的卷积操作；
激活操作采用ReLU函数；
第一小波变换～第三小波变换均为离散小波变换。
4.如权利要求3所述的基于多级小波卷积神经网络的图像复原系统，其特征在于，输出解码器包括第一反卷积神经子网络～第三反卷积神经子网络，三者分别包括反卷积层D1～反卷积层D4、反卷积层D5～反卷积层D8和反卷积层D9～反卷积层D12；
小波逆变换器包括小波逆变换层I1～小波逆变换层I3；
反卷积层D1用于对卷积层C12的输出结果依次进行第一反卷积操作、块归一化操作和激活操作；
反卷积层D2用于对反卷积层D1的输出结果依次进行第二反卷积操作、块归一化操作和激活操作；
反卷积层D3用于对反卷积层D2的输出结果依次进行第三反卷积操作、块归一化操作和激活操作；
反卷积层D4用于对反卷积层D3的输出结果依次进行第四反卷积操作、块归一化操作和激活操作；
小波逆变换层I1用于对反卷积层D4的输出结果进行第一小波逆变换；
反卷积层D5用于对小波逆变换层I1的输出结果与卷积层C8的输出结果的特征加和结果依次进行第五反卷积操作、块归一化操作和激活操作；
反卷积层D6用于对反卷积层D5的输出结果依次进行第六反卷积操作、块归一化操作和激活操作；
反卷积层D7用于对反卷积层D6的输出结果依次进行第七反卷积操作、块归一化操作和激活操作；
反卷积层D8用于对反卷积层D7的输出结果依次进行第八反卷积操作、块归一化操作和激活操作；
小波逆变换层I2用于对反卷积层D8的输出结果进行第二小波逆变换；
反卷积层D9用于对小波逆变换层I2的输出结果与卷积层C4的输出结果的特征加和结果依次第九反卷积操作、块归一化操作和激活操作；
反卷积层D10用于对反卷积层D9的输出结果依次进行第十反卷积操作、块归一化操作和激活操作；
反卷积层D11用于对反卷积层D10的输出结果依次进行第十一反卷积操作、块归一化操作和激活操作；
反卷积层D12用于对反卷积层D11的输出结果依次进行第十二反卷积操作、块归一化操作和激活操作；
小波逆变换层I3用于对反卷积层D12的输出结果与小波变换层W1的输出结果的特征加和结果进行第三小波逆变换；
第一反卷积操作～第三反卷积操作均为256个3×3×256、步长为1的反卷积操作；
第四反卷积操作为1024个3×3×256、步长为1的反卷积操作；
第五反卷积操作～第七反卷积操作均为256个3×3×256、步长为1的反卷积操作；
第八反卷积操作为640个3×3×256、步长为1的反卷积操作；
第九反卷积操作～第十一反卷积操作均为160个3×3×160、步长为1的反卷积操作；
第十二反卷积操作为4个3×3×160、步长为1的反卷积操作；
激活操作采用ReLU函数；
第一小波逆变换～第三小波逆变换均为离散小波逆变换。
5.如权利要求4所述的基于多级小波卷积神经网络的图像复原系统，其特征在于，第一小波变换和第三小波逆变换分别为哈尔小波变换和哈尔小波逆变换，或者第一小波变换和第三小波逆变换分别为多贝西小波变换和多贝西小波逆变换；
第二小波变换和第二小波逆变换分别为哈尔小波变换和哈尔小波逆变换，或者第二小波变换和第二小波逆变换分别为多贝西小波变换和多贝西小波逆变换；
第三小波变换和第一小波逆变换分别为哈尔小波变换和哈尔小波逆变换，或者第三小波变换和第一小波逆变换分别为多贝西小波变换和多贝西小波逆变换。
6.如权利要求5所述的基于多级小波卷积神经网络的图像复原系统，其特征在于，所述图像复原系统还包括训练网络；
训练网络包括退化图像生成操作，退化图像生成操作将高清图像作为其输入，输出用于训练收缩子网络和扩展子网络的退化图像；
训练网络还通过重建损失来约束收缩子网络和扩展子网络的学习。
7.如权利要求6所述的基于多级小波卷积神经网络的图像复原系统，其特征在于，
退化图像生成操作通过对输入的高清图像进行降采样处理、添加噪声处理或JPEG压缩处理，得到退化图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810467098.XA CN108765320B (zh) | 2018-05-16 | 2018-05-16 | 基于多级小波卷积神经网络的图像复原系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810467098.XA CN108765320B (zh) | 2018-05-16 | 2018-05-16 | 基于多级小波卷积神经网络的图像复原系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108765320A CN108765320A (zh) | 2018-11-06 |
| CN108765320B true CN108765320B (zh) | 2021-06-22 |
Family
ID=64008114
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810467098.XA Active CN108765320B (zh) | 2018-05-16 | 2018-05-16 | 基于多级小波卷积神经网络的图像复原系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108765320B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109872288B (zh) * | 2019-01-31 | 2023-05-23 | 深圳大学 | 用于图像去噪的网络训练方法、装置、终端及存储介质 |
| CN110349088A (zh) * | 2019-07-15 | 2019-10-18 | 上海点积实业有限公司 | 一种图像处理方法和系统 |
| CN114390296A (zh) * | 2019-07-15 | 2022-04-22 | 华为技术有限公司 | 基于小波变换的图像编解码方法及装置 |
| CN110519595A (zh) * | 2019-08-08 | 2019-11-29 | 浙江大学 | 一种基于频域量化损失估计的jpeg压缩图像复原方法 |
| CN111640073B (zh) * | 2020-05-15 | 2021-06-01 | 哈尔滨工业大学 | 图像盲去噪系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1980956A1 (en) * | 2007-04-12 | 2008-10-15 | Deutsche Thomson OHG | Method and apparatus for selectively reducing noise in a digital signal |
| CN106600564A (zh) * | 2016-12-23 | 2017-04-26 | 潘敏 | 一种新型图像增强方法 |
| CN107038692A (zh) * | 2017-04-16 | 2017-08-11 | 南方医科大学 | 基于小波分解和卷积神经网络的x线胸片骨抑制处理方法 |
| CN107492070A (zh) * | 2017-07-10 | 2017-12-19 | 华北电力大学 | 一种双通道卷积神经网络的单图像超分辨率计算方法 |
-
2018
- 2018-05-16 CN CN201810467098.XA patent/CN108765320B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1980956A1 (en) * | 2007-04-12 | 2008-10-15 | Deutsche Thomson OHG | Method and apparatus for selectively reducing noise in a digital signal |
| CN106600564A (zh) * | 2016-12-23 | 2017-04-26 | 潘敏 | 一种新型图像增强方法 |
| CN107038692A (zh) * | 2017-04-16 | 2017-08-11 | 南方医科大学 | 基于小波分解和卷积神经网络的x线胸片骨抑制处理方法 |
| CN107492070A (zh) * | 2017-07-10 | 2017-12-19 | 华北电力大学 | 一种双通道卷积神经网络的单图像超分辨率计算方法 |
Non-Patent Citations (1)
| Title |
|---|
| Deep BCD-Net Using Identical Encoding-Decoding CNN Structures for Iterative Image Recovery;Il Yong Chun等;《arXiv》;20180220;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108765320A (zh) | 2018-11-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108765320B (zh) | 基于多级小波卷积神经网络的图像复原系统 | |
| Zhang et al. | One-two-one networks for compression artifacts reduction in remote sensing | |
| CN110322404B (zh) | 一种图像增强方法及系统 | |
| Sharma et al. | From pyramids to state‐of‐the‐art: a study and comprehensive comparison of visible–infrared image fusion techniques | |
| KR20210018668A (ko) | 딥러닝 신경 네트워크를 사용하여 다운샘플링을 수행하는 이미지 처리 시스템 및 방법, 영상 스트리밍 서버 시스템 | |
| CN112669214B (zh) | 一种基于交替方向乘子算法的模糊图像超分辨率重建方法 | |
| Perumal et al. | A hybrid discrete wavelet transform with neural network back propagation approach for efficient medical image compression | |
| CN110211084A (zh) | 一种基于权重小波变换的图像多分辨率重建方法 | |
| Canh et al. | Multi-scale deep compressive imaging | |
| CN110503608B (zh) | 基于多视角的卷积神经网络的图像去噪方法 | |
| CN112150356A (zh) | 基于级联框架的单幅压缩图像超分辨率重建方法 | |
| CN113962882A (zh) | 一种基于可控金字塔小波网络的jpeg图像压缩伪影消除方法 | |
| Amaranageswarao et al. | Residual learning based densely connected deep dilated network for joint deblocking and super resolution | |
| Dogiwal et al. | Super resolution image reconstruction using wavelet lifting schemes and gabor filters | |
| Daithankar et al. | Analysis of the wavelet domain filtering approach for video super-resolution | |
| Noor et al. | Multi-frame super resolution with deep residual learning on flow registered non-integer pixel images | |
| Zhang et al. | Dual-layer image compression via adaptive downsampling and spatially varying upconversion | |
| CN113658282A (zh) | 一种图像压缩解压缩方法及其装置 | |
| Jia et al. | Deep convolutional network based image quality enhancement for low bit rate image compression | |
| CN113837935A (zh) | 基于增强注意力网络的压缩图像超分辨率重建方法 | |
| CN111246205B (zh) | 基于方向双四元数滤波器组的图像压缩方法 | |
| Jeevan et al. | An algorithm for wavelet thresholding based image denoising by representing images in hexagonal lattice | |
| Dumitrescu et al. | Image compression and noise reduction through algorithms in wavelet domain | |
| Bera et al. | A lightweight convolutional neural network for image denoising with fine details preservation capability | |
| Anbarjafari et al. | Resolutıon enhancement based image compression technique using singular value decomposition and wavelet transforms |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240110 Address after: Room A207, Building 2, Innovation and Entrepreneurship Square, Science and Technology 1st Street, Harbin High tech Zone, Harbin City, Heilongjiang Province, 150028 Patentee after: HARBIN SUPER-RESOLUTION FX TECHNOLOGY Co.,Ltd. Address before: 150001 No. 92 West straight street, Nangang District, Heilongjiang, Harbin Patentee before: HARBIN INSTITUTE OF TECHNOLOGY |
|
| TR01 | Transfer of patent right |