CN117333359A - 基于可分离卷积网络的山水画图像超分辨率重建方法 - Google Patents
基于可分离卷积网络的山水画图像超分辨率重建方法 Download PDFInfo
- Publication number
- CN117333359A CN117333359A CN202311156435.0A CN202311156435A CN117333359A CN 117333359 A CN117333359 A CN 117333359A CN 202311156435 A CN202311156435 A CN 202311156435A CN 117333359 A CN117333359 A CN 117333359A
- Authority
- CN
- China
- Prior art keywords
- image
- convolution
- module
- resolution
- super
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000010422 painting Methods 0.000 title claims abstract description 86
- 238000000034 method Methods 0.000 title claims abstract description 59
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 title claims abstract description 19
- 238000012545 processing Methods 0.000 claims abstract description 91
- 238000012549 training Methods 0.000 claims abstract description 69
- 238000006731 degradation reaction Methods 0.000 claims abstract description 44
- 230000015556 catabolic process Effects 0.000 claims abstract description 23
- 238000012360 testing method Methods 0.000 claims abstract description 14
- 230000006870 function Effects 0.000 claims description 53
- 238000010586 diagram Methods 0.000 claims description 49
- 230000003044 adaptive effect Effects 0.000 claims description 27
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 25
- 230000004913 activation Effects 0.000 claims description 22
- 230000008569 process Effects 0.000 claims description 18
- 230000014759 maintenance of location Effects 0.000 claims description 16
- 238000010606 normalization Methods 0.000 claims description 16
- 238000000605 extraction Methods 0.000 claims description 12
- 238000005070 sampling Methods 0.000 claims description 12
- 230000008447 perception Effects 0.000 claims description 11
- 238000007906 compression Methods 0.000 claims description 8
- 238000001914 filtration Methods 0.000 claims description 7
- 230000008485 antagonism Effects 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 15
- 230000000007 visual effect Effects 0.000 abstract description 8
- 238000002679 ablation Methods 0.000 description 10
- 238000011156 evaluation Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 5
- 230000006835 compression Effects 0.000 description 5
- 241000196324 Embryophyta Species 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 235000017166 Bambusa arundinacea Nutrition 0.000 description 2
- 235000017491 Bambusa tulda Nutrition 0.000 description 2
- 241001330002 Bambuseae Species 0.000 description 2
- 235000015334 Phyllostachys viridis Nutrition 0.000 description 2
- 239000011425 bamboo Substances 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 230000001105 regulatory effect Effects 0.000 description 2
- 230000008439 repair process Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 241000209504 Poaceae Species 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000012854 evaluation process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000265 homogenisation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000012535 impurity Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000004575 stone Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Processing (AREA)
Abstract
本申请公开了一种基于可分离卷积网络的山水画图像超分辨率重建方法，包括建立山水画的原始图像数据集，并对其进行预选处理，得到预训练图像数据集和测试图像数据集；对预训练图像数据集进行一阶退化处理和二阶退化处理，得到待重建图像数据集；将待重建图像数据集在超分辨率山水画图像模型重建器内进行卷积、超分重建山水画的预训练，得到预训练参数，通过该参数对超分辨率山水画图像模型进行调整，所述预训练中采用对抗损失函数配合训练；将测试图像数据集中输入经过调整后的超分辨率山水画图像模型上进行重建，得到超分辨率山水画图像。本方法重建后的山水画中人物、植物以及建筑物等细节复原的效果更好、真实感更高、视觉体验更加自然。
Description
技术领域
本申请涉及一种基于可分离卷积网络的山水画图像超分辨率重建方法，属于计算机图像处理技术领域。
背景技术
中国传统绘画是中华文化中至关重要的一部分，不仅具有重要的艺术、历史和文化价值，而且也代表了深厚的传统和独特的艺术形式。中国传统山水画作为中国传统绘画的一个分支，是中国独特的非物质文化遗产。对其进行保护和修复工作不仅有助于保护艺术文化成就，还能促进文化多样性避免文化同质化和丧失独特的艺术形式。当代艺术家可以获得学习和借鉴的资源，激发他们的创作灵感和创新能力。同时，中国传统壁画早在石器时代就出现了，作为人类历史上最早的绘画形式之一，拥有悠久的历史，其修复和保护工作也为研究者提供深入了解和探索中国传统文化和艺术的机会，这有助于推动历史研究的发展，为更好地理解和欣赏这些珍贵的艺术作品提供了有力的支持。
在文化遗产修复和保护工作中，对于受损或残缺的山水画作品，图像超分辨率修复算法通过增加像素数量和准确度，恢复失真的颜色和元素特征，使作品更符合原作的风格和艺术特点。这不仅让观众更好地欣赏画作的细节和质感，也使得修复后的作品能更好地传递原作的艺术表现和技巧。
中国传统山水画色彩注重“淡墨轻彩”，通过对画作中元素的色彩、光影变化以来刻画自然环境的形态特点来表达情感特征。而使用单一损失函数指导模型训练难以捕捉到山水画中丰富的纹理细节，重建效果拟合人眼感觉舒适的图像分布。计算欧氏距离容易出现对图像低频信息(图像色彩、明暗以及饱和度)鲁棒性低且对杂质的高敏感性的问题，而感知损失关注全局特征无法量化细节差异，导致重建时高频信息、重建图像真实感低。
中国传统山水画拥有独特的技法和布局特点，景物有立体感和深度感，同时画面中的自然景物如山、树、花、草等又具有细腻的线条和丰富的纹理细节，现有的深度学习模型将卷积神经网络(Convolutional Neural Network，简称：CNN)融入重建模型(有称：SR模型)中得到了重建效果的提升。但现有方法大多仅通过加深网络层数、加大模型体量来捕获图像单一尺度信息，不但无法适应图像多尺度变化也会导致图像高频信息的丢失，尽管提升了模型重建真实世界图像的能力，但迁移到纹理细节丰富、布局特征复杂的中国传统山水画时并不适用，模型复杂性增加也消耗了大量的图形内存和计算复杂度。同时，很难在保证提取图像浅层特征的同时，理解深层语义信息和高频信息，还原出纹理细节丰富、视觉感自然的山水画图像。
因此，现有技术需要一种能够针对中国传统绘画的超分辨率修复方法，来重建出结构完整、纹理细节丰富的中国传统绘画。
发明内容
本申请提供了一种基于可分离卷积网络的山水画图像超分辨率重建方法，解决了现有的超分辨率模型迁移到特征复杂的中国山水画中，出现的纹理细节模糊以及全局信息丢失的问题。
针对上述问题，本申请提出的具体方案如下：
本发明公开了一种基于可分离卷积网络的山水画图像超分辨率重建方法，包括：
步骤1，建立山水画的原始图像数据集，对原始图像数据集进行预选处理，得到预训练图像数据集和测试图像数据集；
步骤2，对预训练图像数据集进行退化处理，得到待重建图像数据集；
步骤3，将待重建图像数据集在超分辨率山水画图像模型重建器上进行预训练，得到预训练参数，通过预训练参数对超分辨率山水画图像模型进行调整，所述预训练中采用对抗损失函数配合训练；
步骤4，将测试图像数据集中输入经过步骤3调整后的超分辨率山水画图像模型上进行重建，得到超分辨率山水画图像。
优选地，所述步骤1中的预选处理，至少包括筛选、旋转和裁切。
优选地，所述步骤2中的退化处理，至少包括一阶退化处理和二阶退化处理，所述二阶退化处理是基于一阶退化处理基础上对预训练图像数据集进行处理。
优选地，所述一阶退化处理和所述二阶退化处理均包括模糊处理、下采样处理、噪声处理和压缩处理，使预训练图像数据集的山水画图像模糊化成所述待重建图像数据集。
优选地，所述超分辨率山水画图像模型重建器包括生成器和判别器；
所述生成器由增强自适应残差块EARM、上采样模块以及第一卷积模块组成；
所述增强自适应残差块EARM由增强高频保留模块EHRM以及第二卷积模块组成；
所述增强高频保留模块EHRM由自适应深度卷积模块ADCB、高频滤波模块、处理通道模块、第三卷积模块组成；
其中，处理通道模块包括第一处理通道和第一处理通道残差连接的第二处理通道；
所述自适应深度卷积块ADCB由DRB模块、第二通道注意力层模块、第二GELU激活层模块和第四卷积模块组成；
所述DRB单元由深度可分离卷积块、归一化模块、逐点卷积模块与第三GELU激活层模块组成。
优选地，所述步骤4对待重建图像数据集在超分辨率山水画图像模型上进行预训练至少包括：
S301，向超分辨率山水画图像模型中输入待重建图像数据集中的待重建图像Q1，使用生成器对待重建图像Q1迭代卷积形成超分重建图像W1，保存生成器中迭代卷积形成的超分重建图像W1的参数数据；
S302，将超分重建图像W1与预训练图像数据集中对应的训练图像X输入判别器中进行比对；
若所述超分重建图像W1与训练图像X相似度不低于93％时，保留处理该生成器中迭代卷积参数，基于该迭代卷积参数对生成器进行重新加载；若否则重复S301；
S303，重复S301～S302，对所述待重建图像数据集中所有待重建图像进行处理，使得超分辨率山水画图像模型的迭代卷积参数收敛固定，得到超分辨率山水画图像模型。
优选地，所述生成器对待重建图像Q1迭代卷积形成超分重建图W至少包括：
a，将待重建图像Q1输入第一卷积模块迭代卷积形成初级特征图q1，所述生成器保存初级特征图q1以及迭代卷积形成初级特征图q1的参数数据V1；
b，将初级特征图q1输入增强自适应残差块EARM中，经过增强自适应残差块EARM深层提取的得到深层特征图F1，深层特征图F1输入第一卷积模块迭代卷积形成初级深层特征图F2以及迭代卷积形成初级深层特征图F2的参数数据V2；
c，将初级特征图q1与初级卷积深层特征图F2分别输入上采样模块进行采样后再次输入第一卷积模块，所述初级特征图q1迭代卷积形成次初级特征图q2，所述初级卷积深层特征图F2迭代卷积形成次初级深层特征图F3；
d，将次初级特征图q2与次初级深层特征图F2融合得到超分重建图像W1；整合a中的参数数据V1和b中的参数数据V2，得到超分重建图像W1的参数数据。
优选地，所述步骤b中经过增强自适应残差块EARM深层提取的得到深层特征图F1包括：初级特征图q1经过若干个增强高频保留模块EHRM高频保留得到高频保留特征图G1，高频保留特征图G1通过第二卷积模块卷积得到深层特征图F1。
其中，所述增强高频保留模块EHRM高频保留得到高频保留特征图G1包括：
初级特征图q1先经过一个自适应深度卷积模块ADCB深度卷积得到深度卷积特征图H1，对深度卷积特征图H1使用高频滤波模块提取深度卷积特征图H1中的高频信息得到高频深层特征图H′1，将高频深层特征图H′1输入处理通道模块进行深层卷积形成高频深度特征图H2，高频深度特征图H2经过第三卷积模块处理后得到再经过一个自适应深度卷积模块ADCB深度卷积得到高频保留特征图G1。
优选地，所述自适应深度卷积模块ADCB进行深度卷积，至少包括：
将初级特征图q1输入DRB模块提取特征得到深度可分离特征图S，深度可分离特征图S使用归一化模块进行稳定收敛得到稳定的深度可分离特征图S1，稳定的深度可分离特征图S1经过逐点卷积模块与第三GELU激活层模块处理得到深度卷积特征图H1；
高频深层特征图H′1输入DRB模块提取特征得到深度可分离特征图S2，深度可分离特征图S2使用归一化模块进行稳定收敛得到稳定的深度可分离特征图S′2，稳定的深度可分离特征图S′2经过逐点卷积模块与第三GELU激活层模块处理得到高频深度特征图H2；
经过第三卷积模块处理后的高频深度特征图H2输入DRB模块提取特征得到深度可分离特征图S3，深度可分离特征图S3使用归一化模块进行稳定收敛得到稳定的深度可分离特征图S′3，稳定的深度可分离特征图S′3经过逐点卷积模块与第三GELU激活层模块处理得到高频保留特征图G1。
优选地，所述步骤4中所述预训练中采用对抗损失函数配合训练包括：采用L1损失函数、感知损失函数和多尺度结构相似性损失函数组成形成优化损失函数，具体公式如下：
LG＝Lpercep+αLGAN+βL1+σLmsssim (1)
其中，Lpercep表示感知损失，L1表示损失函数，β，σ是平衡不同损失项的系数，Lms-ssim表示多尺度结构相似性损失函数，LGAN表示对抗损失。
其中，感知损失的Lpercep表达式为：
Lpercep＝Lvgg+10-3LGAN (2)
感知损失函数中LGAN表达式为：
其中，表示判别器，G(ILR)表示重建后的图像，ILR表示低分辨率图像，N表示训练集数量。
vgg网络的损失表达式为：
其中，Wi表示第i张图像的宽，Hi表示第i张图像的高，Lvgg表示vgg网络损失，ILR表示低分辨图像，G（ILR）表示重建后的图像，μi(·)表示vgg网络中第i层的特征提取操作。
损失函数L1的表达式为：
L1＝||G(ILR)-IHR||1 (5)
其中，G(ILR)表示重建图像数据，IHR表示真实图像，1表示范数距离，ILR表示低分辨图像。
多尺度结构相似性损失函数Lms-ssim的表达式为：
其中，M表示不同尺度，μp表示重建图像均值，μg表示目标图像均值，σp表示重建图像的标准差，σg表示目标图像的标准差，σpg表示重建图像和目标图像间的协方差，βm,γm表示两相间的相对重要性，c1,c2为常数项。
本申请能产生的有益效果包括：
本发明通过采用生成器和判别器构建的超分辨率山水画图像模型对处理得到的预训练图像数据集中的山水画图像进行迭代卷积提取浅层特征和深层特征，然后将浅层特征和深层特征进行融合的超分标率图像，重复多次，得到优化该超分辨率山水画图像模型的最优参数，通过该最优参数调整超分辨率山水画图像模型，进而通过调整后的超分辨率山水画图像模型重建出超分辨率山水画图像，该方法重建后的山水画中人物、植物以及建筑物等细节可以看出画面细节复原的效果更好、真实感更高、视觉体验更加自然。
附图说明
图1为本申请基于可分离卷积网络的山水画图像超分辨率重建方法的流程图；
图2为本申请基于可分离卷积网络的山水画图像超分辨率重建方法的超分辨率模型结构图；
图3为本申请基于可分离卷积网络的山水画图像超分辨率重建方法中增强自适应残差块结构图；
图4为本申请基于可分离卷积网络的山水画图像超分辨率重建方法中增强高频保留模块的结构图；
图5为本申请基于可分离卷积网络的山水画图像超分辨率重建方法中自适应深度卷积模块的结构图；
图6为本申请超分辨率重建方法的超分结果图与原始图像的对比图；
图7为本原始图像与本申请超分重建图像、其他重建方案图像；
图8为本申请使用不同尺寸卷积核的消融实验结果对比图；
图9为本申请使用不同损失函数的消融实验结果对比图；
图10为本申请使用不同MS-SSIM Loss损失函数权重系数的消融实验结果对比图；
图11为本申请基于可分离卷积网络的山水画图像超分辨率重建方法应用于中国传统壁画的超分结果图。
具体实施方式
下面结合实施例详述本申请，但本申请并不局限于这些实施例。
参见图1-图5，本发明公开了一张基于可分离卷积网络的山水画图像超分辨率重建方法，包括：
步骤1，建立山水画的原始图像数据集，对原始图像数据集进行预选处理，得到预训练图像数据集和测试图像数据集；
具体包括：获取若干张高分辨率山水画图像作为山水画的原始图像数据集，对原始图像数据集中的若干张高分辨率山水画图像进行预选、旋转和裁切，然后对处理后的若干张高分辨率山水画图像进行分类得到预训练图像数据集和测试图像数据集。
步骤2，对预训练图像数据集进行退化处理，得到待重建图像数据集；
具体包括一阶退化处理和二阶退化处理，二阶退化处理是基于一阶退化处理基础上对预训练图像数据集进行处理：
其中，一阶退化处理和二阶退化处理均依次包括模糊处理、下采样处理、噪声处理和压缩处理，使预训练图像数据集的山水画图像模糊化成所述待重建图像数据集。
步骤3，将待重建图像数据集在超分辨率山水画图像模型重建器上进行预训练，得到预训练参数，通过预训练参数对超分辨率山水画图像模型进行调整，所述预训练中采用对抗损失函数配合训练；
具体包括：
S301，向超分辨率山水画图像模型中输入待重建图像数据集中的待重建图像Q1，使用生成器对待重建图像Q1迭代卷积形成超分重建图像W1，保存生成器中迭代卷积形成的超分重建图像W1的参数数据；
S302，将超分重建图像W1与预训练图像数据集中对应的训练图像X输入判别器中进行比对；
若所述超分重建图像W1与训练图像X相似度不低于93％时，保留处理该生成器中迭代卷积参数，基于该迭代卷积参数对生成器进行重新加载；若否则重复S301；
S303，重复S301～S302，对所述待重建图像数据集中所有待重建图像进行处理，使得超分辨率山水画图像模型的迭代卷积参数收敛固定，得到超分辨率山水画图像模型。
进一步地，所述生成器对待重建图像Q1迭代卷积形成超分重建图W至少包括：
a，将待重建图像Q1输入第一卷积模块迭代卷积形成初级特征图q1，所述生成器保存初级特征图q1以及迭代卷积形成初级特征图q1的参数数据V1；
b，将初级特征图q1输入增强自适应残差块EARM中，经过增强自适应残差块EARM深层提取的得到深层特征图F1，深层特征图F1输入第一卷积模块迭代卷积形成初级深层特征图F2以及迭代卷积形成初级深层特征图F2的参数数据V2；
c，将初级特征图q1与初级卷积深层特征图F2分别输入上采样模块进行采样后再次输入第一卷积模块，所述初级特征图q1迭代卷积形成次初级特征图q2，所述初级卷积深层特征图F2迭代卷积形成次初级深层特征图F3；
d，将次初级特征图q2与次初级深层特征图F2融合得到超分重建图像W1；整合a中的参数数据V1和b中的参数数据V2，得到超分重建图像W1的参数数据。
更进一步地，所述步骤S202中经过增强自适应残差块EARM深层提取的得到深层特征图F1包括：初级特征图q1经过若干个增强高频保留模块EHRM高频保留得到高频保留特征图G1，高频保留特征图G1通过第二卷积模块卷积得到深层特征图F1。
其中，所述增强高频保留模块EHRM高频保留得到高频保留特征图G1包括：
初级特征图q1先经过一个自适应深度卷积模块ADCB深度卷积得到深度卷积特征图H1，对深度卷积特征图H1使用高频滤波模块提取深度卷积特征图H1中的高频信息得到高频深层特征图H′1，将高频深层特征图H′1输入处理通道模块进行深层卷积形成高频深度特征图H2，高频深度特征图H2经过第三卷积模块处理后得到再经过一个自适应深度卷积模块ADCB深度卷积得到高频保留特征图G1。
更进一步地，所述自适应深度卷积模块ADCB进行深度卷积，至少包括：
将初级特征图q1输入DRB模块提取特征得到深度可分离特征图S，深度可分离特征图S使用归一化模块进行稳定收敛得到稳定的深度可分离特征图S1，稳定的深度可分离特征图S1经过逐点卷积模块与第三GELU激活层模块处理得到深度卷积特征图H1；
高频深层特征图H′1输入DRB模块提取特征得到深度可分离特征图S2，深度可分离特征图S2使用归一化模块进行稳定收敛得到稳定的深度可分离特征图S′2，稳定的深度可分离特征图S′2经过逐点卷积模块与第三GELU激活层模块处理得到高频深度特征图H2；
经过第三卷积模块处理后的高频深度特征图H2输入DRB模块提取特征得到深度可分离特征图S3，深度可分离特征图S3使用归一化模块进行稳定收敛得到稳定的深度可分离特征图S′3，稳定的深度可分离特征图S′3经过逐点卷积模块与第三GELU激活层模块处理得到高频保留特征图G1。
步骤3中所述预训练中采用对抗损失函数配合训练包括：采用L1损失函数、感知损失函数和多尺度结构相似性损失函数组成形成优化损失函数，具体公式如下：
LG＝Lpercep+αLGAN+βL1+σLmsssim (1)
其中，Lpercep表示感知损失，L1表示损失函数，β，σ是平衡不同损失项的系数，Lms-ssim表示多尺度结构相似性损失函数，LGAN表示对抗损失。
其中，感知损失的Lpercep表达式为：
Lpercep＝Lvgg+10-3LGAN (2)
感知损失函数中LGAN表达式为：
其中，表示判别器，G(ILR)表示重建后的图像，ILR表示低分辨率图像，N表示训练集数量。
vgg网络的损失表达式为：
其中，Wi表示第i张图像的宽，Hi表示第i张图像的高，Lvgg表示vgg网络损失，ILR表示低分辨图像，G(ILR)表示重建后的图像，μi(·)表示vgg网络中第i层的特征提取操作。
损失函数L1的表达式为：
L1＝||G(ILR)-IHR||1 (5)
其中，G(ILR)表示重建图像数据，IHR表示真实图像，1表示范数距离，ILR表示低分辨图像。
多尺度结构相似性损失函数Lms-ssim的表达式为：
其中，M表示不同尺度，μp表示重建图像均值，μg表示目标图像均值，σp表示重建图像的标准差，σg表示目标图像的标准差，σpg表示重建图像和目标图像间的协方差，βm,γm表示两相间的相对重要性，c1,c2为常数项。
感知损失使重建图像能够保持和目标图像结构和语义一致，同时也增加了模型对噪声和变化的鲁棒性，使用感知损失可以提高重建图像的质量，符合人眼视觉效果。
步骤4，将测试图像数据集中输入经过步骤4调整后的超分辨率山水画图像模型上进行重建，得到超分辨率山水画图像。
参见图2-图5，超分辨率山水画图像模型重建器包括退化模块、生成器和判别器；
退化模块包括一阶退化处理模块和二阶退化处理模块，退化模块用于将预训练图像数据集的山水画图像退化分布成低分辨待重建图像。
一阶退化处理模块和二阶退化处理模块均包括模糊(Blur)处理、下采样处理、噪声(Noise)处理和JPEG压缩处理；
生成器包括依次连接的若干串联的增强自适应残差块EARM，对低质量山水画图像通过深层卷积和多个增强自适应残差模块EARM提取低分辨率山水画图像的浅层特征和深层特征，其中，这些增强自适应残差块EARM使用自适应权值残差连接，调整主干路径和残差路径权重，保留残差信息。
生成器还包括上采样模块处理，在若干串接的增强自适应残差块EARM前、第一残差块后以及上采样模块后添加第一卷积模块；
其中，位于若干串接的增强自适应残差块EARM前第一卷积模块进行浅层特征提取，可以公式化为：
F0＝HSF(ILR) (7)
其中，F0∈RH×W×C为图像的浅层特征，C是通道数，HSF为卷积层，ILR待重建图像数据。
增强自适应残差块EARM由增强高频保留模块EHRM以及第二卷积模块组成，增强高频保留模块EHRM提取低分辨山水画图像中不同尺度的特征，地捕捉到山水画中不同位置的细节和特征，增强自适应残差块EARM处理过程可公式为：
FD＝HDF(F0) (8)
Fi＝Mi(Fi-1),i＝1,2,3,…,D (9)
其中，是输出的深度特征，HDF(·)表示的是深度特征提取部分，而D表示的是EARM的数量，Mi表示的是第i个EARM，Fi是Fi-1经过第i个EARM的输出特征。
增强高频保留模块EHRM包括依次连接的高频滤波模块、处理通道模块、第三卷积模块、第一GELU激活层模块以及第一通道注意力层模块，并在高频滤波模块前和第一通道注意力层模块后设置自适应深度卷积模块ADCB，其中，第一处理通道由一个自适应深度卷积模块ADCB组成，第二处理通道由若干个首尾连接的自适应深度卷积模块ADCB组成，且所述第二处理通道尾端的自适应深度卷积模块ADCB与第一处理通道内的自适应深度卷积模块ADCB通过自适应残差连接；自适应深度卷积块ADCB增加模型全局感受视野，更好地捕捉到山水画中不同位置的细节和特征，同时使用高频滤波模块卷积保留山水画中的人物、建筑物和植物等信息；增强高频保留模块EHRM处理可公式化为：
Fearm＝fconv(λres·δ3(δ2(δ1(Fx)))+(λx·Fx)) (10)
其中，Fearm是EHRM的输出，δ1(·),δ2(·),δ3(·)表示的是第1，2，3个EHRM的映射，λres是第二处理通道自适应权值，λx是第一处理通道的自适应权值，fconv(·)代表卷积层，Fx代表EARM的输入特征。
自适应深度卷积块ADCB包括两个串联的DRB模块，两个DRB模块自适应权重残差连接第二通道注意力层模块、第二通道注意力层模块连接第二GELU激活层模块、第二GELU激活层模块连接第三卷积模块，两个DRB模块处理的低分辨山水画图像通过第三卷积模块来减小通道数量，在经过第二GELU激活层模块和第二通道注意力层后再次送入第三卷积模块，从而来达到充分利用层次特征的效果。
DRB模块包括依次连接的深度可分离卷积块、归一化子模块、逐点卷积模块与第三GELU激活层模块。DRB模块使用了深度可分离卷积块来对输入特征进行提取，它包含逐通道卷积和逐点卷积，通过逐点和逐通道卷积分别关注图像通道和空间信息，以解决网络加深从而导致图像高频信息丢失无法还原中国山水画中植物、建筑物和人物中纹理细节的情况；DRB模块处理可公式化为：
Fdrb＝fpconv(ξG(fpconv(ηln(fdepth(Fk)))))+Fk (11)
其中，Fdrb表示DRB的输出，fdepth(·)表示的是逐点卷积，fpconv(·)表示的是逐通道卷积，ζG表示的是GELU激活层，ηln表示的是归一化层，Fk表示的是DRB的输入。
实施例
步骤1，建立山水画的原始图像数据集，对原始图像数据集进行预选处理，得到预训练图像数据集和测试图像数据集；
具体包括：获取若干张高分辨率山水画图像作为山水画的原始图像数据集，对高分辨率的山水画数据集通过数据筛选、简单的数据预处理如旋转和裁切得大小为256*256的预训练图像数据集以及测试图像数据集，其中预训练图像数据集中山水画2179张，测试图像数据集山水画96张。
步骤2，对预训练图像数据集进行退化处理，得到待重建图像数据集；
具体包括一阶退化处理和二阶退化处理。
一阶退化处理具体地：
将预训练图像数据集中的2179张山水画图像先模模糊处理，即将2179张山水画通过多个大小随机的高斯模糊内核、广义高斯核和平坦卷积核模糊化，模糊内核大小是从{7、9，…21}中随机选择，其中，高斯模糊内核的模糊标准偏差σ从[0.2，3]中取样，广义高斯核和平坦卷积核模糊标准差β模糊标准差β分别从[0.5，4]和[1，2]中采样；
模糊处理后的2179张山水画图像经过下采样处理后进行噪声处理；
其中，噪声处理采用高斯噪声和泊松噪声，概率设置为[0.5，0.5]，高斯噪声范围和泊松噪声尺度分别设置为[1，30]和[0.05，3]，灰度噪声概率设置为0.4。
噪声处理的2179张山水画图像经过压缩质量因子设置为[30，95]的JPEG压缩处理，得到一阶退化处理的预训练图像数据集；
然后对一阶退化处理的预训练图像数据集中的2179张山水画图像进行二阶退化处理具体为：
将一阶退化处理的预训练图像数据集中的2179张山水画图像再次模模糊处理，即将2179张山水画通过多个大小随机的高斯模糊内核、广义高斯核和平坦卷积核模糊化，模糊内核大小是从{7、9，…21}中随机选择，其中，高斯模糊内核的模糊标准偏差σ从[0.2，1.5]中取样，广义高斯核和平坦卷积核模糊标准差β模糊标准差β分别从[0.5，4]和[1，2]中采样；
模糊处理后的2179张山水画图像经过下采样处理后进行噪声处理；
其中，噪声处理采用高斯噪声和泊松噪声，概率设置为[0.5，0.5]，高斯噪声范围和泊松噪声尺度分别设置为[1，25]和[0.05，2.5]，灰度噪声概率设置为0.4。
噪声处理的2179张山水画图像经过压缩质量因子设置为[30，95]的JPEG压缩处理，得到待重建图像数据集。
上述一阶退化处理和二阶退化处理均使用Sinc滤波器限制山水画图像中高频信息，且在一阶退化处理中的模糊处理中设置0.2的概率跳过二阶退化处理。
步骤3，将待重建图像数据集在超分辨率山水画图像模型重建器上进行预训练，得到预训练参数，通过预训练参数对超分辨率山水画图像模型进行调整，所述预训练中采用对抗损失函数配合训练：
S301，向超分辨率山水画图像模型中输入待重建图像数据集中的待重建图像Q1，使用生成器对待重建图像Q1山水画进行20万次迭代卷积形成超分重建图像W1，保存生成器中迭代卷积形成的超分重建图像W1的参数数据；
上述20万次迭代卷积中，迭代卷积速率的调整策略是MultiStepLR，每调整一次迭代卷积速率减半，调整阶段设置为[100000,150000,175000]，初始迭代卷积速率设置为2×10-4，采用EMA来稳定训练以及采用L1内容损失函数、感知损失函数和多尺度结构相似性损失函数组成形成优化损失函数进行优化。
具体包括：
a，将待重建图像Q1输入核大小为3第一卷积模块迭代卷积形成初级特征图q1，所述生成器保存初级特征图q1以及迭代卷积形成初级特征图q1的参数数据V1；
b，将初级特征图q1输入生成器中的增强自适应残差块EARM中，经过5个增强自适应残差块EARM深层提取的得到深层特征图F1，深层特征图F1输入核大小为3的第一卷积模块迭代卷积形成初级深层特征图F2以及迭代卷积形成初级深层特征图F2的参数数据V2；
其中，每个增强自适应残差块EARM中，是通过3个增强高频保留模块EHRM对初级特征图q1进行高频保留得到高频保留特征图G1，高频保留特征图G1通过核大小为1×1的第二卷积模块卷积得到深层特征图F1。
其中，每个增强高频保留模块EHRM中，初级特征图q1先经过一个自适应深度卷积模块ADCB深度卷积得到深度卷积特征图H1，对深度卷积特征图H1使用高频滤波模块提取深度卷积特征图H1中的高频信息得到高频深层特征图H′1，将高频深层特征图H′1输入处理通道模块进行深层卷积形成高频深度特征图H2，高频深度特征图H2经过核大小为1×1的第三卷积模块处理后得到再经过一个自适应深度卷积模块ADCB深度卷积得到高频保留特征图G1；
处理通道中，高频深层特征图H′1分别输入第一处理通道和第二处理通道处理之后得到高频深度特征图H2，其中，第一处理通道是通过一个自适应深度卷积模块ADCB对高频深层特征图H′1进行处理保留高频信息，第二处理通道处理是通过5个串联的自适应深度卷积模块ADCB对高频深层特征图H′1，更好地捕捉到山水画中不同位置的细节和特征，第一处理通道和第二处理通道处理用于将高频深层特征图H′1与深度卷积特征图H1在特征空间上进行对齐。
每个自适应深度卷积模块ADCB进行深度卷积，至少包括：
将初级特征图q1输入DRB模块中，通过核大小为7x7的深度可分离卷积块提取特征得到深度可分离特征图S，深度可分离特征图S使用归一化模块进行稳定收敛得到稳定的深度可分离特征图S1，稳定的深度可分离特征图S1经过逐点卷积模块与第三GELU激活层模块处理得到深度卷积特征图H1；
高频深层特征图H′1输入DRB模块中，通过核大小为7x7的深度可分离卷积块提取特征得到深度可分离特征图S2，深度可分离特征图S2使用归一化模块进行稳定收敛得到稳定的深度可分离特征图S′2，稳定的深度可分离特征图S′2经过逐点卷积模块与第三GELU激活层模块处理得到高频深度特征图H2；
经过第三卷积模块处理后的高频深度特征图H2输入DRB模块中，通过核大小为7x7的深度可分离卷积块提取特征得到深度可分离特征图S3，深度可分离特征图S3使用归一化模块进行稳定收敛得到稳定的深度可分离特征图S′3，稳定的深度可分离特征图S′3经过逐点卷积模块与第三GELU激活层模块处理得到高频保留特征图G1。
c，将初级特征图q1与初级卷积深层特征图F2分别输入上采样模块进行采样后再次输入第一卷积模块，所述初级特征图q1迭代卷积形成次初级特征图q2，所述初级卷积深层特征图F2迭代卷积形成次初级深层特征图F3；
d，将次初级特征图q2与次初级深层特征图F2融合得到超分重建图像W1；整合a中的参数数据V1和b中的参数数据V2，得到超分重建图像W1的参数数据。
S302，将超分重建图像W1与预训练图像数据集中对应的训练图像X输入判别器中进行比对；
若所述超分重建图像W1与训练图像X相似度不低于93％时，保留处理该生成器中迭代卷积参数，基于该迭代卷积参数对生成器进行重新加载；若否则重复S101；
S303，重复S301～S302，对所述待重建图像数据集中所有待重建图像进行处理，使得超分辨率山水画图像模型的迭代卷积参数收敛固定，得到超分辨率山水画图像模型。
步骤4，将测试图像数据集中输入经过步骤3调整后的超分辨率山水画图像模型上进行重建，得到超分辨率山水画图像。
使用PSNR，SSIM和LPIPS评估图像重建质量，将评估过程中指标最优的一组网络权重保留作为最终的模型，用于在测试时重建高质量的中国山水画图像。
其中，PSNR(Peak Signal-to-Noise Ratio)指的是峰值信噪比，是重建图像质量的度量标准，用于评估两个图像之间的质量差异，计算重建后的图像与目标图像之间的失真程度。它是一种常用的评估超分模型性能的指标。它通过计算重建图像与真实标签之间每个像素差值的平方的平均值，然后对所有类别取平均值来衡量模型的性能。PSNR的取值范围通常在20-50之间，数值越大表示重建结果与真实标签之间的失真越小，差异越小。PSNR的计算公式如下：
其中MAX表示图像点颜色的最大值，MSE表示均方误差。
结构相似性指标(SSIM)用于两个图像之间的结构相似性。相较于PSNR等传统指标，SSIM更加贴近人眼的主观感知，能够更好地评估图像的质量。SSIM的计算基于三个主要特征：亮度(Luminance)、对比度(Contrast)和结构(Structure)。SSIM分别计算重建图像与真实标签在三个主要特征上的差异，最后使用一个可调节参数平衡三个特征的重要性。计算公式为：
其中，μx,μy分别表示为重建图像和目标图像的平均值，重建图像和目标图像的方差；σxy重建图像和目标图像的协方差，c1,c2为常数项。
LPIPS感知图像块相似度，使用预训练的深度卷积神经网络输出的特征表示，通过计算特征之间的欧氏距离来评估图像之间的相似度，其取值范围是0到1之间，数值越小表示两个图像之间的感知差异越小，相似度越高。通过以下计算公式计算：
其中，表示对每个层的输出进行激活再归一化处理后的结果，Cl表示l层图像通道数，Hl表示l层图像高，wl表示l层图像宽，d(x,x0)表示重建图像和真实图像间的L2距离，wl向量缩放激活通道，⊙图像像素的点乘
本发明该方法重建后的山水画中人物、植物以及建筑物等细节可以看出画面细节复原的效果更好、真实感更高、视觉体验更加自然。
图6中展示了本申请公开的方法超分重建的图像与原始图像的对比图，图中左侧的图为超分重建的图像，右侧的图为原始图像，从对比图中原始图和超分重建图可清楚了解到超分重建图像中人物、植物以及建筑物等细节相对原始图像的重合度高，进而本申请对山水画复原效果显著。
图7为原始图像与本申请超分重建图像、其他重建方案图像对比图，从图中对比结果图可了解到本申请画面细节复原的效果更好、真实感更高、重建的结果视觉体验更加自然；将原始图像与本申请超分重建图像、其他现有超分辨率模型在山水画图像重建效果评估得到数据如表1所示。从表1可以了解到，本发明的重建效果较其他方法在各个评估指标(PSNR，SSIM，LPIPS)上均取得了更好的结果，其中“+”表示使用MS-SSIM Loss，采用该损失函数能够更准确地分割图像中的不同类别，且在像素级别的分类准确性上表现出色。
表1本发明与其它现有超分辨率重建效果评估对比表(“+”表示使用MS-SSIMLoss)
图8为本申请中使用不同尺寸卷积核的消融实验结果对比图，图中左侧编号为1的是原始图像，编号为2的图像是从原始图像中选取一部分的都的高清图像，编号3、4、5分别为原始图像分别使用3x3、5x5、7x7的卷积核重建出的图像；其中，使用3x3的卷积核重建出的图像过于平滑缺乏真实感并且重建后图像的整体颜色偏亮，使用5x5的卷积核重建出的图像线条纹理出现变化，而使用7x7的卷积核重建出的图像纹理更加自然，真实度更高。因此本发明中使用大尺寸的卷积核能够更加完美地提取贴合山水画图像的数据特征。为了进一步证明本发明所公开方法的有效性，本发明进行了不同重建方案使用不同尺寸卷积核的消融实验，实验数据如表2所示。从表2数据了解到在深度可分离卷积(DepthwiseConvolution)中使用3种尺寸的卷积核对图像进行卷积处理过程中，当使用7x7的卷积核对图像处理时，PSNR提升到了28.28db，SSIM提升到了0.803，进而PSNR和SSIM均有所提升，而LPIPS指标有所降低，综合对比，7×7的卷积核对重建图像的性能有总体性的提升，因此使用7×7的卷积核重建图像能够达到最佳。
表2使用不同深度卷积核尺寸的评价指标结果
图9为本申请中使用不同损失函数的消融实验结果对比图，从图像中可了解到使用GV Loss损失重建的图像纹理线条不够平整，使用MS-SSIM Loss损失重建的图像更加自然，而使用LDL Loss损失重建的图像中会出现部分图像过亮或者过暗的情况，无法还原出右下角竹叶间的阴影部分，故而使用MS-SSIM Loss损失后在结构相似性的基础上增加了尺度变化的信息提升了模型的对图像间变化的感知力。对使用不同损失函数的消融实验结果对比图进行评估得到评书数据如表3所示，从表3中可了解到传统损失函数从图像的距离或结构上量化差异来指导模型拟合，虽然带来评估指标的提升，但与人视觉感官有所差异，使用新的损失函数MS-SSIM Loss，为了验证损失函数的有效性，分别使用结构增强损失函数(GV Loss)、伪影识别损失函数(LDL Loss)与其对比，结果如表3所示，在PSNR指标中使用MS-SSIM Loss比使用LDL Loss提升了1.131db，指标SSIM提高到了0.802，同时在几张有代表性的数据上测试MS-SSIM Loss的效果，从图8的可视化结果可以看出，使用另外两种损失函数无法还原出如第二张图像中竹叶的阴影部分，会出现过亮过暗的情况，而使用MS-SSIMLoss损失后有效的改善了这一问题。
表3使用不同损失函数的评价指标结果
本发明对设置MS-SSIM Loss的权重进行了消融实验，图10本申请使用不同MS-SSIM Loss损失函数权重系数的消融实验结果对比图，从图中可以看出当MS-SSIM Loss损失函数权重系数设置为0.5时图像的细节画面较为粗糙，权重系数为1.0时图像的细节画面更加平整，而权重系数为1.0时图像的细节画面更加自然。从损失函数关注点上考虑，L1损失关注图像重建细节，当其权重过大会导致模型对细节敏感而丢失结构，反之亦然，所以权重系数过大过小都会影响模型的重建能力。对本发明对设置MS-SSIM Loss的权重进行消融实验进行评估得到的数据如表4所示，从表4可了解到，其中当MS-SSIM Loss设置为1.0时PSNR、LPIPS指标都达到最好的效果，而设置为0.5时SSIM指标的结果更好，考虑到SSIM指标注重图像的结构特征，而LPIPS注重与原始图像感知相似，所以本实例设置为1.0。其可视化结果如图9所示，MS-SSIM Loss关注图像结构相似度，L1损失关注图像重建细节，当其权重过大会导致模型对结构敏感而丢失细节，反之亦然，权重系数过大过小都会影响模型的重建能力。
表4使用不同MsssimLoss损失权重系数的评价指标结果
为了验证本发明在其它中国传统壁画数据集上的重建性能，分别收集石窟数据集、寺庙壁画数据集和墓葬壁画数据集三大类壁画数据并在这些数据集上进行测试，结果如表5所示，图10为中国传统壁画数据集中超分重建图集中选取其中一个超分重建图像，从表5和图11中可了解到本发明在壁画数据上依然适用，并且在PSNR和LPIPS指标上均取得了出色的效果，在SSIM指上也与先进的超分辨率方法Real-ESRGAN相近。
表5本发明与其他现有超分辨率模型在壁画数据集的效果评估
以上所述，仅是本申请的几个实施例，并非对本申请做任何形式的限制，虽然本申请以较佳实施例揭示如上，然而并非用以限制本申请，任何熟悉本专业的技术人员，在不脱离本申请技术方案的范围内，利用上述揭示的技术内容做出些许的变动或修饰均等同于等效实施案例，均属于技术方案范围内。
Claims (10)
1.基于可分离卷积网络的山水画图像超分辨率重建方法，其特征在于，包括：
步骤1，建立山水画的原始图像数据集，对原始图像数据集进行预选处理，得到预训练图像数据集和测试图像数据集；
步骤2，对预训练图像数据集进行退化处理，得到待重建图像数据集；
步骤3，将待重建图像数据集在超分辨率山水画图像模型重建器上进行预训练，得到预训练参数，通过预训练参数对超分辨率山水画图像模型进行调整，所述预训练中采用对抗损失函数配合训练；
步骤4，将测试图像数据集中输入经过步骤3调整后的超分辨率山水画图像模型上进行重建，得到超分辨率山水画图像。
2.根据权利要求1所述的基于可分离卷积网络的山水画图像超分辨率重建方法，其特征在于，所述步骤1中的预选处理，至少包括筛选、旋转和裁切。
3.根据权利要求2所述的基于可分离卷积网络的山水画图像超分辨率重建方法，其特征在于，所述步骤2中的退化处理，至少包括一阶退化处理和二阶退化处理，所述二阶退化处理是基于一阶退化处理基础上对预训练图像数据集进行处理。
4.根据权利要求3所述的基于可分离卷积网络的山水画图像超分辨率重建方法，其特征在于，所述一阶退化处理和所述二阶退化处理均包括模糊处理、下采样处理、噪声处理和压缩处理，使预训练图像数据集的山水画图像模糊化成所述待重建图像数据集。
5.根据权利要求1所述的基于可分离卷积网络的山水画图像超分辨率重建方法，其特征在于，所述超分辨率山水画图像模型重建器包括生成器和判别器；
所述生成器由增强自适应残差块EARM、上采样模块以及第一卷积模块组成；
所述增强自适应残差块EARM由增强高频保留模块EHRM以及第二卷积模块组成；
所述增强高频保留模块EHRM由自适应深度卷积模块ADCB、高频滤波模块、处理通道模块、第三卷积模块组成；
其中，处理通道模块包括第一处理通道和与第一处理通道残差连接的第二处理通道；
所述自适应深度卷积块ADCB由DRB模块、第二通道注意力层模块、第二GELU激活层模块和第四卷积模块组成；
所述DRB单元由深度可分离卷积块、归一化模块、逐点卷积模块与第三GELU激活层模块组成。
6.根据权利要求5所述的基于可分离卷积网络的山水画图像超分辨率重建方法，其特征在于，所述步骤3对待重建图像数据集在超分辨率山水画图像模型上进行预训练至少包括：
S301，向超分辨率山水画图像模型中输入待重建图像数据集中的待重建图像Q1，使用生成器对待重建图像Q1迭代卷积形成超分重建图像W1，保存生成器中迭代卷积形成的超分重建图像W1的参数数据；
S302，将超分重建图像W1与预训练图像数据集中对应的训练图像X输入判别器中进行比对；
若所述超分重建图像W1与训练图像X相似度不低于93％时，保留处理该生成器中迭代卷积参数，基于该迭代卷积参数对生成器进行重新加载；若否则重复S301；
S303，重复S301～S302，对所述待重建图像数据集中所有待重建图像进行处理，使得超分辨率山水画图像模型的迭代卷积参数收敛固定，得到超分辨率山水画图像模型。
7.根据权利要求6所述的基于可分离卷积网络的山水画图像超分辨率重建方法，其特征在于，所述生成器对待重建图像Q1迭代卷积形成超分重建图W至少包括：
a，将待重建图像Q1输入第一卷积模块迭代卷积形成初级特征图q1，所述生成器保存初级特征图q1以及迭代卷积形成初级特征图q1的参数数据V1；
b，将初级特征图q1输入增强自适应残差块EARM中，经过增强自适应残差块EARM深层提取的得到深层特征图F1，深层特征图F1输入第一卷积模块迭代卷积形成初级深层特征图F2以及迭代卷积形成初级深层特征图F2的参数数据V2；
c，将初级特征图q1与初级卷积深层特征图F2分别输入上采样模块进行采样后再次输入第一卷积模块，所述初级特征图q1迭代卷积形成次初级特征图q2，所述初级卷积深层特征图F2迭代卷积形成次初级深层特征图F3；
d，将次初级特征图q2与次初级深层特征图F2融合得到超分重建图像W1；整合a中的参数数据V1和b中的参数数据V2，得到超分重建图像W1的参数数据。
8.根据权利要求7所述的基于可分离卷积网络的山水画图像超分辨率重建方法，其特征在于，所述步骤b中经过增强自适应残差块EARM深层提取的得到深层特征图F1包括：初级特征图q1经过若干个增强高频保留模块EHRM高频保留得到高频保留特征图G1，高频保留特征图G1通过第二卷积模块卷积得到深层特征图F1。
其中，所述增强高频保留模块EHRM高频保留得到高频保留特征图G1包括：
初级特征图q1先经过一个自适应深度卷积模块ADCB深度卷积得到深度卷积特征图H1，对深度卷积特征图H1使用高频滤波模块提取深度卷积特征图H1中的高频信息得到高频深层特征图H′1，将高频深层特征图H′1输入处理通道模块进行深层卷积形成高频深度特征图H2，高频深度特征图H2经过第三卷积模块处理后得到再经过一个自适应深度卷积模块ADCB深度卷积得到高频保留特征图G1。
9.根据权利要求8所述的基于可分离卷积网络的山水画图像超分辨率重建方法，其特征在于，所述自适应深度卷积模块ADCB进行深度卷积，至少包括：
将初级特征图q1输入DRB模块提取特征得到深度可分离特征图S，深度可分离特征图S使用归一化模块进行稳定收敛得到稳定的深度可分离特征图S1，稳定的深度可分离特征图S1经过逐点卷积模块与第三GELU激活层模块处理得到深度卷积特征图H1；
高频深层特征图H′1输入DRB模块提取特征得到深度可分离特征图S2，深度可分离特征图S2使用归一化模块进行稳定收敛得到稳定的深度可分离特征图S′2，稳定的深度可分离特征图S′2经过逐点卷积模块与第三GELU激活层模块处理得到高频深度特征图H2；
经过第三卷积模块处理后的高频深度特征图H2输入DRB模块提取特征得到深度可分离特征图S3，深度可分离特征图S3使用归一化模块进行稳定收敛得到稳定的深度可分离特征图S′3，稳定的深度可分离特征图S′3经过逐点卷积模块与第三GELU激活层模块处理得到高频保留特征图G1。
10.根据权利要求5所述的基于可分离卷积网络的山水画图像超分辨率重建方法，其特征在于，所述步骤4中所述预训练中采用对抗损失函数配合训练包括：采用L1损失函数、感知损失函数和多尺度结构相似性损失函数组成形成优化损失函数，具体公式如下：
LG＝Lpercep+αLGAN+βL1+σLmsssim (1)
其中，Lpercep表示感知损失，L1表示损失函数，β，σ是平衡不同损失项的系数，Lms-ssim表示多尺度结构相似性损失函数，LGAN表示对抗损失。
其中，感知损失的Lpercep表达式为：
Lpercep＝Lvgg+10-3LGAN (2)
感知损失函数中LGAN表达式为：
其中，表示判别器，G(ILR)表示重建后的图像，ILR表示低分辨率图像，N表示训练集数量。
vgg网络的损失表达式为：
其中，Wi表示第i张图像的宽，Hi表示第i张图像的高，Lvgg表示vgg网络损失，ILR表示低分辨图像，G(ILR)表示重建后的图像，μi(·)表示vgg网络中第i层的特征提取操作。
损失函数L1的表达式为：
L1＝||G(ILR)-IHR||1 (5)
其中，G(ILR)表示重建图像数据，IHR表示真实图像，1表示范数距离，ILR表示低分辨图像。
多尺度结构相似性损失函数Lms-ssim的表达式为：
其中，M表示不同尺度，μp表示重建图像均值，μg表示目标图像均值，σp表示重建图像的标准差，σg表示目标图像的标准差，σpg表示重建图像和目标图像间的协方差，βm，γm表示两相间的相对重要性，c1，c2为常数项。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311156435.0A CN117333359A (zh) | 2023-09-08 | 2023-09-08 | 基于可分离卷积网络的山水画图像超分辨率重建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311156435.0A CN117333359A (zh) | 2023-09-08 | 2023-09-08 | 基于可分离卷积网络的山水画图像超分辨率重建方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117333359A true CN117333359A (zh) | 2024-01-02 |
Family
ID=89289293
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311156435.0A Pending CN117333359A (zh) | 2023-09-08 | 2023-09-08 | 基于可分离卷积网络的山水画图像超分辨率重建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117333359A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117523649A (zh) * | 2024-01-04 | 2024-02-06 | 成都科瑞特电气自动化有限公司 | 矿用虹膜安全识别检测方法、系统、介质及终端 |
-
2023
- 2023-09-08 CN CN202311156435.0A patent/CN117333359A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117523649A (zh) * | 2024-01-04 | 2024-02-06 | 成都科瑞特电气自动化有限公司 | 矿用虹膜安全识别检测方法、系统、介质及终端 |
| CN117523649B (zh) * | 2024-01-04 | 2024-03-15 | 成都科瑞特电气自动化有限公司 | 矿用虹膜安全识别检测方法、系统、介质及终端 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110599409B (zh) | 基于多尺度卷积组与并行的卷积神经网络图像去噪方法 | |
| CN110119780B (zh) | 基于生成对抗网络的高光谱图像超分辨重建方法 | |
| CN107123089B (zh) | 基于深度卷积网络的遥感图像超分辨重建方法及系统 | |
| CN108230264B (zh) | 一种基于ResNet神经网络的单幅图像去雾方法 | |
| CN111783494B (zh) | 结合二值分割的卷积自编码器的受损二维码恢复方法 | |
| CN111539246B (zh) | 一种跨光谱人脸识别方法、装置、电子设备及其存储介质 | |
| CN117333359A (zh) | 基于可分离卷积网络的山水画图像超分辨率重建方法 | |
| CN111145102A (zh) | 一种基于卷积神经网络的合成孔径雷达图像去噪方法 | |
| CN115063318A (zh) | 自适应频率分解的低光照图像增强方法与相关设备 | |
| CN111462002B (zh) | 一种基于卷积神经网络的水下图像增强与复原方法 | |
| Wang et al. | LLDiffusion: Learning degradation representations in diffusion models for low-light image enhancement | |
| CN116363036B (zh) | 基于视觉增强的红外与可见光图像融合方法 | |
| CN113178010A (zh) | 基于深度学习的高分影像阴影区域恢复重建方法 | |
| CN112288726A (zh) | 一种井下带式输送机带面异物检测方法 | |
| CN117274059A (zh) | 基于图像编码-解码的低分辨率图像重构方法及其系统 | |
| Guan et al. | DiffWater: Underwater Image Enhancement Based on Conditional Denoising Diffusion Probabilistic Model | |
| CN116797468A (zh) | 基于软边重建的自校准深度曲线估计的低光照图像增强方法 | |
| CN113012067B (zh) | 基于Retinex理论和端到端深度网络的水下图像复原方法 | |
| CN115272072A (zh) | 一种基于多特征图像融合的水下图像超分辨率方法 | |
| CN114898096A (zh) | 一种人物图像的分割和标注方法及系统 | |
| CN113689346A (zh) | 一种基于对比学习的紧凑深度学习去雾方法 | |
| CN114066747B (zh) | 一种基于光照和反射互补性的低照度图像增强方法 | |
| Xu et al. | Underwater image enhancement based on unsupervised adaptive uncertainty distribution | |
| CN116563133A (zh) | 基于模拟曝光和多尺度融合的低照度彩色图像增强方法 | |
| Yang et al. | An Adaptive Classification and Enhancement Method for Different Genetic Types of Low-light Images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |