CN113689517B - 一种多尺度通道注意力网络的图像纹理合成方法及系统 - Google Patents

一种多尺度通道注意力网络的图像纹理合成方法及系统 Download PDF

Info

Publication number
CN113689517B
CN113689517B CN202111049838.6A CN202111049838A CN113689517B CN 113689517 B CN113689517 B CN 113689517B CN 202111049838 A CN202111049838 A CN 202111049838A CN 113689517 B CN113689517 B CN 113689517B
Authority
CN
China
Prior art keywords
image
convolution
feature
model
feature map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111049838.6A
Other languages
English (en)
Other versions
CN113689517A (zh
Inventor
钱文华
赵晨旭
曹进德
徐丹
普园媛
吴昊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yunnan University YNU
Original Assignee
Yunnan University YNU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yunnan University YNU filed Critical Yunnan University YNU
Priority to CN202111049838.6A priority Critical patent/CN113689517B/zh
Publication of CN113689517A publication Critical patent/CN113689517A/zh
Application granted granted Critical
Publication of CN113689517B publication Critical patent/CN113689517B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—Two-dimensional [2D] image generation
    • G06T11/10—Texturing; Colouring; Generation of textures or colours
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种多尺度通道注意力网络的图像纹理合成方法及系统，首先将噪声图像输入至生成器模型进行特征提取与融合获得特征融合图像；其次给定样本纹理图像，并将所述样本纹理图像进行随机裁剪，获得训练集；然后将训练集和特征融合图像输入至判别器模型，采用生成对抗损失函数优化生成器模型和判别器模型，获得多尺度通道注意力图像纹理合成模型；最后将待合成纹理图像输入多尺度通道注意力图像纹理合成模型进行纹理合成，获得纹理合成图像。本发明利用多尺度通道注意力图像纹理合成模型进行纹理合成后获得的纹理合成图像能够较好地恢复出任意大小的纹理细节信息，在视觉感知上具有优越性，避免存在局部失真或细节丢失的现象。

Description

一种多尺度通道注意力网络的图像纹理合成方法及系统
技术领域
本发明涉及图像处理技术领域，特别是涉及一种多尺度通道注意力网络的图像纹理合成方法及系统。
背景技术
纹理合成(Texture Synthesis)是指基于给定的小区域纹理样本，按照表面的几何形状，拼合生成任意大小的纹理图像，其目的是解决在纹理映射(Texture Mapping)中获得的图像大小有限等问题。目前纹理合成方法主要分为过程纹理合成(PTS：ProceduralTexture Synthesis)和基于样图的纹理合成(TSFS：Texture Synthesis From Sample)技术。PTS通过对物体物理生成过程的仿真直接在表面上生成纹理，如云雾、树纹、羽毛等，但是需要反复测试，其结果有时也不尽如人意；TSFS通过给定样本图，提取它的纹理特征，生成大面积的纹理图像，该技术克服传统纹理映射的缺点，又避免了PTS调整参数的繁琐，因而受到越来越多研究人员的关注，并逐渐成为计算机视觉的研究热点之一。丰富的纹理信息是展现图像细节的重要方面，会使图像拥有更强的信息表达能力，所以纹理合成具有应用和研究价值，如图像修复方面，若图像的非残缺部分中具有重复性、周期性的部分，则可以利用纹理合成方法推测出残缺部分的纹理，实现对图像的修复；动画生成方面，纹理合成技术可以缩短人们的工作量，每一帧动画可以由计算机生成，而不再是人为一帧一帧地用手画。除此之外，纹理合成技术也可以帮助提高其他计算机视觉任务的性能，比如图像超分辨率重建，图像风格迁移等。
随着计算机硬件和软件技术的发展，尤其是GPU的快速发展，深度学习已经广泛应用于纹理合成技术，推动了纹理合成的发展。在纹理合成公知的技术中，Gates等利用卷积神经网络和图像的Gram矩阵，通过梯度下降算法来进行纹理合成工作(<TextureSynthesis Using Convolutional Neural Networks,Proceedings of the IEEEConference on Computer Vision and Pattern Recognition,2015,arXiv:1505.07376>)；Jetchev等提出的SGAN网络，将输入噪声分布空间从单个向量扩展到整个空间张量，并创建了一个非常适合纹理合成任务的生成对抗网络架构，它也是第一个无监督纹理合成算法(<Texture Synthesis with Spatial Generative Adversarial Networks,NeurIPS,2016,arXiv:1611.08207>)；Bergmann等提出了PSGAN，该算法可以从一个或多个复杂的大型图像数据集学习多个纹理并获得很好的结果(<Learning Texture Manifolds with thePeriodic Spatial GAN,International Conference onMachine Learning,2017,arXiv:1705.06566>)；Zhou等提出了使用GAN网络进行非均匀纹理的合成算法，该方法结合了VGG网络计算风格损失来更好的约束纹理生成过程(<Non-stationary Texture SynthesisbyAdversarial Expansion,ACM Transactions on Graphics,2018,arXiv:1805.04487>)；Shaham等提出了SinGAN，该算法从单幅图像学习生成模型，可应用于多种图像处理操作，如合成任意大小的纹理图像(<SinGAN:Learning a Generative Model from aSingleNatural Image,IEEE International Conference on Computer Vision,2019,arXiv:1905.01164>)；Huang等针对纹理合成过程中存在的离散化问题和耗时问题，提出了一种基于离散实例元素的纹理合成框架(<FastTexture Synthesis for Discrete Example-Based Elements,IEEE Access,2020,8(1):76683-76691>)；Liu等提出一个自相似图，可以捕获给定纹理图像不同区域之间的相似和相关信息来进行纹理合成工作(<Transposer:Universal Texture Synthesis Using Feature Maps as Transposed ConvolutionFilter,CoRR abs,2020,arXiv:2007.07243>)；解筱娜等提出一种按比例扩大图像的纹理合成方法，提高了图像的细节信息(<纹理合成的方法以及使用该方法的图像处理设备，发明专利，2018，CN107886476A>)；袁飞虎等提出一种使用着色器将多个待合成纹理并行处理合成相应纹理的方法(<一种纹理合成的方法、装置及设备，发明专利，2018，CN108010095A>)。但采用上述公开方法生成的纹理图像存在局部失真或细节丢失的现象。
发明内容
本发明的目的是提供一种多尺度通道注意力网络的图像纹理合成方法及系统，避免生成的纹理图像存在局部失真或细节丢失的现象。
为实现上述目的，本发明提供了一种多尺度通道注意力网络的图像纹理合成方法，所述方法包括：
步骤S1：获取噪声图像；
步骤S2：将所述噪声图像输入至生成器模型进行特征提取与融合，获得特征融合图像；所述生成器模型包括浅层特征提取模块、深层特征提取模块和融合生成模块；
步骤S3：给定样本纹理图像，并将所述样本纹理图像进行随机裁剪，获得训练集；所述训练集中包括多个经过裁剪后的图像块；
步骤S4：将所述训练集和所述特征融合图像输入至判别器模型，采用生成对抗损失函数优化生成器模型和判别器模型，获得多尺度通道注意力图像纹理合成模型；多尺度通道注意力图像纹理合成模型包括优化后的生成器模型和判别器模型；
步骤S5：将待合成纹理图像输入所述多尺度通道注意力图像纹理合成模型进行纹理合成，获得纹理合成图像。
可选地，所述将所述噪声图像输入至生成器模型进行特征提取与融合，获得特征融合图像，具体包括：
将所述噪声图像输入所述浅层特征提取模块进行浅层特征提取，获得第一特征图；
将所述第一特征图输入所述深层特征提取模块进行深层特征提取，获得第二特征图；
将所述第二特征图输入所述融合生成模块进行融合，获得特征融合图像。
可选地，所述将所述第一特征图输入所述深层特征提取模块进行深层特征提取，获得第二特征图，具体包括：
对所述第一特征图进行卷积及归一化处理后，获得第三特征图；
对所述第三特征图进行全局平均池化操作、多尺度操作以及拼接处理后，获得第二特征图。
可选地，所述将所述噪声图像输入所述浅层特征提取模块进行浅层特征提取，获得第一特征图，具体计算公式为：
其中，L()表示子像素卷积运算，H()表示卷积运算和归一化计算，δ()表示ReLU激活函数，IZ表示噪声图像，SFGn()表示第n个浅层特征生成单元对应的函数，En表示经过n个浅层特征生成单元输出的第一特征图，E1表示经过1个浅层特征生成单元输出的特征图。
可选地，所述对所述第一特征图进行卷积及归一化处理后，获得第三特征图，具体计算公式为：
其中，En表示经过n个浅层特征生成单元输出的第一特征图，DP1()表示第二卷积层卷积运算、BatchNorm归一化和ReLU激活函数运算，Resnetm()表示第m个带有归一化的残差单元对应的函数，DP2()表示第三卷积层卷积运算和BatchNorm归一化运算，Sm表示经过m个带有归一化的残差单元输出的特征图，L()表示子像素卷积运算，Sup表示依次经过m个归一化残差运算以及子像素卷积运算后获得的第三特征图。
可选地，所述对所述第三特征图进行全局平均池化操作、多尺度操作以及拼接处理后，获得第二特征图，具体计算公式为：
其中，Sup表示依次经过m个归一化残差运算以及子像素卷积运算后获得的第三特征图，Avg()表示对输入全局平均池化操作，R()表示1×1卷积操作，γ()表示Sigmoid激活函数，表示使用膨胀率为1的扩张卷积，表示使用膨胀率为2的扩张卷积，表示使用膨胀率为4的扩张卷积，表示使用膨胀率为6的扩张卷积，Cat[]表示对四种扩张卷积的结果进行拼接操作，y表示经过全局平均池化、1×1卷积和Sigmoid后输出的特征图，z表示特征图拼接后再经过1×1卷积运算输出的特征图，Mul()表示矩阵相乘操作，xi表示经过多尺度通道注意力单元输出的第二特征图。
可选地，所述将所述第二特征图输入所述融合生成模块进行融合，获得特征融合图像，具体计算公式为：
IM＝θ(R(xi))＝F(IZ)；
其中，xi表示经过多尺度通道注意力单元输出的第二特征图，F()表示特征融合图像IM与噪声图像IZ之间的映射关系，R()表示卷积操作，θ()表示Tanh激活函数。
可选地，所述将所述训练集和所述特征融合图像输入至判别器模型，采用生成对抗损失函数优化生成器模型和判别器模型，获得多尺度通道注意力图像纹理合成模型，具体包括：
步骤S41：将所述训练集和所述特征融合图像输入至判别器模型，采用生成对抗损失函数计算损失值；
步骤S42：判断所述损失值是否满足收敛条件；如果所述损失值满足收敛条件，则输出多尺度通道注意力图像纹理合成模型；如果不满足收敛条件，则重新返回“步骤S2”，继续优化生成器模型和判别器模型。
本发明还提供一种多尺度通道注意力网络的图像纹理合成系统，所述系统包括：
获取模块，用于获取噪声图像；
特征提取与融合模块，用于将所述噪声图像输入至生成器模型进行特征提取与融合，获得特征融合图像；所述生成器模型包括浅层特征提取模块、深层特征提取模块和融合生成模块；
裁剪模块，用于给定样本纹理图像，并将所述样本纹理图像进行随机裁剪，获得训练集；所述训练集中包括多个经过裁剪后的图像块；
优化模块，用于将所述训练集和所述特征融合图像输入至判别器模型，采用生成对抗损失函数优化生成器模型和判别器模型，获得多尺度通道注意力图像纹理合成模型；多尺度通道注意力图像纹理合成模型包括优化后的生成器模型和判别器模型；
纹理合成模块，用于将待合成纹理图像输入所述多尺度通道注意力图像纹理合成模型进行纹理合成，获得纹理合成图像。
可选地，所述浅层特征提取模块包括：n个浅层特征生成单元，其中，n为大于或等于1的正整数；各所述浅层特征生成单元包括第一子像素卷积层、第一卷积层和第一归一化及函数激活层；所述第一归一化及函数激活层采用BatchNorm归一化与ReLU激活函数；
所述深层特征提取模块包括：m个带有归一化的残差单元、第二子像素卷积层和多尺度通道注意力单元；其中，m为大于或等于1的正整数；各所述带有归一化的残差单元包括：第二卷积层、第二归一化及函数激活层、第三卷积层和归一化层；所述第二归一化及函数激活层采用BatchNorm归一化与ReLU激活函数；所述归一化层采用BatchNorm归一化操作；
所述多尺度通道注意力单元包括：全局平均池化层、第四卷积层、第一函数激活层、多尺度卷积层、拼接层、第五卷积层和乘积层；所述多尺度卷积层包括膨胀率为1的1×1的卷积核、膨胀率为2的3×3的卷积核、膨胀率为4的3×3的卷积核和膨胀率为6的3×3的卷积核；所述第一函数激活层采用Sigmoid激活函数；
所述融合生成模块包括：第六卷积层和第二函数激活层；所述第六卷积层采用3×3×3的卷积核，所述第二函数激活层采用Tanh激活函数。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明公开一种多尺度通道注意力网络的图像纹理合成方法及系统，利用多尺度通道注意力图像纹理合成模型进行纹理合成后获得的纹理合成图像能够较好地恢复出任意大小的纹理细节信息，在视觉感知上具有优越性，避免存在局部失真或细节丢失的现象。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明多尺度通道注意力网络的图像纹理合成方法流程图；
图2为本发明多尺度通道注意力网络的图像纹理合成系统结构图；
图3为本发明生成器模型结构示意图；
图4为本发明浅层特征生成单元结构示意图；
图5为本发明带有归一化的残差单元结构示意图；
图6为本发明多尺度通道注意力单元结构示意图；
图7为本发明判别器网络结构示意图；
图8为本发明与已有方法的主观效果对比图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种多尺度通道注意力网络的图像纹理合成方法及系统，避免生成的纹理图像存在局部失真或细节丢失的现象。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
实施例1
如图1所示，本发明公开一种多尺度通道注意力网络的图像纹理合成方法，所述方法包括：
步骤S1：获取噪声图像；所述噪声图像为带有周期噪声的图像。
步骤S2：将所述噪声图像输入至生成器模型进行特征提取与融合，获得特征融合图像；所述生成器模型包括浅层特征提取模块、深层特征提取模块和融合生成模块。
步骤S3：给定样本纹理图像，并将所述样本纹理图像进行随机裁剪，获得训练集；所述训练集中包括多个经过裁剪后的图像块。本实施例按照128×128进行随机裁剪。
步骤S4：将所述训练集和所述特征融合图像输入至判别器模型，采用生成对抗损失函数优化生成器模型和判别器模型，获得多尺度通道注意力图像纹理合成模型。所述多尺度通道注意力图像纹理合成模型包括优化后的生成器模型和判别器模型。
步骤S5：将待合成纹理图像输入所述多尺度通道注意力图像纹理合成模型进行纹理合成，获得纹理合成图像。
下面对各个步骤进行详细论述：
步骤S21：将所述噪声图像输入所述浅层特征提取模块进行浅层特征提取，获得第一特征图，具体计算公式为：
其中，L()表示子像素卷积运算，H()表示卷积运算和归一化计算，δ()表示ReLU激活函数，IZ表示噪声图像，SFGn()表示第n个浅层特征生成单元对应的函数，En表示经过n个浅层特征生成单元输出的特征图，即第一特征图，E1表示经过1个浅层特征生成单元输出的特征图。
步骤S22：将所述第一特征图输入所述深层特征提取模块进行深层特征提取，获得第二特征图，具体包括：
步骤S221：对所述第一特征图进行卷积及归一化处理后，获得第三特征图，具体计算公式为：
其中，En表示经过n个浅层特征生成单元输出的第一特征图，DP1()表示第二卷积层卷积运算、BatchNorm归一化和ReLU激活函数运算，Resnetm()表示第m个带有归一化的残差单元对应的函数，DP2()表示第三卷积层卷积运算和BatchNorm归一化运算，Sm表示经过m个带有归一化的残差单元输出的特征图，L()表示子像素卷积运算，Sup表示依次经过m个归一化残差运算以及子像素卷积运算后获得的特征图，即第三特征图。
步骤S222：对所述第三特征图进行全局平均池化操作、多尺度操作以及拼接处理后，获得第二特征图，具体计算公式为：
其中，Sup表示依次经过m个归一化残差运算以及子像素卷积运算后获得的第三特征图，Avg()表示对输入全局平均池化操作，R()表示1×1卷积操作，γ()表示Sigmoid激活函数，表示使用膨胀率为1的扩张卷积，表示使用膨胀率为2的扩张卷积，表示使用膨胀率为4的扩张卷积，表示使用膨胀率为6的扩张卷积，Cat[]表示对四种扩张卷积的结果进行拼接操作，y表示经过全局平均池化、1×1卷积和Sigmoid后输出的特征图，z表示特征图拼接后再经过1×1卷积运算输出的特征图，Mul()表示矩阵相乘操作，xi表示经过多尺度通道注意力单元输出的特征图，即第二特征图。
步骤S23：将所述第二特征图输入所述融合生成模块进行融合，获得特征融合图像，具体计算公式为：
IM＝θ(R(xi))＝F(IZ)；
其中，xi表示经过多尺度通道注意力单元输出的特征图，即第二特征图，F()表示特征融合图像IM与噪声图像IZ之间的映射关系，R()表示卷积操作，θ()表示Tanh激活函数。
步骤S4：将所述训练集和所述特征融合图像输入至判别器模型，采用生成对抗损失函数优化生成器模型和判别器模型，获得多尺度通道注意力图像纹理合成模型，具体包括：
步骤S41：将所述训练集和所述特征融合图像输入至判别器模型，采用生成对抗损失函数计算损失值。
步骤S42：判断所述损失值是否满足收敛条件；如果所述损失值满足收敛条件，则输出多尺度通道注意力图像纹理合成模型；如果不满足收敛条件，则重新返回“步骤S2”，继续优化生成器模型和判别器模型。
本实施例中提到的收敛条件为小于设定阈值，或者为与相邻两次损失值之间的差值在某一设定范围内。
生成对抗损失函数具体公式为：
其中，LGen表示生成对抗损失函数计算的损失值，表示生成器模型，表示判别器模型，IZ表示噪声图像，x表示对样本纹理图像裁剪得到的训练集，表示最小化生成器模型，表示最大化判别器模型，n表示训练样本的个数。
实施例2
如图2所示，本发明还提供一种多尺度通道注意力网络的图像纹理合成系统，所述系统包括：
获取模块201，用于获取噪声图像。
特征提取与融合模块202，用于将所述噪声图像输入至生成器模型进行特征提取与融合，获得特征融合图像；所述生成器模型包括浅层特征提取模块、深层特征提取模块和融合生成模块。
裁剪模块203，用于给定样本纹理图像，并将所述样本纹理图像进行随机裁剪，获得训练集；所述训练集中包括多个经过裁剪后的图像块。本实施例按照128×128进行随机裁剪。
优化模块204，用于将所述训练集和所述特征融合图像输入至判别器模型，采用生成对抗损失函数优化生成器模型和判别器模型，获得多尺度通道注意力图像纹理合成模型；多尺度通道注意力图像纹理合成模型包括优化后的生成器模型和判别器模型。
纹理合成模块205，用于将待合成纹理图像输入所述多尺度通道注意力图像纹理合成模型进行纹理合成，获得纹理合成图像。
如图3所示，所述生成器模型包括浅层特征提取模块、深层特征提取模块和融合生成模块。所述浅层特征提取模块包括：4个浅层特征生成单元，分别为SFG1、SFG2、SFG3和SFG4；所述深层特征提取模块包括：3个带有归一化的残差单元、第二子像素卷积层Sub-pixel Conv和多尺度通道注意力单元ESE；3个带有归一化的残差单元分别为Resnet1、Resnet2和Resnet3。噪声图像经过第1个浅层特征生成单元后输出的特征图为E1，经过第2个浅层特征生成单元后输出的特征图为E2，经过第3个浅层特征生成单元后输出的特征图为E3，经过第4个浅层特征生成单元后输出的特征图为E4(又称第一特征图)，经过第1个带有归一化的残差单元后输出的特征图为S1，经过第2个带有归一化的残差单元后输出的特征图为S2，经过第3个带有归一化的残差单元后输出的特征图为S3，经过第二子像素卷积层后输出的特征图为Sup，经过多尺度通道注意力单元ESE后输出的特征图为第二特征图，经过融合生成模块后输出的特征图为特征融合图像IM。
如图4所示，各所述浅层特征生成单元包括第一子像素卷积层Sub-pixel Conv、第一卷积层Conv和第一归一化及函数激活层；所述第一归一化及函数激活层采用BatchNorm归一化与ReLU激活函数；第一卷积层Conv采用5×5的卷积核；所述第一子像素卷积层使用放大因子为2的子像素卷积层。
如图3所示，将所述噪声图像依次输入多个浅层特征生成单元进行浅层特征提取，获得第一特征图，具体计算公式为：
其中，L()表示子像素卷积运算，H()表示卷积运算和归一化计算，δ()表示ReLU激活函数，IZ表示噪声图像，SFGn()表示第n个浅层特征生成单元对应的函数，En表示经过n个浅层特征生成单元输出的第一特征图，E1表示经过1个浅层特征生成单元输出的特征图。此公式中的n为4。
所述深层特征提取模块包括：3个带有归一化的残差单元、第二子像素卷积层Sub-pixel Conv和多尺度通道注意力单元ESE；如图5所示，各所述带有归一化的残差单元包括：第二卷积层、第二归一化及函数激活层、第三卷积层和归一化层；所述第二归一化及函数激活层采用BatchNorm归一化与ReLU激活函数；所述归一化层采用BatchNorm归一化操作；所述第二卷积层采用5×5的卷积核，所述第三卷积层采用5×5的卷积核，第二子像素卷积层使用放大因子为2的子像素卷积层。
计算第三特征图的具体计算公式为：
其中，En表示经过n个浅层特征生成单元输出的第一特征图，DP1()表示第二卷积层卷积运算、BatchNorm归一化和ReLU激活函数运算，表示经过第二卷积层卷积运算、BatchNorm归一化和ReLU激活函数运算后输出的特征图，Resnetm()表示第m个带有归一化的残差单元对应的函数，DP2()表示第三卷积层卷积运算和BatchNorm归一化运算，Sm表示经过m个带有归一化的残差单元输出的特征图，L()表示子像素卷积运算，Sup表示依次经过m个归一化残差运算以及子像素卷积运算后获得的特征图，即第三特征图。
如图6所示，所述多尺度通道注意力单元包括：全局平均池化层Avg_pool、第四卷积层、第一函数激活层、多尺度卷积层、拼接层、第五卷积层和乘积层；所述多尺度卷积层包括膨胀率为1的1×1的卷积核、膨胀率为2的3×3的卷积核、膨胀率为4的3×3的卷积核和膨胀率为6的3×3的卷积核；所述第一函数激活层采用Sigmoid激活函数；所述第四卷积层和所述第五卷积层均采用1×1的卷积核。
将第三特征图Sup输入多尺度通道注意力单元，通过设置不同的膨胀率实现多尺度操作，另外将输入的第三特征图通过全局平均池化经过Sigmoid函数激活后得到带有注意力权值的特征向量，与通过多尺度扩张卷积提取的不同区域的特征图矩阵相乘，得到带有通道权值的特征图，即第二特征图。
计算第二特征图的具体计算公式为：
其中，Sup表示依次经过m个归一化残差运算以及子像素卷积运算后获得的第三特征图，Avg()表示对输入全局平均池化操作，R()表示1×1卷积操作，γ()表示Sigmoid激活函数，表示使用膨胀率为1的扩张卷积，表示使用膨胀率为2的扩张卷积，表示使用膨胀率为4的扩张卷积，表示使用膨胀率为6的扩张卷积，Cat[]表示对四种扩张卷积的结果进行拼接操作，y表示经过全局平均池化、1×1卷积和Sigmoid后输出的特征图，z表示特征图拼接后再经过1×1卷积运算输出的特征图，Mul()表示矩阵相乘操作，xi表示经过多尺度通道注意力单元输出的特征图，即第二特征图。
本发明多尺度通道注意力单元在融合注意力权值前引入多尺度卷积层进行多尺度卷积操作，扩大网络的感受野，使网络能够利用更多的上下文信息，提取图像更多的高频细节信息。本发明将提取浅层特征后的第一特征图即E4输入到深层特征提取模块进行深层特征提取，以使提取出更具有代表性的图像特征。另外将第一特征图E4经过三层残差模块与一层子像素卷积操作后输入多尺度通道注意力模块，进而提高网络的表达能力。
如图3所示，所述融合生成模块包括：第六卷积层和第二函数激活层，所述第六卷积层采用3×3×3的卷积核，所述第二函数激活层采用Tanh激活函数。
在模型的融合生成过程中，通过一个尺寸为3×3×3的卷积核对融合后的特征图xi进行细化并恢复到原始的图像通道数，再经过Tanh激活函数减少生成图像的噪声点得到融合特征图像IM，具体计算公式为：
IM＝θ(R(xi))＝F(IZ)；
其中，xi表示经过多尺度通道注意力单元输出的特征图，即第二特征图，F()表示特征融合图像IM与噪声图像IZ之间的映射关系，R()表示卷积操作，θ()表示Tanh激活函数。
本发明将生成器模型生成的融合特征图像输入判别器模型，由判别器模型通过交叉熵损失计算网络生成的融合特征图像与输入的样本纹理图像之间的差异，最小化该差异得到模型参数的最优解，本发明使用对抗损失优化网络模型，更新参数。如图7所示，本发明判别器模型包括卷积+函数激活层Conv+LeakyReLu、3个卷积+BN+函数激活层Conv+BN+LeakyReLu、卷积层Conv和函数激活层；卷积+函数激活层中采用LeakyReLu激活函数，卷积+BN+函数激活层Conv+BN+LeakyReLu采用LeakyReLu激活函数，函数激活层采用Sigmoid激活函数。
作为一种可选的实施方式，所述优化模块204包括：
损失值计算单元，用于将所述训练集和所述特征融合图像输入至判别器模型，采用生成对抗损失函数计算损失值。
判断单元，用于判断所述损失值是否满足收敛条件；如果所述损失值满足收敛条件，则输出多尺度通道注意力图像纹理合成模型；如果不满足收敛条件，则重新返回“特征提取与融合模块202”，继续优化生成器模型和判别器模型。本实施例中提到的收敛条件为小于设定阈值，或者为与相邻两次损失值之间的差值在某一设定范围内。
对抗损失通过对生成器模型和判别器模型交替迭代训练对参数进行优化，但是一切损失计算都是在处产生，而的输出一般是0或1，所以采用二进制交叉熵计算损失，对抗损失包含两部分，分别是最小化生成器和最大化判别器因此生成对抗损失函数具体公式为：
其中，LGen表示生成对抗损失函数计算的损失值，表示生成器模型，表示判别器模型，IZ表示噪声图像，x表示对样本纹理图像裁剪得到的训练集，表示最小化生成器模型，表示最大化判别器模型，n表示训练样本的个数。
本发明公开的浅层特征提取模块包含四个全卷积层和四个子像素卷积层，扩大特征图的尺寸并提高分辨率，采用5×5的卷积核提取图像低级特征，利用归一化及函数激活层使网络模型更好的学习训练数据的分布；另外，带有归一化的残差单元即在基本残差单元中增加归一化操作，防止梯度消失或爆炸，进一步使网络模型更好的学习训练数据的分布；通过残差单元后生成的特征图再次进入子像素卷积层，进一步扩大特征图的尺寸，并提高分辨率，扩大网络的感受野。本发明多尺度通道注意力单元由四个不同大小的扩张卷积提取图像的多尺度信息并进行特征拼接，从而获得图像更多不同区域的高频细节信息，另一方面输入特征图由全局平均池化后经过Sigmoid激活函数获取图像通道注意力权重，最后将带有通道注意力权值的特征图与拼接后的多尺度信息进行融合，得到图像的深层特征；通过引入多尺度扩张卷积来扩大网络感受野的同时关注通道注意力权重，通过残差连接能够充分利用图像的上下文和通道信息，从而提高网络生成图像的性能，通过调整输入噪声图像的尺寸，生成任意大小的纹理图像，避免出现生成的纹理图像存在局部失真或细节丢失的现象。
实施例3
为了验证本发明的有效性，使用多张图像进行测试，在描述纹理数据集(DescribableTextures Dataset)中进行对比实验，并与PSGAN方法以及SinGAN方法生成的纹理图像进行对比，结果如图8所示。
将利用本发明公开的方案获得的结果与PSGAN方法对比，可以看出，PSGAN生成的结果缺乏纹理细节信息，图像较为平滑，在纹理连接处易出现扭曲。将利用本发明公开的方案获得的结果与SinGAN方法对比，SinGAN合成与输入相同大小纹理时结果清晰、细节丰富，当使用放大因子为1.5倍时，合成的样本纹理细节丢失并出现较大扭曲，而本发明公开的方案能够较好地恢复出任意大小的纹理细节信息，在视觉感知上具有优越性，避免存在局部失真或细节丢失的现象。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (9)

1.一种多尺度通道注意力网络的图像纹理合成方法，其特征在于，所述方法包括：
步骤S1：获取噪声图像，所述噪声图像为带有周期噪声的图像；
步骤S2：将所述噪声图像输入至生成器模型进行特征提取与融合，获得特征融合图像；所述生成器模型包括浅层特征提取模块、深层特征提取模块和融合生成模块；
步骤S3：给定样本纹理图像，并将所述样本纹理图像进行随机裁剪，获得训练集；所述训练集中包括多个经过裁剪后的图像块；
步骤S4：将所述训练集和所述特征融合图像输入至判别器模型，采用生成对抗损失函数优化生成器模型和判别器模型，获得多尺度通道注意力图像纹理合成模型；多尺度通道注意力图像纹理合成模型包括优化后的生成器模型和判别器模型，具体包括：
步骤S41：将所述训练集和所述特征融合图像输入至判别器模型，采用生成对抗损失函数计算损失值；
步骤S42：判断所述损失值是否满足收敛条件；如果所述损失值满足收敛条件，则输出多尺度通道注意力图像纹理合成模型；如果不满足收敛条件，则重新返回步骤S2，继续优化生成器模型和判别器模型；
步骤S5：将待合成纹理图像输入所述多尺度通道注意力图像纹理合成模型进行纹理合成，获得纹理合成图像。
2.根据权利要求1所述的多尺度通道注意力网络的图像纹理合成方法，其特征在于，所述将所述噪声图像输入至生成器模型进行特征提取与融合，获得特征融合图像，具体包括：
将所述噪声图像输入所述浅层特征提取模块进行浅层特征提取，获得第一特征图；
将所述第一特征图输入所述深层特征提取模块进行深层特征提取，获得第二特征图；
将所述第二特征图输入所述融合生成模块进行融合，获得特征融合图像。
3.根据权利要求2所述的多尺度通道注意力网络的图像纹理合成方法，其特征在于，所述将所述第一特征图输入所述深层特征提取模块进行深层特征提取，获得第二特征图，具体包括：
对所述第一特征图进行卷积及归一化处理后，获得第三特征图；
对所述第三特征图进行全局平均池化操作、多尺度操作以及拼接处理后，获得第二特征图。
4.根据权利要求2所述的多尺度通道注意力网络的图像纹理合成方法，其特征在于，所述将所述噪声图像输入所述浅层特征提取模块进行浅层特征提取，获得第一特征图，具体计算公式为：
其中，L()表示子像素卷积运算，H()表示卷积运算和归一化计算，δ()表示ReLU激活函数，IZ表示噪声图像，SFGn()表示第n个浅层特征生成单元对应的函数，En表示经过n个浅层特征生成单元输出的第一特征图，E1表示经过1个浅层特征生成单元输出的特征图。
5.根据权利要求3所述的多尺度通道注意力网络的图像纹理合成方法，其特征在于，所述对所述第一特征图进行卷积及归一化处理后，获得第三特征图，具体计算公式为：
其中，En表示经过n个浅层特征生成单元输出的第一特征图，DP1()表示第二卷积层卷积运算、BatchNorm归一化和ReLU激活函数运算，Resnetm()表示第m个带有归一化的残差单元对应的函数，DP2()表示第三卷积层卷积运算和BatchNorm归一化运算，Sm表示经过m个带有归一化的残差单元输出的特征图，L()表示子像素卷积运算，Sup表示依次经过m个归一化残差运算以及子像素卷积运算后获得的第三特征图。
6.根据权利要求3所述的多尺度通道注意力网络的图像纹理合成方法，其特征在于，所述对所述第三特征图进行全局平均池化操作、多尺度操作以及拼接处理后，获得第二特征图，具体计算公式为：
其中，Sup表示依次经过m个归一化残差运算以及子像素卷积运算后获得的第三特征图，Avg()表示对输入全局平均池化操作，R()表示1×1卷积操作，γ()表示Sigmoid激活函数，表示使用膨胀率为1的扩张卷积，表示使用膨胀率为2的扩张卷积，表示使用膨胀率为4的扩张卷积，表示使用膨胀率为6的扩张卷积，Cat[]表示对四种扩张卷积的结果进行拼接操作，y表示经过全局平均池化、1×1卷积和Sigmoid后输出的特征图，z表示特征图拼接后再经过1×1卷积运算输出的特征图，Mul()表示矩阵相乘操作，xi表示经过多尺度通道注意力单元输出的第二特征图。
7.根据权利要求2所述的多尺度通道注意力网络的图像纹理合成方法，其特征在于，所述将所述第二特征图输入所述融合生成模块进行融合，获得特征融合图像，具体计算公式为：
IM＝θ(R(xi))＝F(IZ)；
其中，xi表示经过多尺度通道注意力单元输出的第二特征图，F()表示特征融合图像IM与噪声图像IZ之间的映射关系，R()表示卷积操作，θ()表示Tanh激活函数。
8.一种多尺度通道注意力网络的图像纹理合成系统，其特征在于，所述系统包括：
获取模块，用于获取噪声图像，所述噪声图像为带有周期噪声的图像；
特征提取与融合模块，用于将所述噪声图像输入至生成器模型进行特征提取与融合，获得特征融合图像；所述生成器模型包括浅层特征提取模块、深层特征提取模块和融合生成模块；
裁剪模块，用于给定样本纹理图像，并将所述样本纹理图像进行随机裁剪，获得训练集；所述训练集中包括多个经过裁剪后的图像块；
优化模块，用于将所述训练集和所述特征融合图像输入至判别器模型，采用生成对抗损失函数优化生成器模型和判别器模型，获得多尺度通道注意力图像纹理合成模型；多尺度通道注意力图像纹理合成模型包括优化后的生成器模型和判别器模型，具体包括：
步骤S41：将所述训练集和所述特征融合图像输入至判别器模型，采用生成对抗损失函数计算损失值；
步骤S42：判断所述损失值是否满足收敛条件；如果所述损失值满足收敛条件，则输出多尺度通道注意力图像纹理合成模型；如果不满足收敛条件，则重新返回步骤S2，继续优化生成器模型和判别器模型；
纹理合成模块，用于将待合成纹理图像输入所述多尺度通道注意力图像纹理合成模型进行纹理合成，获得纹理合成图像。
9.根据权利要求8所述的多尺度通道注意力网络的图像纹理合成系统，其特征在于，所述浅层特征提取模块包括：n个浅层特征生成单元，其中，n为大于或等于1的正整数；各所述浅层特征生成单元包括第一子像素卷积层、第一卷积层和第一归一化及函数激活层；所述第一归一化及函数激活层采用BatchNorm归一化与ReLU激活函数；
所述深层特征提取模块包括：m个带有归一化的残差单元、第二子像素卷积层和多尺度通道注意力单元；其中，m为大于或等于1的正整数；各所述带有归一化的残差单元包括：第二卷积层、第二归一化及函数激活层、第三卷积层和归一化层；所述第二归一化及函数激活层采用BatchNorm归一化与ReLU激活函数；所述归一化层采用BatchNorm归一化操作；
所述多尺度通道注意力单元包括：全局平均池化层、第四卷积层、第一函数激活层、多尺度卷积层、拼接层、第五卷积层和乘积层；所述多尺度卷积层包括膨胀率为1的1×1的卷积核、膨胀率为2的3×3的卷积核、膨胀率为4的3×3的卷积核和膨胀率为6的3×3的卷积核；所述第一函数激活层采用Sigmoid激活函数；
所述融合生成模块包括：第六卷积层和第二函数激活层；所述第六卷积层采用3×3×3的卷积核，所述第二函数激活层采用Tanh激活函数。
CN202111049838.6A 2021-09-08 2021-09-08 一种多尺度通道注意力网络的图像纹理合成方法及系统 Active CN113689517B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111049838.6A CN113689517B (zh) 2021-09-08 2021-09-08 一种多尺度通道注意力网络的图像纹理合成方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111049838.6A CN113689517B (zh) 2021-09-08 2021-09-08 一种多尺度通道注意力网络的图像纹理合成方法及系统

Publications (2)

Publication Number Publication Date
CN113689517A CN113689517A (zh) 2021-11-23
CN113689517B true CN113689517B (zh) 2024-05-21

Family

ID=78585968

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111049838.6A Active CN113689517B (zh) 2021-09-08 2021-09-08 一种多尺度通道注意力网络的图像纹理合成方法及系统

Country Status (1)

Country Link
CN (1) CN113689517B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114359069B (zh) * 2021-12-08 2024-07-02 华南理工大学 一种图像恢复方法、系统、装置和存储介质
CN115311475B (zh) * 2022-06-28 2026-01-27 中国科学院自动化研究所 基于内容安全的图像识别方法、装置、设备和存储介质
CN115100435B (zh) * 2022-07-21 2024-09-06 西北工业大学 基于有限数据多尺度目标学习的图像着色方法及其系统
CN115239674B (zh) * 2022-07-29 2023-06-23 中国人民解放军总医院第一医学中心 基于多尺度判别的计算机血管造影成像合成方法
CN115272434B (zh) * 2022-08-02 2025-10-24 浙江工业大学 一种基于自优化深度图像先验的纹理连续性检测方法
CN116071269A (zh) * 2023-02-28 2023-05-05 上海砹芯科技有限公司 一种图像降噪方法、装置、电子设备及存储介质
CN116416342B (zh) * 2023-06-12 2023-09-19 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机设备和计算机可读存储介质
CN116681627B (zh) * 2023-08-03 2023-11-24 佛山科学技术学院 一种跨尺度融合的自适应水下图像生成对抗增强方法
CN117612020B (zh) * 2024-01-24 2024-07-05 西安宇速防务集团有限公司 基于sgan对抗神经网络遥感影像要素变化的检测方法
CN118229549B (zh) * 2024-03-25 2025-02-25 辽宁科技学院 地理信息图像的提取特征与生成系统及方法
CN119444587B (zh) * 2024-10-23 2025-09-30 中国海洋大学 基于层级贝叶斯结构的大尺度高质量纹理图像合成方法
CN120182424B (zh) * 2025-05-22 2025-08-05 南京邮电大学 一种高质量图像生成方法及装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106991660A (zh) * 2017-03-31 2017-07-28 云南大学 基于改进型八叉树分解的三维超声图像数据抽样方法
WO2020258902A1 (zh) * 2019-06-24 2020-12-30 商汤集团有限公司 图像生成和神经网络训练方法、装置、设备和介质
CN112233026A (zh) * 2020-09-29 2021-01-15 南京理工大学 一种基于多尺度残差注意力网络的sar图像去噪方法
JP6830707B1 (ja) * 2020-01-23 2021-02-17 同▲済▼大学 ランダムバッチマスクとマルチスケール表現学習を融合した人物再同定方法
CN112598759A (zh) * 2020-12-15 2021-04-02 太原科技大学 抑制低剂量ct图像中伪影噪声的多尺度特征生成对抗网络
EP3825711A1 (en) * 2019-11-25 2021-05-26 Koninklijke Philips N.V. Hybrid compressed sensing image reconstruction
US11023777B1 (en) * 2020-09-25 2021-06-01 Deeping Source Inc. Methods for training and testing obfuscation network capable of performing distinct concealing processes for distinct regions of original image and learning and testing devices using the same
CN112967177A (zh) * 2021-03-03 2021-06-15 北京百度网讯科技有限公司 图像生成方法、装置、设备、存储介质以及程序产品
CN113344806A (zh) * 2021-07-23 2021-09-03 中山大学 一种基于全局特征融合注意力网络的图像去雾方法与系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7023669B2 (ja) * 2017-10-26 2022-02-22 株式会社Preferred Networks 画像生成方法、画像生成装置、及び画像生成プログラム
US10832450B2 (en) * 2019-03-27 2020-11-10 GM Global Technology Operations LLC Semantic preserved style transfer
CN111325111A (zh) * 2020-01-23 2020-06-23 同济大学 一种融合逆注意力和多尺度深度监督的行人重识别方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106991660A (zh) * 2017-03-31 2017-07-28 云南大学 基于改进型八叉树分解的三维超声图像数据抽样方法
WO2020258902A1 (zh) * 2019-06-24 2020-12-30 商汤集团有限公司 图像生成和神经网络训练方法、装置、设备和介质
EP3825711A1 (en) * 2019-11-25 2021-05-26 Koninklijke Philips N.V. Hybrid compressed sensing image reconstruction
JP6830707B1 (ja) * 2020-01-23 2021-02-17 同▲済▼大学 ランダムバッチマスクとマルチスケール表現学習を融合した人物再同定方法
US11023777B1 (en) * 2020-09-25 2021-06-01 Deeping Source Inc. Methods for training and testing obfuscation network capable of performing distinct concealing processes for distinct regions of original image and learning and testing devices using the same
CN112233026A (zh) * 2020-09-29 2021-01-15 南京理工大学 一种基于多尺度残差注意力网络的sar图像去噪方法
CN112598759A (zh) * 2020-12-15 2021-04-02 太原科技大学 抑制低剂量ct图像中伪影噪声的多尺度特征生成对抗网络
CN112967177A (zh) * 2021-03-03 2021-06-15 北京百度网讯科技有限公司 图像生成方法、装置、设备、存储介质以及程序产品
CN113344806A (zh) * 2021-07-23 2021-09-03 中山大学 一种基于全局特征融合注意力网络的图像去雾方法与系统

Also Published As

Publication number Publication date
CN113689517A (zh) 2021-11-23

Similar Documents

Publication Publication Date Title
CN113689517B (zh) 一种多尺度通道注意力网络的图像纹理合成方法及系统
Yang et al. DRFN: Deep recurrent fusion network for single-image super-resolution with large factors
CN112215755B (zh) 一种基于反投影注意力网络的图像超分辨率重建方法
CN111105352A (zh) 超分辨率图像重构方法、系统、计算机设备及存储介质
CN112686119B (zh) 基于自注意力生成对抗网络的车牌运动模糊图像处理方法
CN103279933B (zh) 一种基于双层模型的单幅图像超分辨率重建方法
CN117575915B (zh) 一种图像超分辨率重建方法、终端设备及存储介质
CN115393191B (zh) 一种轻量级遥感图像超分辨率重建方法、装置及设备
CN113628114B (zh) 一种双通道稀疏编码的图像超分辨率重建方法
CN112801914A (zh) 一种基于纹理结构感知的二段式图像修复方法
CN116797456B (zh) 图像超分辨率重建方法、系统、设备和存储介质
CN113962905A (zh) 基于多阶段特征互补网络的单幅图像去雨方法
CN109345604B (zh) 图片处理方法、计算机设备和存储介质
Yi et al. HCTIRdeblur: A hybrid convolution-transformer network for single infrared image deblurring
CN117830100A (zh) 基于深浅层特征融合的遥感影像超分辨率重建方法和系统
CN115797176A (zh) 一种图像超分辨率重建方法
CN119809930A (zh) 基于双分支动态协作网络的人脸超分辨率方法及系统
Liu et al. Facial image inpainting using multi-level generative network
Gao et al. Rank-one network: An effective framework for image restoration
Yin et al. Long range constraints for neural texture synthesis using sliced wasserstein loss
Babu et al. Review on CNN based image denoising
CN115147276B (zh) 一种文本图像超分辨率方法
CN118333865A (zh) 基于多尺度混合自注意力的轻量化图像超分辨方法
CN114240771B (zh) 基于双重控制网络的图像去模糊系统及方法
CN114445289B (zh) 一种基于生成对抗网络的红外图像去运动模糊方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant