CN115345801B - 一种基于图像去噪思想的图像压缩及滤镜去除方法及系统 - Google Patents

一种基于图像去噪思想的图像压缩及滤镜去除方法及系统 Download PDF

Info

Publication number
CN115345801B
CN115345801B CN202211270285.1A CN202211270285A CN115345801B CN 115345801 B CN115345801 B CN 115345801B CN 202211270285 A CN202211270285 A CN 202211270285A CN 115345801 B CN115345801 B CN 115345801B
Authority
CN
China
Prior art keywords
module
image
filter
filter removal
image compression
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211270285.1A
Other languages
English (en)
Other versions
CN115345801A (zh
Inventor
冷聪
李成华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongke Fangcun Zhiwei Nanjing Technology Co ltd
Original Assignee
Zhongke Fangcun Zhiwei Nanjing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhongke Fangcun Zhiwei Nanjing Technology Co ltd filed Critical Zhongke Fangcun Zhiwei Nanjing Technology Co ltd
Priority to CN202211270285.1A priority Critical patent/CN115345801B/zh
Publication of CN115345801A publication Critical patent/CN115345801A/zh
Application granted granted Critical
Publication of CN115345801B publication Critical patent/CN115345801B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)

Abstract

本发明提出了一种基于图像去噪思想的图像压缩及滤镜去除方法及系统，属于图像数据处理的技术领域。其中方法包括：步骤1、构建图像压缩及滤镜去除网络模型；步骤2、将带滤镜的RGB图像作为输入数据传输至图像压缩及滤镜去除网络模型中；步骤3、图像压缩及滤镜去除网络模型对接收到的输入数据进行滤镜去除；步骤4、输出去除滤镜后的图像数据。本发明提出的图像压缩及滤镜去除网络模型可以将多级分辨率特征融合，有效提取不同分辨率层级下的特征，从而提高图像压缩及滤镜信息的特征提取和筛选，提高模型去除滤镜性能，进而提高结果的压缩率。同时，图像压缩及滤镜去除网络模型可以直接进行端到端的训练，更适用于实际场景。

Description

一种基于图像去噪思想的图像压缩及滤镜去除方法及系统
技术领域
本发明属于图像数据处理的技术领域，特别是涉及一种基于图像去噪思想的图像压缩及滤镜去除方法及系统。
背景技术
智能手机或互联网上众多的社交媒体应用中包含丰富的图像滤镜，这种滤镜通过应用多个图像变换将图像转换为不同的样式，以迎合大众多样的审美需求。但是这些滤镜通过调整对比度、亮度、色调、饱和度、模糊、噪声等来修改原始图像，会对图像带来颜色级别或像素级别的损坏和扰动，从而大大增加下游计算机视觉任务利用这些图片的难度。
发明内容
发明目的：提出一种基于图像去噪思想的图像压缩及滤镜去除方法及系统，以解决现有技术存在的上述问题。通过将图像滤镜去除视为图像去噪，利用构建的图像压缩及滤镜去除网络以较高的精度恢复加滤镜前的图像。
技术方案：第一方面，提出了一种基于图像去噪思想的图像压缩及滤镜去除方法，该方法具体包括以下步骤：
步骤1、构建图像压缩及滤镜去除网络模型；构建的图像压缩及滤镜去除网络模型呈对称结构，起始两端均为一个独立的卷积层，中间部分为相互对应的编码模块和解码模块。
步骤2、将带滤镜的RGB图像作为输入数据传输至图像压缩及滤镜去除网络模型中；图像压缩及滤镜去除网络模型对数据进行处理的中间过程中，通过相对应的跳跃连接实现编码模块与解码模块之间的数据传输。
步骤3、图像压缩及滤镜去除网络模型通过构建的滤镜去除模块对接收到的输入数据进行滤镜去除。
步骤4、输出去除滤镜后的图像数据。
在第一方面的一些可实现方式中，图像压缩及滤镜去除网络模型对数据进行处理的中间过程中，中间部分通过划分层级的方式对数据进行逐层处理，解码模块在每一层级进行数据处理的过程中，通过子像素卷积操作实现分辨率的增大。
实现图像滤镜去除的滤镜去除模块包含两个残差跳跃连接，两个残差的末端均与当前残差模块对应接收到的输入特征图进行逐元素相加。滤镜去除模块作为一个两级残差跳跃连接结构，其中第一级残差跳跃连接结构顺序包含：层归一化、3
Figure 100002_DEST_PATH_IMAGE002
3卷积、可分离卷积、分散注意力模块、跳跃注意力模块、3/>
Figure 548092DEST_PATH_IMAGE002
3卷积。第二级残差跳跃连接结构顺序包含：层归一化、1/>
Figure 730812DEST_PATH_IMAGE002
1卷积、3/>
Figure 713811DEST_PATH_IMAGE002
3可分离卷积、简单激活门控模块、3/>
Figure 43774DEST_PATH_IMAGE002
3卷积。
其中，第一级残差跳跃连接结构种的分散注意力模块将接收到的特征图按通道等分成两份，之后将两个特征图逐元素相乘；跳跃注意力模块将所述分散注意力模块的输出特征图顺序经过3x3卷积、参数修正线性单元、3x3卷积，并列的通道注意力模块和空间注意力模块、合并、1x1卷积操作后与自身逐元素相乘，输出的特征图再与当前滤镜去除模块的输入特征图进行逐元素相加，完成第一级跳跃残差。
第一级残差跳跃连接结构在数据处理的过程中，首先按照结构顺序对接收到的图像数据进行处理，并在最后环节与初始接收到的图像数据进行逐元素相加后，输出特征图，完成第一级跳跃残差。
第二级残差跳跃连接结构接收第一级残差跳跃连接结构输出的特征图，在顺序经过第二级残差跳跃连接结构的处理后，与第一级残差跳跃连接结构输出的特征图进行逐元素相加，完成第二级跳跃残差。
进行数据处理的过程中，第一级残差跳跃连接结构中的分散注意力模块包含一个分割操作和一个逐元素相乘操作。分散注意力模块将特征图按通道等分成两份，之后将两个特征图逐元素相乘。跳跃注意力模块是将分散注意力模块的输出特征图顺序经过3
Figure 999092DEST_PATH_IMAGE002
3卷积、参数修正线性单元、3/>
Figure 352713DEST_PATH_IMAGE002
3卷积（Conv），并列的通道注意力和空间注意力、合并、1/>
Figure 291850DEST_PATH_IMAGE002
1卷积等操作后与自身逐元素相乘，输出再与此滤镜去除模块的输入进行逐元素相加，完成第一级跳跃残差。然后，第二级残差是将第一级残差模块的输出特征图顺序经过层归一化、1/>
Figure 21908DEST_PATH_IMAGE002
1卷积、3/>
Figure 97312DEST_PATH_IMAGE002
3可分离卷积、简单激活门控模块、3/>
Figure 621834DEST_PATH_IMAGE002
3卷积等基本操作后与自身逐元素相加，其中简单激活门控模块包含上、下两个分支，上分支经过一个高斯激活函数后与输入特征图进行逐元素相乘。
第二方面，提出一种基于图像去噪思想的图像压缩及滤镜去除系统，用于实现图像压缩及滤镜去除方法，该系统具体包括：
用于根据需求构建图像压缩及滤镜去除网络模型的模型构建模块；
用于利用构建的模型进行数据分析处理的数据分析模块；
用于输出数据分析结果的数据输出模块。
在数据分析过程中，图像压缩及滤镜去除网络模型包含至少两个层级，且层级之间具有不同的分辨率；每个层级中构建的滤镜去除模块包含至少两个卷积操作和注意力操作。
有益效果：本发明提出了一种基于图像去噪思想的图像压缩及滤镜去除方法及系统，通过将图像滤镜去除视为图像去噪，利用构建的图像压缩及滤镜去除网络以较高的精度恢复加滤镜前的图像，同时提高图像压缩率。
本发明提出的DefilterNet模型可以将多级分辨率特征融合，有效提取不同分辨率层级下的特征，从而提高图像压缩及滤镜信息的特征提取和筛选，提高模型性能。同时，DefilterNet模型可以直接进行端到端的训练，更适用于实际场景。
DefilterNet模型中的滤镜去除模块采用两级残差结构，第一级残差结构通过注意力机制（Attention）进行特征的初步筛选，第二级残差结构通过门控机制（Gate）进行有用特征的进一步加强，有效提高了网络的特征筛选能力。
另外，本发明提出的DefilterNet模型的训练过程可以采取混合图片的数据增强方式，从而增加训练数据的数量及多样性，提高模型的泛化能力。
附图说明
图1为本发明的构建的DefilterNet模型结构图。
图2为本发明DefilterNet模型中滤镜去除模块的结构图。
具体实施方式
在下文的描述中，给出了大量具体的细节以便提供对本发明更为彻底的理解。然而，对于本领域技术人员而言显而易见的是，本发明可以无需一个或多个这些细节而得以实施。在其他的例子中，为了避免与本发明发生混淆，对于本领域公知的一些技术特征未进行描述。
申请人认为在图像数据的处理过程中，带滤镜图像经互联网传输往往会经过图像压缩过程，因此图像压缩及滤镜去除是完成社交媒体图像内容视觉分析的关键预处理步骤。图像数据处理的过程中涉及卷积神经网络技术、图像滤镜去除技术和图像恢复技术。
其中，卷积神经网络技术：卷积神经网络(CNN，Convolution Neural Network)已经在计算机视觉领域得到了广泛且成功的应用，比如分类（image classification)、检测（object detection）、分割（semantic segmentation）、去噪（image denoising）、超分（image super-resolution）等。这些任务的研究多是基于开放的数据集，比如ImageNet、COCO、REDS等，这些数据集一般由人工收集并经过清洗，卷积神经网络(CNN）在这些任务上均表现出较好的性能。但是，这也凸显了卷积神经网络(CNN）的一个缺点，即对图像级损坏和扰动并不鲁棒，因此在很多算法会使用预训练或增加预处理步骤来清理图像噪声，以减小图像像素损坏或扰动对卷积神经网络（CNN）的影像。
图像滤镜去除技术：该技术旨在去除常见图像中的滤镜效果，以恢复原始图像，减小滤镜对下游计算机视觉任务的影响。传统方法侧重学习滤镜类别，或求解近似的滤镜变换矩阵。最近的两项工作均为深度学习方法，可以端到端训练。比如，滤镜去除网络IFRNet（Instagram Filter Removal Network）在假设任何应用于图像的滤镜都会向图像注入一条额外的样式信息的动机下将滤镜去除问题视为反向风格迁移问题，通过在编码器的每个级别中自适应规范化外部风格信息，可以直接去除滤镜的视觉效果。此外，风格对抗滤镜去除网络CIFR（Contrastive Style Learning for Instagram Filter Removal）通过采用一种新颖的对抗风格学习机制来增强图像滤镜去除，可以产生更好的定性和定量结果。
图像恢复技术：该技术旨在从低质量输入图像中恢复高质量图像。近年来，大量基于深度学习的方法被应用于图像恢复领域，比如Restormer、NAFNet、MultiStageIR、Uformer。其中，绝大多数应用基于编码器-解码器的UNet架构能够分层提取多尺度表示，跳过连接通常用于聚焦关于学习残差信号。最近，利用具有增强基本块的单阶段UNet架构，NAFNet在图像去模糊任务和图像去噪任务上取得了较好的结果。
但是在实现图像滤镜去除的过程中，传统的技术侧重于图像滤镜种类分类或滤镜变换矩阵近似估计，实现步骤复杂，且不能保证变换精度，导致传统的图像滤镜去除方法不能达到较高的性能和较好的效果。另外，现有的基于深度学习的方法将滤镜去除看作是反向风格迁移问题，或者采用对抗生成网络，使得对滤镜信息的刻画较为复杂，进而导致模型训练难度增加或者性能欠佳。此外，在实际应用的过程中，由于滤镜图像经过互联网传输会经过图像压缩过程，这也给图像滤镜去除增加了困难。
针对提及到的问题，本申请提出一种基于图像去噪思想的图像压缩及滤镜去除方法及系统，通过将图像滤镜去除视为图像去噪，构建可端到端训练的图像压缩及滤镜去除网络DefilterNet，以较高的精度恢复加滤镜前的图像。同时，为了融合注意力机制和门控机制提高网络进行特征提取、筛选的能力，增强网络滤镜去除性能，在图像压缩及滤镜去除网络DefilterNet中添加基于两级残差深度学习网络的滤镜去除模块（DFB，DefilterBlock）。另外，为了增强DefilterNet模型的泛化能力，进一步提出一种有效的用于滤镜去除网络训练的数据增强方法，在扩充训练数据量的基础上，提升数据的多样性。
实施例一
在一个实施例中，为了恢复图像压缩算法或增加滤镜前的图像，以保证下游视觉任务的精度，提出一种基于图像去噪思想的图像压缩及滤镜去除方法，该方法具体包括以下步骤：
步骤1、构建图像压缩及滤镜去除网络DefilterNet模型；
如图1所示，DefilterNet模型的起始端是一个单独的3
Figure 782688DEST_PATH_IMAGE002
3卷积层，中间部分是呈对称结构的编码模块和解码模块。数据处理的过程中，编码模块和解码模块在编码和解码的阶段中，从上至下被划分为5个层级，且同层级的编码层输出经过跳跃连接加到解码层的输入上。
编码阶段不同层级的特征图大小逐级递减，每次递减倍数均为2，通过设置该层最后一个卷积的参数（2
Figure 50858DEST_PATH_IMAGE002
2，stride=2）来实现。
解码层特征图大小则逐级递增，每次递增倍数仍为2，递增通过1
Figure 308664DEST_PATH_IMAGE002
1卷积（Conv）来增加通道数，再通过子像素卷积（Pixel-shuffle）操作来实现分辨率增大。
步骤2、将带滤镜的RGB图像作为输入数据传输至DefilterNet模型中；
步骤3、DefilterNet模型对接收到的输入数据进行压缩及滤镜的去除；
如图1所示，进行滤镜去除的过程中，在编码和解码阶段每个层级的基本模块是一个滤镜去除模块（DFB）。滤镜去除模块包含两个残差跳跃连接，末端通过逐元素相加（Element-wise Addition）操作连接，即与残差连接前的网络模块的输出特征图进行逐元素相加。
步骤4、输出去除压缩及滤镜影响后的图像数据。
在进一步的实施例中，将一个大小为[H，W，3]且带滤镜的RGB图像作为输入数据，传输至构建的DefilterNet模型中，其中输入数据对应的高、宽、通道数分别为H、W、3。DefilterNet模型对接收到的输入数据进行压缩及滤镜去除处理，输出大小为[4H，4W，3]的图像。
在进一步的实施例中，为了提高DefilterNet模型的性能，对其进行性能训练，训练过程可以采取混合图片的数据增强方式，从而增加训练数据的数量及多样性，提高模型的泛化能力。
在进一步的实施例中，在图像分类、检测、分割、超分等计算机视觉任务中，一般需要对输入图像进行各种预处理操作。假设输入图像是经过互联网上传输的带滤镜的图像，一般需要执行图像压缩及滤镜去除操作，以减少压缩或滤镜对下游视觉任务的不利影响。采用本专利提出的DefilterNet模型对此类图片进行预处理后，再送入下游视觉任务模型中，可以有效减少压缩或滤镜对下游视觉任务的不利影响。
优选实施例中，本实施例提出的DefilterNet模型可用于含有GPU算力的云服务产品，主要面向图像分类、检测、分割、超分等计算机视觉任务模型的训练，当用户使用的图片是经过互联网上传输的带滤镜的图像，需要经过预处理时，针对含有GPU算力的云服务产品，用户根据实际应用制定相对应的需求、模型、训练参数等，该云服务产品基于本实施例提出的DefilterNet模型，将用户提供的彩色图像数据作为模型的输入，并在重构出对应的图像后，将其用来训练下游视觉任务的模型，或将预处理后的图像直接进行前向推理得到下游视觉任务的结果。为了便于用户的使用，该云服务产品结合用户提供的模型、训练参数等为用户提供用户可视化操作界面。
本实施例提出的DefilterNet模型可以将多级分辨率特征融合，有效提取不同分辨率层级下的特征，从而提高图像压缩及滤镜信息的特征提取和筛选，提高模型性能。同时，DefilterNet模型可以直接进行端到端的训练，更适用于实际场景。
实施例二
在实施例一基础上的进一步实施例中，实现滤镜去除的过程中，采用DefilterNet模型中间部分的滤镜去除模块（DFB）实现，该模块包含两个残差跳跃连接，如图2所示，末端通过逐元素相加（Element-wise Addition）操作连接，即与残差连接前的网络模块的输出特征图进行逐元素相加。
具体的，滤镜去除模块（DFB）主要包含：层归一化（LayerNorm）、1
Figure 145033DEST_PATH_IMAGE002
1卷积（Conv）、3
Figure 917817DEST_PATH_IMAGE002
3可分离卷积（DWConv）、参数修正线性单元（PReLU）、5/>
Figure 599465DEST_PATH_IMAGE002
5卷积（Conv）、高斯误差线性单元（GELU）、全局平均池化（Global Average Pooling）、全局最大池化（Global Max Pooling）、逐元素相加（Element-wise Addition）、分割（Split）、合并（Concatenation）、逐元素相乘（Element-wise Multiplication）、S型激活函数（Sigmoid）等基本深度学习操作，各个操作均不改变输入和输出的大小，均为[H，W]，通道数除了分割（Split）操作减半外均为C。整体上，滤镜去除模块（DFB）是一个两级残差跳跃连接结构，末端通过逐元素相加（Element-wise Addition）操作连接，即跳跃连接结构的输入与输出逐元素相加。
在进一步的实施例中，滤镜去除模块（DFB）作为一个两级残差跳跃连接结构，其第一级残差跳跃连接结构顺序包含：层归一化（LayerNorm）、3
Figure 774095DEST_PATH_IMAGE002
3卷积（Conv）、卷积核大小分别为1/>
Figure 781365DEST_PATH_IMAGE002
1、3/>
Figure 41445DEST_PATH_IMAGE002
3、5/>
Figure 547292DEST_PATH_IMAGE002
5、7/>
Figure 576428DEST_PATH_IMAGE002
7的可分离卷积（DWConv）、分散注意力模块（Split Attention）、跳跃注意力模块、3/>
Figure 754599DEST_PATH_IMAGE002
3卷积（Conv）等基本操作或模块。其中的可分离卷积模块可以有效采集不同粒度的特征。
第一级残差跳跃连接结构在数据处理的过程中，首先按照结构顺序对接收到的图像数据进行处理，并在最后环节与初始接收到的图像数据进行逐元素相加后，输出特征图，完成第一级跳跃残差。
第二级残差跳跃连接结构顺序包含：层归一化（LayerNorm）、1
Figure 236396DEST_PATH_IMAGE002
1卷积（Conv）、3/>
Figure 525426DEST_PATH_IMAGE002
3可分离卷积（DWConv）、简单激活门控模块（SAG，Simple Activation Gate）、3/>
Figure 409069DEST_PATH_IMAGE002
3卷积（Conv）等基本操作或模块。
第二级残差跳跃连接结构接收第一级残差跳跃连接结构输出的特征图，在顺序经过第二级残差跳跃连接结构的处理后，与第一级残差跳跃连接结构输出的特征图进行逐元素相加，完成第二级跳跃残差。
在进一步的实施例中，进行数据处理的过程中，第一级残差跳跃连接结构中的分散注意力模块（Split Attention）包含一个分割操作（Split）和一个逐元素相乘（Element-wise Multiplication）操作。首先将接收到的特征图按通道划分成均等的两份，针对接收大小为[H，W，3]的图像，划分后的图像数据对应大小为[H，W，C/2]；然后，将划分后的图像数据进行逐元素相乘操作，输出一个大小为[H，W，C/2]的特征图，即完成分散注意力模块的数据处理。其中，按序处理过程中，经过的第一个1
Figure 758142DEST_PATH_IMAGE002
1卷积（Conv）将输出特征图大小恢复成[H，W，C]，第二个1x1卷积（Conv）不改变特征图大小，输出大小仍为[H，W，C]。
在进一步的实施例中，进行数据处理的过程中，第一级残差跳跃连接结构中的跳跃注意力模块顺序包含：3
Figure 727235DEST_PATH_IMAGE002
3卷积（Conv）、参数修正线性单元（PReLU）、3/>
Figure 554376DEST_PATH_IMAGE002
3卷积（Conv），并列的通道注意力（Channel Attention，CA）模块和空间注意力（Spatial Attention，SA）模块、1/>
Figure 558104DEST_PATH_IMAGE002
1卷积（Conv）、逐元素相乘（Element-wise Multiplication）等操作或模块。数据流按序经过其中第二个3/>
Figure 405975DEST_PATH_IMAGE002
3卷积（Conv）操作后，生成大小为[H，W，C]的特征图，并分别进入通道注意力（Channel Attention，CA）模块和空间注意力（Spatial Attention，SA）模块，生成大小仍为[H，W，C]的特征图。随后，通过合并操作（Concatenation）融合CA模块和SA模块输出的特征图，该特征图的大小为[H，W，C]。最后经过一个1/>
Figure 534468DEST_PATH_IMAGE002
1卷积（Conv）操作后，将输出的特征图与跳跃注意力模块初始接收到的特征图进行逐元素相乘，获得跳跃注意力模块最后的处理结果。
优选实施例中，跳跃注意力模块中的通道注意力模块（Channel Attention，CA）也包含一个跳跃逐元素相乘操作，中间部分顺序包含：全局平均池化（Global AveragePooling）、1
Figure 493196DEST_PATH_IMAGE002
1卷积（Conv）、高斯误差线性单元（GELU）、1/>
Figure 961218DEST_PATH_IMAGE002
1卷积（Conv）、S型激活函数（Sigmoid）等操作，各个操作输入输出大小均为[H，W，C]，最后将S型激活函数（Sigmoid）的输出与通道注意力模块（Channel Attention，CA）的输入相乘，结果即为跳跃注意力模块的输出特征图。SA模块也包含一个跳跃逐元素相乘操作，中间部分顺序包含：一个并列的全局平均池化（Global Average Pooling）及全局最大池化（Global Max Pooling）操作组合，然后将输出结果Concat，再顺次经过一个5/>
Figure 776727DEST_PATH_IMAGE002
5卷积（Conv）和一个最小最大归一化（Min-MaxNormalization）操作，输出一个[H，W，C]的特征图，最后将此特征图与SA模块的输入相乘，结果即为SA模块的输出特征图。
在进一步的实施例中，进行数据处理的过程中，第二级残差跳跃连接结构中的简单激活门控模块（SAG）模块是一个上下两分支结构，输入特征图分别经过上下两个分支，然后将输出两个特征图进行逐元素相乘，结果即为简单激活门控模块（SAG）的输出。其中的上分支包括：1
Figure 595779DEST_PATH_IMAGE002
1卷积（Conv）、3/>
Figure 154936DEST_PATH_IMAGE002
3可分离卷积（DWConv）、高斯误差线性单元（GELU）等三个操作，下分支顺序包括1/>
Figure 740114DEST_PATH_IMAGE002
1卷积（Conv）、3/>
Figure 460945DEST_PATH_IMAGE002
3可分离卷积（DWConv）等两个操作。
优选实施例中，图像压缩及滤镜去除网络DefilterNet模型中间部分涉及到的滤镜去除模块（DFB），按照划分好的5个层级，从上至下的个数为2、2、4、8、12。另外，提出了并列的4个可分离卷积模块，对应的卷积核大小分别为1
Figure 767293DEST_PATH_IMAGE002
1、3/>
Figure 864562DEST_PATH_IMAGE002
3、5/>
Figure 838334DEST_PATH_IMAGE002
5、7/>
Figure 464487DEST_PATH_IMAGE002
7，从而采集不同粒度的特征，然后将四个输出特征图逐元素相加。
本实施例提出的滤镜去除模块（DFB）包含丰富的卷积操作和注意力操作，其所属的DefilterNet又包含多个层级，每个层级具有不同的分辨率和多个滤镜去除模块（DFB）的组合，因此本实施例构建的模型具有较强的特征提取、筛选和重构能力，能够较好地筛选并去除滤镜效果，从而较真实地恢复原始图像。
实施例三
在一个实施例中，提出一种基于图像去噪思想的图像压缩及滤镜去除系统，用于实现图像压缩及滤镜去除方法，该系统具体包括以下模块：模型构建模块、数据分析模块和数据输出模块。
其中，模型构建模块用于根据需求构建图像压缩及滤镜去除网络模型；数据分析模块用于利用构建的图像压缩及滤镜去除网络模型对接收的图像数据进行分析处理；数据输出模块用于输出数据分析模块的分析结果。
在进一步的实施例中，图像压缩及滤镜去除网络模型呈对称结构，起始两端均为一个独立的卷积层，中间部分为相互对应的编码模块和解码模块；相对应的编码模块和解码模块之间，通过跳跃连接进行数据传输。
为了实现图像数据中的滤镜去除，图像压缩及滤镜去除网络模型中更包含多个滤镜去除模块，该模块包含两个残差跳跃连接，两个残差的末端均与当前残差模块对应接收到的输入特征图进行逐元素相加。
如上所述，尽管参照特定的优选实施例已经表示和表述了本发明，但其不得解释为对本发明自身的限制。在不脱离所附权利要求定义的本发明的精神和范围前提下，可对其在形式上和细节上做出各种变化。

Claims (5)

1.一种基于图像去噪思想的图像压缩及滤镜去除方法，其特征在于，具体包括以下步骤：
步骤1、构建图像压缩及滤镜去除网络模型；
步骤2、将带滤镜的RGB图像作为输入数据传输至图像压缩及滤镜去除网络模型中；
步骤3、图像压缩及滤镜去除网络模型对接收到的输入数据进行滤镜去除；
步骤4、输出去除滤镜后的图像数据；
所述压缩及滤镜去除网络模型在编码和解码阶段，通过构建的滤镜去除模块进行图像滤镜去除；所述滤镜去除模块包含两个残差跳跃连接，两个残差的末端均与当前残差模块对应接收到的输入特征图进行逐元素相加；
所述滤镜去除模块作为一个两级残差跳跃连接结构，其中第一级残差跳跃连接结构顺序包含：层归一化、3
Figure DEST_PATH_IMAGE002
3卷积、可分离卷积、分散注意力模块、跳跃注意力模块、3
Figure 30590DEST_PATH_IMAGE002
3卷积；
所述滤镜去除模块作为一个两级残差跳跃连接结构，其中第二级残差跳跃连接结构顺序包含：层归一化、1
Figure 682151DEST_PATH_IMAGE002
1卷积、3
Figure 930730DEST_PATH_IMAGE002
3可分离卷积、简单激活门控模块、3
Figure 794781DEST_PATH_IMAGE002
3卷积；
第一级残差跳跃连接结构在数据处理的过程中，首先按照结构顺序对接收到的图像数据进行处理，并在最后环节与初始接收到的图像数据进行逐元素相加后，输出特征图，完成第一级跳跃残差；
第二级残差跳跃连接结构接收第一级残差跳跃连接结构输出的特征图，在顺序经过第二级残差跳跃连接结构的处理后，与第一级残差跳跃连接结构输出的特征图进行逐元素相加，完成第二级跳跃残差；
提高所述压缩及滤镜去除网络模型的性能过程中，采取混合图片的数据增强方式，对所述压缩及滤镜去除网络模型执行性能训练。
2.根据权利要求1所述的一种基于图像去噪思想的图像压缩及滤镜去除方法，其特征在于，所述图像压缩及滤镜去除网络模型呈对称结构，起始两端均为一个独立的卷积层，中间部分为相互对应的编码模块和解码模块；
相对应的编码模块和解码模块之间，通过跳跃连接进行数据传输。
3.根据权利要求2所述的一种基于图像去噪思想的图像压缩及滤镜去除方法，其特征在于，中间部分通过划分层级的方式对数据进行逐层处理，解码模块在每一层级进行数据处理的过程中，通过子像素卷积操作实现分辨率的增大。
4.根据权利要求1所述的一种基于图像去噪思想的图像压缩及滤镜去除方法，其特征在于，所述分散注意力模块将接收到的特征图按通道等分成两份，之后将两个特征图逐元素相乘；
所述跳跃注意力模块将所述分散注意力模块的输出特征图顺序经过3x3卷积、参数修正线性单元、3x3卷积，并列的通道注意力模块和空间注意力模块、合并、1x1卷积操作后与自身逐元素相乘，输出的特征图再与当前滤镜去除模块的输入特征图进行逐元素相加，完成第一级跳跃残差。
5.一种基于图像去噪思想的图像压缩及滤镜去除系统，用于实现如权利要求1-4任意一项所述的基于图像去噪思想的图像压缩及滤镜去除方法，其特征在于，具体包括以下模块：
模型构建模块，被设置为根据需求构建图像压缩及滤镜去除网络模型；
数据分析模块，被设置为利用构建的图像压缩及滤镜去除网络模型对接收的图像数据进行分析处理；
数据输出模块，被设置为输出数据分析模块最终的分析结果；
在数据分析过程中，所述图像压缩及滤镜去除网络模型包含至少两个层级，且层级之间具有不同的分辨率；每个层级中构建的滤镜去除模块包含至少两个卷积操作和注意力操作。
CN202211270285.1A 2022-10-18 2022-10-18 一种基于图像去噪思想的图像压缩及滤镜去除方法及系统 Active CN115345801B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211270285.1A CN115345801B (zh) 2022-10-18 2022-10-18 一种基于图像去噪思想的图像压缩及滤镜去除方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211270285.1A CN115345801B (zh) 2022-10-18 2022-10-18 一种基于图像去噪思想的图像压缩及滤镜去除方法及系统

Publications (2)

Publication Number Publication Date
CN115345801A CN115345801A (zh) 2022-11-15
CN115345801B true CN115345801B (zh) 2023-03-24

Family

ID=83957024

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211270285.1A Active CN115345801B (zh) 2022-10-18 2022-10-18 一种基于图像去噪思想的图像压缩及滤镜去除方法及系统

Country Status (1)

Country Link
CN (1) CN115345801B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116757966A (zh) * 2023-08-17 2023-09-15 中科方寸知微(南京)科技有限公司 基于多层级曲率监督的图像增强方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112200750A (zh) * 2020-10-21 2021-01-08 华中科技大学 一种超声图像去噪模型建立方法及超声图像去噪方法
CN114140353A (zh) * 2021-11-25 2022-03-04 苏州大学 一种基于通道注意力的Swin-Transformer图像去噪方法及系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113256504A (zh) * 2020-02-11 2021-08-13 北京三星通信技术研究有限公司 图像处理的方法和电子设备
CN112233026A (zh) * 2020-09-29 2021-01-15 南京理工大学 一种基于多尺度残差注意力网络的sar图像去噪方法
CN112907479B (zh) * 2021-03-05 2023-04-18 西安电子科技大学 基于注意力机制的残差单幅图像去雨方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112200750A (zh) * 2020-10-21 2021-01-08 华中科技大学 一种超声图像去噪模型建立方法及超声图像去噪方法
CN114140353A (zh) * 2021-11-25 2022-03-04 苏州大学 一种基于通道注意力的Swin-Transformer图像去噪方法及系统

Also Published As

Publication number Publication date
CN115345801A (zh) 2022-11-15

Similar Documents

Publication Publication Date Title
Hui et al. Fast and accurate single image super-resolution via information distillation network
Zamir et al. Multi-stage progressive image restoration
Chen et al. Encoder-decoder with atrous separable convolution for semantic image segmentation
Li et al. Learning a deep dual attention network for video super-resolution
Kim et al. Deep sr-itm: Joint learning of super-resolution and inverse tone-mapping for 4k uhd hdr applications
CN110120011B (zh) 一种基于卷积神经网络和混合分辨率的视频超分辨方法
Chakrabarti Learning sensor multiplexing design through back-propagation
Zhao et al. Invertible image decolorization
CN111179167A (zh) 一种基于多阶段注意力增强网络的图像超分辨方法
CN116152120B (zh) 一种融合高低频特征信息的低光图像增强方法及装置
CN113066022B (zh) 一种基于高效时空信息融合的视频比特增强方法
CN111626960A (zh) 图像去雾方法、终端及计算机存储介质
CN115345801B (zh) 一种基于图像去噪思想的图像压缩及滤镜去除方法及系统
CN111612722A (zh) 基于简化Unet全卷积神经网络的低照度图像处理方法
CN112270646B (zh) 基于残差密集跳跃网络的超分辨增强方法
CN114187275A (zh) 一种基于多阶段和多尺度注意力融合网络及图像去雨方法
Zhang et al. Multi-branch networks for video super-resolution with dynamic reconstruction strategy
CN112150400A (zh) 图像增强方法、装置和电子设备
CN112200732B (zh) 一种清晰特征融合的视频去模糊方法
CN111031315A (zh) 基于注意力机制和时间依赖性的压缩视频质量增强方法
CN114219722A (zh) 一种利用时频域层级处理的低光照图像增强方法
CN114998667B (zh) 多光谱目标检测方法、系统、计算机设备及存储介质
CN114972036A (zh) 一种基于融合退化先验的盲图像超分辨率重建方法和系统
CN113362239A (zh) 一种基于特征交互的深度学习图像修复方法
CN110472732B (zh) 基于优化特征提取装置的图像特征提取系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant