CN114581717B - 一种基于三维小波变换的深度卷积神经网络分类方法 - Google Patents

一种基于三维小波变换的深度卷积神经网络分类方法 Download PDF

Info

Publication number
CN114581717B
CN114581717B CN202210232905.6A CN202210232905A CN114581717B CN 114581717 B CN114581717 B CN 114581717B CN 202210232905 A CN202210232905 A CN 202210232905A CN 114581717 B CN114581717 B CN 114581717B
Authority
CN
China
Prior art keywords
dimensional
wavelet transformation
texture
neural network
pooling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210232905.6A
Other languages
English (en)
Other versions
CN114581717A (zh
Inventor
李亚峰
孙洁琪
张文博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Baoji University of Arts and Sciences
Original Assignee
Baoji University of Arts and Sciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Baoji University of Arts and Sciences filed Critical Baoji University of Arts and Sciences
Priority to CN202210232905.6A priority Critical patent/CN114581717B/zh
Publication of CN114581717A publication Critical patent/CN114581717A/zh
Application granted granted Critical
Publication of CN114581717B publication Critical patent/CN114581717B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于三维小波变换的深度卷积神经网络分类方法，属于图像分类和人工智能技术领域。该方法通过对深度卷积神经网络中的池化层进行分析，设计并搭建三维小波变换模块以改进现有的池化操作,包括以下步骤：S1、将数据集均划分为训练集与测试集；S2、设计并搭建三维小波变换模块；S3、将搭建的三维小波变换的深度卷积神经网络分别在自然图像分类数据集以及纹理图像数据集上进行训练，并进行测试以验证三维小波变换模块的有效性。该基于三维小波变换的深度卷积神经网络分类方法，其核心思想是构建三维小波变换模块以改进传统操作，在进行下采样时对特征信息进行重新整合，在尽可能保证信息流完整的前提下降低特征图分辨率。

Description

一种基于三维小波变换的深度卷积神经网络分类方法
技术领域
本发明属于图像分类和人工智能技术领域，具体而言，涉及一种基于三维小波变换的深度卷积神经网络分类方法。
背景技术
深度卷积神经网络目前已成为图像分类、目标检测和图像恢复等计算机视觉任务和图像处理任务的重要工具之一，池化层是深度卷积神经网络的重要组成部分，其作用可以增大网络的感受野、降低网络的复杂度，增加网络非线性同时提升模型泛化能力，现有的池化操作存在的问题是在对特征图进行下采样时会伴随着部分有用特征信息被丢失，因此，对池化操作进行改进，使得特征信息在下采样时尽可能保证信息流的完整性变得尤为重要。
传统的池化方法，包括最大池化、平均池化以及小波池化等会产生特征弱化或丢失的问题。步长卷积在能够保障在下采样时信息流完整，但参数量较大会容易是网络陷入过拟合。随机池化、混合池化都是对池化操作的改进，但其共同点都没有考虑到下采样过程中的信息丢失问题，带步长的卷积能够在不丢弃特征信息的同时降低特征图的分辨率，但步长卷积使得训练网络的计算量和参数量大幅增加。特别对于小波池化而言，直接进行下采样的池化操作忽略了低频特征和高频特征在空域与通道间的位置分布差异，造成了频域特征间的混叠效应，由于特征图中的高频部分包含了大量的细节信息和边缘信息，将高频特征直接舍弃会造成特征信息丢失问题，并影响网络的表达能力。
发明内容
针对现有技术的不足，本发明提供了一种基于三维小波变换的深度卷积神经网络分类方法，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：一种基于三维小波变换的深度卷积神经网络分类方法，通过对深度卷积神经网络中的池化层进行分析，设计并搭建三维小波变换模块以改进现有的池化操作，包括以下步骤：
S1、准备自然图像分类数据集以及纹理数据集，将上述的两个数据集均划分为训练集与测试集；
S2、设计并搭建三维小波变换模块，将其嵌入到深度卷积神经网络中，并利用三维小波变换模块进行空域与通道域特征信息重建；
S3、将搭建的三维小波变换的深度卷积神经网络分别在自然图像分类数据集以及纹理图像数据集上进行训练，并进行测试以验证三维小波变换模块的有效性。
进一步优化本技术方案，所述步骤S2中，利用三维小波变换模块进行空域与通道域特征信息重建的方法进一步包括以下具体步骤：
S21、搭建基于二维离散小波变换的空域池化融合层；
S22、搭建基于一维离散小波变换的通道域池化融合层。
进一步优化本技术方案，所述步骤S21中，搭建基于二维离散小波变换的空域池化融合层的方法进一步包括以下具体步骤：
S211、在进行空域池化融合操作时，首先将输入特征利用二维离散小波变换进行分解，再利用基于二维离散小波变换的空域注意力机制将高频分量与低频分量分别进行融合，得到水平、垂直以及对角三个方向的纹理特征；
S212、进一步进行空域池化融合操作时，利用多分支通道注意力对各类纹理特征进行加权，同时将小波分解时获取到的低频分量利用跳跃连接并入输出特征，用于显著性表达重要纹理特征的同时，抑制相对不重要的纹理特征。
进一步优化本技术方案，所述步骤S211中，基于二维离散小波变换的空域注意力机制的融合过程如下式(1)和式(2)所示：
Approximation,Horizontal details,Vertical details,Diagonal details＝2D DWT(X), (1)
其中，2DDWT表示二维离散小波变换,首先将输入特征利用二维离散小波变换进行分解，得到低频分量水平方向高频分量垂直方向高频分量以及对角方向高频分量
根据上述得到的高频分量与低频分量，将高频分量的绝对值作为空域纹理注意力权值分别与低频分量进行相加，得到水平纹理特征垂直纹理特征以及对角纹理特征并将三类纹理特征统称为方向纹理特征如下式(2)所示。
Horizontal textures＝|Horizontal details|+Approximation，
Vertical textures＝|Vertical details|+Approximation，
Diagonal textures＝|Diagonal details|+Approximation，
Directional textures＝[Horizontal textures,Vertical textures,Diagonaltextures]， (2)
进一步优化本技术方案，所述步骤S212中，进一步进行空域池化融合操作的过程可以表示为：
Channel att_1＝Softmax([FC_1(GAP(Directional textures[i,:,:,:]))，i＝1,2,3])， (3)
如公式(3)所示，GAP为是全局平均池化，利用多分支通道注意力对方向纹理特征进行评估与加权，方向纹理特征经过全局平均池化GAP，利用两层全连接FC_1:C→C/r→ReLU→C，生成对应的注意力权值其中，C表示通道数，r表示压缩率；
将注意力权值映射到方向纹理特征中，得到纹理特征如下式(4)所示：
其中，⊙表示点乘操作，最后，利用跳跃链接将低频分量与纹理特征进行拼接以增强表征能力，如下式(5)所示：
Mixed features＝concat([Textural features,Approximation]), (5)
最后，为空域池化融合层的输出。
进一步优化本技术方案，所述步骤S22中，搭建基于一维离散小波变换的通道域池化融合层进一步包括以下具体过程：在通道域池化融合时，首先将输入特征Y＝Mixedfeatures的每个像素点特征，视为一维信号Yi,j，并利用一维小波变换进行分解，再利用多分支通道注意力进行融合，用于实现通道间的信息交互。
进一步优化本技术方案，所述通道域特征信息在基于一维离散小波变换的融合过程如下式(6)所示：
Li,j,Hi,j＝1D DWT(Yi,j), (6)
其中，1D DWT表示一维离散小波变换，首先将空域池化融合层的输出特征Mixedfeatures作为通道域池化融合层的输入特征如公式(6)所示，首先利用一维离散小波变换进行分解，得到低频分量与高频分量并记
其次，利用多分支通道注意力对方向纹理特征进行评估和加权，低频分量与高频分量经过全局平均池化GAP，利用全连接FC_2:C→C来生成对应的注意力权值其中C表示通道数，将注意力权值映射到中，得到纹理特征其过程可以表示为：
最后，为通道域池化融合层的输出，即为三维小波变换模块的输出。
进一步优化本技术方案，所述步骤S2中设计并搭建的三维小波变换模块可以封装为独立模块，嵌入到各个类型的深度卷积神经网络中，在经典图像分类数据集以及纹理图像分类数据集上进行训练并测试。
与现有技术相比，本发明提供了一种基于三维小波变换的深度卷积神经网络分类方法，具备以下有益效果：
该基于三维小波变换的深度卷积神经网络分类方法，其核心思想是构建三维小波变换模块以改进传统操作，在进行下采样时对特征信息进行重新整合，在尽可能保证信息流完整的前提下降低特征图分辨率，并针对图像分类任务，利用三维小波变换模块替换深度卷积神经网络的池化操作，搭建基于三维小波变换的深度卷积神经网络，能够在少量参数增加的情况下提升图像分类的准确率。
附图说明
图1为本发明提出的一种基于三维小波变换的深度卷积神经网络分类方法的流程示意图；
图2为本发明提出的一种基于三维小波变换的深度卷积神经网络分类方法的基于三维小波变换模块的流程示意图；
图3为本发明提出的一种基于三维小波变换的深度卷积神经网络分类方法的基于二维离散小波变换的空域池化融合层的流程示意图；
图4为本发明提出的一种基于三维小波变换的深度卷积神经网络分类方法的基于一维离散小波变换的通道域池化融合层的流程示意图。
具体实施方式
下面将结合本发明的实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一：
请参阅图1-4，一种基于三维小波变换的深度卷积神经网络分类方法，通过对深度卷积神经网络中的池化层进行分析，其核心思想是构建三维小波变换模块以改进传统操作，在进行下采样时对特征信息进行重新整合，在尽可能保证信息流完整的前提下降低特征图分辨率，并针对图像分类任务，利用三维小波变换模块替换深度卷积神经网络的池化操作，搭建基于三维小波变换的深度卷积神经网络，能够在少量参数增加的情况下提升图像分类的准确率。该方法包括以下步骤：
S1、准备自然图像分类数据集以及纹理数据集，将上述的两个数据集均划分为训练集与测试集。
S2、设计并搭建三维小波变换模块，将其嵌入到深度卷积神经网络中，并利用三维小波变换模块进行空域与通道域特征信息重建。
进一步的，三维小波变换模块可以封装为独立模块，嵌入到各个类型的深度卷积神经网络中，在经典图像分类数据集以及纹理图像分类数据集上进行训练并测试。
S3、将搭建的三维小波变换的深度卷积神经网络分别在自然图像分类数据集以及纹理图像数据集上进行训练，并进行测试以验证三维小波变换模块的有效性。
具体的，所述步骤S2中，利用三维小波变换模块进行空域与通道域特征信息重建的方法进一步包括以下具体步骤：
S21、搭建基于二维离散小波变换的空域池化融合层；
S22、搭建基于一维离散小波变换的通道域池化融合层。
具体的，所述步骤S21中，搭建基于二维离散小波变换的空域池化融合层的方法进一步包括以下具体步骤：
S211、在进行空域池化融合操作时，首先将输入特征利用二维离散小波变换进行分解，再利用基于二维离散小波变换的空域注意力机制将高频分量与低频分量分别进行融合，得到水平、垂直以及对角三个方向的纹理特征；
S212、进一步进行空域池化融合操作时，利用多分支通道注意力对各类纹理特征进行加权，同时将小波分解时获取到的低频分量利用跳跃连接并入输出特征，用于显著性表达重要纹理特征的同时，抑制相对不重要的纹理特征。
具体的，所述步骤S211中，基于二维离散小波变换的空域注意力机制的融合过程如下式(1)和式(2)所示：
Approximation,Horizontal details,Vertical details,Diagonal details＝2D DWT(X), (1)
其中，2D DWT表示二维离散小波变换,首先将输入特征利用二维离散小波变换进行分解，得到低频分量水平方向高频分量垂直方向高频分量以及对角方向高频分量
根据上述得到的高频分量与低频分量，将高频分量的绝对值作为空域纹理注意力权值分别与低频分量进行相加，得到水平纹理特征垂直纹理特征以及对角纹理特征并将三类纹理特征统称为方向纹理特征如下式(2)所示。
Horizontal textures＝|Horizontal details|+Approximation，
Vertical textures＝|Vertical details|+Approximation，
Diagonal textures＝|Diagonal details|+Approximation，
Directional textures＝[Horizontal textures,Vertical textures,Diagonaltextures]， (2)
进一步的，公式(2)可以视为一种新的基于方向纹理的空域注意力机制的融合方法。
具体的，所述步骤S212中，进一步进行空域池化融合操作的过程可以表示为：
Channel att_1＝Softmax([FC_1(GAP(Directional textures[i,:,:,:]))，i＝1,2,3])， (3)
如公式(3)所示，GAP为是全局平均池化，利用多分支通道注意力对方向纹理特征进行评估与加权，方向纹理特征经过全局平均池化GAP，利用两层全连接FC_1:C→C/r→ReLU→C，生成对应的注意力权值其中，C表示通道数，r表示压缩率；
将注意力权值映射到方向纹理特征中，得到纹理特征如下式：
其中，⊙表示点乘操作，最后，利用跳跃链接将低频分量与纹理特征进行拼接以增强表征能力，如下式(5)所示：
Mixed features＝concat([Textural features,Approximation]), (5)
最后，为空域池化融合层的输出。
具体的，所述步骤S22中，搭建基于一维离散小波变换的通道域池化融合层进一步包括以下具体过程：考虑到传统池化方法没有进行通道间信息交互的问题，在通道域池化融合时，首先将输入特征Y＝Mixedfeatures的每个像素点特征，视为一维信号Yi,j，并利用一维小波变换进行分解，再利用多分支通道注意力进行融合，用于实现通道间的信息交互。
具体的，所述通道域特征信息在基于一维离散小波变换的融合过程如下式(6)所示：
Li,j,Hi,j＝1D DWT(Yi,j), (6)
其中，1D DWT表示一维离散小波变换，首先将空域池化融合层的输出特征Mixedfeatures作为通道域池化融合层的输入特征如公式(6)所示，首先利用一维离散小波变换进行分解，得到低频分量与高频分量并记
其次，利用多分支通道注意力对方向纹理特征进行评估和加权，低频分量与高频分量经过全局平均池化GAP，利用全连接FC_2:C→C来生成对应的注意力权值其中C表示通道数，将注意力权值映射到中，得到纹理特征其过程可以表示为：
最后，为通道域池化融合层的输出，即为三维小波变换模块的输出。
更进一步的，在三维小波变换模块的通道域池化融合层中，仅使用了一级一维小波分解，在未来的实际应用中可以非常容易地拓展为多级分解，以适应不同应用场景。
实施例二：
基于实施例一所述的基于三维小波变换深度卷积神经网络的分类方法，在经典图像分类数据集CIFAR上进行训练和验证基于三维小波变换模块的深度卷积神经网络的图像分类方法的有效性。实验涉及到的经典网络架构包括经典深度网络ResNet，DenseNet，注意力网络SENet，SA-Net，FcaNet以及轻量型网络MobileNet和ShuffleNet。其中，CIFAR数据集包括CIFAR-10，CIFAR-100。CIFAR-10数据集包含50000张训练图片和10000张测试图片,共有10个不同的类别。每张图的图像大小是32×32。CIFAR-100数据集包含50000张训练图片,10000张测试图片,共有100个不同的类别,每张图的大小为32×32。
表1.嵌入不同CNN的三维小波变换深度卷积神经网络的分类结果(％)
本实施例在CIFAR-10，CIFAR-100数据集上均进行了大量的实验，实验涉及到了多种类型的深度卷积神经网络，如表1所示，实验结果均证明了利用三维离散小波变换模块替换模型中的池化操作得到的基于三维小波变换深度卷积神经网络的分类方法，能够在少量参数增加的情况下提升图像分类的准确率。
实施例三：
基于实施例一所述的基于三维小波变换深度卷积神经网络的分类方法，在纹理图像分类数据集KTH-TIPS和DTD数据集上进行训练和验证基于三维小波变换模块的深度卷积神经网络的图像分类方法的有效性。实验涉及到的经典网络架构包括经典深度网络ResNet，注意力网络SENet，SA-Net以及轻量型网络ShuffleNet。KTH-TIPS和DTD数据集是纹理数据集。其中，KTH-TIPS数据集包含810张200×200纹理图像，共有10个类别。DTD数据集包含5640张纹理图像，一共有47个类别。首先将两个纹理数据集均按照9：1的比例划分训练集与测试集。其中纹理图像与传统图像分类图像的差别在于，纹理一般均匀分布于整张图像中，因此对于端到端的卷积神经网络而言，分类的难点在于，随着特征图分辨率的减小，对于数据集中大量相似的纹理图像，纹理信息的可辨别程度会大大降低。
表2.嵌入不同CNN的三维小波变换深度卷积神经网络的分类结果(％)
考虑到KTH-TIPS数据集的数据量有限，因此我们选择利用ResNet20来进行训练，ResNet20仅包含0.27M的参数量，对于数据量较少的任务较为合适。表2给出了，基于纹理数据集的分类结果。其中，对于ResNet56在DTD数据集上的分类，引入三维小波变换模块能够将分类准确率提升6.38％。实验结果均证明了利用三维离散小波变换模块替换模型中的池化操作，得到的基于三维小波变换深度卷积神经网络的分类方法，能够提升纹理图像的分类准确率。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (5)

1.一种基于三维小波变换的深度卷积神经网络分类方法，通过对深度卷积神经网络中的池化层进行分析，设计并搭建三维小波变换模块以改进现有的池化操作,其特征在于，包括以下步骤：
S1、准备自然图像分类数据集以及纹理数据集，将上述的两个数据集均划分为训练集与测试集；
S2、设计并搭建三维小波变换模块，将其嵌入到深度卷积神经网络中，并利用三维小波变换模块进行空域与通道域特征信息重建；
S3、将搭建的三维小波变换的深度卷积神经网络分别在自然图像分类数据集以及纹理图像数据集上进行训练，并进行测试以验证三维小波变换模块的有效性；
所述步骤S2中，利用三维小波变换模块进行空域与通道域特征信息重建的方法进一步包括以下具体步骤：
S21、搭建基于二维离散小波变换的空域池化融合层；
S22、搭建基于一维离散小波变换的通道域池化融合层；
所述步骤S21中，搭建基于二维离散小波变换的空域池化融合层的方法进一步包括以下具体步骤：
S211、在进行空域池化融合操作时，首先将输入特征利用二维离散小波变换进行分解，再利用基于二维离散小波变换的空域注意力机制将高频分量与低频分量分别进行融合，得到水平、垂直以及对角三个方向的纹理特征；
S212、进一步进行空域池化融合操作时，利用多分支通道注意力对各类纹理特征进行加权，同时将小波分解时获取到的低频分量利用跳跃连接并入输出特征，用于显著性表达重要纹理特征的同时，抑制相对不重要的纹理特征；
所述步骤S22中，搭建基于一维离散小波变换的通道域池化融合层进一步包括以下具体过程：在通道域池化融合时，首先将输入特征Y＝Mixed features的每个像素点特征，视为一维信号Yi,j，并利用一维小波变换进行分解，再利用多分支通道注意力进行融合，用于实现通道间的信息交互。
2.根据权利要求1所述的一种基于三维小波变换的深度卷积神经网络分类方法，其特征在于，所述步骤S211中，基于二维离散小波变换的空域注意力机制的融合过程如下式(1)和式(2)所示：
Approximation,Horizontal details,Vertical details,Diagonal details＝2DDWT(X), (1)
其中，2D DWT表示二维离散小波变换,首先将输入特征利用二维离散小波变换进行分解，得到低频分量水平方向高频分量垂直方向高频分量以及对角方向高频分量
根据上述得到的高频分量与低频分量，将高频分量的绝对值作为空域纹理注意力权值分别与低频分量进行相加，得到水平纹理特征垂直纹理特征以及对角纹理特征并将三类纹理特征统称为方向纹理特征如下式(2)所示：
Horizontal textures＝|Horizontal details|+Approximation，
Vertical textures＝|Vertical details|+Approximation，
Diagonal textures＝|Diagonal details|+Approximation，
Directional textures＝[Horizontal textures,Vertical textures,Diagonaltextures]， (2)。
3.根据权利要求1所述的一种基于三维小波变换的深度卷积神经网络分类方法，其特征在于，所述步骤S212中，进一步进行空域池化融合操作的过程可以表示为：
Channel att_1＝Softmax([FC_1(GAP(Directional textures[i,:,:,:]))，i＝1,2,3])， (3)
如公式(3)所示，GAP为是全局平均池化，利用多分支通道注意力对方向纹理特征进行评估与加权，方向纹理特征经过全局平均池化GAP，利用两层全连接FC_1:C→C/r→ReLU→C，生成对应的注意力权值其中，C表示通道数，r表示压缩率；
将注意力权值映射到方向纹理特征中，得到纹理特征如下式：
其中，⊙表示点乘操作，最后，利用跳跃链接将低频分量与纹理特征进行拼接以增强表征能力，如下式(5)所示：
Mixed features＝concat([Textural features,Approximation]), (5)
最后，为空域池化融合层的输出。
4.根据权利要求1所述的一种基于三维小波变换的深度卷积神经网络分类方法，其特征在于，所述通道域特征信息在基于一维离散小波变换的融合过程如下式(6)所示：
Li,j,Hi,j＝1D DWT(Yi,j), (6)
其中，1D DWT表示一维离散小波变换，首先将空域池化融合层的输出特征Mixedfeatures作为通道域池化融合层的输入特征如公式(6)所示，首先利用一维离散小波变换进行分解，得到低频分量与高频分量并记
其次，利用多分支通道注意力对方向纹理特征进行评估和加权，低频分量与高频分量经过全局平均池化GAP，利用全连接FC_2:C→C来生成对应的注意力权值其中C表示通道数，将注意力权值映射到中，得到纹理特征其过程可以表示为：
Channel att_2＝Sigmoid(FC_2(GAP(L)),FC_2(GAP(H)))
最后，为通道域池化融合层的输出，即为三维小波变换模块的输出。
5.根据权利要求1所述的一种基于三维小波变换的深度卷积神经网络分类方法，其特征在于，所述步骤S2中设计并搭建的三维小波变换模块可以封装为独立模块，嵌入到各个类型的深度卷积神经网络中，在经典图像分类数据集以及纹理图像分类数据集上进行训练并测试。
CN202210232905.6A 2022-03-09 2022-03-09 一种基于三维小波变换的深度卷积神经网络分类方法 Active CN114581717B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210232905.6A CN114581717B (zh) 2022-03-09 2022-03-09 一种基于三维小波变换的深度卷积神经网络分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210232905.6A CN114581717B (zh) 2022-03-09 2022-03-09 一种基于三维小波变换的深度卷积神经网络分类方法

Publications (2)

Publication Number Publication Date
CN114581717A CN114581717A (zh) 2022-06-03
CN114581717B true CN114581717B (zh) 2024-06-28

Family

ID=81774511

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210232905.6A Active CN114581717B (zh) 2022-03-09 2022-03-09 一种基于三维小波变换的深度卷积神经网络分类方法

Country Status (1)

Country Link
CN (1) CN114581717B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111382795A (zh) * 2020-03-09 2020-07-07 交叉信息核心技术研究院(西安)有限公司 基于频域小波基处理的神经网络的图像分类处理方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021102644A1 (zh) * 2019-11-25 2021-06-03 中国科学院深圳先进技术研究院 图像增强方法、装置及终端设备
CN113435376B (zh) * 2021-07-05 2023-04-18 宝鸡文理学院 基于离散小波变换的双向特征融合深度卷积神经网络构建方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111382795A (zh) * 2020-03-09 2020-07-07 交叉信息核心技术研究院(西安)有限公司 基于频域小波基处理的神经网络的图像分类处理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
一种融合小波变换与卷积神经网络的高相似度图像识别与分类算法;姜文超;刘海波;杨宇杰;陈佳峰;孙傲冰;;计算机工程与科学;20180915(第09期);全文 *

Also Published As

Publication number Publication date
CN114581717A (zh) 2022-06-03

Similar Documents

Publication Publication Date Title
CN110599401A (zh) 遥感图像超分辨率重建方法、处理装置及可读存储介质
Wen et al. Image recovery via transform learning and low-rank modeling: The power of complementary regularizers
Chao et al. Medical image fusion via discrete stationary wavelet transform and an enhanced radial basis function neural network
Chen et al. Remote sensing image quality evaluation based on deep support value learning networks
CN112634149B (zh) 一种基于图卷积网络的点云去噪方法
CN111583285A (zh) 一种基于边缘关注策略的肝脏影像语义分割方法
CN105631807A (zh) 基于稀疏域选取的单帧图像超分辨重建方法
Lyu et al. A nonsubsampled countourlet transform based CNN for real image denoising
Guo et al. MDFN: Mask deep fusion network for visible and infrared image fusion without reference ground-truth
Hongmeng et al. A detection method for deepfake hard compressed videos based on super-resolution reconstruction using CNN
Li et al. Automatic Recognition of Rock Images Based on Convolutional Neural Network and Discrete Cosine Transform.
CN115272093A (zh) 一种基于空间结构信息约束的高光谱图像解混方法
An et al. Patch loss: A generic multi-scale perceptual loss for single image super-resolution
CN114862733A (zh) 结合光谱解混先验和可学习退化约束的高光谱图像融合方法
Wang et al. Joint depth map super-resolution method via deep hybrid-cross guidance filter
CN114545494A (zh) 基于稀疏约束的无监督地震数据重建方法及装置
CN117953310A (zh) 一种基于连续尺度特征网络的遥感多模态图像分类方法
Babu et al. MRI and CT image fusion using cartoon-texture and QWT decomposition and cuckoo search-grey wolf optimization
Lai et al. Generative focused feedback residual networks for image steganalysis and hidden information reconstruction
Wu et al. An adversarial learning framework with cross-domain loss for median filtered image restoration and anti-forensics
Luo et al. A fast denoising fusion network using internal and external priors
CN114581717B (zh) 一种基于三维小波变换的深度卷积神经网络分类方法
Lv et al. Non-local sparse attention based swin transformer V2 for image super-resolution
Huang et al. DF3Net: Dual frequency feature fusion network with hierarchical transformer for image inpainting
Ma et al. Hybrid attention transformer with re-parameterized large kernel convolution for image super-resolution

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant