CN112819039A - 基于多尺度集成特征编码的纹理识别模型建立方法及应用 - Google Patents

基于多尺度集成特征编码的纹理识别模型建立方法及应用 Download PDF

Info

Publication number
CN112819039A
CN112819039A CN202110047823.XA CN202110047823A CN112819039A CN 112819039 A CN112819039 A CN 112819039A CN 202110047823 A CN202110047823 A CN 202110047823A CN 112819039 A CN112819039 A CN 112819039A
Authority
CN
China
Prior art keywords
texture
feature
scale
features
coding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110047823.XA
Other languages
English (en)
Inventor
杨华
宋开友
尹周平
侯岳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN202110047823.XA priority Critical patent/CN112819039A/zh
Publication of CN112819039A publication Critical patent/CN112819039A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于多尺度集成特征编码的纹理识别模型建立方法及应用，属于图像处理领域，模型建立方法包括：建立先验引导特征提取网络、特征融合网络、多尺度编码网络和多尺度集成学习网络，依次连接各网络后进行训练，得到纹理识别模型；模型中各网络依次用于：首先，利用纹理先验信息提取对纹理结构表达能力较强的卷积特征；其次，将深层特征与浅层特征融合，得到多尺度强语义信息特征；接着，对各尺度的特征进行编码，得到对异常点鲁棒的全局纹理特征；最后，利用得到的多尺度全局纹理特征进行集成学习，实现多尺度纹理的鲁棒识别。本发明能够有效提高在复杂背景干扰及大尺度变化情况下的纹理识别结果鲁棒性和准确性。

Description

基于多尺度集成特征编码的纹理识别模型建立方法及应用
技术领域
本发明属于图像处理领域，更具体地，涉及一种基于多尺度集成特征编码的纹理识别模型建立方法及应用。
背景技术
纹理是图像的基本微结构，是进行图像理解、场景理解的重要的中层特征。因此，纹理识别，即提取纹理特征并进行准确分类，是计算机视觉领域一个重要的视觉任务。纹理识别在许多视觉任务中都有应用，如图像检索、工业视觉检测、人脸分析、地形识别等。
由于众多因素的影响，如光照变化、视角变化、旋转、尺度、图像退化(模糊、噪声、背景干扰等)，导致纹理识别依然是一个极具挑战的视觉任务。目前，已有大量算法被提出来解决纹理识别难题。现有纹理识别算法将图像的局部纹理特征映射到可学习的词袋模型，并将编码后的局部特征集成为全局纹理特征进行纹理识别。
然而，现有方法在编码过程中均将局部区域的特征视为纹理特征。多数场景中纹理图像受复杂背景区域干扰。因此，图像的局部特征中往往包含了来自于背景区域的局部特征。在编码过程中若不对异常特征进行额外的处理将影响编码后的全局特征的判别性能，进而制约此类方法对具有背景异常干扰的识别精度与鲁棒性。同时，现有方法均仅利用单尺度的卷积特征进行纹理编码，难以编码多尺度纹理信息。因此，现有纹理识别方法无法解决存在复杂背景干扰及大尺度变化情况下的纹理识别问题。
发明内容
针对现有技术的缺陷和改进需求，本发明提供了一种基于多尺度集成特征编码的纹理识别模型建立方法及应用，其目的在于，提高在复杂背景干扰及大尺度变化情况下的纹理识别结果鲁棒性和准确性。
为实现上述目的，按照本发明的一个方面，提供了一种基于多尺度集成特征编码的纹理识别模型建立方法，包括：
建立先验引导特征提取网络，用于获得输入图像的Ns个尺度的卷积特征和先验纹理特征，并将对应尺度的卷积特征和先验纹理特征融合，得到Ns个尺度的融合卷积特征；
建立特征融合网络，用于将Ns个尺度的融合卷积特征中，最深层的融合卷积特征分别与其余各尺度的融合卷积特征融合，由Ns-1个融合结果连同最深层的融合卷积特征一起构成Ns个尺度的强语义信息特征；
建立多尺度编码网络，用于对Ns个尺度的强语义信息特征进行编码，使得每一个强语义信息特征中，属于纹理区域的局部特征被映射到超球体内部，而属于背景区域的局部特征被映射到超球体外部，得到Ns个全局纹理特征；超球体有K个，分别以K个可学习的纹理基元为中心；
建立多尺度集成学习网络，用于利用Ns个全局纹理特征进行集成学习，得到输入图像的纹理识别结果；
依次连接先验引导特征提取网络、特征融合网络、多尺度编码网络和多尺度集成学习网络，并利用纹理类别已知的图像数据集对连接所得的模型进行训练，在训练结束后，得到用于对图像进行纹理识别的纹理识别模型；
其中，Ns和K均为预设的正整数。
本发明所建立的纹理识别模型中，先验引导特征提取网络同时提取输入图像多个尺度下的卷积特征和先验纹理特征，并将对应尺度的卷积特征和先验纹理特征融合，所得到的融合卷积特征对于输入图像的纹理结构具有更强的表达能力，有利于提高纹理识别的准确性；先验引导特征提取网络所获得多个融合卷积特征中，最深层的融合卷积特征，即尺度最小的融合卷积特征，对于纹理解结构的语义表达能力最强，而浅层融合卷积特征的语义表达能力相对较弱；本发明所建立的纹理识别模型中，特征融合网络将最深层的融合卷积特征与其余各浅层的融合卷积特征分别融合，在提升浅层特征语义表达能力的同时，保留了各层特征的尺度，因此，特征融合网络所得到的多个尺度的强语义信息特征既具备较好的语义特征表达能力，同时保持了多尺度特性；本发明所建立的纹理识别模型中，多尺度编码网络对于各尺度的强语义信息特征分别进行编码，使得各强语义信息特征中，属于纹理区域的局部特征被映射到超球体内部，而属于背景区域的局部特征被映射到超球体外部，由此得到的全局纹理特征对于背景区域和纹理区域具有较强的判别性，能够抵抗异常局部特征(即背景区域局部特征)的干扰，实现复杂背景干扰下的鲁棒识别；本发明所建立的纹理识别模型中，多尺度集成学习网络对多个全局纹理特征进行集成学习，能够有效集成各个尺度的全局纹理特征，实现多尺度纹理的鲁棒识别。总体而言，本发明所建立的纹理识别模型，同时处理输入图像多个尺度的特征信息，通过特征融合和编码，提高各尺度特征信息对于纹理结构的语义表达能力以及对于背景区域局部特征干扰的判别能力，并通过集成学习融合多个尺度的特征信息，能够有效提高在复杂背景干扰及大尺度变化情况下的纹理识别结果鲁棒性和准确性。
进一步地，先验引导特征提取网络包括：主干网络、纹理特征提取模块、Ns个下采样模块和Ns个先验融合模块；
主干网络，用于提取输入图像的Ns个尺度的卷积特征；
纹理特征提取模块，用于提取输入图像的先验纹理特征；
Ns个下采样模块，分别用于对纹理特征提取模块所提取的先验纹理特征进行下采样，得到得到Ns个尺度的先验纹理特征；Ns个尺度的先验纹理特征与Ns个尺度的卷积特征的尺度一一对应；
Ns个先验融合模块，分别用于将其中一个尺度下的卷积特征和先验纹理特征融合，得到Ns个融合卷积特征。
本发明中，先验引导特征提取网络利用纹理特征提取模型提取输入图像的先验纹理特征，同时利用主干网络提取多个尺度的卷积特征，相应地将所提取的先验纹理特征下采样至与各卷积特征一一对应的尺度，并将对应尺度下的卷积特征和先验纹理特征融合，由此能够得到多尺度的纹理特征信息，同时，在先验的纹理特征的基础上，通过融合卷积特征，增加了输入信息量，可以有效提升模型对全局纹理结构的表达能力，提高识别精度。
进一步地，先验融合模块包括：一个先验上下文学习分支、一个通道注意力分支和一个第一融合模块；
先验上下文学习分支，用于提取先验纹理特征的注意力分数图；注意力分数图用于描述先验纹理特征中任意第j个区域对任意第k个区域的影响权重；
通道注意力分支，用于学习卷积特征中不同通道的权重向量，并与卷积特征相乘，以规整不同通道的重要性，得到规整后的特征图；
第一融合模块，用于融合注意力分数图和规整后的特征图，得到融合卷积特征。
本发明中，先验引导特征提取网络中的先验融合模块在融合对应尺度下的卷积特征和先验纹理特征时，会利用先验上下文学习分支提取先验纹理特征中局部区域间的关系，并利用通道注意力分支学习卷积特征中不同通道间的关系并依此对卷积特征中通道重要性进行规整，之后再将两个分支的学习结果融合，由此能够充分挖掘出先验纹理特征和卷积特征中所包含的特征信息，进一步增强所得到的融合卷积特征对于纹理结构的语义表达能力。
进一步地，先验引导特征提取网络还包括解码器；
解码器的结构与主干网络的对称，解码器与主干网络构成编码器-解码器结构；解码器用于在利用纹理类别已知的图像数据集对连接所得的模型进行训练时，利用最深层的卷积特征重构出与输入图像相同大小的图像，以通过重构损失优化主干网络的训练效果。
本发明在先验引导特征提取网络中引入解码器，在利用纹理类别已知的图像数据集对整体模型进行端到端训练的同时，由解码器利用最深层的卷积特征重构出与输入图像相同大小的图像，从而可以在整体模型训练的基础上，通过重构损失优化主干网络的训练效果。
进一步地，特征融合网络将最深层的融合卷积特征与其余任意一个较浅层融合卷积特征融合的方式包括：
将最深层的融合卷积特征的尺寸放大至与较浅层融合卷积特征一致后，与较浅层融合卷积特征按通道堆叠，得到与较浅层融合卷积特征尺度一致的强语义信息特征。
本发明中，先验引导特征提取网络所获得多个融合卷积特征中，最深层的融合卷积特征，即尺度最小的融合卷积特征，对于纹理解结构的语义表达能力最强，而浅层融合卷积特征的语义表达能力相对较弱，特征融合网络将最深层的融合卷积特征的尺寸先放大至与浅层融合卷积特征一致，然后将其与浅层融合卷积特征按通道堆叠，完成融合，在提升浅层特征的语义表达能力的同时，保留了浅层特征的尺度。
进一步地，多尺度编码网络包括：Ns个纹理编码模块，分别用于对Ns个尺度的强语义信息特征进行编码；
纹理编码模块包括：第一卷积层、纹理特征编码分支和第一全连接层；
第一卷积层，用于对强语义信息特征进行卷积操作，以减少其通道数；
纹理特征编码分支，用于对减少通道数后的强语义信息特征中的各个局部特征进行编码，使得属于纹理区域的局部特征被映射到超球体内部，而属于背景区域的局部特征被映射到超球体外部，超球体有K个，分别以K个可学习的纹理基元为中心；基于各局部特征的编码结果，计算每个纹理基元的一阶残差向量和二阶残差向量，归一化后级联为对应纹理基元的残差编码向量，由K个纹理基元的残差编码向量级联为强语义信息特征的残差编码向量；
第一全连接层，用于控制残差编码向量的维度，得到全局纹理特征。
本发明中，纹理编码模块在对其中一个尺度的强语义信息特征进行编码时，通过将强语义信息特征中属于纹理区域的局部特征映射到超球体内部，而将属于背景区域的局部特征映射到超求体外部，学习得到了与K个纹理基元一一对应的K个超球体，在此基础上，计算各纹理基元的一阶残差向量和二阶残差向量，并由所有纹理基元的一阶残差向量和二阶残差向量共同构成编码得到的全局纹理特征，由此得到的全局纹理特征对于背景区域干扰具有较强的判别能力，使得模型在复杂背景下的纹理识别仍然具有较强的鲁棒性和准确性。
进一步地，纹理编码模块还包括：空间特征编码分支、第二全连接层和第二融合模块；
空间特征编码分支，用于对减少通道数后的强语义信息特征进行全局均值池化操作，得到全局空间特征；
第二全连接层，用于控制全局空间特征的维度，使其维度与第一全连接层输出的特征维度相同；
第二融合模块，用于融合第一全连接层和第二全连接层输出的特征，融合后的结果作为最终的全局纹理特征。
本发明在纹理特征编码分支编码分支通过编码得到无序的纹理特征的基础上，进一步利用空间特征编码分支提取有序的空间特征，并将二者融合为最终的全局纹理特征，使得模型在准确识别纹理信息的同时，保留图像的结构细节，从而进一步提高纹理识别的准确性。
进一步地，第k个纹理基元的一阶残差向量
Figure BDA00028980359200000711
和二阶残差向量
Figure BDA00028980359200000712
分别为：
Figure BDA0002898035920000071
其中，N表示局部特征向量总数；rjk表示第j个局部特征
Figure BDA0002898035920000072
与第k个纹理基元ck之间的残差，
Figure BDA0002898035920000073
ajk表示第j个局部特征
Figure BDA0002898035920000074
分配给第k个纹理基元ck的软分配权重，
Figure BDA0002898035920000075
S＝{s1,…,sK}表示可学习的各个纹理基元的平滑因子；ηj表示当第j个局部特征是异常特征时，将其分配给第k个纹理基元的权重的降权因子；σ＝{σ1,...,σK}表示各个纹理基元的对角协方差；K个纹理基元，以及各超球体的半径、平滑因子和对角协方差均为可学习的变量。
进一步地，多尺度集成学习网络包括：Ns个集成学习模块；
集成学习模块包括：基分类器和强分类器；按照尺度从小到大的顺序，Ns个集成学习模块中的基分类器依次记为
Figure BDA00028980359200000710
Ns个集成学习模块中强分类器依次记为
Figure BDA0002898035920000079
利用Ns个全局纹理特征进行集成学习，得到输入图像的纹理识别结果，包括如下步骤：
(T1)初始化i＝1，F0(In)＝0，并初始化图像数据集中的第n个样本的概率样本概率和样本权重分别为
Figure BDA0002898035920000076
和
Figure BDA0002898035920000077
相应计算第n个样本的响应值为
Figure BDA0002898035920000078
In表示第n个样本中的图像，n∈{1,2…N}，N表示样本总数，j表示纹理类别序号，j∈{1,2…Nc}，Nc表示纹理类别总数，yn(j)表示第n个样本在第j个纹理类别上的实际概率；
(T2)按照下式训练第i个基分类器fi：
Figure BDA0002898035920000081
Figure BDA0002898035920000082
表示多尺度编码网络对于第i个尺度的强语义信息特征进行编码的损失函数，
Figure BDA0002898035920000083
表示采用引入加权的最小二乘回归拟合的损失函数，λ1和λ2表示预设的权重系数，θi表示第i个基分类器fi的模型参数；
(T3)更新第i个基分类器fi在第j个纹理类别上的表达式为：
Figure BDA0002898035920000084
I表示输入图像；
(T3)第i个基分类器fi训练完成后，利用第i个基分类器fi和第i-1个强分类器Fi-1按照Fij(I)＝F(i-1)j(I)+fij(I)集成第i个强分类器Fi，并更新第i+1个基分类器的样本概率和样本权重，更新公式分别为：
Figure BDA0002898035920000085
wn(j)＝pn(j)(1-pn(j))；
(T4)若i≠Ns，则按照将i的值加1后，转入步骤(T2)，以训练下一个集成学习模块；否则，转入(T5)；
(T5)集成学习结束，由第Ns个强分类器
Figure BDA0002898035920000086
输出输入图像在个纹理类别上的概率，其中最大概率所对应的纹理类别即为输入图像的纹理识别结果。
本发明中，多尺度集成学习网络基于上述集成学习过程，将每个尺度对应的编码过程被视为一个基分类器，并且从小尺度到大尺度，即从深层特征到浅层特征，每一层特征分别学习一个基分类器，由此实现了分层学习；浅层特征对应的强分类器由更深一层的强分类器和本层的基分类器集成，由此实现了逐渐加强的集成，最终得到的强分类可以显著提升多尺度纹理的识别精度。
按照本发明的另一个方面，提供了一种纹理识别方法，包括：
将待识别的图像输入由本发明提供的基于多尺度集成特征编码的纹理识别模型建立方法所建立的纹理识别模型，以由纹理识别模型输出待识别的图像的纹理类别。
基于本发明所建立的纹理识别模型在复杂背景干扰及大尺度变化情况下具有较高的纹理识别鲁棒性和准确性，本发明所提供的纹理识别方法，具有在负载背景干扰和大尺度变化的情况下，仍然能够实现准确的纹理识别。
总体而言，通过本发明所构思的以上技术方案，能够取得以下有益效果：
(1)本发明所建立的纹理识别模型，同时处理输入图像多个尺度的特征信息，通过特征融合和编码，提高各尺度特征信息对于纹理结构的语义表达能力以及对于背景区域局部特征干扰的判别能力，并通过集成学习融合多个尺度的特征信息，能够有效提高在复杂背景干扰及大尺度变化情况下的纹理识别结果鲁棒性和准确性。
(2)本发明提出先验引导的特征提取方法，可提取对纹理结构表达能力较强的卷积特征，可以增加输入信息量，提升模型对全局纹理结构的表达能力，可提升识别精度。
(3)本发明提出多尺度纹理编码方法，用于对各尺度的特征进行编码，编码的特征可抵抗异常局部特征的干扰，进而实现复杂背景的干扰下的鲁棒识别。
(4)本发明提出多尺度集成学习方法，利用得到的多尺度全局纹理特征进行分层学习、逐渐增强的集成学习，可解决多尺度纹理的鲁棒识别问题。
附图说明
图1为本发明实施例提供的基于多尺度集成特征编码的纹理识别模型示意图；
图2为本发明实施例提供的先验纹理特征示意图；其中，(a)为一幅输入图像，(b)～(d)分别为(a)所示输入图像对应的一阶梯度图像、二阶梯度图像和局部二值模式特征图像，(e)为另一幅输入图像，(f)～(h)分别(e)所示输入图像对应的一阶梯度图像、二阶梯度图像和局部二值模式特征图像；
图3为本发明实施例提供的先验融合模块示意图；
图4为本发明实施例提供的纹理编码模块示意图；
图5为本发明实施例提供的多尺度集成学习网络示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
在本发明中，本发明及附图中的术语“第一”、“第二”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
针对现有的纹理识别方法在复杂背景干扰及大尺度变化情况下，不具有纹理识别鲁棒性和准确性的问题，本发明提供了一种基于多尺度集成特征编码的纹理识别模型建立方法及应用，其整体思路在于：首先，利用纹理先验信息提取对纹理结构表达能力较强的卷积特征；其次，将深层特征与浅层特征融合，得到多尺度强语义信息特征；接着，对各尺度的特征进行编码，得到对异常点鲁棒的全局纹理特征；最后，利用得到的多尺度全局纹理特征进行集成学习，实现多尺度纹理的鲁棒识别。
以下为实施例。
实施例1：
一种基于多尺度集成特征编码的纹理识别模型建立方法，包括：
建立先验引导特征提取网络，用于获得输入图像的Ns个尺度的卷积特征和先验纹理特征，并将对应尺度的卷积特征和先验纹理特征融合，得到Ns个尺度的融合卷积特征；其中，Ns为预设的正整数，作为一种可选的实施方式，本实施例中，Ns＝4，在其他实施例中，Ns也可以根据实际需要，设置为其他的正整数；
建立特征融合网络，用于将Ns个尺度的融合卷积特征中，最深层的融合卷积特征分别与其余各尺度的融合卷积特征融合，由Ns-1个融合结果连同最深层的融合卷积特征一起构成Ns个尺度的强语义信息特征；
建立多尺度编码网络，用于对Ns个尺度的强语义信息特征进行编码，使得每一个强语义信息特征中，属于纹理区域的局部特征被映射到超球体内部，而属于背景区域的局部特征被映射到超球体外部，得到Ns个全局纹理特征；超球体有K个，分别以K个可学习的纹理基元为中心；其中，K为预设的正整数；
建立多尺度集成学习网络，用于利用Ns个全局纹理特征进行集成学习，得到输入图像的纹理识别结果；
依次连接先验引导特征提取网络、特征融合网络、多尺度编码网络和多尺度集成学习网络，连接所得的模型如图1所示，利用纹理类别已知的图像数据集对连接所得的模型进行训练，在训练结束后，得到用于对图像进行纹理识别的纹理识别模型。
作为一种可选的实施方式，如图1所示，本实施例中，先验引导特征提取网络包括：主干网络、纹理特征提取模块、Ns个下采样模块和Ns个先验融合模块；
主干网络，用于提取输入图像的Ns个尺度的卷积特征；可选地，本实施例中，用于提取多尺度卷积特征的网络为50层版本的ResNet卷积神经网络，如图1所示，输入图像
Figure BDA0002898035920000121
到主干网络，提取到卷积特征
Figure BDA0002898035920000122
Figure BDA0002898035920000123
其中W,H,Ct分别表示输入图像的宽度、高度与通道数，其中，
Figure BDA0002898035920000124
Wi,Hi,Ci分别表示
Figure BDA0002898035920000125
的宽度、高度与通道数；由网络结构可知，从
Figure BDA0002898035920000126
到
Figure BDA0002898035920000127
的下采样倍数分别为从4到32，层次越深的卷积特征，尺度越小；
纹理特征提取模块，用于提取输入图像的先验纹理特征
Figure BDA0002898035920000128
Cp为先验纹理特征的通道数量；在实际应用中，可利用任意一种或多种图像处理算子提取先验纹理特征，当所提取的先验纹理特征种时，将所提取的多种先验纹理特征按通道堆叠作为最终的先验纹理特征；可选地，本实施例中，对于一幅输入图像，提取3种先验纹理特征，分别是一阶梯度图像、二阶梯度图像和局部二值模式特征图像，图2所示为针对两幅输入图像提取的先验纹理特征示意图，图2中，(a)和(e)分别表示两幅原始的输入图像，(b)～(d)分别为(a)所示输入图像对应的一阶梯度图像、二阶梯度图像和局部二值模式特征图像，(e)为另一幅输入图像，(f)～(h)分别(e)所示输入图像对应的一阶梯度图像、二阶梯度图像和局部二值模式特征图像；
Ns个下采样模块，即图1中所示的PFB1～PFB4，分别用于对纹理特征提取模块所提取的先验纹理特征进行下采样，得到得到Ns个尺度的先验纹理特征，记为Ipi(i∈{1,2,3,4})；Ns个尺度的先验纹理特征与Ns个尺度的卷积特征的尺度一一对应；
Ns个先验融合模块，分别用于将其中一个尺度下的卷积特征和先验纹理特征融合，得到Ns个融合卷积特征；其中，对应尺度的卷积特征
Figure BDA0002898035920000129
与先验纹理特征Ipi通过先验融合模块PFBi融合得到的对纹理结构表达能力强的融合卷积特征为
Figure BDA00028980359200001210
作为一种可选的实施方式，本实施例中，先验融合模块如图3所示，具体包括：一个先验上下文学习分支、一个通道注意力分支和一个第一融合模块；
先验上下文学习分支，用于提取先验纹理特征的注意力分数图；注意力分数图用于描述先验纹理特征中任意第j个区域对任意第k个区域的影响权重；
通道注意力分支，用于学习卷积特征中不同通道的权重向量，并与卷积特征相乘，以规整不同通道的重要性，得到规整后的特征图；
第一融合模块，用于融合注意力分数图和规整后的特征图，得到融合卷积特征；
进行纹理识别时，先验纹理特征Ipi首先被输入到先验上下文学习分支学习全局纹理结构信息；具体地，首先用一个1×1的卷积操作将Ipi转变为一个与卷积特征
Figure BDA0002898035920000131
通道数相同的特征图
Figure BDA0002898035920000132
然后，为建立局部区域间的关系，通过两个1×1的卷积操作将Mp转换到两个不同的特征空间Mp1与Mp2，Mp1与Mp2可视为两个维度为C′i×Ni的二维矩阵，其中Ni＝Wi×Hi，因此，可计算得到下式的注意力分数图：
Figure BDA0002898035920000133
其中，
Figure BDA0002898035920000134
T表示矩阵转置操作，Ms(k,j)表示第j个区域对第k个区域的影响权重；
卷积特征
Figure BDA0002898035920000135
被输入到通道注意力分支以学习不同通道间的关系：首先，将一个全局均值池化操作作用于
Figure BDA0002898035920000136
相关计算表达式如下：
Figure BDA0002898035920000137
其中，z＝1,...,Ci，
Figure BDA0002898035920000141
是输出向量；
然后，不同通道的权重通过softmax函数计算得到，相关计算表达式如下：
Figure BDA0002898035920000142
最后，将计算得到的权重向量vc与
Figure BDA0002898035920000143
相乘以规整不同通道的重要性：
Figure BDA0002898035920000144
第一融合模块融合计算得到的注意力分数图与规整后的特征图，得到最后的特征，相关计算表达式如下：
Figure BDA0002898035920000145
得到的特征
Figure BDA0002898035920000146
可获取先验的结构信息并可自适应地调整不同通道特征的权重。
为了进一步优化主干网络的训练效果，作为一种优选的实施方式，如图所示，本实施例中，先验引导特征提取网络还包括解码器；
解码器的结构与主干网络的对称，解码器与主干网络构成编码器-解码器结构；解码器用于在利用纹理类别已知的图像数据集对连接所得的模型进行训练时，利用最深层的卷积特征重构出与输入图像相同大小的图像，以通过重构损失优化主干网络的训练效果；
本实施例中，为了重构出与原图相同大小的纹理背景图像Ir，解码器由5个步长为2的转置卷积层组成。训练阶段的重构损失函数定义为：
Figure BDA0002898035920000147
其中，Lr表示重构损失，
Figure BDA0002898035920000148
与||·||2分别代表期望与L2范数。
先验引导特征提取网络所获得多个融合卷积特征
Figure BDA0002898035920000149
中，最深层的融合卷积特征
Figure BDA0002898035920000151
即尺度最小的融合卷积特征，对于纹理解结构的语义表达能力最强，而浅层融合卷积特征的语义表达能力相对较弱，为了在提升浅层特征的语义表达能力的同时，保留了浅层特征的尺度，作为一种可选的实施方式，本实施例中，特征融合网络将最深层的融合卷积特征与其余任意一个较浅层融合卷积特征融合的方式包括：
将最深层的融合卷积特征的尺寸放大至与较浅层融合卷积特征一致后，与较浅层融合卷积特征按通道堆叠，得到与较浅层融合卷积特征尺度一致的强语义信息特征，如图1所示，经特征融合模块融合得到的4个强语义信息特征依次记为M1～M4。
本实施例中，多尺度编码网络包括：Ns个纹理编码模块，即图1中所示的OTE1～OTE4，分别用于对Ns个尺度的强语义信息特征进行编码；
作为一种可选的实施方式，如图4所示，本实施例中，纹理编码模块包括：第一卷积层、纹理特征编码分支和第一全连接层；
第一卷积层，用于对强语义信息特征进行卷积操作，以减少其通道数；
纹理特征编码分支，用于对减少通道数后的强语义信息特征中的各个局部特征进行编码，使得属于纹理区域的局部特征被映射到超球体内部，而属于背景区域的局部特征被映射到超球体外部，超球体有K个，分别以K个可学习的纹理基元为中心；基于各局部特征的编码结果，计算每个纹理基元的一阶残差向量和二阶残差向量，归一化后级联为对应纹理基元的残差编码向量，由K个纹理基元的残差编码向量级联为强语义信息特征的残差编码向量；
第一全连接层，用于控制残差编码向量的维度，得到全局纹理特征；
以任意一个强语义信息特征Mi为例，其输入对应的纹理编码模块OTEi后，首先用一个卷积操作将强语义信息特征Mi的通道数减少到Cd，得到特征图
Figure BDA0002898035920000152
该特征图Mi'经过纹理特征编码分支编码后，会得到无序的纹理特征；
在纹理特征编码分支中，包含一组词向量C＝{c1,...,cK}，其由K个可学习的纹理基元ck组成，每个纹理基元也形成了超球体的中心；此外，还包含一组变量R＝{R1,...,RK}用以学习超球体半径；纹理特征编码分支的目标是将纹理局部特征映射到超球体内部，将异常局部特征(即背景区域的局部特征)映射到超球体外部，并保证不同超球体间尽量远离以提升不同纹理基元间的判别性，故纹理特征编码分支表征如下：
Figure BDA0002898035920000161
其中，ξj为松弛变量，表示允许异常局部特征向超球体外部映射；γ1,γ2为权重，ljk是表示第j个局部特征
Figure BDA0002898035920000162
是否与第k个超球体中心距离最近的标签，相关表达式如下：
Figure BDA0002898035920000163
基于学习的特征分布，可进一步进行残差编码将局部特征编码为全局无序纹理特征表达；为了在残差编码过程中引入二阶信息，词向量的对角协方差σ＝{σ1,...,σK}
Figure BDA0002898035920000164
也为可学习变量；同时，模型也会学习一组每个词向量的平滑因子S＝{s1,...,sK}；局部特征与纹理基元间的残差可计算为
Figure BDA0002898035920000165
将每个局部特征分配给每个纹理基元的软分配权重可计算为：
Figure BDA0002898035920000166
其中，ηj表示当第j个局部特征是异常特征时，将其分配给第k个纹理基元的权重的降权因子，计算如下：
Figure BDA0002898035920000171
其中，
Figure BDA0002898035920000172
表示存在；每个纹理基元的一阶与二阶残差编码向量可计算如下：
Figure BDA0002898035920000173
其中，将
Figure BDA0002898035920000174
与
Figure BDA0002898035920000175
分别进行L2归一化后进行级联即可得到第k个词向量的编码向量
Figure BDA0002898035920000176
最后，将K个编码向量级联起来，即可得到特征图
Figure BDA0002898035920000177
的残差编码向量：e＝{e1,...,eK}，
Figure BDA0002898035920000178
经过第一全连接层控制残差编码向量的维度后，得到的纹理特征向量为
Figure BDA0002898035920000179
可选地，本实施例中，Cb＝64。
通过上述处理之后，所得到的纹理特征向量为e′对复杂背景干扰鲁棒，在此基础上，为了进一步提高纹理识别的精度，作为一种可选的实施方式，如图4所示，纹理编码模块还包括：空间特征编码分支、第二全连接层和第二融合模块；
空间特征编码分支，用于对减少通道数后的强语义信息特征进行全局均值池化操作，得到全局空间特征；
第二全连接层，用于控制全局空间特征的维度，使其维度与第一全连接层输出的特征维度相同；
第二融合模块，用于融合第一全连接层和第二全连接层输出的特征，融合后的结果作为最终的全局纹理特征；
还是以强语义信息特征Mi为例，其经过第一卷积层转换为特征图M′i之后，会经过空间特征编码分支编码为有序的空间特征，具体地，在空间特征编码分支中，会通过一个全局均值池化操作将Mi转换为一个Cd维的全局空间特征g，经过第二全连接层控制全局空间特征g的维度后，得到的全局空间特征为
Figure BDA0002898035920000181
第二融合模块以相乘的方式对纹理特征向量为e′和全局空间特征g进行融合，相关计算表达式为：
vt＝e′g′T (1-12)
最后，通过一个全连接层将vt转换为vi(
Figure BDA0002898035920000184
Nc为纹理类别数量)以进行纹理分类。
作为一种可选的实施方式，如图1和图5所示，本实施例中，多尺度集成学习网络包括：Ns个集成学习模块；
集成学习模块包括：基分类器和强分类器；按照尺度从小到大的顺序，Ns个集成学习模块中的基分类器依次记为f1～f4，Ns个集成学习模块中强分类器依次记为F1～F4；
以pn与
Figure BDA0002898035920000182
分别表示纹理类别已知的图像数据集中第n个样本的概率估计与样本权重，并将其初始化为：
Figure BDA0002898035920000183
n∈{1,2…N}，N表示样本总数，j表示纹理类别序号，j∈{1,2…Nc}，Nc表示纹理类别总数；
将强分类器初始化为：F0(In)＝0；In表示第n个样本中的图像；
第n个样本的响应值与样本权重可计算为：
Figure BDA0002898035920000191
其中，
Figure BDA0002898035920000192
表示训练集中第n个样本的响应值，yn(j)表示第n个样本在第j个纹理类别上的实际概率；基于此样本分布，引入加权的最小二乘回归拟合第i个基分类器：
Figure BDA0002898035920000193
其中，
Figure BDA0002898035920000194
表示多尺度编码网络对于第i个尺度的强语义信息特征进行编码的损失函数，
Figure BDA0002898035920000195
表示采用引入加权的最小二乘回归拟合的损失函数，λ1和λ2表示预设的权重系数，θi表示第i个基分类器fi的模型参数；EI表示输入图像I分布下的期望；
第i个基分类器fi可通过下式训练获得：
Figure BDA0002898035920000196
训练完成后，第i个基分类器fi在第j个纹理类别上的表达式可更新为：
Figure BDA0002898035920000197
其中，I表示输入图像；
将已学习的基分类器fi和更深一层的强分类器Fi-1集成为第i个强分类器Fi：
Fij(I)＝F(i-1)j(I)+fij(I) (1-17)
根据已学习的强分类器Fi，可更新下一个基学习器fi+1的样本概率：
Figure BDA0002898035920000198
通过式(1-18)与式(1-13)，对于下一个基分类器，正确分类的样本将被分配较低的权重，错误分类的样本将被分配较大权重；
最后，当所有Ns个基分类器均训练完成后，可获得最终的强分类器，即第Ns个强分类器
Figure BDA0002898035920000201
由强分类器
Figure BDA0002898035920000202
输出输入图像在个纹理类别上的概率，其中最大概率所对应的纹理类别即为输入图像的纹理识别结果，相应计算表达式如下：
Figure BDA0002898035920000203
本实施例中，多尺度集成学习网络基于上述集成学习过程，将每个尺度对应的编码过程被视为一个基分类器，并且从小尺度到大尺度，即从深层特征到浅层特征，每一层特征分别学习一个基分类器，由此实现了分层学习；浅层特征对应的强分类器由更深一层的强分类器和本层的基分类器集成，由此实现了逐渐加强的集成，最终得到的强分类可以显著提升多尺度纹理的识别精度。
总体而言，本实施例所建立的基于多尺度集成特征编码的纹理识别模型，采用先验引导的特征提取方法，利用纹理先验信息提取对纹理结构表达能力较强的融合卷积特征；其次，将深层特征与浅层特征融合，得到多尺度强语义信息特征；接着，对各尺度的特征进行编码，得到对复杂背景干扰鲁棒的全局纹理特征；最后，利用得到的多尺度全局纹理特征进行集成学习，实现多尺度纹理的鲁棒识别，有效解决了现有的纹理识别方法存在复杂背景干扰及大尺度变化情况下的鲁棒纹理识别问题。
实施例2：
一种纹理识别方法，包括：
将待识别的图像输入由上述实施例1提供的基于多尺度集成特征编码的纹理识别模型建立方法所建立的纹理识别模型，以由纹理识别模型输出待识别的图像的纹理类别。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于多尺度集成特征编码的纹理识别模型建立方法，其特征在于，包括：
建立先验引导特征提取网络，用于获得输入图像的Ns个尺度的卷积特征和先验纹理特征，并将对应尺度的卷积特征和先验纹理特征融合，得到Ns个尺度的融合卷积特征；
建立特征融合网络，用于将所述Ns个尺度的融合卷积特征中，最深层的融合卷积特征分别与其余各尺度的融合卷积特征融合，由Ns-1个融合结果连同所述最深层的融合卷积特征一起构成Ns个尺度的强语义信息特征；
建立多尺度编码网络，用于对所述Ns个尺度的强语义信息特征进行编码，使得每一个强语义信息特征中，属于纹理区域的局部特征被映射到超球体内部，而属于背景区域的局部特征被映射到超球体外部，得到Ns个全局纹理特征；所述超球体有K个，分别以K个可学习的纹理基元为中心；
建立多尺度集成学习网络，用于利用所述Ns个全局纹理特征进行集成学习，得到所述输入图像的纹理识别结果；
依次连接所述先验引导特征提取网络、所述特征融合网络、所述多尺度编码网络和所述多尺度集成学习网络，并利用纹理类别已知的图像数据集对连接所得的模型进行训练，在训练结束后，得到用于对图像进行纹理识别的纹理识别模型；
其中，Ns和K均为预设的正整数。
2.如权利要求1所述的基于多尺度集成特征编码的纹理识别模型建立方法，其特征在于，所述先验引导特征提取网络包括：主干网络、纹理特征提取模块、Ns个下采样模块和Ns个先验融合模块；
所述主干网络，用于提取所述输入图像的Ns个尺度的卷积特征；
所述纹理特征提取模块，用于提取所述输入图像的先验纹理特征；
所述Ns个下采样模块，分别用于对所述纹理特征提取模块所提取的先验纹理特征进行下采样，得到得到Ns个尺度的先验纹理特征；所述Ns个尺度的先验纹理特征与所述Ns个尺度的卷积特征的尺度一一对应；
所述Ns个先验融合模块，分别用于将其中一个尺度下的卷积特征和先验纹理特征融合，得到Ns个融合卷积特征。
3.如权利要求2所述的基于多尺度集成特征编码的纹理识别模型建立方法，其特征在于，所述先验融合模块包括：一个先验上下文学习分支、一个通道注意力分支和一个第一融合模块；
所述先验上下文学习分支，用于提取先验纹理特征的注意力分数图；所述注意力分数图用于描述先验纹理特征中任意第j个区域对任意第k个区域的影响权重；
所述通道注意力分支，用于学习卷积特征中不同通道的权重向量，并与卷积特征相乘，以规整不同通道的重要性，得到规整后的特征图；
所述第一融合模块，用于融合所述注意力分数图和所述规整后的特征图，得到融合卷积特征。
4.如权利要求2所述的基于多尺度集成特征编码的纹理识别模型建立方法，其特征在于，所述先验引导特征提取网络还包括解码器；
所述解码器的结构与所述主干网络的对称，所述解码器与所述主干网络构成编码器-解码器结构；所述解码器用于在利用纹理类别已知的图像数据集对连接所得的模型进行训练时，利用最深层的卷积特征重构出与所述输入图像相同大小的图像，以通过重构损失优化所述主干网络的训练效果。
5.如权利要求1-4任一项所述的基于多尺度集成特征编码的纹理识别模型建立方法，其特征在于，所述特征融合网络将最深层的融合卷积特征与其余任意一个较浅层融合卷积特征融合的方式包括：
将所述最深层的融合卷积特征的尺寸放大至与所述较浅层融合卷积特征一致后，与所述较浅层融合卷积特征按通道堆叠，得到与所述较浅层融合卷积特征尺度一致的强语义信息特征。
6.如权利要求1-4任一项所述的基于多尺度集成特征编码的纹理识别模型建立方法，其特征在于，所述多尺度编码网络包括：Ns个纹理编码模块，分别用于对所述Ns个尺度的强语义信息特征进行编码；
所述纹理编码模块包括：第一卷积层、纹理特征编码分支和第一全连接层；
所述第一卷积层，用于对强语义信息特征进行卷积操作，以减少其通道数；
所述纹理特征编码分支，用于对减少通道数后的强语义信息特征中的各个局部特征进行编码，使得属于纹理区域的局部特征被映射到超球体内部，而属于背景区域的局部特征被映射到超球体外部，所述超球体有K个，分别以K个可学习的纹理基元为中心；基于各局部特征的编码结果，计算每个纹理基元的一阶残差向量和二阶残差向量，归一化后级联为对应纹理基元的残差编码向量，由K个纹理基元的残差编码向量级联为强语义信息特征的残差编码向量；
所述第一全连接层，用于控制所述残差编码向量的维度，得到全局纹理特征。
7.如权利要求6所述的基于多尺度集成特征编码的纹理识别模型建立方法，其特征在于，所述纹理编码模块还包括：空间特征编码分支、第二全连接层和第二融合模块；
所述空间特征编码分支，用于对减少通道数后的强语义信息特征进行全局均值池化操作，得到全局空间特征；
所述第二全连接层，用于控制所述全局空间特征的维度，使其维度与所述第一全连接层输出的特征维度相同；
所述第二融合模块，用于融合所述第一全连接层和所述第二全连接层输出的特征，融合后的结果作为最终的全局纹理特征。
8.如权利要求6所述的基于多尺度集成特征编码的纹理识别模型建立方法，其特征在于，第k个纹理基元的一阶残差向量
Figure FDA0002898035910000041
和二阶残差向量
Figure FDA0002898035910000042
分别为：
Figure FDA0002898035910000043
其中，N表示局部特征向量总数；rjk表示第j个局部特征
Figure FDA0002898035910000044
与第k个纹理基元ck之间的残差，
Figure FDA0002898035910000045
ajk表示第j个局部特征
Figure FDA0002898035910000046
分配给第k个纹理基元ck的软分配权重，
Figure FDA0002898035910000047
S＝{s1,…,sK}表示可学习的各个纹理基元的平滑因子；ηj表示当第j个局部特征是异常特征时，将其分配给第k个纹理基元的权重的降权因子；σ＝{σ1,…,σK}表示各个纹理基元的对角协方差；K个纹理基元，以及各超球体的半径、平滑因子和对角协方差均为可学习的变量。
9.如权利要求1-4任一项所述的基于多尺度集成特征编码的纹理识别模型建立方法，其特征在于，所述多尺度集成学习网络包括：Ns个集成学习模块；
所述集成学习模块包括：基分类器和强分类器；按照尺度从小到大的顺序，Ns个集成学习模块中的基分类器依次记为f1～fNs，Ns个集成学习模块中强分类器依次记为F1～FNs；
利用所述Ns个全局纹理特征进行集成学习，得到所述输入图像的纹理识别结果，包括如下步骤：
(T1)初始化i＝1，F0(In)＝0，并初始化所述图像数据集中的第n个样本的概率样本概率和样本权重分别为
Figure FDA0002898035910000048
和
Figure FDA0002898035910000049
相应计算第n个样本的响应值为
Figure FDA0002898035910000051
In表示第n个样本中的图像，n∈{1,2…N}，N表示样本总数，j表示纹理类别序号，j∈{1,2…Nc}，Nc表示纹理类别总数，yn(j)表示第n个样本在第j个纹理类别上的实际概率；
(T2)按照下式训练第i个基分类器fi：
Figure FDA0002898035910000052
Figure FDA0002898035910000053
表示所述多尺度编码网络对于第i个尺度的强语义信息特征进行编码的损失函数，
Figure FDA0002898035910000054
表示采用引入加权的最小二乘回归拟合的损失函数，λ1和λ2表示预设的权重系数，θi表示第i个基分类器fi的模型参数；
(T3)更新第i个基分类器fi在第j个纹理类别上的表达式为：
Figure FDA0002898035910000055
I表示输入图像；
(T3)第i个基分类器fi训练完成后，利用第i个基分类器fi和第i-1个强分类器Fi-1按照Fij(I)＝F(i-1)j(I)+fij(I)集成第i个强分类器Fi，并更新第i+1个基分类器的样本概率和样本权重，更新公式分别为：
Figure FDA0002898035910000056
wn(j)＝pn(j)(1-pn(j))；
(T4)若i≠Ns，则按照将i的值加1后，转入步骤(T2)，以训练下一个集成学习模块；否则，转入(T5)；
(T5)集成学习结束，由第Ns个强分类器FNs输出输入图像在个纹理类别上的概率，其中最大概率所对应的纹理类别即为输入图像的纹理识别结果。
10.一种纹理识别方法，其特征在于，包括：
将待识别的图像输入由权利要求1-9任一项所述的基于多尺度集成特征编码的纹理识别模型建立方法所建立的纹理识别模型，以由所述纹理识别模型输出所述待识别的图像的纹理类别。
CN202110047823.XA 2021-01-14 2021-01-14 基于多尺度集成特征编码的纹理识别模型建立方法及应用 Pending CN112819039A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110047823.XA CN112819039A (zh) 2021-01-14 2021-01-14 基于多尺度集成特征编码的纹理识别模型建立方法及应用

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110047823.XA CN112819039A (zh) 2021-01-14 2021-01-14 基于多尺度集成特征编码的纹理识别模型建立方法及应用

Publications (1)

Publication Number Publication Date
CN112819039A true CN112819039A (zh) 2021-05-18

Family

ID=75869244

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110047823.XA Pending CN112819039A (zh) 2021-01-14 2021-01-14 基于多尺度集成特征编码的纹理识别模型建立方法及应用

Country Status (1)

Country Link
CN (1) CN112819039A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113674334A (zh) * 2021-07-06 2021-11-19 复旦大学 基于深度自注意力网络和局部特征编码的纹理识别方法
CN113887650A (zh) * 2021-10-19 2022-01-04 华南理工大学 一种基于深度学习的图像内部纹理分类方法
CN114331974A (zh) * 2021-12-09 2022-04-12 上海大学 一种基于特征融合的图像篡改检测方法
CN115984293A (zh) * 2023-02-09 2023-04-18 中国科学院空天信息创新研究院 基于边缘感知注意力机制的空间目标分割网络及方法
CN116405330A (zh) * 2023-06-08 2023-07-07 北京金睛云华科技有限公司 基于迁移学习的网络异常流量识别方法、装置和设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
KAIYOU SONG: "Multi-Scale Boosting Feature Encoding Network for Texture Recognition", 《| IEEE JOURNALS & MAGAZINE | IEEE XPLORE》, 12 January 2021 (2021-01-12), pages 1 - 43 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113674334A (zh) * 2021-07-06 2021-11-19 复旦大学 基于深度自注意力网络和局部特征编码的纹理识别方法
CN113674334B (zh) * 2021-07-06 2023-04-18 复旦大学 基于深度自注意力网络和局部特征编码的纹理识别方法
CN113887650A (zh) * 2021-10-19 2022-01-04 华南理工大学 一种基于深度学习的图像内部纹理分类方法
CN114331974A (zh) * 2021-12-09 2022-04-12 上海大学 一种基于特征融合的图像篡改检测方法
CN115984293A (zh) * 2023-02-09 2023-04-18 中国科学院空天信息创新研究院 基于边缘感知注意力机制的空间目标分割网络及方法
CN115984293B (zh) * 2023-02-09 2023-11-07 中国科学院空天信息创新研究院 基于边缘感知注意力机制的空间目标分割网络及方法
CN116405330A (zh) * 2023-06-08 2023-07-07 北京金睛云华科技有限公司 基于迁移学习的网络异常流量识别方法、装置和设备
CN116405330B (zh) * 2023-06-08 2023-08-22 北京金睛云华科技有限公司 基于迁移学习的网络异常流量识别方法、装置和设备

Similar Documents

Publication Publication Date Title
CN107506740B (zh) 一种基于三维卷积神经网络和迁移学习模型的人体行为识别方法
CN112819039A (zh) 基于多尺度集成特征编码的纹理识别模型建立方法及应用
CN111462126B (zh) 一种基于边缘增强的语义图像分割方法及系统
CN110689086B (zh) 基于生成式对抗网络的半监督高分遥感图像场景分类方法
CN110443143B (zh) 多分支卷积神经网络融合的遥感图像场景分类方法
CN107526785B (zh) 文本分类方法及装置
CN110348399B (zh) 基于原型学习机制和多维残差网络的高光谱智能分类方法
CN108090472B (zh) 基于多通道一致性特征的行人重识别方法及其系统
KR102138657B1 (ko) 계층적 협업 표현 기반 분류를 통한 강인한 얼굴인식 장치 및 그 방법
CN110533024B (zh) 基于多尺度roi特征的双二次池化细粒度图像分类方法
CN110135460B (zh) 基于vlad卷积模块的图像信息强化方法
CN112801059B (zh) 图卷积网络系统和基于图卷积网络系统的3d物体检测方法
CN104809469A (zh) 一种面向服务机器人的室内场景图像分类方法
CN112950780B (zh) 一种基于遥感影像的网络地图智能生成方法及系统
CN105184260A (zh) 一种图像特征提取方法及行人检测方法及装置
CN113159067A (zh) 一种基于多粒度局部特征软关联聚合的细粒度图像辨识方法及装置
CN109902808A (zh) 一种基于浮点数位变异遗传算法优化卷积神经网络的方法
CN111325259A (zh) 一种基于深度学习和二进制编码的遥感图像分类方法
CN114332117A (zh) 基于unet3+与全连接条件随机场融合的震后地貌分割方法
CN113065520A (zh) 一种面向多模态数据的遥感图像分类方法
CN115761240B (zh) 一种混沌反向传播图神经网络的图像语义分割方法及装置
CN116758415A (zh) 一种基于二维离散小波变换的轻量化害虫识别方法
CN114821200B (zh) 一种应用于工业视觉检测领域的图像检测模型及方法
CN116524255A (zh) 基于Yolov5-ECA-ASFF的小麦赤霉病孢子识别方法
CN115512226A (zh) 融入注意力机制多尺度CNN的LiDAR点云滤波方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination