CN112766279A - 一种基于联合注意力机制的图像特征提取方法 - Google Patents

一种基于联合注意力机制的图像特征提取方法 Download PDF

Info

Publication number
CN112766279A
CN112766279A CN202011636575.4A CN202011636575A CN112766279A CN 112766279 A CN112766279 A CN 112766279A CN 202011636575 A CN202011636575 A CN 202011636575A CN 112766279 A CN112766279 A CN 112766279A
Authority
CN
China
Prior art keywords
feature map
channel
multiplied
size
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011636575.4A
Other languages
English (en)
Other versions
CN112766279B (zh
Inventor
陈小波
吴海昕
邹玉华
李依晗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
709th Research Institute of CSIC
Original Assignee
709th Research Institute of CSIC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 709th Research Institute of CSIC filed Critical 709th Research Institute of CSIC
Priority to CN202011636575.4A priority Critical patent/CN112766279B/zh
Publication of CN112766279A publication Critical patent/CN112766279A/zh
Application granted granted Critical
Publication of CN112766279B publication Critical patent/CN112766279B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于联合注意力机制的图像特征提取方法，步骤如下：1：将待提取特征的图像输入卷积神经网络，得到特征图F；2：使用空间注意力模块获得空间权值掩膜矩阵W1；3：空间权值掩膜矩阵W1与特征图F相乘获得特征图F1；4：使用通道注意力模块获得特征图F的通道权值掩膜矩阵W2；5：通道权值掩膜矩阵W2与特征图F相乘获得特征图F2；6：将特征图F1与特征图F2按通道进行连接，得到特征图F3；7：特征图F3通过c个卷积核进行卷积运算得到特征图F4。本发明基于空‑谱联合注意力机制的图像特征提取方法，用于解决现有技术中存在的只考虑单层特征导致特征提取不足的技术问题，可以广泛应用于计算机视觉技术领域。

Description

一种基于联合注意力机制的图像特征提取方法
技术领域
本发明涉及计算机视觉技术领域，特别是涉及一种基于联合注意力机制的图像特征提取方法。
背景技术
注意力机制(Attention Mechanism)源于对人类视觉的研究。在认知科学中，由于信息处理的瓶颈，人类会选择性地关注所有信息中的一部分，同时忽略其他可见的信息，这被称为注意力机制。人类视网膜不同的部位具有不同程度的信息处理能力，也就是说不同部位对外界事物感知的敏锐度不同，只有视网膜中央凹部位具有最强的敏锐度。为了合理利用有限的视觉信息处理资源，人类需要选择视觉区域中的特定部分，然后集中关注它。例如，人们在阅读时，会着重去关注和处理感兴趣的词汇。因此，注意力机制主要包含有两个方面：一方面是决定需要关注输入的那部分，另一方面是分配有限的信息处理资源给重要的部分。
近年来，注意力机制被引入计算机视觉领域进行视觉信息处理，它作为一种机制或者是方法论，并没有严格的数学定义，传统的局部图像特征提取、显著性检测、滑动窗口方法等都可以看作一种注意力机制。随着深度学习的发展，注意力机制也应用到了神经网络中，神经网络中会添加一个额外的注意力模块，使得让神经网络能够关注重点信息而忽略无关信息。通常是网络硬性选择输入的某些部分，或者给输入的不同部分分配不同的权重。前者称为硬注意力，后者被称为软注意力。总而言之，注意力机制可以帮助网络学到给定输入中最重要的部分，从而对输入进行“总结”，使得特征提取更具有针对性。
注意力机制关注的域有空间域、通道域、层域、混合域、时间域等。而现有的基于注意力机制的图像特征提取算法大都只考虑了单域注意力，难以驾驭复杂特征的学习，影响后续应用特征进行分类、目标检测的效果。
发明内容
本发明的目的是为了克服上述背景技术的不足，提供一种基于联合注意力机制的图像特征提取方法，使其基于空-谱联合注意力机制的图像特征提取方法，用于解决现有技术中存在的只考虑单层特征导致特征提取不足的技术问题。
本发明提供的一种基于联合注意力机制的图像特征提取方法，包括如下步骤：步骤1：将待提取特征的图像输入卷积神经网络，得到特征图F；步骤2：使用空间注意力模块获得特征图F的空间权值掩膜矩阵W1；步骤3：空间权值掩膜矩阵W1与特征图F相乘获得尺寸为h×w×c的特征图F1；步骤4：使用通道注意力模块获得特征图F的通道权值掩膜矩阵W2；步骤5：通道权值掩膜矩阵W2与特征图F相乘获得尺寸为h×w×c的特征图F2；步骤6：将特征图F1与特征图F2按通道进行连接，得到尺寸为h×w×2c的特征图F3；步骤7：特征图F3通过c个大小为3×3的卷积核进行卷积运算得到尺寸为h×w×c的特征图F4。
在上述技术方案中，所述步骤1的具体过程为：输入图像进入卷积神经网络，在前向传播过程中通过多层卷积提取图像的初始特征，得到尺寸为h×w×c的特征图F，h为特征图F的高、w为特征图F的宽、c为特征图F的通道数。
在上述技术方案中，所述步骤2包括如下步骤：步骤2.1：对特征图F在通道维度进行最大池化，得到尺寸为h×w×1的特征图f1；步骤2.2：对特征图f1通过sigmoid激活函数得到尺寸为h×w×1的空间权值掩膜矩阵W1。
在上述技术方案中，所述步骤2.1中，所述的对特征图F在通道维度进行最大池化，具体过程为：对特征图F上每个位置kij上对应的尺寸为1×1×c的张量压缩为一个值，该值为对应张量内元素的最大值，其中i＝1,2,…w，j＝1,2,…h。
在上述技术方案中，所述步骤3的具体过程如下：特征图F上每个位置kij上对应的尺寸为1×c的张量与空间权值掩膜矩阵W1中kij位置处对应的权值相乘，其中i＝1,2,…w，j＝1,2,…h。
在上述技术方案中，所述步骤4包括如下步骤：步骤4.1：对特征图F在空间维度上进行最大池化，得到尺寸为1×1×c的特征图f2；步骤4.2：对特征图f2输入两层全连接网络，其中隐藏层神经元的个数为c/2，输出层神经元的个数为c，全连接层输出的尺寸为1×1×c的特征图f3；步骤4.3：对特征图f3通过sigmoid激活函数得到尺寸为1×1×c的通道权值掩膜矩阵W2。
在上述技术方案中，所述步骤4.1中，对特征图F在空间维度进行最大池化，其具体过程为：对特征图F按通道划分为(m1,…,mi,…,mc)，其中i＝1,2…,c，逐通道将尺寸为h×w的张量mi压缩为一个值，该值为mi内元素的最大值。
在上述技术方案中，所述步骤5的具体过程如下：特征图F按通道划分为(m1,…,mi,…,mc)，将第i个通道对应的尺寸为h×w的张量mi与W2中第i个元素相乘，其中i＝1,2…,c。
在上述技术方案中，还包括步骤8、将特征图F4代替特征图F，输入VGG16后续的卷积层中进一步提取深层特征并分类，保持VGG16原有的损失函数对整个网络进行训练。
本发明基于联合注意力机制的图像特征提取方法，具有以下有益效果：
1)本发明综合考虑了空间和通道注意力机制，分别使用空间注意力模块、通道注意力模块学习特征图的空间、通道注意力分布，得到空间注意力特征和通道注意力特征，并将这两种特征进行融合。多注意力模块提取的特征通过卷积进行融合实现了动态权重分配，避免了人为设定参数，增强模型鲁棒性。与现有技术相比，本发明提出的特征提取方法提高了复杂特征的学习和表示能力，进而可以提升后续的视觉分析任务(图像分类、图像分割、图像目标检测、图像检索等)的精确度。
2)本发明提出的特征提取方法可以嵌入大部分承担视觉分析任务的卷积神经网络，在网络训练的过程中自适应学习特征图的空间和通道注意力分布，不需要对标注数据进行再次加工。与现有的图像特征提取技术相比应用更加广泛，可用于普通图像、高光谱图像、多光谱图像、SAR图像等。
附图说明
图1为本发明基于联合注意力机制的图像特征提取方法的整体流程示意图；
图2为本发明基于联合注意力机制的图像特征提取方法的工作框架图；
图3为本发明基于联合注意力机制的图像特征提取方法中步骤2至步骤3的模块框架示意图；
图4为本发明基于联合注意力机制的图像特征提取方法中步骤4至步骤5的模块框架示意图。
具体实施方式
下面结合附图及实施例对本发明作进一步的详细描述，但该实施例不应理解为对本发明的限制。
参照图1和图2，本发明关于一种基于联合注意力机制的图像特征提取方法，包括以下步骤：
步骤1：待提取特征的图像输入卷积神经网络，得到特征图F：
步骤1.1：输入图像进入卷积神经网络，在前向传播过程中通过多层卷积提取图像的初始特征，得到尺寸为h×w×c的特征图F，h为特征图F的高、w为特征图F的宽、c为特征图F的通道数，所述的卷积神经网络，其结构包含基本的卷积层、池化层和批归一化层；
在具体实施例中，将待提取特征的图像调整大小为224×224输入卷积神经网络VGG16中，选择VGG16的第四个卷积层的输出作为特征图F，特征图F的高、宽、通道数分别为112、112和128；
参照图3，步骤2：使用空间注意力机制模块获得特征图F的空间权值掩膜矩阵W1：
步骤2.1：对特征图F在通道维度进行最大池化，得到尺寸为h×w×1的特征图f1；
所述的对特征图F在通道维度进行最大池化，实现步骤为：对特征图F上每个位置kij上对应的尺寸为1×1×c的张量压缩为一个值，该值为对应张量内元素的最大值，其中i＝1,2,…w，j＝1,2,…h；
在具体实施例中，对特征图F沿着第三维度计算最大值，具体来说是对特征图F上每个位置kij(其中i＝1,2,…112，j＝1,2,…112)上对应的张量(尺寸为1×1×224)取元素最大值，该值对应为特征图f1的kij位置处的值，形成特征图f1的高、宽、通道数分别为112、112和1。
步骤2.2：对特征图f1通过sigmoid激活函数得到尺寸为h×w×1的空间权值掩膜矩阵W1；
在具体实施例中，对特征图f1里的每个元素实施sigmoid激活函数，将特征图f1内元素的值都归一化到0～1之间，形成尺寸为112×112×1的空间权值掩膜矩阵W1，W1上每个位置的值W1ij(i＝1,2,…112，j＝1,2,…112)表示特征图F对应位置处特征的权值，它表征着该位置特征的空间重要性，用较大的权值来凸显重要位置处的特征。
步骤3：空间权值掩膜矩阵W1与特征图F相乘获得尺寸为h×w×c的特征图F1；
所述的对空间权值掩膜矩阵W1与特征图F相乘获得尺寸为h×w×c的特征图F1，实现步骤为：特征图F上每个位置kij上对应的尺寸为1×c的张量与空间权值掩膜矩阵W1中kij位置处对应的权值相乘，其中i＝1,2,…w，j＝1,2,…h；
在具体实施例中，特征图F上每个位置kij(i＝1,2,…112，j＝1,2,…112)上对应的尺寸为1×128的张量与空间权值掩膜矩阵W1中对应位置的权值W1ij相乘，得到特征图F1的高、宽、通道数分别为112、112和128。
参照图4，步骤4：使用通道注意力机制模块获得特征图F的通道权值掩膜矩阵W2；
步骤4.1：对特征图F在空间维度上进行最大池化，得到尺寸为1×1×c的特征图f2；
所述的对特征图F在空间维度进行最大池化，实现步骤为：对特征图F按通道划分为(m1,…,mi,…,mc)，其中i＝1,2…,c。逐通道将尺寸为h×w的张量mi压缩为一个值，该值为mi内元素的最大值；
在具体实施例中，对特征图F每个通道对应的112×112大小的张量mi，其中i＝1,2…,c。逐一进行最大池化，池化层参数设置：池化大小设置为1×1，步长为1。最大池化后得到的结果按通道进行连接，得到尺寸为1×1×128的特征图f2。
步骤4.2：对特征图f2输入两层全连接网络，其中隐藏层神经元的个数为c/2，输出层神经元的个数为c，全连接层输出的尺寸为1×1×c的特征图f3；
在具体实施例中，两层全连接网络的设置如下：第一层全连接网络的输入的张量大小和特征图f2保持一致，为1×1×128，输出层设置的神经元个数为64，第二层全连接网络的输入连接着第一层全连接网络的输出，输出层神经元个数为128，因此两层全连接网络最终输出尺寸为1×1×128的特征图f3。
步骤4.3：对特征图f3通过sigmoid激活函数得到尺寸为1×1×c的通道权值掩膜矩阵W2；
在具体实施例中，对特征图f3里的每个元素实施sigmoid激活函数，将特征图f3内元素的值都归一化到0～1之间，形成尺寸为1×1×128的通道权值掩膜矩阵W2，W2上每个通道的值W2k(k＝1,2,…128)表示特征图F对应通道特征的权值，它表征着该通道特征的重要性，用较大的权值来凸显重要通道处的特征。
步骤5：将通道权值掩膜矩阵W2与特征图F相乘获得尺寸为h×w×c的特征图F2；
所述的通道权值掩膜矩阵W2与特征图F相乘获得尺寸为h×w×c的特征图F2，实现步骤为：特征图F按通道划分为(m1,…,mi,…,mc)，将第i个通道对应的尺寸为h×w的张量mi与W2中第i个元素相乘，其中i＝1,2…,c；
在具体实施例中，特征图F上每个通道k(k＝1,2,…128)对应的特征张量与通道权值掩膜矩阵W2中对应通道的权值W2k相乘，得到特征图F2的高、宽、通道数分别为112、112和128。
步骤6：将特征图F1与特征图F2按通道进行连接，得到尺寸为h×w×2c的特征图F3；
在具体实施例中，将特征图F1与特征图F2按通道进行连接，得到尺寸为112×112×256的特征图F3。
步骤7：特征图F3通过c个大小为3×3×2c的卷积核进行卷积运算得到尺寸为h×w×c的特征图F4。
在具体实施例中，特征图F3通过128个大小为3×3×256的卷积核进行卷积运算得到尺寸为112×112×128的特征图F4。
步骤8：将特征图F4代替特征图F，输入VGG16后续的卷积层中进一步提取深层特征并分类，不改变VGG16原有的损失函数对整个网络进行训练。通过网络的一次次迭代训练，网络中的参数会更新，权值掩膜矩阵W1和W2的权值也会越趋于稳定，网络训练结束后，将测试图像数据集输入网络测试，查看网络对数据集的分类效果。
由于空间注意力机制综合考虑图像的空间信息，学习一个与输入相关的权值掩膜，这个权值掩膜能帮助网络突出感兴趣的目标信息同时抑制背景，代表方法是空间变换网络。而通道注意力机制通常考虑输入的通道信息，在输入的通道层面计算注意力分布，再根据注意力分布来计算输入信息的加权平均，代表的方法是SEnet。
所以本发明综合考虑了空间和通道注意力机制，分别使用空间注意力模块、通道注意力模块学习特征图的空间、通道注意力分布，得到空间注意力特征和通道注意力特征，并将这两种特征进行融合。多注意力模块提取的特征通过卷积进行融合实现了动态权重分配，避免了人为设定参数，增强模型鲁棒性。与现有技术相比，本发明提出的特征提取方法提高了复杂特征的学习和表示能力，进而可以提升后续的视觉分析任务(图像分类、图像分割、图像目标检测、图像检索等)的精确度。
而且，本发明提出的特征提取方法可以嵌入大部分承担视觉分析任务的卷积神经网络，在网络训练的过程中自适应学习特征图的空间和通道注意力分布，不需要对标注数据进行再次加工。与现有的图像特征提取技术相比应用更加广泛，可用于普通图像、高光谱图像、多光谱图像、SAR图像等。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
本说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。

Claims (9)

1.一种基于联合注意力机制的图像特征提取方法，其特征在于：包括如下步骤：
步骤1：将待提取特征的图像输入卷积神经网络，得到特征图F；
步骤2：使用空间注意力模块获得特征图F的空间权值掩膜矩阵W1；
步骤3：空间权值掩膜矩阵W1与特征图F相乘获得尺寸为h×w×c的特征图F1；
步骤4：使用通道注意力模块获得特征图F的通道权值掩膜矩阵W2；
步骤5：通道权值掩膜矩阵W2与特征图F相乘获得尺寸为h×w×c的特征图F2；
步骤6：将特征图F1与特征图F2按通道进行连接，得到尺寸为h×w×2c的特征图F3；
步骤7：特征图F3通过c个大小为3×3的卷积核进行卷积运算得到尺寸为h×w×c的特征图F4。
2.根据权利要求1所述的基于联合注意力机制的图像特征提取方法，其特征在于：所述步骤1的具体过程为：输入图像进入卷积神经网络，在前向传播过程中通过多层卷积提取图像的初始特征，得到尺寸为h×w×c的特征图F，h为特征图F的高、w为特征图F的宽、c为特征图F的通道数。
3.根据权利要求2所述的基于联合注意力机制的图像特征提取方法，其特征在于：所述步骤2包括如下步骤：
步骤2.1：对特征图F在通道维度进行最大池化，得到尺寸为h×w×1的特征图f1；
步骤2.2：对特征图f1通过sigmoid激活函数得到尺寸为h×w×1的空间权值掩膜矩阵W1。
4.根据权利要求3所述的基于联合注意力机制的图像特征提取方法，其特征在于：所述步骤2.1中，所述的对特征图F在通道维度进行最大池化，具体过程为：对特征图F上每个位置kij上对应的尺寸为1×1×c的张量压缩为一个值，该值为对应张量内元素的最大值，其中i＝1,2,…w，j＝1,2,…h。
5.根据权利要求4所述的基于联合注意力机制的图像特征提取方法，其特征在于：所述步骤3的具体过程如下：特征图F上每个位置kij上对应的尺寸为1×c的张量与空间权值掩膜矩阵W1中kij位置处对应的权值相乘，其中i＝1,2,…w，j＝1,2,…h。
6.根据权利要求5所述的基于联合注意力机制的图像特征提取方法，其特征在于：所述步骤4包括如下步骤：
步骤4.1：对特征图F在空间维度上进行最大池化，得到尺寸为1×1×c的特征图f2；
步骤4.2：对特征图f2输入两层全连接网络，其中隐藏层神经元的个数为c/2，输出层神经元的个数为c，全连接层输出的尺寸为1×1×c的特征图f3；
步骤4.3：对特征图f3通过sigmoid激活函数得到尺寸为1×1×c的通道权值掩膜矩阵W2。
7.根据权利要求6所述的基于联合注意力机制的图像特征提取方法，其特征在于：所述步骤4.1中，对特征图F在空间维度进行最大池化，其具体过程为：对特征图F按通道划分为(m1,…,mi,…,mc)，其中i＝1,2…,c，逐通道将尺寸为h×w的张量mi压缩为一个值，该值为mi内元素的最大值。
8.根据权利要求7所述的基于联合注意力机制的图像特征提取方法，其特征在于：所述步骤5的具体过程如下：
特征图F按通道划分为(m1,…,mi,…,mc)，将第i个通道对应的尺寸为h×w的张量mi与W2中第i个元素相乘，其中i＝1,2…,c。
9.根据权利要求8所述的基于联合注意力机制的图像特征提取方法，其特征在于：还包括步骤8、将特征图F4代替特征图F，输入VGG16后续的卷积层中进一步提取深层特征并分类，保持VGG16原有的损失函数对整个网络进行训练。
CN202011636575.4A 2020-12-31 2020-12-31 一种基于联合注意力机制的图像特征提取方法 Active CN112766279B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011636575.4A CN112766279B (zh) 2020-12-31 2020-12-31 一种基于联合注意力机制的图像特征提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011636575.4A CN112766279B (zh) 2020-12-31 2020-12-31 一种基于联合注意力机制的图像特征提取方法

Publications (2)

Publication Number Publication Date
CN112766279A true CN112766279A (zh) 2021-05-07
CN112766279B CN112766279B (zh) 2023-04-07

Family

ID=75698011

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011636575.4A Active CN112766279B (zh) 2020-12-31 2020-12-31 一种基于联合注意力机制的图像特征提取方法

Country Status (1)

Country Link
CN (1) CN112766279B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112949841A (zh) * 2021-05-13 2021-06-11 德鲁动力科技(成都)有限公司 一种基于Attention的CNN神经网络的训练方法
CN113469365A (zh) * 2021-06-30 2021-10-01 上海寒武纪信息科技有限公司 基于神经网络模型的推理和编译方法及其相关产品
CN113592794A (zh) * 2021-07-16 2021-11-02 华中科技大学 基于混合注意力机制的2d卷积神经网络的脊椎图分割方法
CN113869181A (zh) * 2021-09-24 2021-12-31 电子科技大学 一种选择池化核结构的无人机目标检测方法
CN114332496A (zh) * 2022-03-17 2022-04-12 之江实验室 一种静态目标分割方法和系统
WO2023220859A1 (en) * 2022-05-16 2023-11-23 Intel Corporation Multi-dimensional attention for dynamic convolutional kernel
WO2024045320A1 (zh) * 2022-08-31 2024-03-07 北京龙智数科科技服务有限公司 人脸识别方法及装置
CN115661754B (zh) * 2022-11-04 2024-05-31 南通大学 一种基于维度融合注意力的行人重识别方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018125580A1 (en) * 2016-12-30 2018-07-05 Konica Minolta Laboratory U.S.A., Inc. Gland segmentation with deeply-supervised multi-level deconvolution networks
CN109101975A (zh) * 2018-08-20 2018-12-28 电子科技大学 基于全卷积神经网络的图像语义分割方法
CN110059662A (zh) * 2019-04-26 2019-07-26 山东大学 一种深度视频行为识别方法及系统
CN110070073A (zh) * 2019-05-07 2019-07-30 国家广播电视总局广播电视科学研究院 基于注意力机制的全局特征和局部特征的行人再识别方法
CN111429433A (zh) * 2020-03-25 2020-07-17 北京工业大学 一种基于注意力生成对抗网络的多曝光图像融合方法
CN111832620A (zh) * 2020-06-11 2020-10-27 桂林电子科技大学 一种基于双注意力多层特征融合的图片情感分类方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018125580A1 (en) * 2016-12-30 2018-07-05 Konica Minolta Laboratory U.S.A., Inc. Gland segmentation with deeply-supervised multi-level deconvolution networks
CN109101975A (zh) * 2018-08-20 2018-12-28 电子科技大学 基于全卷积神经网络的图像语义分割方法
CN110059662A (zh) * 2019-04-26 2019-07-26 山东大学 一种深度视频行为识别方法及系统
CN110070073A (zh) * 2019-05-07 2019-07-30 国家广播电视总局广播电视科学研究院 基于注意力机制的全局特征和局部特征的行人再识别方法
CN111429433A (zh) * 2020-03-25 2020-07-17 北京工业大学 一种基于注意力生成对抗网络的多曝光图像融合方法
CN111832620A (zh) * 2020-06-11 2020-10-27 桂林电子科技大学 一种基于双注意力多层特征融合的图片情感分类方法

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112949841A (zh) * 2021-05-13 2021-06-11 德鲁动力科技(成都)有限公司 一种基于Attention的CNN神经网络的训练方法
CN113469365A (zh) * 2021-06-30 2021-10-01 上海寒武纪信息科技有限公司 基于神经网络模型的推理和编译方法及其相关产品
CN113469365B (zh) * 2021-06-30 2024-03-19 上海寒武纪信息科技有限公司 基于神经网络模型的推理和编译方法及其相关产品
CN113592794A (zh) * 2021-07-16 2021-11-02 华中科技大学 基于混合注意力机制的2d卷积神经网络的脊椎图分割方法
CN113592794B (zh) * 2021-07-16 2024-02-13 华中科技大学 基于混合注意力机制的2d卷积神经网络的脊椎图分割方法
CN113869181A (zh) * 2021-09-24 2021-12-31 电子科技大学 一种选择池化核结构的无人机目标检测方法
CN113869181B (zh) * 2021-09-24 2023-05-02 电子科技大学 一种选择池化核结构的无人机目标检测方法
CN114332496A (zh) * 2022-03-17 2022-04-12 之江实验室 一种静态目标分割方法和系统
WO2023220859A1 (en) * 2022-05-16 2023-11-23 Intel Corporation Multi-dimensional attention for dynamic convolutional kernel
WO2024045320A1 (zh) * 2022-08-31 2024-03-07 北京龙智数科科技服务有限公司 人脸识别方法及装置
CN115661754B (zh) * 2022-11-04 2024-05-31 南通大学 一种基于维度融合注意力的行人重识别方法

Also Published As

Publication number Publication date
CN112766279B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
CN112766279B (zh) 一种基于联合注意力机制的图像特征提取方法
CN109727246B (zh) 一种基于孪生网络的对比学习图像质量评估方法
WO2021042828A1 (zh) 神经网络模型压缩的方法、装置、存储介质和芯片
CN109584248B (zh) 基于特征融合和稠密连接网络的红外面目标实例分割方法
CN108615010B (zh) 基于平行卷积神经网络特征图融合的人脸表情识别方法
CN107066559B (zh) 一种基于深度学习的三维模型检索方法
Li et al. No-reference image quality assessment with deep convolutional neural networks
CN109684922B (zh) 一种基于卷积神经网络的多模型对成品菜的识别方法
Chen et al. Remote sensing image quality evaluation based on deep support value learning networks
CN111738363B (zh) 基于改进的3d cnn网络的阿尔茨海默病分类方法
CN111967464B (zh) 一种基于深度学习的弱监督目标定位方法
Gu et al. Blind image quality assessment via vector regression and object oriented pooling
CN111429402B (zh) 高级视觉感知特征与深度特征融合的图像质量评价方法
CN112348036A (zh) 基于轻量化残差学习和反卷积级联的自适应目标检测方法
CN110264407B (zh) 图像超分辨模型训练及重建方法、装置、设备及存储介质
CN110610143A (zh) 多任务联合训练的人群计数网络方法、系统、介质及终端
CN110135428B (zh) 图像分割处理方法和装置
CN111144296A (zh) 基于改进cnn模型的视网膜眼底图片分类方法
CN112528058B (zh) 基于图像属性主动学习的细粒度图像分类方法
CN114091551A (zh) 色情图像识别方法、装置、电子设备及存储介质
CN111860601B (zh) 预测大型真菌种类的方法及装置
CN116563606A (zh) 一种基于双分支空谱全局特征提取网络的高光谱图像分类方法
CN115761888A (zh) 基于nl-c3d模型的塔吊操作人员异常行为检测方法
CN115661618A (zh) 图像质量评估模型的训练方法、图像质量评估方法及装置
Li et al. No‐reference image quality assessment based on multiscale feature representation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant