CN113807421A - 基于脉冲发送皮层模型的注意力模块的特征图处理方法 - Google Patents

基于脉冲发送皮层模型的注意力模块的特征图处理方法 Download PDF

Info

Publication number
CN113807421A
CN113807421A CN202111040687.8A CN202111040687A CN113807421A CN 113807421 A CN113807421 A CN 113807421A CN 202111040687 A CN202111040687 A CN 202111040687A CN 113807421 A CN113807421 A CN 113807421A
Authority
CN
China
Prior art keywords
matrix
iter
model
attention
pulse
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111040687.8A
Other languages
English (en)
Other versions
CN113807421B (zh
Inventor
张旭明
黄志文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN202111040687.8A priority Critical patent/CN113807421B/zh
Publication of CN113807421A publication Critical patent/CN113807421A/zh
Application granted granted Critical
Publication of CN113807421B publication Critical patent/CN113807421B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明属于图像处理与分析中的图像识别领域，公开了基于脉冲发送皮层模型的注意力模块的特征图处理方法，包括步骤：(1)得到若干个特征子图F及对应的外部激励矩阵S，进行并行处理；(2)对应基于脉冲发送皮层模型的注意力模块，同时初始化；利用脉冲发送皮层模型对S进行处理，迭代Niter次，获得模型参数；(3)得到注意力图M；(4)对特征子图F筛选得到
Figure DDA0003249103020000011
各子图的处理结果合并得到输出
Figure DDA0003249103020000012
(5)更新可训练权重以及脉冲发送皮层模型中的连接权重W。本发明对传统脉冲发送皮层模型进行了调整，使其适用于神经网络；本发明所对应的特征图分析过程基于特征图中的内容本身，对网络训练情况依赖性较小，比现有主流注意力模块的非线性程度更高。

Description

基于脉冲发送皮层模型的注意力模块的特征图处理方法
技术领域
本发明属于图像处理与分析中的图像识别领域，更具体地，涉及一种基于脉冲发送皮层模型的注意力模块的特征图处理方法，通过构建基于脉冲发送皮层模型的注意力模块，尤其可应用于图像分类。
背景技术
由于成像设备的发展，数字图像的数量呈现井喷式增长，基于计算机的自动化图像处理与分析，尤其是机器视觉方向成为研究热点。要分析理解图像内容，图像特征提取是核心步骤。近年来，得益于深度学习方法的发展，机器视觉任务如图像分类识别、语义分割等领域取得突破。深度学习方法基于构建的深层卷积神经网络，通过大量数据对网络中可调整的权重进行训练更新，可自动完成特征学习过程。由于网络模型中权重均服务于特定种类图像以及目标问题，其所提取的特征更具针对性，故在多种图像分类、分割等问题中的效果均优于传统图像处理算法。
然而，为保证神经网络的拟合能力，目前主流神经网络均为深层网络，其训练过程需要大量带标签数据。而对于遥感、医疗等领域，难以收集大量可用的有标签数据。以医疗领域为例，不同医院使用设备不同，或设备的设置参数不同，导致图像像素分布不一致，不同来源的图像混用可能导致模型难以收敛。同时，不同医生对医学图像的认识解读可能存在差异，导致图像标签的真实性难以保证。
为减小网络模型对数据的的依赖性，许多学者设计了多种应对方案。其一为数据扩增，即通过对图像进行旋转、平移等操作，增加训练数据量，使用扩增的数据训练的网络模型具有对旋转、平移等变换具有较好抗性，但因扩增后数据与原始数据之间存在较大相似性，所以其对模型性能提升效果有限。同时，部分复杂的扩增方式使得训练数据分布发生变化，可能导致网络难以训练。其二为迁移学习，即先通过大量相似数据先对网络模型进行预训练后，再利用应用问题空间中数据对模型进行微调。此方案要求提供大量相似数据，故适用范围有限。其三为优化网络模型结构，增强网络特征提取能力，由此可在保证其性能前提下尝试减小网络模型层数和参数量，使得问题搜索空间减小，从而减少网络对数据量的依赖性。
注意力机制是增强网络特征提取能力的重要途径之一，它是一种简易的对人眼聚焦现象进行模拟的技术。通过引入注意力机制，网络可快速聚焦到图像内容中对语义识别、语义分割等有意义的局部区域，即筛除无用或有干扰的其他内容。当前卷积神经网络模型中使用的注意力机制模块，以压缩激励(Squeeze and Excitation，SE)模块、卷积块注意力模块(Convolutional Block Attention Module，CBAM)为代表。前者为通道注意力机制，主要可以赋予不同特征图通道以不同权重，在通道维度进行特征筛选。后者是通道注意力机制与空间注意力机制的组合，在前者的基础上，辅助使用了额外的卷积运算结果作为掩膜，在图像空间维度对特征图进行特征筛选。对于以上注意力模块而言，其仍然依赖卷积运算以及激活函数得到的特征图通道以完成特征筛选，不能有效利用特征图内容作为先验知识进行自分析，其性能依赖于网络训练情况。
发明内容
针对现有注意力机制不能有效利用特征图内容的缺陷，本发明的目的在于提供一种基于脉冲发送皮层模型的注意力模块的特征图处理方法，不同于现有主流注意力机制通过卷积运算获得掩膜，本发明中的处理方法对输入的每一张特征图并行处理，通过引入脉冲发送皮层模型模拟人眼视觉神经对图像的感知过程，将特征图解析为不同成分；而后，通过可训练权重对不同成分进行重组为注意力图，并将其作为掩膜，由此完成重要特征的筛选。本发明对传统脉冲发送皮层模型进行了调整，使其适用于神经网络，对其中关键参数也提供了优选设置方案；本发明所对应的特征图分析过程基于特征图中的内容本身，无需引入额外的可训练参数进行特征图组合，因而对网络训练情况依赖性较小。而且，模块利用脉冲发送皮层模型发掘新特征，其中涉及多个嵌套非线性运算，比现有主流注意力模块的非线性程度更高。进一步的，通过将本发明基于脉冲发送皮层模型的注意力模块简易地集成至现有主流卷积神经网络中，即可提高网络特征提取能力。经试验验证，基于本发明，在主流卷积神经网络模型嵌入基于脉冲发送皮层模型的注意力模块后，网络于灵敏度、特异性以及分类精度等方面均有明显提高。
为实现上述目的，按照本发明的一个方面，提供了一种基于脉冲发送皮层模型的注意力模块的特征图处理方法，其特征在于，包括如下步骤：
(1)对于待处理的特征图F0，根据其通道个数，由每一个通道对应得到一个独立的特征子图F；然后，对每一个特征子图F进行并行处理，将每张特征子图F中所有像素点的值归一化到[0,1]区间，得到的归一化特征子图作为外部激励矩阵S；
(2)构建基于脉冲发送皮层模型的注意力模块，包括脉冲发送皮层模型及可训练权重，开始并行处理，即：对于每一个外部激励矩阵S，初始化脉冲发送皮层模型相关参数、以及可训练权重{w[n]|n＝1,2,...,Niter}；然后，利用脉冲发送皮层模型对S进行处理，迭代Niter次，获得系列内部活动项矩阵{U[n]|n＝1,2,...,Niter}、阈值矩阵{E[n]|n＝1,2,...,Niter}、点火矩阵{Y[n]|n＝1,2,...,Niter}以及脉冲强度矩阵{A[n]|n＝1,2,...,Niter}；
其中，Niter为预先设定的正整数；
(3)通过可训练权重{w[n]|n＝1,2,...,Niter}对脉冲强度矩阵{A[n]|n＝1,2,...,Niter}进行加权求和，得到注意力图M；
(4)将注意力图M作用于对应的特征子图F，得到注意力筛选后的特征子图
Figure BDA0003249101000000041
然后，结束并行处理，将并行处理得到的注意力筛选后的各个特征子图
Figure BDA0003249101000000042
进行通道合并，即可得到特征图
Figure BDA0003249101000000043
作为基于脉冲发送皮层模型的注意力模块的输出，完成对原始特征图F0的处理。
作为本发明的进一步优选，所述步骤(1)中，所述归一化过程是按如下计算公式进行的：
Figure BDA0003249101000000044
其中，max(·)和min(·)分别表示取最大值和最小值运算。
作为本发明的进一步优选，所述步骤(2)中，可训练权重{w[n]|n＝1,2,...,Niter}初始值为1；
脉冲发送皮层模型相关参数的初始化包括：
内部活动项衰减系数τU、阈值项的衰减系数τE、阈值的放大系数h均为预先设定的、大于0且小于1的有理数，连接权重W为二范数为1的3×3的矩阵；优选的，内部活动项衰减系数τU＝0.5，阈值项的衰减系数τE＝0.3，阈值的放大系数h＝0.5，连接权重
Figure BDA0003249101000000045
迭代次数Niter与特征子图F的尺寸相关，记特征子图F的高和宽分别为sh像素与sw像素，则Niter为log2(max(sh,sw))取整后的整数；优选的，所述取整为向上取整；
迭代计数器n初始化为0；
初始的内部活动项矩阵U[0]、阈值矩阵E[0]以及点火矩阵Y[0]均为全零矩阵，每个矩阵的尺寸均与特征子图F的尺寸相同，它们共同表征了与特征图等大小的神经元矩阵相关信息；内部活动项矩阵、阈值矩阵及点火矩阵分别表示各神经元的所受激励水平、对兴奋的抑制水平及记录神经元是否发送脉冲信号。
作为本发明的进一步优选，所述步骤(2)中，利用脉冲发送皮层模型对S进行处理，迭代Niter次，其中，第n次迭代，n＝1,2,...,Niter，包括如下子步骤：
步骤(2-1)计算内部活动项矩阵U[n]，即，对该矩阵内的任一位置(i,j)，活动项Ui,j[n]表示该处神经元所受激励水平，其计算公式如下：
Figure BDA0003249101000000051
其中，k,l∈{-1,0,1}；(i+k,j+l)表示矩阵Y[n-1]中位置(i,j)周围3×3邻域内的位置索引，若位置索引中对应的位置缺少矩阵元素，则补零；(2+k,2+l)表示连接权重W中元素的位置索引；
步骤(2-2)计算阈值矩阵E[n]，即，对该矩阵内的任一位置(i,j)，阈值Ei,j[n]表示该处神经元对兴奋的抑制程度，其计算公式如下：
Ei,j[n]＝τEEi,j[n-1]+hYi,j[n-1] (3)
步骤(2-3)计算点火矩阵Y[n]，即，对该矩阵内的任一位置(i,j)，Yi,j[n]表示该位置神经元是否发送脉冲信号，其计算公式如下：
Figure BDA0003249101000000052
式中step(·)表示阶跃函数；
步骤(2-4)计算脉冲强度矩阵，即，对该矩阵内的任一位置(i,j)，Ai,j[n]表示发送的脉冲强度，计算公式如下：
Ai,j[n]＝2sigmoid(Yi,j[n](Ui,j[n]-Ei,j[n]))-1 (5)。
作为本发明的进一步优选，所述步骤(3)中，所述注意力图M表示对应特征子图F各个位置的重要程度，其计算公式如下：
Figure BDA0003249101000000061
作为本发明的进一步优选，所述步骤(4)中，所述将注意力图M作用于特征子图F，得到输出
Figure BDA0003249101000000062
具体是按以下计算公式进行的：
Figure BDA0003249101000000063
其中，
Figure BDA0003249101000000064
表示Hadamard乘积运算。
作为本发明的进一步优选，该方法还包括步骤：
(5)利用误差反向传播算法、反向调整算法、直接反馈调整算法或双向直接反馈调整算法，更新可训练权重{w[n]|n＝1,2,...,Niter}以及脉冲发送皮层模型中的连接权重W；
所述步骤(5)更新得到的可训练权重{w[n]|n＝1,2,...,Niter}以及脉冲发送皮层模型中的连接权重W，用于作为下一次运行步骤(2)时对其中初始化操作的赋值。
作为本发明的进一步优选，所述基于脉冲发送皮层模型的注意力模块是嵌入神经网络中使用的；
所述步骤(5)中，更新可训练权重{w[n]|n＝1,2,...,Niter}以及脉冲发送皮层模型中的连接权重W，具体满足：
Figure BDA0003249101000000065
式中Loss表示整个神经网络所得损失，λ表示网络学习率。
按照本发明的另一方面，本发明提供了一种基于脉冲发送皮层模型的注意力模块的特征图处理系统，其特征在于，包括：
预处理子模块：用于对于待处理的特征图F0，根据其通道个数，由每一个通道对应得到一个独立的特征子图F；对每一个特征子图F进行并行处理，将每张特征子图F中所有像素点的值归一化到[0,1]区间，得到的归一化特征子图作为外部激励矩阵S；
基于脉冲发送皮层模型的注意力模块，包括脉冲发送皮层模型及可训练权重，用于：
对每个外部激励矩阵S进行并行处理，初始化脉冲发送皮层模型相关参数、以及可训练权重{w[n]|n＝1,2,...,Niter}；利用脉冲发送皮层模型对S进行处理，迭代Niter次，获得系列内部活动项矩阵{U[n]|n＝1,2,...,Niter}、阈值矩阵{E[n]|n＝1,2,...,Niter}、点火矩阵{Y[n]|n＝1,2,...,Niter}以及脉冲强度矩阵{A[n]|n＝1,2,...,Niter}；
其中，Niter为预先设定的正整数；
通过可训练权重{w[n]|n＝1,2,...,Niter}对脉冲强度矩阵{A[n]|n＝1,2,...,Niter}进行加权求和，得到注意力图M；
将注意力图M作用于对应的特征子图F，得到注意力筛选后的特征子图
Figure BDA0003249101000000071
结束并行处理，将并行处理得到的注意力筛选后的各个特征子图
Figure BDA0003249101000000072
进行通道合并，即可得到特征图
Figure BDA0003249101000000073
作为基于脉冲发送皮层模型的注意力模块的输出，完成对原始特征图F0的处理。
通过本发明所构思的以上技术方案，与现有技术相比，利用脉冲发送皮层模型对网络中所得特征图进行迭代处理，可得一系列二值化图像，表征特征图的不同构成成分。为强调成分内部的重要性差异，本发明通过引入非线性映射赋予该成分中不同位置以不同的强度。此外，为确保所发掘的特征图成分有利于分类任务，本发明引入了可训练权重，对特征图不同成分赋予不同的重要性。通过成分重组可得到与特征图对应的掩膜，作用于原特征图可发掘特征图中关键组成成分。
本发明中基于脉冲发送皮层模型的注意力模块，可集成至卷积神经网络模型中，辅助其进行特征发掘，提升网络的分类性能。本发明后文中的实施例，通过将常用网络如ResNet-50、DenseNet-121、MobileNet-V1以及MobileNet-V2等模型作为测试对象，所有测试模型在集成本发明提供的注意力模块后，于胸部X射线图像数据集上所得分类精度较原始模型均有提升。
附图说明
图1为本发明中的注意力模块内基于脉冲发送皮层模型对特征子图进行特征筛选的流程示意图。
图2为将本发明中的注意力模块集成至不同网络中的四种方案示意图；其中，图2中的(a)对应ResNet瓶颈残差结构，图2中的(b)对应DenseNet密集连接模块，图2中的(c)对应MobileNet-V1顺序连接，图2中的(d)对应MobileNet-V2残差结构。该图仅为示意，其中所示的“基于脉冲发送皮层模型的注意力模块”可以连接在网络中任意一个中间过程的特征图之后。
图3为胸部X射线数据集中部分样例图；其中，图3中的(a)对应正常肺部图像；图3中的(b)和图3中的(c)对应常规肺炎图像；图3中的(d)和图3中的(e)对应COVID-19图像。
图4为集成本发明提供的注意力模块后，各模型于测试集上所得混淆矩阵；其中，图4中的(a)对应ResNet-50，图4中的(b)对应ResNet-SE，图4中的(c)对应ResNet-CBAM，图4中的(d)对应ResNet-SCMA，图4中的(e)对应DenseNet-121，图4中的(f)对应DenseNet-SE，图4中的(g)对应DenseNet-CBAM，图4中的(h)对应DenseNet-SCMA，图4中的(i)对应MobileNet-V1，图4中的(j)对应MobileNet-V1-SE，图4中的(k)对应MobileNet-V1-CBAM，图4中的(l)对应MobileNet-V1-SCMA，图4中的(m)对应MobileNet-V2，图4中的(n)对应MobileNet-V2-SE，图4中的(o)对应MobileNet-V2-CBAM，图4中的(p)对应MobileNet-V2-SCMA。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
总的来说，本发明中基于脉冲发送皮层模型的注意力机制模块的处理方法可通过以下步骤予以实现：
步骤1将输入的特征图F0中每一个通道视为独立的特征子图，对每张特征子图F并行处理，将每张子图中所有值归一化到[0,1]之间，得到的归一化特征子图作为外部激励矩阵S。
步骤2对于激励矩阵S，初始化脉冲发送皮层模型相关参数，以及可训练权重{w[n]|n＝1,2,...,Niter}。通过脉冲发送皮层模型对S进行处理，迭代Niter次，获得系列内部活动项矩阵{U[n]|n＝1,2,...,Niter}、阈值矩阵{E[n]|n＝1,2,...,Niter}、点火矩阵{Y[n]|n＝1,2,...,Niter}以及脉冲强度矩阵{A[n]|n＝1,2,...,Niter}。
步骤3通过可训练权重w[n]对脉冲强度矩阵A[n]进行加权求和，得到注意力图M。
步骤4将注意力图M作用于原特征子图F，得到筛选后结果
Figure BDA0003249101000000091
将各子图经筛选后的结果
Figure BDA0003249101000000092
进行通道合并，即得到模块的输出
Figure BDA0003249101000000093
另外，还可以包括：
步骤5由误差反向传播算法更新模块中的权重w[n]以及脉冲发送皮层模型中的连接权重W。
具体的，各步骤可以按如下说明进行：
在步骤1中，归一化过程的计算公式为：
Figure BDA0003249101000000101
其中max(·)和min(·)分别表示取最大值和最小值运算。
在步骤2中，脉冲发送皮层模型相关参数的初始化包括：内部活动项衰减系数τU＝0.5，阈值项的衰减系数τE＝0.3，阈值的放大系数h＝0.5，连接权重
Figure BDA0003249101000000102
(当然也可以是其他初始化取值，例如，τU、τE、h均可以是大于0且小于1的有理数，W可以是3×3的矩阵，只要其二范数为1即可)。模型迭代次数Niter与特征图尺寸相关，设特征图的高和宽分别为sh与sw(单位均为像素)，则Niter为log2(max(sh,sw))取整后的结果(例如，向上取整后的结果)。以上参数中，连接权重W为可训练参数，由反向传播算法进行更新，其余参数为固定参数。初始的内部活动项矩阵U[0]、阈值矩阵E[0]以及点火矩阵Y[0]均为全零矩阵，即
Figure BDA0003249101000000103
三者尺寸与特征图相同，共同表征了与特征图等大小的神经元矩阵相关信息。矩阵U、E以及Y分别表示各神经元的所受激励水平、对兴奋的抑制水平以及记录神经元是否发送脉冲信号。迭代计数器n初始化为0。
此外，所有可训练权重{w[n]|n＝1,2,...,Niter}初始值为1。
在步骤2中，一次迭代中需依次执行若干子步骤，完成一次迭代后计数器n加1，共需迭代Niter次。对于第n次迭代，迭代过程子步骤包括：
步骤2-1计算内部活动项矩阵U[n]。对任一位置(i,j)，活动项Ui,j[n]表示该处神经元所受激励水平，其计算公式如下：
Figure BDA0003249101000000111
其中，k,l∈{-1,0,1}，(i+k,j+l)表示位置(i,j)的3×3邻域内的位置索引(若位置索引中对应的位置缺少矩阵元素，则补零)，(2+k,2+l)表示连接权重W中元素的位置索引。
步骤2-2计算阈值矩阵E[n]。对任一位置(i,j)，阈值Ei,j[n]表示该处神经元对兴奋的抑制程度，其计算公式如下：
Ei,j[n]＝τEEi,j[n-1]+hYi,j[n-1] (11)
步骤2-3计算点火矩阵Y[n]。对任一位置(i,j)，Yi,j[n]表示该位置神经元是否发送脉冲信号，其计算公式如下：
Figure BDA0003249101000000112
式中step(·)表示阶跃函数。
步骤2-4计算脉冲强度矩阵。对任一位置(i,j)，Ai,j[n]表示发送的脉冲强度，计算公式如下：
Ai,j[n]＝2sigmoid(Yi,j[n](Ui,j[n]-Ei,j[n]))-1 (13)
在步骤3中，注意力图M表示特征图各个位置的重要程度，其计算公式如下：
Figure BDA0003249101000000113
在步骤4中，将注意力图M作用于原特征子图F的计算公式为：
Figure BDA0003249101000000114
式中
Figure BDA0003249101000000115
表示Hadamard乘积，即两个矩阵对应位置元素相乘，
Figure BDA0003249101000000116
表示经过特征筛选后的特征子图。
在步骤5中，当注意力模块所嵌入的网络使用反向传播算法进行权重更新时，模块中的所有可训练参数一并更新。更新步骤的计算公式可表示如下：
Figure BDA0003249101000000121
式中Loss表示整个网络所得损失，λ表示网络学习率。
根据反向传播算法原理，由于公式(12)使用了阶跃函数，求解
Figure BDA0003249101000000122
与
Figure BDA0003249101000000123
均需要对阶跃函数进行求导。根据直通估计(Straight-Through Estimator，STE)方法,本模块设置阶跃函数导数恒为1，即
Figure BDA0003249101000000124
实施例1
下面通过构建本发明中的基于脉冲发送皮层模型的注意力模块，并将其集成至卷积神经网络模型中，进行图像分类，对本发明进行详细说明。
如图1所示，构建基于脉冲发送皮层模型的注意力模块需要执行以下步骤：
步骤1将输入的特征图F0每一个通道视为独立的特征子图，对每张特征子图F并行处理。将每张图中所有值归一化到[0,1]之间，得到的归一化特征子图作为外部激励矩阵S。归一化计算公式为：
Figure BDA0003249101000000125
步骤2对于归一化特征子图F′，初始化脉冲发送皮层模型相关参数以及可训练权重{wt|t＝1,2,...,nt}。具体包括：内部活动项衰减系数τU＝0.5，阈值项的衰减系数τE＝0.3，阈值的放大系数h＝0.5，连接权重
Figure BDA0003249101000000131
模型迭代次数Niter与特征图尺寸相关，设特征图的高和宽分别为sh与sw，则Niter＝log2(max(sh,sw))。以上参数中，连接权重W为可训练参数，由反向传播算法进行更新，其余参数为固定参数。初始的内部活动项矩阵U[0]、阈值矩阵E[0]以及点火矩阵Y[0]均为全零矩阵，即
Figure BDA0003249101000000132
三者尺寸与特征图相同，共同表征了与特征图等大小的神经元矩阵相关信息。矩阵U、E以及Y分别表示各神经元的所受激励水平、对兴奋的抑制水平以及记录神经元是否发送脉冲信号。迭代计数器n初始化为0。此外，所有可训练权重{w[n]|n＝1,2,...,Niter}初始值为1。
步骤3利用脉冲发送皮层模型对S进行迭代处理。每次迭代中需依次执行步骤4到步骤7，每完成一次迭代后计数器n加1，共需迭代Niter次，迭代完毕后跳转至步骤8。
步骤4计算内部活动项矩阵U[n]。对任一位置(i,j)，活动项Ui,j[n]表示该处神经元所受激励水平，其计算公式如下：
Figure BDA0003249101000000133
其中，k,l∈{-1,0,1}，(i+k,j+l)表示位置(i,j)的3×3邻域内的位置索引，(1+k,1+l)表示连接权重W中元素的位置索引。
步骤5计算阈值矩阵E[n]。阈值Ei,j[n]表示该处神经元对兴奋的抑制程度，其计算公式如下：
Ei,j[n]＝τEEi,j[n-1]+hYi,j[n-1] (19)
步骤6步骤2-3计算点火矩阵Y[n]。对任一位置(i,j)，Yi,j[n]表示该位置神经元是否发送脉冲信号，其计算公式如下：
Figure BDA0003249101000000141
式中step(·)表示阶跃函数。
步骤7计算脉冲强度矩阵。对任一位置(i,j)，Ai,j[n]表示发送的脉冲强度，计算公式如下：
Ai,j[n]＝2sigmoid(Yi,j[n](Ui,j[n]-Ei,j[n]))-1 (21)
步骤8通过可训练权重w[n]对脉冲强度矩阵A[n]进行加权求和，得到注意力图M。具体计算公式如下：
Figure BDA0003249101000000142
步骤9将注意力图M作用于原特征子图F，得到模块的输出
Figure BDA0003249101000000143
计算公式为：
Figure BDA0003249101000000144
式中
Figure BDA0003249101000000145
表示Hadamard乘积，即两个矩阵对应位置元素相乘，
Figure BDA0003249101000000146
表示经过特征筛选后的特征子图。将各子图经筛选后的结果
Figure BDA0003249101000000147
进行通道合并，即得到模块的输出
Figure BDA0003249101000000148
由以上步骤可构成本发明中基于脉冲发送皮层模型的注意力模块的前向运算过程。模块中的权重w[n]以及连接权重W由误差反向传播算法进行更新。更新步骤的计算公式可表示如下：
Figure BDA0003249101000000149
式中Loss表示网络所得损失，λ表示网络学习率。根据反向传播算法原理，由于公式(20)使用了阶跃函数，求解
Figure BDA0003249101000000151
与
Figure BDA0003249101000000152
均需要对阶跃函数进行求导。根据直通估计(STE)方法，对阶跃函数求导结果恒为1，即
Figure BDA0003249101000000153
在实际使用其进行图像分类任务时，可将该模块集成至卷积神经网络中，并完成网络训练；具体步骤可以如下：
步骤1如图2所示，可将基于脉冲发送皮层模型的注意力模块集成到如ResNet-50、DenseNet-121、MobileNet-V1、MobileNet-V2等不同网络模型的基础构成模块中。
本实施例中采用的ResNet-50、DenseNet-121、MobileNet-V1、MobileNet-V2模型均是来自现有技术(例如，ResNet-50可详见：K.He,X.Zhang,S.Ren and J.Sun.DeepResidual Learning for Image Recognition.In:2016IEEE Conference on ComputerVision and Pattern Recognition(CVPR).2016,pp.770-778.Doi:10.1109/CVPR.2016.90.；DenseNet-121可详见：G.Huang,Z.Liu,L.Van Der Maaten andK.Q.Weinberger.Densely Connected Convolutional Networks.In:2017IEEEConference on Computer Vision and Pattern Recognition(CVPR).2017,pp.2261-2269.Doi:10.1109/CVPR.2017.243.；MobileNet-V1可详见：A.G.Howard,M.Zhu,B.Chen,D.Kalenichenko,W.Wang,T.Weyand,M.Andreetto,and H.Adam.MobileNets:Efficientconvolutional neural networks for mobile vision applications.arXiv preprintarXiv:1704.04861,2017；MobileNet-V2可详见：M.Sandler,A.Howard,M.Zhu,A.Zhmoginovand L.Chen.MobileNetV2:Inverted Residuals and Linear Bottlenecks.In:2018IEEE/CVF Conference on Computer Vision and Pattern Recognition(CVPR).2018,pp.4510-4520.Doi:10.1109/CVPR.2018.00474.)。
步骤2使用步骤1所构造的模块替换掉原始网络模型中的对应模块，可得到集成本发明中的注意力模块后的不同对比模型。
步骤3为验证本发明中基于脉冲发送皮层模型的注意力模块的有效性，在各模型中使用了本发明中注意力模块的位置，使用压缩激励(SE)模块、卷积块注意力模块(CBAM)进行替换，得到集成了不同种类注意力模块的各个对比模型。
步骤4为验证本发明中基于脉冲发送皮层模型的注意力模块的有效性，从Kaggle网站上下载了公开的胸部X射线图像数据，对其中所包含的6892张图像进行分配，分别得到训练集与测试集。其中，训练集包含1266张正常肺部图像，3418张常规肺炎图像以及920张COVID-19肺炎图像；测试集包含317张正常肺部图像，855张常规肺炎图像以及116张COVID-19肺炎图像。从测试集中抽取300张图像作为验证集，用以观察网络训练情况。
步骤5通过上述训练集对各个模型进行训练，训练过程相关配置为：对所有模型而言，随机打乱训练图像，构成批次后输入到网络中进行前向运算，使用反向传播算法对网络进行迭代更新。一个输入批次包含24张图像，所有图像均迭代一次为一个轮次，训练过程最大迭代轮次数为400。所有模型基础学习率设置为0.001，每隔15个轮次，若验证集损失没有下降，则学习率降低为原来的0.3，最低不小于10-8。此外，如果连续30个轮次，验证集损失均没有下降，则自动停止网络训练过程。
步骤6使用测试集数据对各个所得模型进行测试并评价。
实验结果分析：
为客观评价本发明中基于脉冲发送皮层模型的注意力模块的性能，选择精确度(ACC),平均敏感性
Figure BDA0003249101000000161
平均特异性
Figure BDA0003249101000000162
作为评价指标，其定义依次为：
Figure BDA0003249101000000171
Figure BDA0003249101000000172
Figure BDA0003249101000000173
其中，Ntest表示测试集样本数量，TPi、TNi、FPi、FNi(i∈{1,2,3})分别表示当第i类被当作为阳性，而其余类别为阴性时，模型所得真阳性、真阴性、假阳性和假阴性数量。此外，也将操作特性曲线下面积(Area Under Curve，AUC)作为评价指标，AUC∈[0,1]，可用于评价分类器在测试集整体上分类性能表现。对于所有指标而言，越接近1表示分类性能越好。
表1集成不同注意力模块后，各模型于测试集所得评价指标
Figure BDA0003249101000000174
表1展示了各模型在测试集上所得四项评价指标。表中“SCMA”表示本发明提供的基于脉冲发送皮层模型的注意力模块。以网络模型为分组，可以对比不同注意力模块的性能。可以看出，ResNet-50组别内，原网络平均特异性值(95.72％)略高于集成SE模块后所得
Figure BDA0003249101000000175
MobileNet-V2原模型所得AUC值(0.9841)比集成注意力模块后得更高。除此两者外，相比于原始网络，集成注意力机制后，几乎所有模型在四项指标上均有提升。说明注意力机制能够有效提升网络特征提取能力。对于ResNet-50、MobileNet-V1而言，集成SCMA模块后所得4项指标均为该网络组别中的最高值。对于ResNet-50，集成SCMA所得精度(95.19％)比集成CBAM所得精度(94.33％)提高了0.8％；而对于MobileNet-V1，集成SCMA所得精度(95.34％)比集成CBAM所得精度(93.79％)提高了1.55％。对于DenseNet-121组别，当原网络集成SCMA模块后，所得平均灵敏度(94.48％)略差于SE模块(94.64％)与CBAM模块(95.43％)，但是其在平均灵敏度、特异性以及AUC方面均取得最优值。对于MobileNet-V2组别，SCMA模块可以取得组内最高平均特异性(97.26％)以及分类精度(96.12％)。整体而言，SCMA模块相比于SE以及CBAM对网络分类性能的提升更为明显。
为更直观地显示本发明对多种网络模型的适用性，以及其相对于同类其他方法的优越性，我们对比了四种不同网络模型集成多种注意力模块后，于前述测试集上所得混淆矩阵，结果如图4所示。图4中共有4(行)×4(列)个子图，一行表示一个组别，第1至4列依次表示原始模型及其分别集成SE、CBAM、SCMA模块后所得结果。“N”、“P”、“C”分别表示正常肺部、常规肺炎与COVID-19图像。第一行(即，图4中的(a)、(b)、(c)、(d)这4个子图)的原始模型为ResNet-50，可以看到，集成本发明提供的SCMA模块后，ResNet-SCMA对正常图像识别率相比原模型下降了1.3％，但是其对于常规肺炎、COVID-19图像识别率分别上升了1.2％与9.5％，超过ResNet-SE、ResNet-CBAM模型。第二行(即，图4中的(e)、(f)、(g)、(h)这4个子图)的原始模型为DenseNet-121，其易将正常图像、COVID-19图像归类为常规肺炎图像，导致其对前两种图像识别率较低而第三种图像识别率虚高。集成任意注意力模块后，DenseNet对前两种图像识别率均有改善。其中，DenseNet-SE模型取得最优的正常图像识别率，但是其对常规肺炎的识别率较原始模型下降1.9％。而DenseNet-CBAM对COVID-19识别率最优，但其对正常图像识别率不如集成SE以及SCMA模块。第三行(即，图4中的(i)、(j)、(k)、(l)这4个子图)的原始模型为MobileNet-V1，其集成本发明中SCMA模块后，对三类图像识别率均有提升，且对于常规肺炎、COVID-19图像的识别率均为组内最优，对正常图像识别率排名组内第三。第四行(即，图4中的(m)、(n)、(o)、(p)这4个子图)的原始模型为MobileNet-V2，其对正常图像识别率较低，集成本发明中注意力模块后，该识别率提升了2.8％，优于集成SE、CBAM模块。同时，MobileNet-V2-SCMA对另外两类图像的识别率均为组内第二。综上所述，对上述四种网络模型而言，本发明提供的基于脉冲发送皮层模型的注意力模块均能够帮助其提升分类性能，且该模块所得提升效果优于SE、CBAM模块。
本发明是基于脉冲发送皮层模型(Spiking Cortical Model,SCM)，未详细说明之处，均可参考现有技术(如，K.Zhan,H.Zhang and Y.Ma.New Spiking Cortical Model forInvariant Texture Retrieval and Image Processing.IEEE Transactions on NeuralNetworks.2009,20(12):1980-1986.Doi:10.1109/TNN.2009.2030585.)。误差反向传播算法也可以用反向调整算法、直接反馈调整算法、双向直接反馈调整算法等替换。另外，本发明中出现的算符，除特别说明外，均满足常规数学定义。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于脉冲发送皮层模型的注意力模块的特征图处理方法，其特征在于，包括如下步骤：
(1)对于待处理的特征图F0，根据其通道个数，由每一个通道对应得到一个独立的特征子图F；然后，对每一个特征子图F进行并行处理，将每张特征子图F中所有像素点的值归一化到[0，1]区间，得到的归一化特征子图作为外部激励矩阵S；
(2)构建基于脉冲发送皮层模型的注意力模块，包括脉冲发送皮层模型及可训练权重，开始并行处理，即：对于每一个外部激励矩阵S，初始化脉冲发送皮层模型相关参数、以及可训练权重{w[n]|n＝1，2，...，Niter}；然后，利用脉冲发送皮层模型对S进行处理，迭代Niter次，获得系列内部活动项矩阵{U[n]|n＝1，2，...，Niter}、阈值矩阵{E[n]|n＝1，2，...，Niter}、点火矩阵{Y[n]|n＝1，2，...，Niter}以及脉冲强度矩阵{A[n]|n＝1，2，...，Niter}；
其中，Niter为预先设定的正整数；
(3)通过可训练权重{w[n]|n＝1，2，...，Niter}对脉冲强度矩阵{A[n]|n＝1，2，...，Niter}进行加权求和，得到注意力图M；
(4)将注意力图M作用于对应的特征子图F，得到注意力筛选后的特征子图
Figure FDA0003249100990000012
然后，结束并行处理，将并行处理得到的注意力筛选后的各个特征子图
Figure FDA0003249100990000013
进行通道合并，即可得到特征图
Figure FDA0003249100990000011
作为基于脉冲发送皮层模型的注意力模块的输出，完成对原始特征图F0的处理。
2.如权利要求1所述基于脉冲发送皮层模型的注意力模块的特征图处理方法，其特征在于，所述步骤(1)中，所述归一化过程是按如下计算公式进行的：
Figure FDA0003249100990000021
其中，max(·)和min(·)分别表示取最大值和最小值运算。
3.如权利要求1所述基于脉冲发送皮层模型的注意力模块的特征图处理方法，其特征在于，所述步骤(2)中，可训练权重{w[n]|n＝1，2，...，Niter}初始值为1；
脉冲发送皮层模型相关参数的初始化包括：
内部活动项衰减系数τU、阈值项的衰减系数τE、阈值的放大系数h均为预先设定的、大于0且小于1的有理数，连接权重W为二范数为1的3×3的矩阵；优选的，内部活动项衰减系数τU＝0.5，阈值项的衰减系数τE＝0.3，阈值的放大系数h＝0.5，连接权重
Figure FDA0003249100990000022
迭代次数Niter与特征子图F的尺寸相关，记特征子图F的高和宽分别为sh像素与sw像素，则Niter为log2(max(sh，sw))取整后的整数；优选的，所述取整为向上取整；
迭代计数器n初始化为0；
初始的内部活动项矩阵U[0]、阈值矩阵E[0]以及点火矩阵Y[0]均为全零矩阵，每个矩阵的尺寸均与特征子图F的尺寸相同，它们共同表征了与特征图等大小的神经元矩阵相关信息；内部活动项矩阵、阈值矩阵及点火矩阵分别表示各神经元的所受激励水平、对兴奋的抑制水平及记录神经元是否发送脉冲信号。
4.如权利要求1所述基于脉冲发送皮层模型的注意力模块的特征图处理方法，其特征在于，所述步骤(2)中，利用脉冲发送皮层模型对S进行处理，迭代Niter次，其中，第n次迭代，n＝1，2，...，Niter，包括如下子步骤：
步骤(2-1)计算内部活动项矩阵U[n]，即，对该矩阵内的任一位置(i，j)，活动项Ui，j[n]表示该处神经元所受激励水平，其计算公式如下：
Figure FDA0003249100990000031
其中，k，l∈{-1，0，1}；(i+k，j+l)表示矩阵Y[n-1]中位置(i，j)周围3×3邻域内的位置索引，若位置索引中对应的位置缺少矩阵元素，则补零；(2+k，2+l)表示连接权重W中元素的位置索引；
步骤(2-2)计算阈值矩阵E[n]，即，对该矩阵内的任一位置(i，j)，阈值Ei，j[n]表示该处神经元对兴奋的抑制程度，其计算公式如下：
Ei，j[n]＝τEEi，j[n-1]+hYi，j[n-1] (3)
步骤(2-3)计算点火矩阵Y[n]，即，对该矩阵内的任一位置(i，j)，Yi，l[n]表示该位置神经元是否发送脉冲信号，其计算公式如下：
Figure FDA0003249100990000032
式中step(·)表示阶跃函数；
步骤(2-4)计算脉冲强度矩阵，即，对该矩阵内的任一位置(i，j)，Ai，j[n]表示发送的脉冲强度，计算公式如下：
Ai，j[n]＝2sigmoid(Yi，j[n](Ui，j[n]-Ei，j[n]))-1 (5)。
5.如权利要求1所述基于脉冲发送皮层模型的注意力模块的特征图处理方法，其特征在于，所述步骤(3)中，所述注意力图M表示对应特征子图F各个位置的重要程度，其计算公式如下：
Figure FDA0003249100990000033
6.如权利要求1所述基于脉冲发送皮层模型的注意力模块的特征图处理方法，其特征在于，所述步骤(4)中，所述将注意力图M作用于特征子图F，得到输出
Figure FDA0003249100990000041
具体是按以下计算公式进行的：
Figure FDA0003249100990000042
其中，
Figure FDA0003249100990000043
表示Hadamard乘积运算。
7.如权利要求1所述基于脉冲发送皮层模型的注意力模块的特征图处理方法，其特征在于，还包括步骤：
(5)利用误差反向传播算法、反向调整算法、直接反馈调整算法或双向直接反馈调整算法，更新可训练权重{w[n]|n＝1，2，...，Niter}以及脉冲发送皮层模型中的连接权重W；
所述步骤(5)更新得到的可训练权重{w[n]|n＝1，2，...，Niter}以及脉冲发送皮层模型中的连接权重W，用于作为下一次运行步骤(2)时对其中初始化操作的赋值。
8.如权利要求7所述基于脉冲发送皮层模型的注意力模块的特征图处理方法，其特征在于，所述基于脉冲发送皮层模型的注意力模块是嵌入神经网络中使用的；
所述步骤(5)中，更新可训练权重{w[n]|n＝1，2，...，Niter}以及脉冲发送皮层模型中的连接权重W，具体满足：
Figure FDA0003249100990000044
式中Loss表示整个神经网络所得损失，λ表示网络学习率。
9.一种基于脉冲发送皮层模型的注意力模块的特征图处理系统，其特征在于，包括：
预处理子模块：用于对于待处理的特征图F0，根据其通道个数，由每一个通道对应得到一个独立的特征子图F；对每一个特征子图F进行并行处理，将每张特征子图F中所有像素点的值归一化到[0，1]区间，得到的归一化特征子图作为外部激励矩阵S；
基于脉冲发送皮层模型的注意力模块，包括脉冲发送皮层模型及可训练权重，用于：
对每个外部激励矩阵S进行并行处理，初始化脉冲发送皮层模型相关参数、以及可训练权重{w[n]|n＝1，2，...，Niter}；利用脉冲发送皮层模型对S进行处理，迭代Niter次，获得系列内部活动项矩阵{U[n]|n＝1，2，...，Niter}、阈值矩阵{E[n]|n＝1，2，...，Niter}、点火矩阵{Y[n]|n＝1，2，...，Niter}以及脉冲强度矩阵{A[n]|n＝1，2，...，Niter}；
其中，Niter为预先设定的正整数；
通过可训练权重{w[n]|n＝1，2，...，Niter}对脉冲强度矩阵{A[n]|n＝1，2，...，Niter}进行加权求和，得到注意力图M；
将注意力图M作用于对应的特征子图F，得到注意力筛选后的特征子图
Figure FDA0003249100990000051
结束并行处理，将并行处理得到的注意力筛选后的各个特征子图
Figure FDA0003249100990000052
进行通道合并，即可得到特征图
Figure FDA0003249100990000053
作为基于脉冲发送皮层模型的注意力模块的输出，完成对原始特征图F0的处理。
CN202111040687.8A 2021-09-07 2021-09-07 基于脉冲发送皮层模型的注意力模块的特征图处理方法 Active CN113807421B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111040687.8A CN113807421B (zh) 2021-09-07 2021-09-07 基于脉冲发送皮层模型的注意力模块的特征图处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111040687.8A CN113807421B (zh) 2021-09-07 2021-09-07 基于脉冲发送皮层模型的注意力模块的特征图处理方法

Publications (2)

Publication Number Publication Date
CN113807421A true CN113807421A (zh) 2021-12-17
CN113807421B CN113807421B (zh) 2024-03-19

Family

ID=78940635

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111040687.8A Active CN113807421B (zh) 2021-09-07 2021-09-07 基于脉冲发送皮层模型的注意力模块的特征图处理方法

Country Status (1)

Country Link
CN (1) CN113807421B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108985252A (zh) * 2018-07-27 2018-12-11 陕西师范大学 改进的脉冲深度神经网络的图像分类方法
CN111334656A (zh) * 2018-12-19 2020-06-26 通用汽车环球科技运作有限责任公司 用于利用渐变温度特征图进行热处理的方法
CN112132844A (zh) * 2020-11-12 2020-12-25 福建帝视信息科技有限公司 基于轻量级的递归式非局部自注意力的图像分割方法
WO2021012752A1 (zh) * 2019-07-23 2021-01-28 中建三局智能技术有限公司 一种基于脉冲神经网络的短程跟踪方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108985252A (zh) * 2018-07-27 2018-12-11 陕西师范大学 改进的脉冲深度神经网络的图像分类方法
CN111334656A (zh) * 2018-12-19 2020-06-26 通用汽车环球科技运作有限责任公司 用于利用渐变温度特征图进行热处理的方法
WO2021012752A1 (zh) * 2019-07-23 2021-01-28 中建三局智能技术有限公司 一种基于脉冲神经网络的短程跟踪方法及系统
CN112132844A (zh) * 2020-11-12 2020-12-25 福建帝视信息科技有限公司 基于轻量级的递归式非局部自注意力的图像分割方法

Also Published As

Publication number Publication date
CN113807421B (zh) 2024-03-19

Similar Documents

Publication Publication Date Title
CN110188227B (zh) 一种基于深度学习与低秩矩阵优化的哈希图像检索方法
CN108182394B (zh) 卷积神经网络的训练方法、人脸识别方法及装置
CN109784249B (zh) 一种基于变分级联信息瓶颈的置乱人脸识别方法
US20190228268A1 (en) Method and system for cell image segmentation using multi-stage convolutional neural networks
CN110348399B (zh) 基于原型学习机制和多维残差网络的高光谱智能分类方法
CN112446476A (zh) 神经网络模型压缩的方法、装置、存储介质和芯片
CN110222718B (zh) 图像处理的方法及装置
CN110070116B (zh) 基于深度树状训练策略的分段式选择集成图像分类方法
Özbılge et al. Tomato disease recognition using a compact convolutional neural network
WO2020260656A1 (en) Pruning and/or quantizing machine learning predictors
CN110751072B (zh) 基于知识嵌入图卷积网络的双人交互识别方法
CN113987236B (zh) 基于图卷积网络的视觉检索模型的无监督训练方法和装置
CN112200123B (zh) 联合稠密连接网络和样本分布的高光谱开放集分类方法
CN117315381B (zh) 一种基于二阶有偏随机游走的高光谱图像分类方法
CN117009780A (zh) 一种基于对比学习的时空频域有效通道注意力运动想象脑电解码方法
CN113536970A (zh) 一种视频分类模型的训练方法及相关装置
CN112529068A (zh) 一种多视图图像分类方法、系统、计算机设备和存储介质
CN115761888A (zh) 基于nl-c3d模型的塔吊操作人员异常行为检测方法
WO2017070858A1 (en) A method and a system for face recognition
CN117611838A (zh) 一种基于自适应超图卷积网络的多标签图像分类方法
CN117727464A (zh) 基于医疗多视图疾病预测模型的训练方法及设备
CN115346091B (zh) 一种Mura缺陷图像数据集的生成方法和生成装置
CN115392474B (zh) 一种基于迭代优化的局部感知图表示学习方法
CN115828175A (zh) 一种用于更新深度回归林叶节点的重采样方法
CN113807421A (zh) 基于脉冲发送皮层模型的注意力模块的特征图处理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant