CN113177579A - 一种基于注意力机制的特征融合方法 - Google Patents

一种基于注意力机制的特征融合方法 Download PDF

Info

Publication number
CN113177579A
CN113177579A CN202110377181.XA CN202110377181A CN113177579A CN 113177579 A CN113177579 A CN 113177579A CN 202110377181 A CN202110377181 A CN 202110377181A CN 113177579 A CN113177579 A CN 113177579A
Authority
CN
China
Prior art keywords
feature
attention mechanism
features
feature fusion
different
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110377181.XA
Other languages
English (en)
Inventor
杨裕亮
党衍斌
陈月云
杜利平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology Beijing USTB
Shunde Graduate School of USTB
Original Assignee
University of Science and Technology Beijing USTB
Shunde Graduate School of USTB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology Beijing USTB, Shunde Graduate School of USTB filed Critical University of Science and Technology Beijing USTB
Priority to CN202110377181.XA priority Critical patent/CN113177579A/zh
Publication of CN113177579A publication Critical patent/CN113177579A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于注意力机制的特征融合方法，属于人工智能技术领域。所述方法包括：在主干特征提取网络提取的多层次特征中，选取若干个不同大小、不同深度的特征图作为输出特征，其中，选出的特征图具有不同的位置信息和语义信息；为所述输出特征构建基于注意力机制的多尺度特征融合网络，所述多尺度特征融合网络通过注意力机制学习特征融合时不同层次特征的比例关系，根据学习到的比例关系融合不同层次特征；根据融合后的特征，对图像/视频中的目标进行分类、检测。采用本发明，能够提高检测精度。

Description

一种基于注意力机制的特征融合方法
技术领域
本发明涉及人工智能技术领域，特别涉及一种基于注意力机制的特征融合方法。
背景技术
近年来，随着计算机硬件的迅速发展，越来越多基于卷积神经网络的目标检测算法被提出，如今，目标检测已经广泛的应用在军事、安防、医疗、社会服务等领域。
特征融合网络，如特征金字塔网络(FPN)、路径聚合网络(PANet)等，是主流目标检测器的重要组成部分，其作用是融合来自主干特征提取网络的多尺度特征，进而扩大感受野，以达到良好的检测效果。具体来讲，主干特征提取网络提取的高层特征图包含目标更多的语义信息，低层特征图则包含更多目标的细粒度特征(位置信息)，将高层特征与低层特征进行融合，可以有效提高目标的检测精度。
但FPN、PANnet以及基于自动架构搜索的特征金字塔网络(NAS-FPN)等主流的特征融合网络，主要通过改善网络结构为高层特征和低层特征之间增加流通路径，却没有考虑检测不同尺度的目标，所需要融合高低层特征的比例是不同的，直接将来自不同深度的特征层加在一起，对神经网络的前向传播和反向传播都是不利的。而其他一些自适应的特征融合算法虽然考虑了特征融合时的比例关系，却大都仅仅利用了相邻尺度的特征图，且倾向于只为检测小目标的特征图分配更多的位置信息，而没有充分考虑适宜的语义信息对大目标同样重要，导致检测精度低。
发明内容
本发明实施例提供了基于注意力机制的特征融合方法，能够提高检测精度。所述技术方案如下：
一方面，提供了一种基于注意力机制的特征融合方法，该方法应用于电子设备，该方法包括：
在主干特征提取网络提取的多层次特征中，选取若干个不同大小、不同深度的特征图作为输出特征，其中，选出的特征图具有不同的位置信息和语义信息；
为所述输出特征构建基于注意力机制的多尺度特征融合网络，所述多尺度特征融合网络通过注意力机制学习特征融合时不同层次特征的比例关系，根据学习到的比例关系融合不同层次特征；
根据融合后的特征，对图像/视频中的目标进行分类、检测。
进一步地，在主干特征提取网络提取的多层次特征中，选取若干个不同大小、不同深度的特征图作为输出特征之前，所述方法还包括：
针对图像/视频的目标检测，根据输入输出的张量大小构建卷积神经网络作为主干特征提取网络；
通过主干特征提取网络提取图像中检测目标的多层次特征。
进一步地，所述在主干特征提取网络提取的多层次特征中，选取若干个不同大小、不同深度的特征图作为输出特征包括：
在主干特征提取网络提取的多层次特征中，选取主干特征提取网络最后q个卷积块的特征图作为输出特征。
进一步地，所述选取主干特征提取网络最后q个卷积块的特征图，用公式描述为：
Fi＝Bz～i(input)
Fi-1＝B2(Fi)
...
F1＝B1(F2)
其中，Bi表示主干特征提取网络的倒数第i个卷积块，z为主干特征提取网络所包含卷积块的个数，input为主干特征提取网络的图像，Fi为主干特征提取网络的倒数第i层特征图。
进一步地，所述为所述输出特征构建基于注意力机制的多尺度特征融合网络，其中，所述多尺度特征融合网络通过注意力机制学习特征融合时不同层次特征的比例关系，根据学习到的比例关系融合不同层次特征包括：
A1.确定检测尺度的个数，对于融合第j个尺度，统一不同尺度的特征图，其具体过程用公式描述为：
Fi→j＝resizei→j(Fi)
其中，resizei→j表示将特征图Fi调整为特征图Fj的大小，Fi→j表示为调整后的特征图，当i＝j时不做大小调整；
A2.对调整后的特征图，通过注意力机制学习特征融合时不同层次特征的比例系数；
A3.对不同层次的特征图按照学习到的比例系数进行特征融合。
进一步地，通过注意力机制学习特征融合时不同层次特征的比例系数，其具体过程用公式描述为：
Gi→j＝R(Fi→j)
Figure BDA0003011565240000031
其中，R()表示用来捕捉特征图Fi→j上各个位置的依赖关系，其通过卷积操作来实现；Gi→j表示为对Fi→j采用注意力机制得到的关系参数；αj、βj、...、γj均表示为特征融合的比例系数，其中，αj+βj+…+γj＝1，k为多尺度特征融合网络输入的特征图的个数。
进一步地，比例系数的个数等于多尺度特征融合网络输入的特征图个数。
进一步地，对不同层次的特征图按照学习到的比例系数进行特征融合，其具体过程用公式描述为：
Figure BDA0003011565240000032
其中，level j表示特征融合后用于预测的特征图，其大小与Fj一致，且j的取值为1到步骤A1中检测尺度的个数；
Figure BDA0003011565240000033
表示对Fi→j中的i取定值im时的特征图，
Figure BDA0003011565240000034
到
Figure BDA0003011565240000035
为Fj的相邻特征图。
一方面，提供了一种电子设备，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现上述基于注意力机制的特征融合方法。
一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现上述基于注意力机制的特征融合方法。
本发明实施例提供的技术方案带来的有益效果至少包括：
本发明实施例中，在主干特征提取网络提取的多层次特征中，选取若干个不同大小、不同深度的特征图作为输出特征；为选出的具有不同的位置信息和语义信息的输出特征构建基于注意力机制的多尺度特征融合网络，多尺度特征融合网络通过注意力机制学习特征融合时不同层次特征的比例关系，根据学习到的比例关系融合不同层次特征；根据融合后的特征，对图像/视频中的目标进行分类、检测。这样，充分考虑了不同层次的特征对于不同尺度目标检测的重要程度，使特征融合的比例关系由特征本身学习而来，从而提高了特征融合的有效性，进而可以在预测阶段，为不同尺度的检测目标自适应地提供不同比例的位置和语义信息，以提高检测精度；并在训练阶段，抑制由于无差别的特征堆叠造成反向传播时的梯度冲突，以加快收敛速度。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的基于注意力机制的特征融合方法的流程示意图；
图2为本发明实施例提供的基于注意力机制的特征融合方法的结构示意图；
图3为本发明实施例提供的注意力机制的工作原理示意图；
图4为本发明实施例提供的多尺度特征融合过程示意图；
图5为本发明实施例提供的YOLO V4模型的检测效果示意图；
图6为本发明实施例提供的基于注意力机制的特征融合方法的检测效果示意图；
图7是本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
如图1所示，本发明实施例提供了一种基于注意力机制的特征融合方法，该方法可以由电子设备实现，该电子设备可以是终端或服务器，该方法包括：
S101，在主干特征提取网络提取的多层次特征中，选取若干个不同大小、不同深度的特征图作为输出特征，其中，选出的特征图具有不同的位置信息和语义信息；
S102，为所述输出特征构建基于注意力机制的多尺度特征融合网络，所述多尺度特征融合网络通过注意力机制学习特征融合时不同层次特征的比例关系，根据学习到的比例关系融合不同层次特征；
S103，根据融合后的特征，对图像/视频中的目标进行分类、检测。
本发明实施例提供的基于注意力机制的特征融合方法，在主干特征提取网络提取的多层次特征中，选取若干个不同大小、不同深度的特征图作为输出特征；为选出的具有不同的位置信息和语义信息的输出特征构建基于注意力机制的多尺度特征融合网络，多尺度特征融合网络通过注意力机制学习特征融合时不同层次特征的比例关系，根据学习到的比例关系融合不同层次特征；根据融合后的特征，对图像/视频中的目标进行分类、检测。这样，充分考虑了不同层次的特征对于不同尺度目标检测的重要程度，使特征融合的比例关系由特征本身学习而来，从而提高了特征融合的有效性，进而可以在预测阶段，为不同尺度的检测目标自适应地提供不同比例的位置和语义信息，以提高检测精度；并在训练阶段，抑制由于无差别的特征堆叠造成反向传播时的梯度冲突，以加快收敛速度。
在前述基于注意力机制的特征融合方法的具体实施方式中，进一步地，在主干特征提取网络提取的多层次特征中，选取若干个不同大小、不同深度的特征图作为输出特征之前，所述方法还包括：
针对图像/视频的目标检测，根据输入输出的张量大小构建卷积神经网络作为主干特征提取网络；
通过主干特征提取网络提取图像中检测目标的多层次特征。
本实施例中，所述主干特征提取网络是一个多层的主干特征提取网络，可以根据输入输出的张量大小构建卷积神经网络作为目标检测的主干特征提取网络，也可以选择如：Darknet53、CSPDarknet53、CSPDarknet53-Tiny、Resnet、DenseNet等主流的神经网络结构作为主干特征提取网络。
在前述基于注意力机制的特征融合方法的具体实施方式中，进一步地，所述在主干特征提取网络提取的多层次特征中，选取若干个不同大小、不同深度的特征图作为输出特征包括：
在主干特征提取网络提取的多层次特征中，由于不同深度的特征图具有不同比例的语义信息和位置信息，选取主干特征提取网络最后q个卷积块的特征图作为输出特征，其具体过程用公式描述为：
Fi＝Bz～i(input)
Fi-1＝B2(Fi)
...
F1＝B1(F2)
其中，Bi表示主干特征提取网络的倒数第i个卷积块，z为主干特征提取网络所包含卷积块的个数，input为主干特征提取网络的图像，Fi为主干特征提取网络的倒数第i层特征图，如图2所示，本实施例选取了F1、F2、F3作为主干特征提取网络提取的特征图。
本实施例中，在实际应用中，一般选取主干特征提取网络最后2～3个卷积块的特征图(也可以称为：输出特征图)作为输出特征，即：多尺度特征融合网络的输入。
在前述基于注意力机制的特征融合方法的具体实施方式中，进一步地，所述为所述输出特征构建基于注意力机制的多尺度特征融合网络，所述多尺度特征融合网络通过注意力机制学习特征融合时不同层次特征的比例关系，根据学习到的比例关系融合不同层次特征包括：
A1.如图2所示，确定检测尺度的个数n，对于融合第j个尺度(level j)，统一不同尺度的特征图，其具体过程用公式描述为：
Fi→j＝resizei→j(Fi)
其中，resizei→j表示将特征图Fi调整为特征图Fj的大小，Fi→j表示为调整后的特征图，当i＝j时不做大小调整；
本实施例中，检测尺度的个数一般选取为2～3个。
A2.调整后的特征图仍保留着原始特征图的信息，检测不同尺度的目标需要高层特征和低层特征以不同的比例融合，因此，如图3所示，需要对调整后的特征图，通过注意力机制(Attention module)学习特征融合时不同层次特征的比例系数，其具体过程用公式描述为：
Gi→j＝R(Fi→j)
Figure BDA0003011565240000062
其中，R()表示用来捕捉特征图Fi→j上各个位置的依赖关系，其通过卷积操作来实现；Gi→j表示为对Fi→j采用注意力机制得到的关系参数；αj、βj、...、γj均表示为特征融合的比例系数，其中，αj+βj+…+γj＝1，k为多尺度特征融合网络输入的特征图的个数。
本实施例中，比例关系由比例系数体现，比例系数的个数等于多尺度特征融合网络输入的特征图个数。
另需要说明的是：
图3中的Retain表示特征图大小不做调整，例如，若融合后的特征与F1特征大小一致时，只需将F2-Fk的特征做大小调整，F1则不需要，将F1、调整后的F2-Fk融合在一起就得到了某个尺度(即：F1大小)的融合特征图。
A3.对不同层次的特征图按照学习到的比例系数进行特征融合，使融合后的特征包含有利于该尺度目标检测的信息比例，其具体过程用公式描述为：
Figure BDA0003011565240000071
其中，level j表示特征融合后用于预测的特征图，其大小与Fj一致，且j的取值为1到步骤A1中检测尺度的个数；
Figure BDA0003011565240000072
表示对Fi→j中的i取定值im时的特征图，
Figure BDA0003011565240000073
到
Figure BDA0003011565240000074
为Fj的相邻特征图。
本实施例中，如图4所示，以取F1、F2、F3作为输入特征图来融合预测特征图level 2为例，其中level 2与F2的特征图大小相同，具体过程用公式描述为：
level 2＝α2·F1→2+β2·F2→2+γ2·F3→2
其中，F1→2、F2→2、F3→2表示为调整到特征图F2大小的特征图，α2、β2、γ2表示为融合特征图level 2所学习到的比例系数。
本实施例中，可以在目标数据集或主流公开数据集上训练上述主干特征提取网络和多尺度特征融合网络，通过多尺度特征融合网络中的注意力机制根据选取的多层次特征信息学习不同层次特征的相关性和重要性，得到特征融合时不同特征层的比例关系，进而通过学习到的比例关系融合不同层次特征，为图像/视频中的目标分类、检测提供了不同感受野的特征信息。
为了验证本发明实施例提供的基于注意力机制的特征融合方法的有效性，采用CSPDarknet53作为主干特征提取网络，并使用VOC 2007数据集作为训练样本集(8070张图片)和验证样本集(996张图片)，没有使用任何预训练权重作为初始权重；使用Darknet深度学习框架，训练环境为：ubuntu16.04，cuda10.0，cudnn7.6.5，GPU(TIAN Xp)，12GB显存，python2.7.8，Opencv3.2.0。训练参数设置如表1所示：
表1训练参数设置
参数 设置值
batch 64
subdivisions 32
width 608
height 608
channels 3
momentum 0.949
decay 0.0005
learning_rate 0.001
Burn_in 1000
max_batches 20000
steps 14000，18000
scales 0.1，0.1
mosaic 1
实验结果
本实施例中，使用平均精度均值(mean Average Precision，mAP)作为评价指标，在上述的验证样本集上进行测试，如表2所示，本实施例在各类别上的目标检测精确度都优于YOLO V4目标检测模型；如图5、6所示，相比与YOLO V4目标检测模型，本实施例可以检测出更多的小目标，且分类的置信度更高、检测框的位置更贴合于检测目标。
表2检测结果
Figure BDA0003011565240000091
图7是本发明实施例提供的一种电子设备600的结构示意图，该电子设备600可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(centralprocessing units，CPU)601和一个或一个以上的存储器602，其中，所述存储器602中存储有至少一条指令，所述至少一条指令由所述处理器601加载并执行以实现上述基于注意力机制的特征融合方法。
在示例性实施例中，还提供了一种计算机可读存储介质，例如包括指令的存储器，上述指令可由终端中的处理器执行以完成上述基于注意力机制的特征融合方法。例如，所述计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于注意力机制的特征融合方法，其特征在于，包括：
在主干特征提取网络提取的多层次特征中，选取若干个不同大小、不同深度的特征图作为输出特征，其中，选出的特征图具有不同的位置信息和语义信息；
为所述输出特征构建基于注意力机制的多尺度特征融合网络，所述多尺度特征融合网络通过注意力机制学习特征融合时不同层次特征的比例关系，根据学习到的比例关系融合不同层次特征；
根据融合后的特征，对图像/视频中的目标进行分类、检测。
2.根据权利要求1所述的基于注意力机制的特征融合方法，其特征在于，在主干特征提取网络提取的多层次特征中，选取若干个不同大小、不同深度的特征图作为输出特征之前，所述方法还包括：
针对图像/视频的目标检测，根据输入输出的张量大小构建卷积神经网络作为主干特征提取网络；
通过主干特征提取网络提取图像中检测目标的多层次特征。
3.根据权利要求1所述的基于注意力机制的特征融合方法，其特征在于，所述在主干特征提取网络提取的多层次特征中，选取若干个不同大小、不同深度的特征图作为输出特征包括：
在主干特征提取网络提取的多层次特征中，选取主干特征提取网络最后q个卷积块的特征图作为输出特征。
4.根据权利要求3所述的基于注意力机制的特征融合方法，其特征在于，所述选取主干特征提取网络最后q个卷积块的特征图，用公式描述为：
Fi＝Bz～i(input)
Fi-1＝B2(Fi)
…
F1＝B1(F2)
其中，Bi表示主干特征提取网络的倒数第i个卷积块，z为主干特征提取网络所包含卷积块的个数，input为主干特征提取网络的图像，Fi为主干特征提取网络的倒数第i层特征图。
5.根据权利要求1所述的基于注意力机制的特征融合方法，其特征在于，所述为所述输出特征构建基于注意力机制的多尺度特征融合网络，其中，所述多尺度特征融合网络通过注意力机制学习特征融合时不同层次特征的比例关系，根据学习到的比例关系融合不同层次特征包括：
A1.确定检测尺度的个数，对于融合第j个尺度，统一不同尺度的特征图，其具体过程用公式描述为：
Fi→j＝resizei→j(Fi)
其中，resizei→j表示将特征图Fi调整为特征图Fj的大小，Fi→j表示为调整后的特征图，当i＝j时不做大小调整；
A2.对调整后的特征图，通过注意力机制学习特征融合时不同层次特征的比例系数；
A3.对不同层次的特征图按照学习到的比例系数进行特征融合。
6.根据权利要求5所述的基于注意力机制的特征融合方法，其特征在于，通过注意力机制学习特征融合时不同层次特征的比例系数，其具体过程用公式描述为：
Gi→j＝R(Fi→j)
Figure FDA0003011565230000021
其中，R()表示用来捕捉特征图Fi→j上各个位置的依赖关系，其通过卷积操作来实现；Gi→j表示为对Fi→j采用注意力机制得到的关系参数；αj、βj、...、γj均表示为特征融合的比例系数，其中，αj+βj+…+γj＝1，k为多尺度特征融合网络输入的特征图的个数。
7.根据权利要求6所述的基于注意力机制的特征融合方法，其特征在于，比例系数的个数等于多尺度特征融合网络输入的特征图个数。
8.根据权利要求6所述的基于注意力机制的特征融合方法，其特征在于，对不同层次的特征图按照学习到的比例系数进行特征融合，其具体过程用公式描述为：
Figure FDA0003011565230000022
其中，level j表示特征融合后用于预测的特征图，其大小与Fj一致，且j的取值为1到步骤A1中检测尺度的个数；
Figure FDA0003011565230000023
表示对Fi→j中的i取定值im时的特征图，
Figure FDA0003011565230000031
到
Figure FDA0003011565230000032
为Fj的相邻特征图。
CN202110377181.XA 2021-04-08 2021-04-08 一种基于注意力机制的特征融合方法 Pending CN113177579A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110377181.XA CN113177579A (zh) 2021-04-08 2021-04-08 一种基于注意力机制的特征融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110377181.XA CN113177579A (zh) 2021-04-08 2021-04-08 一种基于注意力机制的特征融合方法

Publications (1)

Publication Number Publication Date
CN113177579A true CN113177579A (zh) 2021-07-27

Family

ID=76924473

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110377181.XA Pending CN113177579A (zh) 2021-04-08 2021-04-08 一种基于注意力机制的特征融合方法

Country Status (1)

Country Link
CN (1) CN113177579A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113888430A (zh) * 2021-09-30 2022-01-04 北京达佳互联信息技术有限公司 图像处理方法和装置以及模型训练方法和装置
CN114565053A (zh) * 2022-03-10 2022-05-31 天津大学 基于特征融合的深层异质图嵌入模型
CN115496976A (zh) * 2022-08-29 2022-12-20 锋睿领创(珠海)科技有限公司 多源异构数据融合的视觉处理方法、装置、设备及介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111914917A (zh) * 2020-07-22 2020-11-10 西安建筑科技大学 一种基于特征金字塔网络和注意力机制的目标检测改进算法
JP6830707B1 (ja) * 2020-01-23 2021-02-17 同▲済▼大学 ランダムバッチマスクとマルチスケール表現学習を融合した人物再同定方法
CN112418330A (zh) * 2020-11-26 2021-02-26 河北工程大学 一种基于改进型ssd的小目标物体高精度检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6830707B1 (ja) * 2020-01-23 2021-02-17 同▲済▼大学 ランダムバッチマスクとマルチスケール表現学習を融合した人物再同定方法
CN111914917A (zh) * 2020-07-22 2020-11-10 西安建筑科技大学 一种基于特征金字塔网络和注意力机制的目标检测改进算法
CN112418330A (zh) * 2020-11-26 2021-02-26 河北工程大学 一种基于改进型ssd的小目标物体高精度检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王粉花 等: "基于多尺度和注意力融合学习的行人重识别", 《电子与信息学报》, vol. 42, no. 12, pages 3045 - 3052 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113888430A (zh) * 2021-09-30 2022-01-04 北京达佳互联信息技术有限公司 图像处理方法和装置以及模型训练方法和装置
CN114565053A (zh) * 2022-03-10 2022-05-31 天津大学 基于特征融合的深层异质图嵌入模型
CN115496976A (zh) * 2022-08-29 2022-12-20 锋睿领创(珠海)科技有限公司 多源异构数据融合的视觉处理方法、装置、设备及介质
CN115496976B (zh) * 2022-08-29 2023-08-11 锋睿领创(珠海)科技有限公司 多源异构数据融合的视觉处理方法、装置、设备及介质

Similar Documents

Publication Publication Date Title
TWI689871B (zh) 梯度提升決策樹（ｇｂｄｔ）模型的特徵解釋方法和裝置
CN113177579A (zh) 一种基于注意力机制的特征融合方法
CN109583501B (zh) 图片分类、分类识别模型的生成方法、装置、设备及介质
CN110991652A (zh) 神经网络模型训练方法、装置及电子设备
CN107463906A (zh) 人脸检测的方法及装置
WO2016095068A1 (en) Pedestrian detection apparatus and method
CN111401521A (zh) 神经网络模型训练方法及装置、图像识别方法及装置
CN114842343A (zh) 一种基于ViT的航空图像识别方法
CN111931867B (zh) 基于轻量级模型的新冠肺炎x射线图像分类方法及系统
TWI803243B (zh) 圖像擴增方法、電腦設備及儲存介質
CN113010778A (zh) 一种基于用户历史兴趣的知识图谱推荐方法和系统
CN111753870B (zh) 目标检测模型的训练方法、装置和存储介质
CN112241554A (zh) 基于差分隐私指数机制的模型窃取防御方法和装置
CN111539456B (zh) 一种目标识别方法及设备
CN111259823A (zh) 一种基于卷积神经网络的色情图像识别方法
CN114821823B (zh) 图像处理、人脸防伪模型的训练及活体检测方法和装置
CN112749737A (zh) 图像分类方法及装置、电子设备、存储介质
CN114119966A (zh) 基于多视角学习与元学习的小样本目标检测方法
CN114419379A (zh) 一种基于对抗性扰动的深度学习模型公平性提升系统及方法
CN115080748B (zh) 一种基于带噪标签学习的弱监督文本分类方法和装置
CN116543295A (zh) 一种基于退化图像增强的轻量化水下目标检测方法及系统
CN112507912B (zh) 一种识别违规图片的方法及装置
CN113255670A (zh) 非均衡小样本目标检测方法、装置和计算机设备
CN113486908B (zh) 目标检测方法、装置、电子设备及可读存储介质
CN112686278B (zh) 模型获取方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210727