CN113762251A - 一种基于注意力机制的目标分类方法及系统 - Google Patents
一种基于注意力机制的目标分类方法及系统 Download PDFInfo
- Publication number
- CN113762251A CN113762251A CN202110943944.2A CN202110943944A CN113762251A CN 113762251 A CN113762251 A CN 113762251A CN 202110943944 A CN202110943944 A CN 202110943944A CN 113762251 A CN113762251 A CN 113762251A
- Authority
- CN
- China
- Prior art keywords
- attention
- block
- dimension
- image
- attention matrix
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 230000007246 mechanism Effects 0.000 title claims abstract description 21
- 239000011159 matrix material Substances 0.000 claims abstract description 78
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 28
- 238000010586 diagram Methods 0.000 claims abstract description 23
- 239000013598 vector Substances 0.000 claims description 50
- 238000011176 pooling Methods 0.000 claims description 14
- 230000009466 transformation Effects 0.000 claims description 14
- 238000000638 solvent extraction Methods 0.000 claims description 10
- 230000000903 blocking effect Effects 0.000 claims description 7
- 230000001537 neural effect Effects 0.000 claims description 7
- 230000006870 function Effects 0.000 claims description 6
- 230000004927 fusion Effects 0.000 claims 1
- 230000008569 process Effects 0.000 abstract description 10
- 238000005520 cutting process Methods 0.000 abstract description 9
- 238000013528 artificial neural network Methods 0.000 abstract description 6
- 230000002401 inhibitory effect Effects 0.000 abstract description 4
- 238000000605 extraction Methods 0.000 description 9
- 238000005070 sampling Methods 0.000 description 9
- 210000004072 lung Anatomy 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 230000003211 malignant effect Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 206010028980 Neoplasm Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 230000036210 malignancy Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于注意力机制的目标分类方法,涉及神经网络技术领域。包括:获取待分类图像的步骤;将待分类图像输入到卷积神经网络,提取待分类图像的特征,通过注意力矩阵块对得到的特征图进行处理,根据处理后的特征图得到至少一个目标分类结果的步骤。本发明适用于图像中目标物的分类,通过加入注意力机制,使用注意力矩阵块对特征图进行处理,抑制与目标分类相关性低的特征表达,激励与目标相关性大的特征表达,从而更有效地利用全局信息对目标类型进行预测,抑制无关信息对分类结果的干扰,提高目标分类的准确性。此外,本发明不需要对目标周围的局部图像做切割操作,因而不存在图像切割相关的问题,处理过程更加简洁,效率更高。
Description
技术领域
本发明涉及神经网络技术领域,尤其涉及一种基于注意力机制的目标分类方法及系统。
背景技术
深度学习网络在各个领域的应用越来越多,目前,可以使用深度学习网络实现对图像中的目标进行识别和分类。
然而,目标的尺寸依据识别的具体事物决定,当目标的尺寸差异较大时,以同一尺寸切割图块,如果选取的尺寸较大,会出现同一图块中存在多个不同类型目标的情况,在这种情况下,图块内不同类型的目标会干扰最终分类结果;如果选取的尺寸较小,大的目标会被分割到不同的图块中,则对该大目标的分类也会不准确,因为输入到深度学习网络中的信息只包含该大目标的一部分信息。
而如果对大尺寸目标以较大的尺寸切割图块,小尺寸目标以较小的尺寸切割图块,按现有方案,在输入学习网络之前需要将图块尺寸调整到一致,而在调整过程中将会引入更多的噪声,从而对最终分类结果造成影响,影响分类的准确性。
发明内容
本发明所要解决的技术问题是针对现有技术的不足,提供一种基于注意力机制的目标分类方法及系统。
本发明解决上述技术问题的技术方案如下:
一种基于注意力机制的目标分类方法,包括:
获取待分类图像的步骤;
将所述待分类图像输入到卷积神经网络,提取所述待分类图像的特征,通过注意力矩阵块对得到的特征图进行处理,根据处理后的特征图得到至少一个目标分类结果的步骤。
本发明解决上述技术问题的另一种技术方案如下:
一种基于注意力机制的目标分类系统,包括:采集设备、处理设备和显示设备,其中:
所述采集设备用于获取待分类图像;
所述处理设备用于将所述待分类图像输入到卷积神经网络,提取所述待分类图像的特征,通过注意力矩阵块对得到的特征图进行处理,根据处理后的特征图得到至少一个目标分类结果;
所述显示设备用于显示所述待分类图像的至少一个目标分类结果。
本发明的有益效果是:本发明提供的方法及系统,适用于图像中目标物的分类,通过加入注意力机制,使用注意力矩阵块对特征图进行处理,抑制与目标分类相关性低的特征表达,激励与目标相关性大的特征表达,从而更有效地利用全局信息对目标类型进行预测,抑制无关信息对分类结果的干扰,提高目标分类的准确性。此外,本发明不需要对目标周围的局部图像做切割操作,因而不存在图像切割相关的问题,处理过程更加简洁,效率更高。
本发明附加的方面的优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明实践了解到。
附图说明
图1为本发明目标分类方法的实施例提供的流程示意图;
图2为本发明目标分类方法的实施例提供的卷积神经网络结构示意图;
图3为本发明目标分类方法的其他实施例提供的注意力层结构示意图;
图4为本发明目标分类方法的其他实施例提供的注意力矩阵块计算过程示意图;
图5为本发明目标分类系统的实施例提供的结构框架示意图。
具体实施方式
以下结合附图对本发明的原理和特征进行描述,所举实施例只用于解释本发明,并非用于限定本发明的范围。
如图1所示,为本发明目标分类方法的实施例提供的流程示意图,该目标分类方法基于注意力机制实现,包括:
S1,获取待分类图像。
需要说明的是,待分类图像可以为包含目标的影响数据,目标指的是需要分类的事物,例如,可以为摄像机拍摄的植物、卫星图像中的车辆或肺部CT中的结节等,以肺部CT中的结节为例,可以分类为恶性结节、良性结节以及非结节,以摄像机拍摄的植物为例,可以分类为叶、茎和花朵等。
S2,将待分类图像输入到卷积神经网络。
需要说明的是,卷积神经网络的结构可以根据实际需求设置,例如,可以为CNN特征提取网络,具体地,可以选择VGG、InceptionNet、Resnet等网络。卷积神经网络的输入可以为待分类图像,输出可以为每个目标的分类结果。
如图2所示,提供了一种示例性的卷积神经网络结构示意图,下面结合图2对用于目标分类的卷积神经网络结构进行说明。
卷积神经网络包括:多个卷积结构,每个卷积结构包括:3层卷积层C、注意力层A和池化层P,卷积结构的数量可以根据实际需求设置,每个卷积结构依次连接,图中给出了3个卷积结构,注意力层A设置在3层卷积层C与池化层P之间。
还包括:多个采样结构,每个采样结构包括:上采样层U和3层卷积层C,采样结构的数量可以根据实际需求设置,每个卷采样结构依次连接,并连接在最后一个卷积结构的输出,图中给出了3个采样结构。
在最后一个采样结构的输出还可以设置softmax层S,用于确定每个像素属于分类类别中的哪一个。
应理解,上述实施方式中,将注意力层加在了池化层之前,也可以根据实际需要将注意力层添加在其他合适的位置。
其中,卷积层C可以使用Batchnorm加速神经网络的收敛速度及稳定性,注意力层用来抑制无关信息对分类结果的影响。
将待分类图像输入到卷积神经网络后,卷积神经网络对图像进行了如步骤S3~S5的过程。
S3,提取待分类图像的特征。
需要说明的是,提取的特征可以包括多个维度,例如,可以为C、D、W、H,其中,C表示通道维,D表示深度维,H表示高度维,W表示宽度维。
例如,可以通过上述实施例提供的卷积神经网络中的卷积层提取待分类图像的特征。
S4,通过注意力矩阵块对得到的特征图进行处理。
例如,可以通过上述实施例提供的卷积神经网络中的注意力层对提取到的特征图进行处理。
应理解,本领域技术人员可以根据实际需求选择具体的处理过程,例如,可以将注意力矩阵块与特征图相乘,完成处理。
S5,根据处理后的特征图得到至少一个目标分类结果。
应理解,本发明是以分割的思想做分类,因此可以同时对待分类图像中的多个目标体进行识别和分类,例如,假设某个待分类图像中包含3个待分类的目标,那么最终得到的分类结果就是这3个目标的类别。
下面以对肺部CT序列中的结节进行分类为例,进行进一步说明。
卷积神经网络的输入为整个肺部CT序列及其所包含肺内结节的中心点坐标,输出为对肺内所有结节良恶性的判断。
首先,通过CNN特征提取网络,从整肺CT中提取特征。经过特征提取网络后特征维度为C、D、W、H。
然后,CNN特征提取网络通过卷积层和下采样池化层进行特征提取,通过注意力层抑制无关信息对分类结果的影响,具体地,通过注意力层完成注意力矩阵的计算。
然后,通过上采样层处理,得到丰富高分辨率信息,最后经过softmax层确定每个像素对应的是“恶性结节”、“良性结节”和“背景”中的哪种,网络输出包含上述三种类型的语义分割图。
最后,根据输入的结节中心点坐标,参考中心点附近区域像素的分类结果,评比得到该结节最可能的结节类别,并剔除“背景”像素。
最后输出结果是输入的每个结节对应的结节类别。
应理解,以上仅为本发明的一种可能的示例性应用,当应用在上述领域时,可以将肺内CT图像作为输入,充分利用病人肺内CT中的所有信息,对结节的类型进行预测。由于本发明不需要对结节周围的局部图像做切割操作,因而不存在结节图块切割相关的问题,预处理程序更加简洁。并且通过引入注意力机制,抑制与结节分类相关性低的特征表达,激励与结节相关性大的特征表达,从而更有效地利用全局信息对结节类型进行预测,并且抑制无关信息对分类结果的干扰。
下面以对植物的部位进行分类为例,进行进一步说明。
卷积神经网络的输入为包含多个植物的图像序列及其所包含各个部位的中心点坐标,输出为每个部位对应的类别的分类结果。
首先,通过CNN特征提取网络,从包含多个植物的图像序列中提取特征。经过特征提取网络后特征维度为C、D、W、H。
然后,CNN特征提取网络通过卷积层和下采样池化层进行特征提取,通过注意力层抑制无关信息对分类结果的影响,具体地,通过注意力层完成注意力矩阵的计算。
然后,通过上采样层处理,得到丰富高分辨率信息,最后经过softmax层确定每个像素对应的是“根”、“茎”、“叶”和“背景”中的哪种,网络输出包含上述四种类型的语义分割图。
最后,根据输入的各个部位的中心点坐标,参考中心点附近区域像素的分类结果,评比得到该部位最可能的类别,并剔除“背景”像素。
最后输出结果是输入的植物的每个部位对应的分类类别。
本发明提供的方法,适用于图像中目标物的分类,通过加入注意力机制,使用注意力矩阵块对特征图进行处理,抑制与目标分类相关性低的特征表达,激励与目标相关性大的特征表达,从而更有效地利用全局信息对目标类型进行预测,抑制无关信息对分类结果的干扰,提高目标分类的准确性。此外,本发明不需要对目标周围的局部图像做切割操作,因而不存在图像切割相关的问题,处理过程更加简洁,效率更高。
可选地,在一些可能的实施方式中,通过注意力矩阵块对得到的特征图进行处理,具体包括:
分别在每个尺度依据特征图的全部维度对特征图进行分块,每个尺度对应一组分块结果;
分别计算每组分块结果中每个特征块的注意力矩阵块,并将每组分块结果的全部注意力矩阵块进行融合,得到完整的注意力矩阵块;
对全部组的完整的注意力矩阵块进行加权平均,得到融合的多尺度特征注意力矩阵;
将特征图与融合的多尺度特征注意力矩阵逐元素相乘,完成对特征图的处理。
例如,如图3所示,提供了一种示例性的注意力层结构示意图,可以设置为n种尺度,n的取值可以根据实际需求设置,对于每种尺度,可以按照维度进行分块。
之后,可以对每个尺度的注意力矩阵块进行融合,由于不同分块得到的注意力矩阵块可能会有重叠,因此可以用三维高斯函数融合成完整的注意力矩阵,得到每个尺度的完整的注意力矩阵块。通过对全部的注意力矩阵块进行加权平均,得到完整的注意力矩阵,权值可以为预先设置的可学习参数。
应理解,按照维度进行分块的过程可以使用高斯滑窗实现,分块滑动步长可以小于对应维度的分块尺寸,通过使用多尺度高斯滑窗方法,能够提高注意力矩阵的精细程度,从而更好地预测目标的类型。
可选地,在一些可能的实施方式中,将每组分块结果的全部注意力矩阵块进行融合,得到完整的注意力矩阵块,具体包括:
使用三维高斯函数将每组分块结果的全部注意力矩阵块融合成完整的注意力矩阵块。
具体地,对每个注意力矩阵块,用三维高斯函数对其预测结果加权平均,距离块中心近的预测结果获得的权值较大,距离块中心远的预测结果获得的权值较小。
可选地,在一些可能的实施方式中,分别计算每组分块结果中每个特征块的注意力矩阵块,具体包括:
针对每组分块结果中的每个特征块,对所有维度进行池化操作,得到每个维度的一维向量;
根据可学习参数向量对每个维度的一维向量进行处理,得到每个维度的注意力向量;
将每个维度的注意力向量依次相乘,并对维度进行相应的拓展,得到每个特征块的注意力矩阵块。
如图4所示,提供了一种示例性的注意力矩阵块计算过程示意图,对特征块进行池化操作,只保留一个维度,如图所示4,以维度为CDHW的特征块为例,分别得到通道维、深度维、高度维和宽度维,其中,通道维有1*C个向量,深度维有1*D个向量,高度维有1*H个向量,宽度维有1*W个向量,然后,每个维度得到的向量乘F(W)得到注意力向量,W是可学习参数向量,并且是被相应维度上的矩阵块共享的。F(W)是W的某种变换,例如,可以是简单线性变换也可以是多层神经网络。
最后,将不同注意力向量依次相乘,并扩展相应维度,最终得到输入特征图块对应的注意力矩阵块。
例如,可以先将转换后的通道维向量与转换后的深度维向量相乘,扩展为C*D的二维矩阵,然后再将C*D的二维矩阵与转换后的高度维向量相乘,扩展为C*D*H的矩阵,再将C*D*H矩阵与转换后的宽度维向量相乘,得到当前特征块的注意力矩阵块。
可选地,在一些可能的实施方式中,根据可学习参数向量对每个维度的一维向量进行处理,得到每个维度的注意力向量,具体包括:
对可学习参数向量进行预设变换,得到变换结果;
将每个维度的一维向量乘变换结果得到每个维度的注意力向量。
可以理解,在一些实施例中,可以包含如上述各实施方式中的部分或全部。
如图5所示,为本发明目标分类系统的实施例提供的结构框架示意图,该目标分类系统基于注意力机制实现,包括:采集设备10、处理设备20和显示设备30,其中:
采集设备10用于获取待分类图像;
处理设备20用于将待分类图像输入到卷积神经网络,提取待分类图像的特征,通过注意力矩阵块对得到的特征图进行处理,根据处理后的特征图得到至少一个目标分类结果;
显示设备30用于显示待分类图像的至少一个目标分类结果。
本发明提供的系统,适用于图像中目标物的分类,通过加入注意力机制,使用注意力矩阵块对特征图进行处理,抑制与目标分类相关性低的特征表达,激励与目标相关性大的特征表达,从而更有效地利用全局信息对目标类型进行预测,抑制无关信息对分类结果的干扰,提高目标分类的准确性。此外,本发明不需要对目标周围的局部图像做切割操作,因而不存在图像切割相关的问题,处理过程更加简洁,效率更高。
可选地,在一些可能的实施方式中,处理设备20包括:处理器和神经芯片,神经芯片上布置有卷积神经网络,其中:
处理器用于将待分类图像输入到卷积神经网络中提取特征;
神经芯片用于分别在每个尺度依据特征图的全部维度对特征图进行分块,每个尺度对应一组分块结果;分别计算每组分块结果中每个特征块的注意力矩阵块,并将每组分块结果的全部注意力矩阵块进行融合,得到完整的注意力矩阵块;对全部组的完整的注意力矩阵块进行加权平均,得到融合的多尺度特征注意力矩阵;将特征图与融合的多尺度特征注意力矩阵逐元素相乘,完成对特征图的处理。
可选地,在一些可能的实施方式中,神经芯片具体用于使用三维高斯函数将每组分块结果的全部注意力矩阵块融合成完整的注意力矩阵块。
可选地,在一些可能的实施方式中,神经芯片包括:池化单元和注意力学习单元,其中:
池化单元用于针对每组分块结果中的每个特征块,对所有维度进行池化操作,得到每个维度的一维向量;
注意力学习单元用于根据可学习参数向量对每个维度的一维向量进行处理,得到每个维度的注意力向量;将每个维度的注意力向量依次相乘,并对维度进行相应的拓展,得到每个特征块的注意力矩阵块。
可选地,在一些可能的实施方式中,注意力学习单元具体用于对可学习参数向量进行预设变换,得到变换结果;将每个维度的一维向量乘变换结果得到每个维度的注意力向量。
可以理解,在一些实施例中,可以包含如上述各实施方式中的部分或全部。
需要说明的是,上述各实施方式是与在先方法实施例对应的产品实施例,对于产品实施方式的说明可以参考上述各方法实施方式中的对应说明,在此不再赘述。
读者应理解,在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的方法实施例仅仅是示意性的,例如,步骤的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个步骤可以结合或者可以集成到另一个步骤,或一些特征可以忽略,或不执行。
上述方法如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分,或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,RandomAccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种基于注意力机制的目标分类方法,其特征在于,包括:
获取待分类图像的步骤;
将所述待分类图像输入到卷积神经网络,提取所述待分类图像的特征,通过注意力矩阵块对得到的特征图进行处理,根据处理后的特征图得到至少一个目标分类结果的步骤。
2.根据权利要求1所述的基于注意力机制的目标分类方法,其特征在于,通过注意力矩阵块对得到的特征图进行处理,具体包括:
分别在每个尺度依据特征图的全部维度对所述特征图进行分块,每个尺度对应一组分块结果;
分别计算每组分块结果中每个特征块的注意力矩阵块,并将每组分块结果的全部注意力矩阵块进行融合,得到完整的注意力矩阵块;
对全部组的完整的注意力矩阵块进行加权平均,得到融合的多尺度特征注意力矩阵;
将所述特征图与所述融合的多尺度特征注意力矩阵逐元素相乘,完成对所述特征图的处理。
3.根据权利要求2所述的基于注意力机制的目标分类方法,其特征在于,将每组分块结果的全部注意力矩阵块进行融合,得到完整的注意力矩阵块,具体包括:
使用三维高斯函数将每组分块结果的全部注意力矩阵块融合成完整的注意力矩阵块。
4.根据权利要求2或3所述的基于注意力机制的目标分类方法,其特征在于,分别计算每组分块结果中每个特征块的注意力矩阵块,具体包括:
针对每组分块结果中的每个特征块,对所有维度进行池化操作,得到每个维度的一维向量;
根据可学习参数向量对每个维度的一维向量进行处理,得到每个维度的注意力向量;
将每个维度的注意力向量依次相乘,并对维度进行相应的拓展,得到每个特征块的注意力矩阵块。
5.根据权利要求4所述的基于注意力机制的目标分类方法,其特征在于,根据可学习参数向量对每个维度的一维向量进行处理,得到每个维度的注意力向量,具体包括:
对可学习参数向量进行预设变换,得到变换结果;
将每个维度的一维向量乘所述变换结果得到每个维度的注意力向量。
6.一种基于注意力机制的目标分类系统,其特征在于,包括:采集设备、处理设备和显示设备,其中:
所述采集设备用于获取待分类图像;
所述处理设备用于将所述待分类图像输入到卷积神经网络,提取所述待分类图像的特征,通过注意力矩阵块对得到的特征图进行处理,根据处理后的特征图得到至少一个目标分类结果;
所述显示设备用于显示所述待分类图像的至少一个目标分类结果。
7.根据权利要求6所述的基于注意力机制的目标分类系统,其特征在于,所述处理设备包括:处理器和神经芯片,所述神经芯片上布置有卷积神经网络,其中:
所述处理器用于将所述待分类图像输入到所述卷积神经网络中提取特征;
所述神经芯片用于分别在每个尺度依据所述特征图的全部维度对所述特征图进行分块,每个尺度对应一组分块结果;分别计算每组分块结果中每个特征块的注意力矩阵块,并将每组分块结果的全部注意力矩阵块进行融合,得到完整的注意力矩阵块;对全部组的完整的注意力矩阵块进行加权平均,得到融合的多尺度特征注意力矩阵;将所述特征图与所述融合的多尺度特征注意力矩阵逐元素相乘,完成对所述特征图的处理。
8.根据权利要求7所述的基于注意力机制的目标分类系统,其特征在于,所述神经芯片具体用于使用三维高斯函数将每组分块结果的全部注意力矩阵块融合成完整的注意力矩阵块。
9.根据权利要求7或8所述的基于注意力机制的目标分类系统,其特征在于,所述神经芯片包括:池化单元和注意力学习单元,其中:
所述池化单元用于针对每组分块结果中的每个特征块,对所有维度进行池化操作,得到每个维度的一维向量;
所述注意力学习单元用于根据可学习参数向量对每个维度的一维向量进行处理,得到每个维度的注意力向量;将每个维度的注意力向量依次相乘,并对维度进行相应的拓展,得到每个特征块的注意力矩阵块。
10.根据权利要求9所述的基于注意力机制的目标分类系统,其特征在于,所述注意力学习单元具体用于对可学习参数向量进行预设变换,得到变换结果;将每个维度的一维向量乘所述变换结果得到每个维度的注意力向量。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110943944.2A CN113762251B (zh) | 2021-08-17 | 2021-08-17 | 一种基于注意力机制的目标分类方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110943944.2A CN113762251B (zh) | 2021-08-17 | 2021-08-17 | 一种基于注意力机制的目标分类方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113762251A true CN113762251A (zh) | 2021-12-07 |
CN113762251B CN113762251B (zh) | 2024-05-10 |
Family
ID=78790173
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110943944.2A Active CN113762251B (zh) | 2021-08-17 | 2021-08-17 | 一种基于注意力机制的目标分类方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113762251B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115035545A (zh) * | 2022-05-24 | 2022-09-09 | 北京深睿博联科技有限责任公司 | 一种基于改进自注意力机制的目标检测方法及装置 |
CN115328228A (zh) * | 2022-10-13 | 2022-11-11 | 新乡市合力鑫电源有限公司 | 一种高频开关电源 |
Citations (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110059582A (zh) * | 2019-03-28 | 2019-07-26 | 东南大学 | 基于多尺度注意力卷积神经网络的驾驶员行为识别方法 |
CN110070073A (zh) * | 2019-05-07 | 2019-07-30 | 国家广播电视总局广播电视科学研究院 | 基于注意力机制的全局特征和局部特征的行人再识别方法 |
CN111079640A (zh) * | 2019-12-09 | 2020-04-28 | 合肥工业大学 | 一种基于自动扩增样本的车型识别方法及系统 |
CN111091839A (zh) * | 2020-03-20 | 2020-05-01 | 深圳市友杰智新科技有限公司 | 语音唤醒方法、装置、存储介质及智能设备 |
CN111401201A (zh) * | 2020-03-10 | 2020-07-10 | 南京信息工程大学 | 一种基于空间金字塔注意力驱动的航拍图像多尺度目标检测方法 |
CN111415342A (zh) * | 2020-03-18 | 2020-07-14 | 北京工业大学 | 一种融合注意力机制的三维卷积神经网络肺部结节图像自动检测方法 |
CN111523502A (zh) * | 2020-04-30 | 2020-08-11 | 上海交通大学医学院附属瑞金医院 | 一种心电图图像处理方法、设备、介质和心电图仪 |
CN111539491A (zh) * | 2020-07-07 | 2020-08-14 | 点内(上海)生物科技有限公司 | 基于深度学习与注意力机制的多发性结节分类系统和方法 |
CN111639692A (zh) * | 2020-05-25 | 2020-09-08 | 南京邮电大学 | 一种基于注意力机制的阴影检测方法 |
CN111667489A (zh) * | 2020-04-30 | 2020-09-15 | 华东师范大学 | 基于双分支注意力深度学习的癌症高光谱图像分割方法及系统 |
CN111881811A (zh) * | 2020-07-24 | 2020-11-03 | 浙江大学 | 基于自卷积注意力池化机制的掘进装备岩石分类方法 |
CN112232164A (zh) * | 2020-10-10 | 2021-01-15 | 腾讯科技(深圳)有限公司 | 一种视频分类方法和装置 |
CN112308081A (zh) * | 2020-11-05 | 2021-02-02 | 南强智视(厦门)科技有限公司 | 一种基于注意力机制的图像目标预测方法 |
CN112329794A (zh) * | 2020-11-06 | 2021-02-05 | 北京工业大学 | 一种基于双重自注意力机制的图像描述方法 |
CN112329683A (zh) * | 2020-11-16 | 2021-02-05 | 常州大学 | 一种基于注意力机制融合的多通道卷积神经网络人脸表情识别方法 |
CN112949838A (zh) * | 2021-04-15 | 2021-06-11 | 陕西科技大学 | 基于四分支注意力机制的卷积神经网络及图像分割方法 |
CN113191390A (zh) * | 2021-04-01 | 2021-07-30 | 华中科技大学 | 一种图像分类模型的构建方法、图像分类方法及存储介质 |
CN113222041A (zh) * | 2021-05-24 | 2021-08-06 | 北京航空航天大学 | 图结构表征的高阶关联发现细粒度图像识别方法及装置 |
CN113255646A (zh) * | 2021-06-02 | 2021-08-13 | 北京理工大学 | 一种实时场景文本检测方法 |
-
2021
- 2021-08-17 CN CN202110943944.2A patent/CN113762251B/zh active Active
Patent Citations (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110059582A (zh) * | 2019-03-28 | 2019-07-26 | 东南大学 | 基于多尺度注意力卷积神经网络的驾驶员行为识别方法 |
CN110070073A (zh) * | 2019-05-07 | 2019-07-30 | 国家广播电视总局广播电视科学研究院 | 基于注意力机制的全局特征和局部特征的行人再识别方法 |
CN111079640A (zh) * | 2019-12-09 | 2020-04-28 | 合肥工业大学 | 一种基于自动扩增样本的车型识别方法及系统 |
CN111401201A (zh) * | 2020-03-10 | 2020-07-10 | 南京信息工程大学 | 一种基于空间金字塔注意力驱动的航拍图像多尺度目标检测方法 |
CN111415342A (zh) * | 2020-03-18 | 2020-07-14 | 北京工业大学 | 一种融合注意力机制的三维卷积神经网络肺部结节图像自动检测方法 |
CN111091839A (zh) * | 2020-03-20 | 2020-05-01 | 深圳市友杰智新科技有限公司 | 语音唤醒方法、装置、存储介质及智能设备 |
CN111523502A (zh) * | 2020-04-30 | 2020-08-11 | 上海交通大学医学院附属瑞金医院 | 一种心电图图像处理方法、设备、介质和心电图仪 |
CN111667489A (zh) * | 2020-04-30 | 2020-09-15 | 华东师范大学 | 基于双分支注意力深度学习的癌症高光谱图像分割方法及系统 |
CN111639692A (zh) * | 2020-05-25 | 2020-09-08 | 南京邮电大学 | 一种基于注意力机制的阴影检测方法 |
CN111539491A (zh) * | 2020-07-07 | 2020-08-14 | 点内(上海)生物科技有限公司 | 基于深度学习与注意力机制的多发性结节分类系统和方法 |
CN111881811A (zh) * | 2020-07-24 | 2020-11-03 | 浙江大学 | 基于自卷积注意力池化机制的掘进装备岩石分类方法 |
CN112232164A (zh) * | 2020-10-10 | 2021-01-15 | 腾讯科技(深圳)有限公司 | 一种视频分类方法和装置 |
CN112308081A (zh) * | 2020-11-05 | 2021-02-02 | 南强智视(厦门)科技有限公司 | 一种基于注意力机制的图像目标预测方法 |
CN112329794A (zh) * | 2020-11-06 | 2021-02-05 | 北京工业大学 | 一种基于双重自注意力机制的图像描述方法 |
CN112329683A (zh) * | 2020-11-16 | 2021-02-05 | 常州大学 | 一种基于注意力机制融合的多通道卷积神经网络人脸表情识别方法 |
CN113191390A (zh) * | 2021-04-01 | 2021-07-30 | 华中科技大学 | 一种图像分类模型的构建方法、图像分类方法及存储介质 |
CN112949838A (zh) * | 2021-04-15 | 2021-06-11 | 陕西科技大学 | 基于四分支注意力机制的卷积神经网络及图像分割方法 |
CN113222041A (zh) * | 2021-05-24 | 2021-08-06 | 北京航空航天大学 | 图结构表征的高阶关联发现细粒度图像识别方法及装置 |
CN113255646A (zh) * | 2021-06-02 | 2021-08-13 | 北京理工大学 | 一种实时场景文本检测方法 |
Non-Patent Citations (4)
Title |
---|
DUOFENG WANG等: "Transformer with sparse self-attention mechanism for image captioning", ELECTRONICS LETTERS, vol. 56, no. 15, pages 764 - 766, XP006091287, DOI: 10.1049/el.2020.0635 * |
何凯;冯旭;高圣楠;马希涛;: "基于多尺度特征融合与反复注意力机制的细粒度图像分类算法", 天津大学学报(自然科学与工程技术版), no. 10, pages 91 - 99 * |
欧阳城添;汤懿;王曦;: "结合注意力机制的核相关滤波目标跟踪", 光电子・激光, no. 04, pages 94 - 99 * |
金侠挺;王耀南;张辉;刘理;钟杭;贺振东;: "基于贝叶斯CNN和注意力网络的钢轨表面缺陷检测系统", 自动化学报, no. 12, pages 110 - 125 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115035545A (zh) * | 2022-05-24 | 2022-09-09 | 北京深睿博联科技有限责任公司 | 一种基于改进自注意力机制的目标检测方法及装置 |
CN115328228A (zh) * | 2022-10-13 | 2022-11-11 | 新乡市合力鑫电源有限公司 | 一种高频开关电源 |
Also Published As
Publication number | Publication date |
---|---|
CN113762251B (zh) | 2024-05-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110428428B (zh) | 一种图像语义分割方法、电子设备和可读存储介质 | |
Hou et al. | Change detection based on deep features and low rank | |
Jia et al. | Spectral–spatial Gabor surface feature fusion approach for hyperspectral imagery classification | |
Abdollahi et al. | Improving road semantic segmentation using generative adversarial network | |
Sirmacek et al. | Urban-area and building detection using SIFT keypoints and graph theory | |
CN109472199B (zh) | 一种图像融合分类的方法及装置 | |
CN107239759B (zh) | 一种基于深度特征的高空间分辨率遥感图像迁移学习方法 | |
Alidoost et al. | A CNN-based approach for automatic building detection and recognition of roof types using a single aerial image | |
Khoshboresh-Masouleh et al. | Multiscale building segmentation based on deep learning for remote sensing RGB images from different sensors | |
CN107909015A (zh) | 基于卷积神经网络及空谱信息融合的高光谱图像分类方法 | |
CN110796038B (zh) | 结合快速区域生长超像素分割的高光谱遥感图像分类方法 | |
Wang et al. | Tea picking point detection and location based on Mask-RCNN | |
CN113762251B (zh) | 一种基于注意力机制的目标分类方法及系统 | |
KR101618996B1 (ko) | 호모그래피를 추정하기 위한 샘플링 방법 및 영상 처리 장치 | |
Karantzalos | Recent advances on 2D and 3D change detection in urban environments from remote sensing data | |
CN105243154A (zh) | 基于显著点特征和稀疏自编码的遥感图像检索方法及系统 | |
CN112819753B (zh) | 一种建筑物变化检测方法、装置、智能终端及存储介质 | |
CN109635811A (zh) | 空间植物的图像分析方法 | |
CN113988147B (zh) | 基于图网络的遥感图像场景多标签分类方法及装置、多标签检索方法及装置 | |
Larabi et al. | High-resolution optical remote sensing imagery change detection through deep transfer learning | |
Liu et al. | Image retrieval using CNN and low-level feature fusion for crime scene investigation image database | |
CN111860465A (zh) | 基于超像素的遥感图像提取方法、装置、设备及存储介质 | |
CN116310688A (zh) | 基于级联融合的目标检测模型及其构建方法、装置及应用 | |
Ps et al. | Building footprint extraction from very high-resolution satellite images using deep learning | |
CN113554656B (zh) | 基于图神经网络的光学遥感图像实例分割方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information |
Address after: 100192 A206, 2 / F, building B-2, Dongsheng Science Park, Zhongguancun, 66 xixiaokou Road, Haidian District, Beijing Applicant after: Huiying medical technology (Beijing) Co.,Ltd. Address before: 100192 A206, 2 / F, building B-2, Dongsheng Science Park, Zhongguancun, 66 xixiaokou Road, Haidian District, Beijing Applicant before: HUIYING MEDICAL TECHNOLOGY (BEIJING) Co.,Ltd. |
|
CB02 | Change of applicant information | ||
GR01 | Patent grant | ||
GR01 | Patent grant |