CN110443277A - 基于注意力模型的少量样本分类方法 - Google Patents
基于注意力模型的少量样本分类方法 Download PDFInfo
- Publication number
- CN110443277A CN110443277A CN201910582214.7A CN201910582214A CN110443277A CN 110443277 A CN110443277 A CN 110443277A CN 201910582214 A CN201910582214 A CN 201910582214A CN 110443277 A CN110443277 A CN 110443277A
- Authority
- CN
- China
- Prior art keywords
- image
- sample
- model
- convolutional neural
- class
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 20
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 24
- 238000012360 testing method Methods 0.000 claims abstract description 19
- 238000013145 classification model Methods 0.000 claims abstract description 18
- 238000013507 mapping Methods 0.000 claims abstract description 13
- 238000012549 training Methods 0.000 claims abstract description 13
- 239000011159 matrix material Substances 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 6
- 230000001537 neural effect Effects 0.000 claims 1
- 238000013528 artificial neural network Methods 0.000 abstract description 3
- 238000009412 basement excavation Methods 0.000 abstract 1
- 238000004364 calculation method Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 239000012141 concentrate Substances 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Abstract
一种基于注意力模型的少量样本分类方法，训练一个卷积神经网络图像分类模型，训练好卷积神经网络图像分类模型后，去掉卷积神经网络图像分类模型的全连接层，保留卷积神经网络图像分类模型的卷积神经网络部分；根据所有样本图像的特征向量对待测图像进行基础分类，得到n×m个标量，n为所有样本图像的类数，m为每个类中的样本图像数；将每一类的m个样本图像连接为m×M维的向量，输入一个非线性映射函数得到n×m个相对权重；将得到的n×m个标量与对应的n×m个相对权重分别相乘，得到新的n×m个标量，将每个类中新的m个标量相加得到最终的分类结果。本发明通过挖掘类内图像重要性的得分，使得模型能更加关注比较重要的样本，对类内图像进行均衡。
Description
技术领域
本发明涉及一种样本分类方法。特别是涉及一种面向计算机视觉的基于注意力模型的少量样本分类方法。
背景技术
图像目标的识别是计算机视觉领域最基本也是最有价值的方向之一，是其他图像处理方法的基础。目前大多数的图像识别基于深度学习网络，虽然在很多的场景中都能取得非常高的分类准确度，但这些方法需要动辄百万量级的数据集来支持网络的训练，样本的获取成本极高，同时网络的训练和使用需要非常长的时间以及大量的计算资源，通常在当前先进的GPU设备上耗费数天的时间，训练好之后识别一幅图像可能会到数秒，这对算力较小特别是一些嵌入式的设备来说是不可接受的，虽然可以将其部署在云端，但对于一些实时性要求高的领域这种解决方法并不适合，对于一些网速欠发达的地区来说也限制其应用。
针对深度网络的这些问题，近年来通过少量训练样本进行高速度、高准确度的网络训练逐渐成为学术界以及工业界主要关注的问题之一。
虽然随着研究人员的增多，少量样本的图像识别近年来取得了一些进展，大多数工作集中在学习一种度量或者设计一种度量方法，导致很多方法创新性极小，这些工作很少注意样本图片本身含有的信息量不同，没有去发掘同一类图片本身蕴含的重要性的信息，所以虽然取得了一些进展，但效果不是太好。
发明内容
本发明所要解决的技术问题是，提供一种能够使得模型更加关注比较重要的样本，对类内图像进行均衡的基于注意力模型的少量样本分类方法。
本发明所采用的技术方案是：一种基于注意力模型的少量样本分类方法，包括如下步骤：
1)训练一个卷积神经网络图像分类模型，训练好卷积神经网络图像分类模型后，去掉该卷积神经网络图像分类模型的全连接层，保留该卷积神经网络图像分类模型的卷积神经网络部分；
2)根据所有样本图像的特征向量对待测图像进行基础分类，得到n×m个标量，其中，n为所有样本图像的类数，m为每个类中的样本图像数；
3)将每一类的m个样本图像连接为m×M维的向量，输入一个非线性映射函数得到n×m个相对权重；
4)将得到的n×m个标量与对应的n×m个相对权重分别相乘，得到新的n×m个标量，将每个类中的新的m个标量相加得到最终的分类结果。
步骤1)所述的卷积神经网络图像分类模型是VGGNet模型或GoogLeNet模型或ResNet模型。
步骤2)包括：设所有样本图像有n个类，每个类有m个样本图像，利用所述的卷积神经网络部分对n×m个样本图像进行特征提取，得到对应的n×m个样本图像特征向量，每个样本图像特征向量是M维，利用所述的卷积神经网络部分对待测图像x进行特征提取，得到待测图像x的特征向量，并将所述的待测图像x的特征向量分别连接到n×m个样本图像特征向量的后面，得到n×m个连接向量，将n×m个连接向量经过一个非线性映射得到n×m个标量，所述的n×m个标量表示待测图像x与n×m个样本图像的相似程度，从而完成待测图像进行基础分类。
所述的非线性映射为一个三层的全连接层。
步骤3)用公式表示如下：
M＝g(Y) (1)
W＝activate(M) (2)
其中，Y表示将每个类中所有样本图像串联后的矩阵，g是一个非线性映射，W表示最终的权重矩阵。
本发明的基于注意力模型的少量样本分类方法，通过挖掘类内图像重要性的得分，使得模型能更加关注比较重要的样本，对类内图像进行均衡。其优势主要体现在：
1、有效性：通过对比无注意力模型的分类效果和加注意力模型的分类效果，可以发现加注意力后分类准确率明显提升，说明本发明能很好地达到预期效果。
2、快速性：本发明注意力得分的计算模型较为简单，基本不会引入其他计算量，计算快速且占用算力资源少。
3、实用性：少量样本下图像的识别对深度学习成本的缩减具有极大的意义，可以加速深度学习算法向着实用发展。
具体实施方式
下面结合实施例对本发明的基于注意力模型的少量样本分类方法做出详细说明。
本发明的基于注意力模型的少量样本分类方法，旨在提出一种关注更重要样本的注意力模型，给更重要的样本图像分配大的权重而不重要的样本分配较低的权重，从而使重要样本主导模型的分类。具体包括如下步骤：
1)训练一个卷积神经网络图像分类模型，训练好卷积神经网络图像分类模型后，去掉该卷积神经网络图像分类模型的全连接层，保留该卷积神经网络图像分类模型的卷积神经网络部分；所述的卷积神经网络图像分类模型是VGGNet模型或GoogLeNet模型或ResNet模型。
2)根据所有样本图像的特征向量对待测图像进行基础分类，得到n×m个标量，其中，n为所有样本图像的类数，m为每个类中的样本图像数；包括：
设所有样本图像有n个类，每个类有m个样本图像，利用所述的卷积神经网络部分对n×m个样本图像进行特征提取，得到对应的n×m个样本图像特征向量，每个样本图像特征向量是M维，利用所述的卷积神经网络部分对待测图像x进行特征提取，得到待测图像x的特征向量，并将所述的待测图像x的特征向量分别连接到n×m个样本图像特征向量的后面，得到n×m个连接向量，将n×m个连接向量经过一个非线性映射得到n×m个标量，所述的非线性映射为一个三层的全连接层。所述的n×m个标量表示待测图像x与n×m个样本图像的相似程度，从而完成待测图像进行基础分类。
3)以上的方法中我们并没有考虑到每个样本对分类判别的重要程度的不同，这种方法的分类效果达不到比较理想的效果。在每一类的图像中，噪声图像不仅不会促进分类，反而会造成相反的效果。例如在一张标注为狗的图片中，人却占了大部分区域，那么应该给该图像一个较小的权重，以均衡每个样本的对分类的贡献。将每一类的m个样本图像连接为m×M维的向量，输入一个非线性映射函数得到n×m个相对权重，用公式表示如下：
M＝g(Y) (1)
W＝activate(M) (2)
其中，Y表示将每个类中所有样本图像串联后的矩阵，g是一个非线性映射，W表示最终的权重矩阵，例如对于有5个类，其中每个类别有5张样本图像，每个样本图像的特征向量为M维的情况而言，Y为5×(5×M)的矩阵，W为5×5的矩阵，W对应位置的值为对应样本图像的权重。
4)将得到的n×m个标量与对应的n×m个相对权重分别相乘，得到新的n×m个标量，将每个类中的新的m个标量相加得到最终的分类结果。
Claims (5)
1.一种基于注意力模型的少量样本分类方法，其特征在于，包括如下步骤：
1)训练一个卷积神经网络图像分类模型，训练好卷积神经网络图像分类模型后，去掉该卷积神经网络图像分类模型的全连接层，保留该卷积神经网络图像分类模型的卷积神经网络部分；
2)根据所有样本图像的特征向量对待测图像进行基础分类，得到n×m个标量，其中，n为所有样本图像的类数，m为每个类中的样本图像数；
3)将每一类的m个样本图像连接为m×M维的向量，输入一个非线性映射函数得到n×m个相对权重；
4)将得到的n×m个标量与对应的n×m个相对权重分别相乘，得到新的n×m个标量，将每个类中的新的m个标量相加得到最终的分类结果。
2.根据权利要求1所述的基于注意力模型的少量样本分类方法，其特征在于，步骤1)所述的卷积神经网络图像分类模型是VGGNet模型或GoogLeNet模型或ResNet模型。
3.根据权利要求1所述的基于注意力模型的少量样本分类方法，其特征在于，步骤2)包括：设所有样本图像有n个类，每个类有m个样本图像，利用所述的卷积神经网络部分对n×m个样本图像进行特征提取，得到对应的n×m个样本图像特征向量，每个样本图像特征向量是M维，利用所述的卷积神经网络部分对待测图像x进行特征提取，得到待测图像x的特征向量，并将所述的待测图像x的特征向量分别连接到n×m个样本图像特征向量的后面，得到n×m个连接向量，将n×m个连接向量经过一个非线性映射得到n×m个标量，所述的n×m个标量表示待测图像x与n×m个样本图像的相似程度，从而完成待测图像进行基础分类。
4.根据权利要求3所述的基于注意力模型的少量样本分类方法，其特征在于，所述的非线性映射为一个三层的全连接层。
5.根据权利要求1所述的基于注意力模型的少量样本分类方法，其特征在于，步骤3)用公式表示如下：
M＝g(Y) (1)
W＝activate(M) (2)
其中，Y表示将每个类中所有样本图像串联后的矩阵，g是一个非线性映射，W表示最终的权重矩阵。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910582214.7A CN110443277A (zh) | 2019-06-30 | 2019-06-30 | 基于注意力模型的少量样本分类方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910582214.7A CN110443277A (zh) | 2019-06-30 | 2019-06-30 | 基于注意力模型的少量样本分类方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110443277A true CN110443277A (zh) | 2019-11-12 |
Family
ID=68429333
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910582214.7A Pending CN110443277A (zh) | 2019-06-30 | 2019-06-30 | 基于注意力模型的少量样本分类方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110443277A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113569111A (zh) * | 2021-09-24 | 2021-10-29 | 腾讯科技（深圳）有限公司 | 对象属性识别方法、装置、存储介质及计算机设备 |
| CN116524282A (zh) * | 2023-06-26 | 2023-08-01 | 贵州大学 | 一种基于特征向量的离散相似度匹配分类方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109447115A (zh) * | 2018-09-25 | 2019-03-08 | 天津大学 | 基于多层语义监督式注意力模型的细粒度零样本分类方法 |
| CN109492750A (zh) * | 2018-10-30 | 2019-03-19 | 中国运载火箭技术研究院 | 一种基于卷积神经网络和因素空间的零样本图像分类方法及系统 |
| CN109840524A (zh) * | 2019-01-04 | 2019-06-04 | 平安科技（深圳）有限公司 | 文字的类型识别方法、装置、设备及存储介质 |
-
2019
- 2019-06-30 CN CN201910582214.7A patent/CN110443277A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109447115A (zh) * | 2018-09-25 | 2019-03-08 | 天津大学 | 基于多层语义监督式注意力模型的细粒度零样本分类方法 |
| CN109492750A (zh) * | 2018-10-30 | 2019-03-19 | 中国运载火箭技术研究院 | 一种基于卷积神经网络和因素空间的零样本图像分类方法及系统 |
| CN109840524A (zh) * | 2019-01-04 | 2019-06-04 | 平安科技（深圳）有限公司 | 文字的类型识别方法、装置、设备及存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| FLOOD SUNG ET AL.: "Learning to Compare: Relation Network for Few-Shot Learning", 《2018 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 * |
| VICTOR GARCIA ET AL.: "FEW-SHOT LEARNING WITH GRAPH NEURAL NETWORKS", 《ARXIV:1711.04043V3》 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113569111A (zh) * | 2021-09-24 | 2021-10-29 | 腾讯科技（深圳）有限公司 | 对象属性识别方法、装置、存储介质及计算机设备 |
| CN113569111B (zh) * | 2021-09-24 | 2021-12-21 | 腾讯科技（深圳）有限公司 | 对象属性识别方法、装置、存储介质及计算机设备 |
| CN116524282A (zh) * | 2023-06-26 | 2023-08-01 | 贵州大学 | 一种基于特征向量的离散相似度匹配分类方法 |
| CN116524282B (zh) * | 2023-06-26 | 2023-09-05 | 贵州大学 | 一种基于特征向量的离散相似度匹配分类方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109816092B (zh) | 深度神经网络训练方法、装置、电子设备及存储介质 | |
| CN104573731B (zh) | 基于卷积神经网络的快速目标检测方法 | |
| CN108346159A (zh) | 一种基于跟踪-学习-检测的视觉目标跟踪方法 | |
| CN109509187B (zh) | 一种针对大分辨率布匹图像中的小瑕疵的高效检验算法 | |
| CN107945153A (zh) | 一种基于深度学习的路面裂缝检测方法 | |
| CN103886325B (zh) | 一种分块的循环矩阵视频跟踪方法 | |
| CN105574063A (zh) | 基于视觉显著性的图像检索方法 | |
| CN107133955A (zh) | 一种多层次结合的协同显著性检测方法 | |
| CN111860171A (zh) | 一种大规模遥感图像中不规则形状目标的检测方法及系统 | |
| CN110827312B (zh) | 一种基于协同视觉注意力神经网络的学习方法 | |
| CN101667245A (zh) | 基于支持向量新颖检测分类器级联的人脸检测方法 | |
| CN109583357A (zh) | 一种改进lbp和轻量卷积神经网络级联的人脸识别方法 | |
| CN112241762A (zh) | 一种用于病虫害图像分类的细粒度识别方法 | |
| CN104794455B (zh) | 一种东巴象形文字识别方法 | |
| CN110443277A (zh) | 基于注意力模型的少量样本分类方法 | |
| CN108876776B (zh) | 一种分类模型生成方法、眼底图像分类方法及装置 | |
| CN114882204A (zh) | 船名自动识别方法 | |
| Mosayyebi et al. | Gender recognition in masked facial images using EfficientNet and transfer learning approach | |
| CN113327269A (zh) | 一种无标记颈椎运动检测方法 | |
| CN105184285A (zh) | 直推式迁移组稀疏判别分析的跨姿态彩色图像表情识别 | |
| Wangli et al. | Foxtail Millet ear detection approach based on YOLOv4 and adaptive anchor box adjustment | |
| CN109975307A (zh) | 基于统计投影训练的轴承表面缺陷检测系统及检测方法 | |
| Gunawan et al. | Wood identification on microscopic image with daubechies wavelet method and local binary pattern | |
| CN114299578A (zh) | 一种基于面部情绪分析的动态人脸生成方法 | |
| CN111291769B (zh) | 一种高铁接触网异物检测方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20191112 |