CN109145971A - 基于改进匹配网络模型的单样本学习方法 - Google Patents

Abstract

本发明公开了一种基于改进匹配网络模型的单样本学习方法，涉及深度学习下的图像分类识别技术领域，包括以下步骤：（1）对训练样本数据集和测试样本数据集分别进行预处理降维；（2）利用四层深度卷积神经网络提取训练样本和测试样本的高层语义特征；（3）对高层语义特征分别采用双向LSTM算法和AttLSTM算法提取训练样本和测试样本的关键有用特征并进行编码并得出分类的结果。采用本发明的技术方案深度学习下的图像分类识别在类别数更多而样本数较少的复杂场景下还具有高识别率。

Description

基于改进匹配网络模型的单样本学习方法

技术领域

本发明涉及深度学习下的图像分类识别技术领域，尤其涉及一种基于改进匹配网络模型的单样本学习方法。

背景技术

深度学习(deep learning)已经广泛应用于各个领域，尤其是图像处理领域，解决各类实际应用问题。当前深度学习是基于大量数据标注样本通过多层网络实现模型自动识别。然而，在很多特殊场景下，难以获取大量标注样本数据，小样本物体识别仍然是深度学习下关键性的难题，研究人员探索在不影响识别效果的基础上尽可能减少学习样本，提高系统在小样本中快速学习的能力。现有技术中针对小样本学习的策略主要集中在小样本学习(few-shot learning)、单样本学习(one-shot learning)以及零样本学习(zero-shotlearning)，其中单样本学习(one-shot learning)最具代表性。早在2006年，Li Fei-Fei等人就提出了单样本学习的概念；Lake等人于2015年提出一种分层贝叶斯模型，该模型能从少量样本中完成计算任务，并且达到了相当于人类水平的识别率；Vinyals等人提出了一种基于余弦距离的端对端的K-紧邻模型解决单样本学习问题；但是，现有技术的单样本学习方法在类别数更多而样本数较少的复杂场景下存在着识别率不高的不足之处。

发明内容

针对现有技术的不足，本发明所解决的问题是提供一种在单样本类别数更多而样本数较少的复杂场景下还具有高识别率的单样本学习方法。

为解决上述技术问题，本发明采用的技术方案是一种基于改进匹配网络模型的单样本学习方法，包括以下步骤：

(1)对训练样本数据集和测试样本数据集分别进行预处理降维，具体分步骤如下：

1)将样本数据集按照比例划分为训练样本数据集和测试样本数据集；

2)利用OpenCV下的一个扩展库CV2对训练样本数据集和测试样本数据集进行降维预处理，将原始105*105像素大小的图片进行灰度化并转换成数组的形式；

3)利用扩展库CV2下的相关处理函数对手写字体图片进行降维预处理，最后输出64*64像素大小的图片。

(2)利用四层深度卷积神经网络提取训练样本和测试样本的高层语义特征，具体分步骤如下：

1)将预处理后的训练样本输入到四层卷积神经网络，分别进行卷积-池化-LeakyReLU非线性激励，并进行四次该操作；

2)通过全连接层输出，提取训练样本的高层语义特征，其中卷积层采用3*3大小的卷积核，卷积步长大小设为1，池化层采用最大池化操作；

3)将测试样本数据集也同样按照训练样本的步骤进行高层语义特征提取，其中参数选取与训练样本进行四层卷积神经网络中的参数一致。

(3)对高层语义特征分别采用双向LSTM算法和AttLSTM算法提取训练样本和测试样本的关键有用特征并进行编码并得出分类的结果，具体分步骤如下：

1)针对训练样本数据集采用双向LSTM算法提取关键有用特征并进行编码，具体过程如下：

将训练样本经过四层卷积神经网络提取的高层语义特征进行排序，然后对排序后的训练样本高层语义特征采用双向LSTM算法分别求出前一时刻和后一时刻的隐状态和最后将前一时刻的隐状态后一时刻的隐状态和利用四层卷积神经网络提取的高层语义特征相加作为训练样本提取的关键有用特征。

采用的双向LSTM算法编码方式为：

其中:

双向LSTM算法四个状态变量，如下表：

所述双向LSTM算法结构模型中g函数的结构是一个双向LSTM，输入序列是训练数据集S中的各个样本(x₀，x₁，...，x_n)，g′(x_i)是先对训练数据集S中的x_i输入到四层卷积神经网络中进行高层语义的特征提取，然后利用双向LSTM算法深入进一步提取更加关键和重要的特征并进行编码。

2)针对测试样本数据集采用AttLSTM算法提取关键有用特征并进行编码，具体过程如下：

先针对测试样本数据集经过四层卷积神经网络提取的高层语义特征，然后采用AttLSTM算法进一步提取测试样本的关键有用特征。

采用的AttLSTM算法模型的表达式为：

其中，是测试样本数据集经过四层卷积神经网络提取的高层语义特征，g(S)为训练数据集经过双向LSTM算法提取的关键有用特征，K为AttLSTM迭代的次数；

AttLSTM算法模型的具体过程如下：

利用LSTM模型计算原始隐变量h和记忆c：

加上经过四层卷积神经网络提取的高层语义特征，获得AttLSTM的隐变量：

AttLSTM算法模型的读数是测试数据集特征的加权和：

其中，attention函数a(·)也是softmax形式，用于所有测试数据集样本归一化：

AttLSTM算法模型中测试集样本每一步的四个状态变量，如下表所示：

AttLSTM算法模型结构模型中f函数用于提取测试数据集S中每一个样本的关键特征f′(x)。f函数对每一个测试样本，通过κ＝1，2，...，K次迭代，并使用LSTM与attention机制相结合的模型即AttLSTM算法模型计算测试数据集的样本特征，编码f的结果为最后一次迭代LSTM输出的隐状态。

(4)利用softmax非线性分类器对测试样本进行分类识别，具体分步骤如下：

1)通过平方欧式距离计算公式计算训练样本数据集和测试数据样本集的关键有用特征g(x_i)和平方欧式距离的计算公式为：

d²(p，q)＝(p₁-q₁)²+(p₂-q₂)²+…+(p_i-q_i)²+…+(p_n-q_n)²

2)利用softmax非线性分类器对测试样本进行分类：

其中，为通过平方欧式距离计算训练样本特征g(x_i)和测试样本特征之间的距离。

3)通过softmax非线性分类器计算训练样本特征g(x_i)和测试样本特征之间的距离，以训练样本与测试样本之间的距离量度作为分类的结果。

本发明相对于现有技术的有益效果：深度学习下的图像分类识别在类别数更多而样本数较少的复杂场景下还具有高识别率。

附图说明

图1为本发明结构示意图；

图2为LSTM单元示意图；

图3为双向LSTM算法模型的示意图；

图4为AttLSTM算法模型的示意图；

图5为五种类别不同样本数的训练错误率示意图；

图6为五种类别不同样本数的测试错误率示意图；

图7为十种类别不同样本数的训练错误率示意图；

图8为十种类别不同样本数的测试错误率示意图；

图9为不同类别数一个样本数的训练错误率示意图；

图10为不同类别数一个样本数的测试错误率示意图；

图11为不同类别数五个样本数的训练错误率示意图；

图12为不同类别数五个样本数的测试错误率示意图。

具体实施方式

下面结合附图和实施例对本发明的具体实施方式作进一步的说明，但不是对本发明的限定。

图1示出了一种基于改进匹配网络模型的单样本学习方法，包括以下步骤：

(1)对训练样本数据集和测试样本数据集分别进行预处理降维，具体分步骤如下：

1)将样本数据集按照比例划分为训练样本数据集和测试样本数据集；

2)利用OpenCV下的一个扩展库CV2对训练样本数据集和测试样本数据集进行降维预处理，将原始105*105像素大小的图片进行灰度化并转换成数组的形式；

3)利用扩展库CV2下的相关处理函数对手写字体图片进行降维预处理，最后输出64*64像素大小的图片。

(2)利用四层深度卷积神经网络提取训练样本和测试样本的高层语义特征，具体分步骤如下：

1)将预处理后的训练样本输入到四层卷积神经网络，分别进行卷积-池化-LeakyReLU非线性激励，并进行四次该操作；

2)通过全连接层输出，提取训练样本的高层语义特征，其中卷积层采用3*3大小的卷积核，卷积步长大小设为1，池化层采用最大池化操作；

3)将测试样本数据集也同样按照训练样本的步骤进行高层语义特征提取，其中参数选取与训练样本进行四层卷积神经网络中的参数一致。

(3)对高层语义特征分别采用双向LSTM算法和AttLSTM算法提取训练样本和测试样本的关键有用特征并进行编码并得出分类的结果，具体分步骤如下：

1)针对训练样本数据集采用双向LSTM算法提取关键有用特征并进行编码，具体过程如下：

将训练样本经过四层卷积神经网络提取的高层语义特征进行排序，然后对排序后的训练样本高层语义特征采用双向LSTM算法分别求出前一时刻和后一时刻的隐状态和最后将前一时刻的隐状态后一时刻的隐状态和利用四层卷积神经网络提取的高层语义特征相加作为训练样本提取的关键有用特征；

采用的双向LSTM算法编码方式为：

其中:

双向LSTM算法四个状态变量，如下表：

LSTM算法模型结构如图2所示，主要是用来解决循环神经网络模型中的梯度消亡现象和长期依赖问题，LSTM接受上一时刻的输出结果，当前时刻的系统状态和当前系统输入，通过输入门、遗忘门和输出门更新系统状态并将最终结果输出，如下式所示：

i_t＝σ(W_xix_t+W_hih_t-1+W_cic_t-1+b_i)

f_t＝σ(W_xfx_t+W_hfh_t-1+W_cfc_t-1+b_f)

c_t＝f_tc_t-1+i_ttanh(W_xcx_t+W_hch_t-1+b_c)

o_t＝σ(W_xox_t+W_hoh_t-1+W_coc_t-1+b_o)

h_t＝o_ttanh(c_t)

式中，输入门为i_t，遗忘门为f_t，输出门为o_t，遗忘门来决定上一时刻的状态信息中某部分数据需要被遗忘，输入门决定当前输入中某部分数据需要保留在状态中，输出门决定由当前时刻的系统输入、前一时刻的系统输入和状态信息组合的信息某些部分可以作为最终的输出。

所述双向LSTM算法结构如图3所示，模型中g函数的结构是一个双向LSTM，输入序列是训练数据集S中的各个样本(x₀，x₁，...，x_n)，g′(x_i)是先对训练数据集S中的x_i输入到四层卷积神经网络中进行高层语义的特征提取，然后利用双向LSTM算法深入进一步提取更加关键和重要的特征并进行编码。

2)针对测试样本数据集采用AttLSTM算法提取关键有用特征并进行编码，具体过程如下：

先针对测试样本数据集经过四层卷积神经网络提取的高层语义特征，然后采用AttLSTM算法进一步提取测试样本的关键有用特征；

采用的AttLSTM算法模型的表达式为：

其中，是测试样本数据集经过四层卷积神经网络提取的高层语义特征，g(S)为训练数据集经过双向LSTM算法提取的关键有用特征，K为AttLSTM迭代的次数；

AttLSTM算法模型的具体过程如下：

利用LSTM模型计算原始隐变量h和记忆c：

加上经过四层卷积神经网络提取的高层语义特征，获得AttLSTM的隐变量：

AttLSTM算法模型的读数是测试数据集特征的加权和：

其中，attention函数a(·)也是softmax形式，用于所有测试数据集样本归一化：

AttLSTM算法模型中测试集样本每一步的四个状态变量，如下表所示：

所述AttLSTM算法模型结构如图4所示，模型中f函数用于提取测试数据集S中每一个样本的关键特征f′(x)。f函数对每一个测试样本，通过κ＝1，2，...，K次迭代，并使用LSTM与attention机制相结合的模型即AttLSTM算法模型计算测试数据集的样本特征，编码f的结果为最后一次迭代LSTM输出的隐状态。

(4)利用softmax非线性分类器对测试样本进行分类识别，具体分步骤如下：

1)通过平方欧式距离计算公式计算训练样本数据集和测试数据样本集的关键有用特征g(x_i)和平方欧式距离的计算公式为：

d²(p，q)＝(p₁-q₁)²+(p₂-q₂)²+…+(p_i-q_i)²+…+(p_n-q_n)²；

2)利用softmax非线性分类器对测试样本进行分类：

其中，为通过平方欧式距离计算训练样本特征g(x_i)和测试样本特征之间的距离；

3)通过softmax非线性分类器计算训练样本特征g(x_i)和测试样本特征之间的距离，以训练样本与测试样本之间的距离量度作为分类的结果。

本发明相对于现有技术的有益效果：深度学习下的图像分类识别在类别数更多而样本数较少的复杂场景下还具有高识别率。

本发明的有益效果可以通过实施例来进行验证，实施例都是基于Omniglot数据集上围绕着相同的基本任务：N-way K-shot的学习任务。每种方法都是利用未经训练的N类中的K个已标记的样本进行训练，然后对一组属于N类中不相交的未标记样本进行分类，并将其他同行文献中使用的模型所得到的结果与本发明模型进行对比，实施例结果见下表：

通过实施例结果结果可知道，本发明模型测试错误率整体的样本平均错误率低于3.1％，平均识别准确率能达到96.9％，其中某些样本可以百分之百的识别出来。当样本的类别数量增加到20类时，整体测试样本平均错误率低于6.9％，平均识别准确率也能达到93.1％。本发明模型可以在很大程度上提高少样本甚至一个样本下的识别效果，与原创Matching Networks模型相比，本发明模型虽然在5-way 1-shot的情况下测试样本识别率略低于原创Matching Network方法，但是在5-way 5-shot以及20-way的情况下均高于原创Matching Networks方法，说明了本发明模型的先进性。本发明采用平方平方欧式距离代替常用的余弦距离计算训练样本和测试样本之间的距离，实施例结果表明基于平方欧式距离计算样本之间的差异性，在小样本的分类具有显著的效果。

(1)N-way different-shot的性能分析：

本发明通过对相同类型，不同样本数的手写字体数据进行训练，然后再对测试数据集进行测试，实施例结果如图5至图8所示，从图5至图8可以看出：相同的类别，不同的样本数训练出来的模型测试后的结果具有明显的差异，当训练数据集的类别相同时，随着样本数的增多，测试数据集的测试错误率逐渐降低，样本的识别准确率不断的提高。当5-way10-shot的情况下，样本的测试错误率低于0.5％，识别准确率达到了99.5％，基本完全实现了该样本的识别功能，即使当样本数只有1个时，5-way 1-shot训练出来的模型也能达到96.9％的识别率。

(2)Different-way K-shot的性能分析：

本发明通过对相同的样本数，不同类别数的手写字体数据进行训练，然后再对测试数据集进行测试，实施例结果如下图所示，从图9～图12可以得出：相同的样本数，不同的类别数训练出来的模型测试后的结果具有明显的差异，当训练数据集的样本数相同时，随着样本类型种类的增多，最终识别的难度越来越大，特别是当训练样本数只有1个，而样本的种类达到20种时，测试集的识别难度非常大，在本发明模型的基础上进行测试，平均测试错误率小于6.9％，达到了很好的识别效果。

以上结合附图和实施例对本发明的实施方式做出了详细说明，但本发明不局限于所描述的实施方式。对于本领域技术人员而言，在不脱离本发明的原理和精神的情况下，对这些实施方式进行各种变化、修改、替换和变型仍落入本发明的保护范围内。

Claims (9)

1.一种基于改进匹配网络模型的单样本学习方法，其特征在于，包括以下步骤：

(1)对训练样本数据集和测试样本数据集分别进行预处理降维；

(2)利用四层深度卷积神经网络提取训练样本和测试样本的高层语义特征；

(3)对高层语义特征分别采用双向LSTM算法和AttLSTM算法提取训练样本和测试样本的关键有用特征并进行编码并得出分类的结果。

2.根据权利要求1所述的基于改进匹配网络模型的单样本学习方法，其特征在于，步骤(1)具体分步骤如下：

1)将样本数据集按照比例划分为训练样本数据集和测试样本数据集；

2)利用OpenCV下的一个扩展库CV2对训练样本数据集和测试样本数据集进行降维预处理，将原始105*105像素大小的图片进行灰度化并转换成数组的形式；

3)利用扩展库CV2下的相关处理函数对手写字体图片进行降维预处理，最后输出64*64像素大小的图片。

3.根据权利要求1或2所述的基于改进匹配网络模型的单样本学习方法，其特征在于，步骤(2)具体分步骤如下：

1)将预处理后的训练样本输入到四层卷积神经网络，分别进行卷积-池化-Leaky ReLU非线性激励，并进行四次该操作；

2)通过全连接层输出，提取训练样本的高层语义特征，其中卷积层采用3*3大小的卷积核，卷积步长大小设为1，池化层采用最大池化操作；

3)将测试样本数据集也同样按照训练样本的步骤进行高层语义特征提取，其中参数选取与训练样本进行四层卷积神经网络中的参数一致。

4.根据权利要求1或2所述的基于改进匹配网络模型的单样本学习方法，其特征在于，步骤(3)具体分步骤如下：

1)针对训练样本数据集采用双向LSTM算法提取关键有用特征并进行编码；

2)针对测试样本数据集采用AttLSTM算法提取关键有用特征并进行编码。

5.根据权利要求4所述的基于改进匹配网络模型的单样本学习方法，其特征在于，步骤(3)中分步骤1)具体过程如下：

将训练样本经过四层卷积神经网络提取的高层语义特征进行排序，然后对排序后的训练样本高层语义特征采用双向LSTM算法分别求出前一时刻和后一时刻的隐状态和最后将前一时刻的隐状态后一时刻的隐状态和利用四层卷积神经网络提取的高层语义特征相加作为训练样本提取的关键有用特征。

6.根据权利要求4所述的基于改进匹配网络模型的单样本学习方法，其特征在于，步骤(3)中分步骤2)具体过程如下：先针对测试样本数据集经过四层卷积神经网络提取的高层语义特征，然后采用AttLSTM算法进一步提取测试样本的关键有用特征。

7.根据权利要求5所述的基于改进匹配网络模型的单样本学习方法，其特征在于，步骤(3)分步骤1)中采用的双向LSTM算法编码方式为：

其中:

双向LSTM算法四个状态变量，如下表：

所述双向LSTM算法结构模型中g函数的结构是一个双向LSTM，输入序列是训练数据集S中的各个样本(x₀，x₁，...，x_n)，g′(x_i)是先对训练数据集S中的x_i输入到四层卷积神经网络中进行高层语义的特征提取，然后利用双向LSTM算法深入进一步提取更加关键和重要的特征并进行编码。

8.根据权利要求6所述的基于改进匹配网络模型的单样本学习方法，其特征在于，步骤(3)分步骤2)中采用的AttLSTM算法模型的表达式为：

其中，是测试样本数据集经过四层卷积神经网络提取的高层语义特征，g(S)为训练数据集经过双向LSTM算法提取的关键有用特征，K为AttLSTM迭代的次数；

AttLSTM算法模型的具体过程如下：

利用LSTM模型计算原始隐变量h和记忆c：

加上经过四层卷积神经网络提取的高层语义特征，获得AttLSTM的隐变量：

AttLSTM算法模型的读数是测试数据集特征的加权和：

其中，attention函数a(·)也是softmax形式，用于所有测试数据集样本归一化：

AttLSTM算法模型中测试集样本每一步的四个状态变量，如下表所示：

AttLSTM算法模型结构模型中f函数用于提取测试数据集S中每一个样本的关键特征f′(x)，f函数对每一个测试样本，通过κ＝1，2，...，K次迭代，并使用LSTM与attention机制相结合的模型即AttLSTM算法模型计算测试数据集的样本特征，编码f的结果为最后一次迭代LSTM输出的隐状态。

9.根据权利要求1或2所述的基于改进匹配网络模型的单样本学习方法，其特征在于，步骤(4)具体分步骤如下：

1)通过平方欧式距离计算公式计算训练样本数据集和测试数据样本集的关键有用特征g(x_i)和平方欧式距离的计算公式为：

d²(p，q)＝(p₁-q₁)²+(p₂-q₂)²+…+(p_i-q_i)²+…+(p_n-q_n)²；

2)利用softmax非线性分类器对测试样本进行分类：

其中，为通过平方欧式距离计算训练样本特征g(x_i)和测试样本特征之间的距离；

3)通过softmax非线性分类器计算训练样本特征g(x_i)和测试样本特征之间的距离，以训练样本与测试样本之间的距离量度作为分类的结果。