CN109993236B - 基于one-shot Siamese卷积神经网络的少样本满文匹配方法 - Google Patents

Abstract

基于one‑shot Siamese卷积神经网络的少样本满文匹配方法，属于满文单词识别领域，为了解决现有满文识别技术中存在的不足，技术要点是：第1步：满文单词图像预处理；第2步：训练与保存满文匹配的孪生网络模型；第3步：效果是：测试未训练的数据，可以在样本数据少的情况下可以进行分类识别，实现满文单词匹配。

Description

基于one-shot Siamese卷积神经网络的少样本满文匹配方法

技术领域：

本发明属于满文单词识别领域，涉及一种基于one-shot learning Siamese卷积神经网络的少样本满文匹配方法。

背景技术：

随着科学技术的发展，以及对机器学习和深度学习的深度研究，计算机已经能够对多种图像格式的文字进行识别和辨认(如蒙古文、日文)，满文作为世界语言的一种，还无法做到供计算机自动识别。如果能够让计算机做到自动识别、辨认满文，则可以将大量的满文文献进行电子化处理，这对于满文文献的研究与保存，甚至满族文化的研究与保存都有着十分重要的意义。

在本发明中将满文检测问题看成满文单词匹配问题。目前目标匹配主流算法仍然是使用手工特征进行匹配，同时基于机器学习的算法也在不断发展，通过卷积神经网络提取的特征的算法在精度和适用条件要好于手工特征，但一般基于深度神经网络的算法需要较多训练数据。满文单词样本数量较少，是一个典型的小样本学习问题(one-shotlearning)。进入21世纪以来，随着计算机视觉的深入研究，人们发现想要实现小样本学习必须依靠对现有知识的利用，并在此基础上出现了一批基于先验知识的优秀算法。FeifeiL等人使用贝叶斯框架实现了利用小样本进行准确的目标分类。BM Lake等人通过利用贝叶斯规划学习，结合一些先验知识完成了人类概念学习的验证，证明了机器利用背景知识通过小量样本完成概率估计。除了基于贝叶斯学习的小样本学习，基于度量网络的小样本学习也取得了很多成果。Le Cun等人于90年代提出孪生网络(Siamese网络)，最初用于解决图像相似度衡量问题，由于在小样本数据上有较好的预测能力被研究。随着深度学习的流行，Koch等人使用DNN深度神经网络实现了孪生网络，将孪生神经网络用于小样本图像的分类任务，并取得了较高的分类精度。Vinyals等人在度量网络思想中加入了记忆和注意概念，提出了一种匹配网络得到了较好的效果。

针对满文单词样本少而深度神经网络模型需要海量数据训练的矛盾问题，同时为了提高满文小样本数据(one-shot)场景下训练的分类器分类精度，本发明采用孪生网络在one shot learning框架下研究满文单词匹配问题，实现高精度的满文匹配算法。

发明内容

本发明为了解决现有满文识别技术中存在的不足，实现了在少样本的情况下仍可以达到高识别率的方法，为实现上述目的，本发明提出如下技术方案：一种基于one-shotlearning Siamese卷积神经网络的少样本满文匹配方法，包括如下步骤：

第1步：满文单词图像预处理；

第2步：训练与保存满文匹配的孪生网络模型；

第3步：测试未训练的数据。

进一步的，第1步包括如下具体步骤：

1.1数据集构建：

利用满文输入法，构建了一个包含11种字体的666类满文单词数据集，将666类满文数据分为3个部分，训练集、验证集和数据集；

1.2数据预处理：

扫描666类满文单词的11种不同字体文档，获得满文文档的彩色图像，一般图像预处理是将图像二值化，然而图像二值化会导致原文字图像丢失部分信息，因此本文中图像预处理第一步是灰度化。满文单词长短不一，需要将图片进行归一化处理，统一为105*105。归一化尺寸的大小可调节，根据实际情况选择一个适当的大小，避免图片失真严重即可。

进一步的，所述第2步包括如下具体步骤：

2.1构建满文匹配的孪生网络模型：

满文数据为小样本数据(one-shot)，目前基于Dense-SIFT特征、HOG特征和SVM算法的匹配算法已经被广泛使用，但是这些算法都需要海量的训练数据，在小样本场景下表现较差。基于小样本学习的匹配方法由于实验数据较少，使用传统算法训练分类器精度较低，限制了算法的使用，而孪生网络算法通过在与目标无关的先验数据训练后可以在新的少本数据中实现较好的分类效果，本发明通过结合孪生网络模型目标匹配算法实现了一种新的基于one-shot learning孪生神经网络的满文匹配算法。

孪生神经网络由两个完全相同的神经网络构成，它们接受不同的输入，通过神经网络将原本空间中分辨困难的图像进行降维，通过神经网络提取图像的特征向量，在孪生神经网络的后端连接一个能量函数，用于计算每一侧最终提取的特征向量之间的相似度，通过训练不断更新网络中的参数，最小化相同类别的损失函数值，最大化不同类别的损失函数值；

将孪生神经网络用于图像匹配的相似性度量以及在样本每个类别数量较少的情况下对样本进行识别和分类，孪生神经网络从数据中去学习一个相似性度量，这个相似性的度量比较并匹配新的无标签且分类未知的样本；

孪生神经网络结构分为特征提取网络和相似度计算两部分，在特征提取网络中，共包含四个卷积层，不同的卷积层用于提取不同层次的特征，在特征空间中各个图像块的特征向量反应出它们之间的真实相似度，在前三个卷积层后使用非线性激活函数并在每层后面都使用了max-pooling层来保证对微小移动的不变性，卷积网络层产生的结果输出到全连接层，全连接层输出最终特征向量，相似度计算部分是将两个卷积神经网络输出的特征向量进行度量计算，计算结果输出到全连接层结合sigmoid函数，将计算结果映射到区间[0,1]；

卷积层包括64通道的10×10的卷积核，Relu函数去线性化以及L2正则化→maxpooling→128通道的7×7卷积核，Relu函数去线性及L2正则化→max pooling→128通道的4×4卷积核，Relu函数去线性化及L2正则化→max pooling→256通道的4×4卷积核，Relu去线性化及L2正则化，卷积层的步长为1，全零填充，池化层的过滤器大小为2×2，步长为2；

2.2训练构建好的网络：

定义目标损失函数：

两个神经网络之间共享权值和偏置等参数，保证输入的两个极其相似的图片不会被各自的网络映射到特征空间中差距较大的位置，令x₁,x₂为孪生神经网络的输入，t为指示x₁,x₂是否匹配的二值标签，t∈{0,1}；如果x₁,x₂相似，则t＝0，如果不相似则t＝1；训练过程中使用Logistic回归，因此损失函数应该是预测和目标之间的二分类交叉熵，并加入L2正则化项，以学习更平滑的权重；

损失函数见公式(1)：

D(x₁,x₂,t)＝t·log(p(x₁,x₂))+(1-t)·log(1-p(x₁,x₂))+λ^T·||W||₂ (1)

其中λ^T·||W||₂是正则化部分，λ是正则化参数，λ^T是λ的转置，W是权重值，p为计算孪生网络输入的两个特征向量的相似概率，采用Adam随机梯度下降优化器，以及公式(1)为目标函数迭代训练，设置迭代次数为10000次。

2.3保存训练好的满文匹配孪生神经网络：

本文的评价指标是公式(2)，在训练过程中，当precision(正确率)大于设定值时保存当前训练好的网络模型。

进一步的，所述第3步包括如下具体步骤：用验证集验证步骤2.3中的网络模型，并微调网络参数得到最终的满文单词匹配的网络模型，保存好的模型就可以对新的样本进行测试。

本发明所能达到的效果：经过训练测试，本文方法用于少样本满文单词识别上，(1)可以在样本数据少的情况下可以进行分类识别，实现满文单词匹配。(2)网络模型可以识别未训练过的数据类别，当满文单词的类别增加时，不用重新网络模型。

附图说明

图1孪生网络的架构；

图2深度孪生神经网络结构图；

图3 11种满文字体样例；

图4程序流程图；

图5 1way-20shot满文单词匹配。

具体实施方式

一种基于one-shot Siamese卷积神经网络的少样本满文匹配方法：

1、数据准备与预处理

(1)本文以《满语365句》(作者:何荣伟编，ISBN 9787807226901，出版社:辽宁民族出版社，出版时间:2009-06)为蓝本构建满文数据集。利用满文输入法，构建了一个包含11种字体的666类满文单词数据集。

(2)图像灰度化，归一化图像大小。

2、构建孪生网络

实现满文单词匹配的孪生卷积神经网络如图2。网络的搭建可以由Keras开源平台搭建。

3、设置参数

n_iter：总迭代次数

mini-batch:每一轮迭代输入样本数量

优化器的选择：Adam:adaptive moment estimation，自适应矩估计。Adam算法根据损失函数对每个参数的梯度的一阶矩估计和二阶矩估计动态调整针对于每个参数的学习速率。Adam也是基于梯度下降的方法，但是每次迭代参数的学习步长都有一个确定的范围，不会因为很大的梯度导致很大的学习步长，参数的值比较稳定。

4、训练保存模型

成对的数据输入孪生网络，以公式(1)为目标损失函数，反向传播优化器开始训练，用验证集的图片去验证当前网络，当到达阈值时保存模型。

5、测试

将测试集的图片去测试已保存的模型，根据正确率调整模型的参数，不断提高正确率，达到理想效果。

由上述手段，本实施例结合附图，对上述手段作出详细说明：

本发明是为了解决现有满文识别技术中存在的不足，提出了一种在少样本的情况下仍可以达到高识别率的方法。

本发明具体的技术方案：基于one-shot Siamese卷积神经网络的少样本满文匹配方法，依次由满文单词图像预处理、训练与保存满文匹配的孪生网络模型、测试未测试样本三个步骤组成，具体如下：

第1步，满文单词图像预处理

1.1数据集构建

本文以《满语365句》(作者:何荣伟编，ISBN 9787807226901，出版社:辽宁民族出版社，出版时间:2009-06)为蓝本构建满文数据集。利用满文输入法，构建了一个包含11种字体的666类满文单词数据集，如图3所示。将666类满文数据分为3个部分，训练集、验证集和数据集。

1.2数据预处理

扫描666类满文单词的11种不同字体文档，获得满文文档的彩色图像，一般图像预处理是将图像二值化，然而图像二值化会导致原文字图像丢失部分信息，因此本文中图像预处理第一步是灰度化。满文单词长短不一，需要将图片进行归一化处理，统一为105*105。归一化尺寸的大小可以调节，应当根据实际情况选择一个适当的大小，避免图片失真严重即可。

第2步训练与保存满文匹配的孪生网络模型

2.1构建满文匹配的孪生网络模型

One-shot learning(少样本学习)指样本只有一个或者很少的情况下，依然可以进行分类识别。满文单词的样本较少，是一个典型的少样本学习的问题。为了建立一种one-shot learning图像分类模型，需要一种能够学习通用特征并用于对未知类分布进行预测的卷积神经网络。孪生卷积神经网络是基于监督度量的方法学习图像特征，可以对输入结构进行限制并以新样本中得到泛化特征，这一特性可以用于one-shot learning。

Siamese神经网络(孪生神经网络)架构将签名验证作为图像匹配问题来解决。孪生神经网络由两个完全相同的神经网络构成，它们接受不同的输入，通过神经网络将原本空间中分辨困难的图像进行降维，从而变得容易分辨。通过神经网络提取图像的特征向量，在孪生神经网络的后端连接一个能量函数用于计算每一侧最终提取的特征向量之间的相似度。通过训练不断更新网络中的参数，最小化相同类别的损失函数值，最大化不同类别的损失函数值。孪生网络的架构见图1。

孪生网络主要用于图像匹配的相似性度量以及在样本每个类别数量较少的情况下对样本进行识别和分类。深度学习需要大量的有标签的样本数据进行训练，而搜集大量的数据耗费人力和财力。Siamese网络能够从数据中去学习一个相似性度量，这个相似性的度量能够比较并匹配新的无标签且分类未知的样本，解决了样本少、无法正常训练的问题。

深度孪生网络结构分为特征提取网络和相似度计算两部分。在特征提取网络中，共包含四个卷积层，不同的卷积层用于提取不同层次的特征，在特征空间中各个图像块的特征向量能反应出它们之间的真实相似度。在前三个卷积层后使用非线性激活函数并在每层后面都使用了max-pooling层来保证对微小移动的不变性。卷积网络层产生的结果输出到全连接层，全连接层输出最终特征向量。相似度计算部分是将两个卷积神经网络输出的特征向量进行度量计算，计算结果输出到全连接层并结合sigmoid函数，将计算结果映射到区间[0,1]。

深度孪生神经网络结构如图2所示。

卷积层包括64通道的10×10的卷积核，Relu函数去线性化以及L2正则化→maxpooling→128通道的7×7卷积核，Relu函数去线性及L2正则化→max pooling→128通道的4×4卷积核，Relu函数去线性化及L2正则化→max pooling→256通道的4×4卷积核，Relu去线性化及L2正则化。卷积层的步长为1，全零填充。池化层的过滤器大小为2×2，步长为2。

2.2训练构建好的网络

定义目标损失函数：

两个神经网络之间共享权值和偏置等参数，保证了输入的两个极其相似的图片不会被各自的网络映射到特征空间中差距较大的位置。令x₁,x₂为孪生神经网络的输入，t为指示x₁,x₂是否匹配的二值标签，t∈{0,1}。如果x₁,x₂相似，则t＝0，如果不相似则t＝1。训练过程中使用Logistic回归，因此损失函数应该是预测和目标之间的二分类交叉熵，并加入L2正则化项，以学习更平滑的权重。损失函数见公式(1)。

D(x₁,x₂,t)＝t·log(p(x₁,x₂))+(1-t)·log(1-p(x₁,x₂))+λ^T·||W||₂ (1)

其中λ^T·||W||₂是正则化部分，p为计算孪生网络输入的两个特征向量的相似概率。

采用Adam随机梯度下降优化器，以及公式(1)为目标函数迭代训练。设置迭代次数为10000次。

2.3保存训练好的满文匹配孪生神经网络

设置阈值，当precision大于阈值的时候保存当前训练好的网络模型。

第3步：测试未训练的数据

用验证集验证2.3中的网络模型，并微调网络参数得到最终的满文单词匹配的网络模型，保存好的模型就可以对新的样本进行测试

以上所述，仅为本发明创造较佳的具体实施方式，但本发明创造的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明创造披露的技术范围内，根据本发明创造的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明创造的保护范围之内。

Claims (3)

1.一种基于one-shot Siamese卷积神经网络的少样本满文匹配方法，其特征在于，包括如下步骤：

第1步：满文单词图像预处理；

第2步：训练与保存满文匹配的孪生网络模型；

第3步：测试未训练的数据；

第2步包括如下具体步骤：

2.1构建满文匹配的孪生网络模型：

满文数据为小样本数据，通过结合孪生网络模型目标匹配算法实现基于one-shot孪生神经网络的满文匹配算法；

孪生神经网络由两个完全相同的神经网络构成，它们接受不同的输入，通过神经网络将原本空间中分辨困难的图像进行降维，通过神经网络提取图像的特征向量，在孪生神经网络的后端连接一个能量函数，用于计算每一侧最终提取的特征向量之间的相似度，通过训练不断更新网络中的参数，最小化相同类别的损失函数值，最大化不同类别的损失函数值；

将孪生神经网络用于图像匹配的相似性度量以及在样本每个类别数量较少的情况下对样本进行识别和分类，孪生神经网络从数据中去学习一个相似性度量，这个相似性的度量比较并匹配新的无标签且分类未知的样本；

孪生神经网络结构分为特征提取网络和相似度计算两部分，在特征提取网络中，共包含四个卷积层，不同的卷积层用于提取不同层次的特征，在特征空间中各个图像块的特征向量反应出它们之间的真实相似度，在前三个卷积层后使用非线性激活函数并在每层后面都使用了max-pooling层来保证对微小移动的不变性，卷积网络层产生的结果输出到全连接层，全连接层输出最终特征向量，相似度计算部分是将两个卷积神经网络输出的特征向量进行度量计算，计算结果输出到全连接层结合sigmoid函数，将计算结果映射到区间[0,1]；

卷积层包括64通道的10×10的卷积核，使用Relu函数去线性化以及L2正则化，64通道的10×10的卷积核的下一层是max pooling层，max pooling层的下一层是128通道的7×7卷积核，使用Relu函数去线性及L2正则化，128通道的7×7卷积核的下一层max pooling层，max pooling层的下一层是128通道的4×4卷积核，使用Relu函数去线性化及L2正则化，128通道的4×4卷积核的下一层是maxpooling层，maxpooling层的下一层是256通道的4×4卷积核，使用Relu去线性化及L2正则化，卷积层的步长为1，全零填充，池化层的过滤器大小为2×2，步长为2；

2.2训练构建好的网络：

定义目标损失函数：

两个神经网络之间共享权值和偏置，保证输入的两个极其相似的图片不会被各自的网络映射到特征空间中差距较大的位置，令x₁,x₂为孪生神经网络的输入，t为指示x₁,x₂是否匹配的二值标签，t∈{0,1}；如果x₁,x₂相似，则t＝0，如果不相似则t＝1；训练过程中使用Logistic回归，因此损失函数是预测和目标之间的二分类交叉熵，并加入L2正则化项，以学习更平滑的权重；

损失函数见公式(1)：

D(x₁,x₂,t)＝t·log(p(x₁,x₂))+(1-t)·log(1-p(x₁,x₂))+λ^T·||W||₂ (1)

其中λ^T·||W||₂是正则化部分，λ是正则化参数，λ^T是λ的转置，W是权重值，p为计算孪生网络输入的两个特征向量的相似概率，采用Adam随机梯度下降优化器，以及公式(1)为目标函数迭代训练，设置迭代次数为10000次；

2.3保存训练好的满文匹配孪生神经网络：

本文的评价指标是公式(2)，在训练过程中，当precision(正确率)大于设定值时保存当前训练好的网络模型；

。

2.如权利要求1所述的基于one-shot Siamese卷积神经网络的少样本满文匹配方法，其特征在于，第1步包括如下具体步骤：

1.1数据集构建：

利用满文输入法，构建了一个包含11种字体的666类满文单词数据集，将666类满文数据分为3个部分，训练集、验证集和数据集；

1.2数据预处理：

扫描666类满文单词的11种不同字体文档，获得满文文档的彩色图像，因此图像预处理第一步是灰度化，满文单词长短不一，需要将图片进行归一化处理，统一为105*105，归一化尺寸的大小可调节，根据实际情况选择一个适当的大小，避免图片失真严重。

3.如权利要求1所述的基于one-shot Siamese卷积神经网络的少样本满文匹配方法，其特征在于，所述第3步包括如下具体步骤：用验证集验证步骤2.3中的网络模型，并微调网络参数得到最终的满文单词匹配的网络模型，保存好的模型对新的样本进行测试。

Images