CN108960347A - 一种卷积神经网络手写体识别排序稳定性的效果评估系统及方法 - Google Patents

Abstract

本发明涉及卷积神经网络手写体识别排序稳定性的效果评估系统及方法，包含卷积神经网络手写体识别模块，参数估计模块以及不确定性计算模块。其中卷积神经网络手写体识别模块以用户手写的数据为输入数据，通过卷积神经网络(CNN)，最后输出预测的分类概率，并依据此分类进行排序；参数估计模块以卷积神经网络(CNN)的手写体识别模块的输出：以识别模块的预测概率为输入，并采用统计的方式，对关系不确定性计算所需参数进行估计；不确定性计算模块以参数估计模块输出的参数作为输入数据，通过设计一种数据不确定性和数据关系不确定性的融合概率计算模型，估计卷积神经网络手写体识别排序结果的稳定性。

Description

一种卷积神经网络手写体识别排序稳定性的效果评估系统及 方法

技术领域

本发明属于效果评估领域，具体涉及卷积神经网络手写体识别排序稳定性的评估系统及方法。

背景技术

手写体识别是指将在手写设备上书写时产生的有序轨迹信息化转化为汉字内码的过程，实际上是手写轨迹的坐标序列到汉字的内码的一个映射过程，是人机交互最自然、最方便的手段之一。随着智能手机、掌上电脑等移动信息工具的普及，手写识别技术也进入了规模应用时代。

评价一个手写体效果好坏的标准主要由识别后推荐字的准确性决定。目前有不少成熟的针对识别手写体的算法，例如：卷积神经网络(CNN)，K-近邻(KNN)分类算法，支持向量机(SVM)等。这些算法在识别后给出推荐字都存在概率误差。例如，卷积神经网络CNN在经过卷积层来得到数据图片中的一系列特征，然后使用激活函数，再用汇聚层在空间维度上进行降维度操作。如此反复，最后使用全连接层，尺寸变为[1x1x10]，就得到了10个类别的分类概率值。然而这些得到的概率值与实际真实值存在误差，数据上的不确定性会影响数据关系的不确定性，数据间关系的结果会进而影响推荐给用户字的准确性。

发明内容

本发明技术解决问题：克服现有技术的不足，提供一种卷积神经网络手写体识别排序稳定性的评估系统，针对卷积神经网络手写体识别，建立能够代表数据不确定和排序稳定性的识别效果评估模型，解决目前识别排序稳定性难以估计的问题。

本发明采取的技术方案如下：

一种卷积神经网络手写体识别排序稳定性的效果评估系统，包括：卷积神经网络手写体识别模块、参数估计模块和不确定性计算模块；

所述卷积神经网络手写体识别模块，以手写体样本的图片数据作为输入数据，该数据通过卷积神经网络卷积层进行卷积操作，经过不同卷积核的卷积运算后得到一系列特征矩阵，特征矩阵经池化层做池化操作，利用池化操作将数据量减小，同时提取原有的图像特征，处理之后得到的数据为手写体识别特征数据；经卷积神经网络学习到的特征将输入全连接层进行手写体分类，得到手写体所属的各类概率统计信息；

所述参数估计模块，根据对所述手写体所属的各类概率统计信息，估计出不确定性计算模块所需参数，所述参数为手写体识别系统排序结果的概率取值范围，概率的不确定性程度与数据出现不确定性的概率；

所述不确定性计算模块，利用参数估计模块得到的参数，通过数据不确定性与数据关系不确定性关系式，得出卷积神经网络手写体识别排序的稳定性。

所述卷积神经网络手写体识别模块中，得到预测的手写体概率具体如下：

所述卷积神经网络(CNN)采用三层神经网络，包含卷积层，池化层和全连接层，过程如下：

(1)卷积层

卷积层以一个手写体的像素图像作为输入，即一个4*4的image，通过卷积核进行卷积运算，经过两个2*2的卷积核进行卷积运算后，变成两个3*3的特征矩阵；

(2)池化层

通过2*2的卷积核操作后，将原始图像由4*4的尺寸变为了3*3的一个新的图片，池化层的主要目的是通过降采样的方式，在不影响图像质量的情况下，压缩图片，减少参数，池化方法采用两种之一，MaxPooling：取滑动窗口里最大的值和AveragePooling：取滑动窗口内所有值的平均值，本发明经过大量试验确定池化层采用MaxPooling，大小为2*2，步长为1，取每个窗口最大的数值重新，图片的尺寸就会由3*3变为2*2：(3-2)+1＝2；

(3)全连接层

经池化后的特征矩阵作为全连接层的输入，通过softmax函数对其进行分类，得到预测的手写体概率。

所述参数估计模块中，通过统计的方式，估计出手写体识别系统排序结果的概率取值范围，概率的不确定性程度与数据出现不确定性的概率的具体过程如下：

(1)估计概率取值范围n，首先确定每一类手写体预测概率的取值范围n，手写体识别模块输出的每一类手写体预测概率值为[0,1]上的值，取n＝1；

(2)估计概率的不确定性程度s，每次训练时，对于每一类手写体j的每一个样本i，手写体识别模块为参数估计模块输出其属于每个类别k的概率p_i,j,k，然后手写体预测概率的不确定性大小其中y_i,j为第i类手写体第i个样本正确的标签，其中为第i类手写体第i个样本第a个预测标签，为参数为y_i,j的Delta函数；

(3)估计数据出现不确定性的概率p_E，当实际概率超过或低于真实概率τ时，认为出现了数据不确定性，

为参数为y_i,j的Delta函数，II(x)为标志函数；本发明经过反复试验取τ＝0.1。

所述不确定性计算模块，将参数估计模块输出的参数代入数据不确定性与数据关系不确定性关系式，进而得出概率p_H和概率p_G：

再利用闭合条件下数据不确定性与数据关系不确定性的关系式计算排序结果的不确定性，应用融合模型：

p_R＝2p_E(1-p_E)P_H+p_E ²P_G

当已知系数k时，根据计算出的<P_H,P_G〉，推导出数据不确定性与数据关系不确定性的关系式p_R＝2p_E(1-p_E)P_H+p_E ²P_G，其中p_R为关系不确定性概率，p_E为数据不确定性概率，P_H为单生不确定性概率，P_G为耦合不确定性概率；计算出数据关系不确定性出现的概率p_R，p_R越高，排序不确定性越大，p_R越低，则排序不确定性越低。

本发明的一种卷积神经网络手写体识别排序稳定性的效果评估方法，包括以下步骤：

(1)使用了卷积神经网络识别手写体来得到手写体所属的各类概率统计信息；

(2)使用了参数估计的方法来预估参数值；通过得到的手写体各类的概率对手写体所属的各类概率进行统计，估计出不确定性计算模块所需参数；

(3)采用闭合条件下数据不确定性和数据关系不确定性的关系式评估手写体识别排序稳定性。

本发明与现有技术相比的有益效果在于：本发明实现了一种卷积神经网络手写体识别排序稳定性的效果的评估，通过数学统计模型即数据不确定和排序稳定性的识别效果评估模型，精准地预测出卷积神经网络手写体识别排序结果的稳定性。

附图说明

图1为本发明的实现流程图。

具体实施方式

下面结合附图及实施例对发明内容进一步详细说明。

手写体识别是一种理论与应用都比较成熟的技术，由于移动终端的广泛普及，该技术被广泛应用。本发明主要基于建立数据不确定性和数据关系不确定性的关联模型对手写体识别进行效果评估。

如图1所示，本发明的卷积神经网络手写体识别排序稳定性的评估系统，包括三个模块：手写体识别模块，参数估计模块以及不确定性计算模块。其中手写体识别模块为一个卷积神经网络，输入手写体数据，然后通过卷积神经网络，输出该手写体属于每一类的预测概率，并依据该概率进行排序，并将排序的结果输出给用户。参数估计模块以手写体识别模块的输出：预测概率为输入，采用统计的方式，对关系不确定性计算所需参数进行估计。不确定性计算模块为闭合条件下数据不确定性和数据关系不确定性的关系式，以参数估计模块输出的参数为输入，对手写体识别排序不确定性进行估计。

1.手写体识别模块为卷积深度神经网络的手写体识别算法，其主要包括两个过程：模型训练和模型应用两个部分。在模型训练部分，模型输入手写体和手写体对应标签，采用随机梯度下降算法训练神经网络，输出每一类手写体j每个样本i属于各个类别k的预测概率p_i,j,k；在模型应用部分，模型输入手写体，输出各个文字的对应概率，并依据该概率进行排序，将排序的结果进行输出至用户。

2.参数估计模块用于估计不确定性计算模块中所需要的相关参数

2.1.估计概率取值范围n，首先确定每一类手写体预测概率的取值范围n，由于手写体识别模块输出的每一类手写体预测概率值为[0,1]上的值，因此n＝1；

2.2.估计概率的不确定性程度s，每次训练时，对于每一类手写体j的每一个样本i，手写体识别模块可以为参数估计模块输出其属于每个类别k的概率p_i,j,k，然后手写体预测概率的不确定性程度其中y_i,j为第i类手写体第i个样本正确的标签，其中为第i类手写体第i个样本第k个预测标签。

2.3.估计概率p_H和概率p_G，根据下面的公式，带入求得p_H和p_G：

其中k为不确定性因子，Li₂为对数积分函数。

2.4.估计数据出现不确定性的概率p_E，当实际概率超过或低于真实概率τ时，认为出现了数据不确定性。在本发明实施例取τ＝0.1。

为参数为yi_,j的Delta函数，II(x)为标志函数。

3.不确定性计算模块利用闭合条件下数据不确定性与数据关系不确定性的关系式计算排序结果的不确定性。

随后应用的融合模型：

p_R＝2p_E(1-p_E)P_H+p_E ²P_G

当已知系数k时，可以根据计算出的<P_H,P_G〉，推导出数据不确定性与数据关系不确定性的关系式p_R＝2p_E(1-p_E)P_H+p_E ²P_G，其中p_R为关系不确定性概率，p_E为数据不确定性概率，P_H为单生不确定性概率，P_G为耦合不确定性概率。便可以准确计算出数据关系不确定性出现的概率p_R，并将其输出。p_R越高，说明排序不确定性越大，p_R越低，则说明排序不确定性越低。

提供以上实施例仅仅是为了描述本发明的目的，而并非要限制本发明的范围。本发明的范围由所附权利要求限定。

Claims (6)

1.一种卷积神经网络手写体识别排序稳定性的效果评估系统，其特征在于，包括：卷积神经网络手写体识别模块、参数估计模块和不确定性计算模块；

所述卷积神经网络手写体识别模块，以手写体样本的图片数据作为输入数据，该数据通过卷积神经网络卷积层进行卷积操作，经过不同卷积核的卷积运算后得到一系列特征矩阵，特征矩阵经池化层做池化操作，利用池化操作将数据量减小，同时提取原有的图像特征，处理之后得到的数据为手写体识别特征数据；经卷积神经网络学习到的特征将输入全连接层进行手写体分类，得到手写体所属的各类概率统计信息；

所述参数估计模块，根据对所述手写体所属的各类概率统计信息，估计出不确定性计算模块所需参数，所述参数为手写体识别系统排序结果的概率取值范围，概率的不确定性程度与数据出现不确定性的概率；

所述不确定性计算模块，利用参数估计模块得到的参数，通过数据不确定性与数据关系不确定性关系式，得出卷积神经网络手写体识别排序的稳定性。

2.根据权利要求1所述的卷积神经网络手写体识别排序稳定性的效果评估系统，其特征在于：所述卷积神经网络手写体识别模块中，得到预测的手写体概率具体如下：

所述卷积神经网络(CNN)采用三层神经网络，包含卷积层，池化层和全连接层；

卷积层以一个手写体的4*4像素图像作为输入，通过卷积核进行卷积运算，经过两个2*2的卷积核进行卷积运算后，变成两个3*3的特征矩阵；

池化层采用MaxPooling，大小为2*2，步长为1，取每个窗口最大的数值重新，图片的尺寸由3*3变为2*2；

全连接层：经池化层后的特征矩阵作为全连接层的输入，通过softmax函数对其进行分类，得到预测的手写体概率。

3.根据权利要求1所述的卷积神经网络手写体识别排序稳定性的效果评估系统，其特征在于：所述参数估计模块中，通过统计的方式，估计出手写体识别系统排序结果的概率取值范围，概率的不确定性程度与数据出现不确定性的概率的具体过程如下：

(1)估计概率取值范围n，首先确定每一类手写体预测概率的取值范围n，手写体识别模块输出的每一类手写体预测概率值为[0,1]上的值，取n＝1；

(2)估计概率的不确定性程度s，每次训练时，对于每一类手写体j的每一个样本i，手写体识别模块为参数估计模块输出其属于每个类别k的概率p_i,j,k，然后手写体预测概率的不确定性大小其中y_i,j为第i类手写体第i个样本正确的标签，其中为第i类手写体第i个样本第a个预测标签，为参数为y_i,j的Delta函数；

(3)估计数据出现不确定性的概率p_E，当实际概率超过或低于真实概率τ时，认为出现了数据不确定性，

为参数为y_i,j的Delta函数，II(x)为标志函数。

4.根据权利要求3所述的卷积神经网络手写体识别排序稳定性的效果评估系统，其特征在于：所述τ＝0.1。

5.根据权利要求书1所述的卷积神经网络手写体识别排序稳定性的效果评估系统，其特征在于：所述不确定性计算模块，将参数估计模块输出的参数代入数据不确定性与数据关系不确定性关系式，进而得出概率p_H和概率p_G：

再利用闭合条件下数据不确定性与数据关系不确定性的关系式计算排序结果的不确定性，应用融合模型：

p_R＝2p_E(1-p_E)P_H+p_E ²P_G

当已知系数k时，根据计算出的<P_H,P_G〉，推导出数据不确定性与数据关系不确定性的关系式p_R＝2p_E(1-p_E)P_H+p_E ²P_G，其中p_R为关系不确定性概率，p_E为数据不确定性概率，P_H为单生不确定性概率，P_G为耦合不确定性概率；计算出数据关系不确定性出现的概率p_R，p_R越高，排序不确定性越大，p_R越低，则排序不确定性越低。

6.一种卷积神经网络手写体识别排序稳定性的效果评估方法，其特征在于，包括以下步骤：

(1)使用了卷积神经网络识别手写体来得到手写体所属的各类概率统计信息；

(2)使用了参数估计的方法来预估参数值；通过得到的手写体各类的概率对手写体所属的各类概率进行统计，估计出不确定性计算模块所需参数；

(3)采用闭合条件下数据不确定性和数据关系不确定性的关系式评估手写体识别排序稳定性。