CN109948742B - 基于量子神经网络的手写体图片分类方法 - Google Patents

Abstract

本发明公开了一种基于量子神经网络的手写体图片分类方法，其实现步骤是：(1)提取手写体图片特征；(2)构建二进制的量子粒子群算法的粒子种群；(3)利用粒子种群构建卷积神经网络；(4)训练卷积神经网络；(5)选取最优卷积神经网络；(6)判断最优卷积神经网络的分类准确度是否小于0.85，若是，执行步骤(7)；否则，执行步骤(8)；(7)利用量子更新策略，更新每个粒子的位置信息对应的卷积神经网络的结构和参数后执行步骤(3)；(8)输出最优卷积神经网络的分类结果。本发明具有分类准确高，能够处理大规模复杂的手写体图片分类的优点，有效的克服了现有技术中需要大量卷积神经网络的专业知识和设计经验的问题。

Description

基于量子神经网络的手写体图片分类方法

技术领域

本发明属于图像处理技术领域，更进一步涉及图像分类技术领域的一种基于量子神经网络的手写体图片分类方法。本发明是利用二进制编码的量子行为粒子群优化算法的不确定特性，可针对不同的手写图片数据集自动生成不同的深度神经网络模型，用于提取手写体图片的特征并利用该特征进行全自动分类。本发明可适用于处理大规模复杂的手写体图片分类。

背景技术

手写体图片分类是指将手写体图片转化为阿拉伯数字的过程，实际上是手写轨迹的坐标序列到阿拉伯数字的一个映射过程，是人机交互最自然、最方便的手段之一。随着智能手机、掌上电脑等移动信息工具的普及，手写体图片分类技术也进入了规模应用时代。手写体图片分类技术能够使用户按照最自然、最方便的输入方式进行文字输入，易学易用，可取代键盘或者鼠标。手写体图片分类一直是模式识别和机器学习领域的一个研究热点，该项技术已经被广泛应用在在税务表格处理、邮件分类和银行支票识别等方面。在这些应用中，通常要求手写体图片分类方法具有较高的识别速度和识别精确度，并且要求分类过程的全自动化。

西安电子科技大学在其申请的专利文献“基于卷积神经网络与支持向量机的手写数字识别方法”(申请号：201611136985.6，公开号：CN106599941A)中公开了一种基于卷积神经网络与支持向量机的手写数字识别方法。该方法首先选择大量包含不同手写数字的样本作为训练样本集，然后进行归一化操作，搭建并训练两个卷积神经网络，再将两个卷积神经网络的全连接层串接并与搭建的支持向量机连接得到组合网络，最后多次迭代训练组合网络，对手写数字图片测试集测试得到手写数字识别结果。该方法存在的不足之处是，需要大量卷积神经网络的专业知识和设计经验，所以处理大规模复杂的手写体图片分类时其分类结果的可靠性和稳定性难以保证，需要大量样本支撑进行训练才能得到较好的识别结果。

Bin Wang,Yanan Sun,Bing Xue和Mengjie Zhang在其发表的论文“EvolvingDeep Convolutional Neural Networks by Variable-length Particle SwarmOptimization for Image Classification”(in:2018 IEEE Congress on EvolutionaryComputation(CEC).IEEE,2018:1-8.)中提出了一种基于传统粒子群算法的半自动化手写体图片分类方法。该方法利用IP编码技术将每个网络层编码为相应的决策变量，并且考虑到不同的网络层对编码空间的要求不同，将参数按特定的顺序放置在特定的序列中，在连续性空间搜索卷积神经网络结构，并用搜索出来的最优结构对手写体图片进行分类，表现出了良好的性能，并具有易于实现、计算成本低、可调整参数少等优点。但是，该方法存在的不足之处是：在连续性的搜索空间中搜索出来的卷积神经网络结构绝大部分是无效的，需要花大量的时间重复的搜索，影响了手写体图片分类的效率。其次，该方法在编码过程总需要卷积神经网络的专业知识和设计经验，难以自动化处理大规模复杂的手写体图片分类。

发明内容

本发明的目的在于针对上述已有技术的不足，提出一种基于量子神经网络的手写体图片分类方法，解决了卷积神经网络的设计难题，并将其运用在手写体图片分类。

实现本发明目的的思路是，利用二进制的编码策略构建多个卷积神经网络，基于量子行为的不确定性，利用量子更新策略对卷积神经网络的结构和参数进行优化。

本发明的具体步骤包括如下：

(1)提取手写体图片特征：

(1a)从手写体图片数据库中随机选取60000张图片，每张手写体图片大小为28×28个像素点；从每张手写体图片中，将每行的像素点组成一个向量，将所有向量组成该张手写体图片特征；

(1b)将60000张手写体图片特征划分为训练集和测试集，大小分别是10000张和50000张；

(2)构建二进制的量子粒子群算法的粒子种群：

将二进制的量子粒子群算法的粒子数量设置为30，根据二进制序列的初始化策略确定每个粒子的位置信息；

(3)利用粒子种群构建卷积神经网络：

(3a)根据二进制序列的编码策略，确定二进制的量子粒子群算法中每个粒子的位置信息所对应的卷积神经网络的网络层的类型及其参数，将所有的网络层依次连接，得到该粒子对应的卷积神经网络；得到30个粒子分别对应的30个卷积神经网络；

(3b)将每个卷积神经网络的第一层修均设定为输入层，神经元个数设置为784个，激活函数为ReLU函数；将最后一层均设定为输出层，神经元个数设置为10，激活函数为softmax函数；

(3c)将每个卷积神经网络中的权重值，设置为服从0到1之间的均匀分布的随机数；

(4)训练卷积神经网络：

将训练集中的手写体图片特征分别输入到每个卷积神经网络中，分别对每个卷积神经网络进行10次迭代训练，最终得到30个训练好的卷积神经网络；

(5)选取最优卷积神经网络：

(5a)将测试集中的手写体图片特征分别输入到每个训练好的卷积神经网络，分别对每个卷积神经网络进行1次测试，最终每个卷积神经网络分别得到测试集的手写体图片的分类结果；

(5b)在每个卷积神经网络的分类结果中，统计分类正确的手写体图片数量，将其与测试集的手写体图片总数的比值，作为该卷积神经网络的分类准确度，将分类准确度最大的卷积神经网络作为最优卷积神经网络；

(6)判断最优卷积神经网络的分类准确度是否小于0.85，若是，执行步骤(7)；否则，执行步骤(8)；

(7)利用量子更新策略，更新每个粒子的位置信息对应的卷积神经网络的结构和参数后执行步骤(3)；

(8)输出最优卷积神经网络的分类结果。

本发明与现有技术相比具有如下优点：

第一，由于本发明仅利用二进制序列的编码策略，将二进制序列构建成多个卷积神经网络，克服了现有技术中需要大量卷积神经网络的专业知识和设计经验的问题，降低了构建卷积神经网络的难度，使得本发明能够处理大规模复杂的手写体图片分类。

第二，由于本发明仅利用量子更新策略，将卷积神经网络的结构和参数进行多次优化，克服了现有技术中由于搜索出来的卷积神经网络结构绝大部分是无效的，需要花大量的时间重复搜索的问题，使得本发明提高了对手写体图片的识别速度和识别精确度，保证了分类结果的可靠性和稳定性。

附图说明

图1为本发明的流程图；

图2为本发明仿真实验中使用的手写体图片样本图；

图3为本发明仿真实验的结果图。

具体实施方式

下面结合附图，对本发明作进一步的详细描述。

参照附图1，对本发明实现的步骤作进一步的详细描述。

步骤1，提取手写体图片特征。

从手写体图片数据库中随机选取60000张图片，每张手写体图片大小为28×28个像素点；从每张手写体图片中，将每行的像素点组成一个向量，将所有向量组成该张手写体图片特征。

将60000张手写体图片特征划分为训练集和测试集，大小分别是10000张和50000张。

步骤2，构建二进制的量子粒子群算法的粒子种群。

将二进制的量子粒子群算法的粒子数量设置为30，根据二进制序列的初始化策略确定每个粒子的位置信息。

所述的二进制序列的初始化策略的步骤如下：

第1步，将二进制的量子粒子群算法的每个粒子的位置信息为9个二进制序列，每个二进制序列含有15个bit位；30粒子分别对应30个卷积神经网络结构，粒子中的9个二进制序列分别对应卷积神经网络结构的9个网络层。

第2步，将每个粒子的二进制序列中的15个bit位均随机设置为0或1，将该粒子的位置信息作为该粒子的个体最优位置。

第3步，随机选择一个粒子，将其个体最优位置作为粒子种群的全局最优位置。

步骤3，利用粒子种群构建卷积神经网络。

根据二进制序列的编码策略，确定二进制的量子粒子群算法中每个粒子的位置信息所对应的卷积神经网络的网络层的类型及其参数，将所有的网络层依次连接，得到该粒子对应的卷积神经网络；得到30个粒子分别对应的30个卷积神经网络。

所述的二进制序列的编码策略是指：由二进制序列的前3位决定该序列对应的网络层类型，后12位根据对应网络层的参数特征划分区段，将各个区段序列转换成十进制数，作为该区段所对应参数值，具体策略如下：

A.将前3位为000或110的二进制序列对应的网络层类型确定为卷积层，后12位划分成3个区段，长度分别为3、7、2，依次对应卷积层的核大小、核数量、步长。

B.将前3位为001或110的二进制序列对应的网络层类型确定为池化层，后12位划分成3个区段，长度分别为2、2、8，依次对应池化层的核大小、步长、类型。

C.将前3位为010或101的二进制序列对应的网络层类型确定为全连接层，后12位对应连续层的神经元数目。

D.将前3位为011或100的二进制序列对应网络层类型随机确定为上述3种中的一种，后12位对应该网络层类型的参数。

将每个卷积神经网络的第一层修均设定为输入层，神经元个数设置为784个，激活函数为ReLU函数；将最后一层均设定为输出层，神经元个数设置为10，激活函数为softmax函数。

将每个卷积神经网络中的权重值，设置为服从0到1之间的均匀分布的随机数。

步骤4，训练卷积神经网络。

将训练集中的手写体图片特征分别输入到每个卷积神经网络中，分别对每个卷积神经网络进行10次迭代训练，最终得到30个训练好的卷积神经网络。

步骤5，选取最优卷积神经网络。

将测试集中的手写体图片特征分别输入到每个训练好的卷积神经网络，分别对每个卷积神经网络进行1次测试，最终每个卷积神经网络分别得到测试集的手写体图片的分类结果。

在每个卷积神经网络的分类结果中，统计分类正确的手写体图片数量，将其与测试集的手写体图片总数的比值，作为该卷积神经网络的分类准确度，将分类准确度最大的卷积神经网络作为最优卷积神经网络。

步骤6，判断最优卷积神经网络的分类准确度是否小于0.85，若是，执行步骤7；否则，执行步骤8。

步骤7，利用量子更新策略，更新每个粒子的位置信息对应的卷积神经网络的结构和参数后执行步骤3。

所述的量子更新策略的步骤如下：

第1步，在二进制的量子粒子群算法的每个粒子中，判断该粒子的位置信息对应的卷积神经网络的分类准确度，是否大于该粒子的个体最优位置对应的卷积神经网络的分类准确度，若是，将该粒子的位置信息作为该粒子的个体最优位置，否则，不改变该粒子的个体最优位置。

第2步，判断个体最优位置对应的卷积神经网络的分类准确度的最大值，是否大于粒子种群的全局最优位置对应的卷积神经网络的分类准确度，若是，将最大值所对应的个体最优位置作为种群的全局最优位置，否则，不改变种群的全局最优位置。

第3步，利用量子粒子位置更新公式，更新每个粒子的位置信息对应的卷积神经网络的结构和参数，量子粒子位置更新公式如下：

其中，x_i(t+1)表示第i个粒子的位置信息在第t次更新后对应的卷积神经网络的结构和参数，

是(0,1)范围内选取的随机小数，P_i表示第i个粒子的个体最优位置对应的卷积神经网络的结构和参数，P_g表示粒子种群的全局最优位置对应的卷积神经网络的结构和参数，β(t)表示第t次更新各个粒子对应的卷积神经网络的结构和参数时的收缩扩展因子，β(t)＝1-0.5·t/30，|·|表示取绝对值操作，M表示各个粒子对应的卷积神经网络的总数，ln(1/u)表示更新每个粒子对应的卷积神经网络的结构和参数时所利用的量子不确定性，u是(0,1)范围内选取的随机小数。

步骤8，输出最优卷积神经网络的分类结果。

本发明的效果可以通过以下仿真实验做进一步的说明。

1.仿真实验条件：

本发明的仿真实验条件为：异构平台为NVIDIA异构开发平台。

NVIDIA异构开发平台主机端CPU为Core(TM)i5-6300HQ，2.30GHz，内存8G，两块型号为Nvidia GeForce GTX1080显卡，显存16G，系统为64位Ubuntu16，软件采用Vim，编程语言为Python，软件开发工具包为Keras。

2.仿真实验内容及其仿真实验结果分析：

本发明仿真实验是采用本发明的方法，对加拿大蒙特利尔大学的MDRBI手写体图片集进行分类，该图片集是目前最复杂的手写体图片集之一，目前现有的手写体自动分类方法对该图片集的最高分类准确度仅为0.75。该图片集有10种分类标签，共有60000张手写体图片，全部被用于本发明仿真实验。从该图片集中随机选取6张手写体图片，如图2(a)、图2(b)、图2(c)、图2(d)、图2(e)、图2(f)所示，每张手写体图片的尺寸均为28×28，每张手写体图片中均有复杂的背景和随机的噪声，并且每张手写体图片中的数字均被旋转不同的角度。

本发明仿真实验按照本发明的方法构建了一个量子粒子种群，对该种群中各个粒子所对应的卷积神经网络进行30次优化，每次优化后记录该该种群中最优卷积神经网络对MDRBI手写体图片集的分类准确度，将每个分类准确度分别描绘成一个点，并将各点依次连接成如图3所示的曲线。

从图3中的曲线可以看出，最优卷积神经网络的分类准确不断提高，30次优化后分类准确可以达到0.85，这是由于本发明所提出的二进制序列的编码策略所具有的二进制特性，使得每个量子粒子在离散搜索空间中充分利用了量子不确定性，发挥出了巨大的搜索潜力。在离散搜索空间中，每一个粒子的位置信息进行一次更新都可以产生一个新的卷积神经网络结构，增加了卷积神经网络结构的多样性，在构建过程中表现出了强大的优化能力，使得最优卷积神经网络的分类准确度不断提高。

Claims (2)

1.一种基于量子神经网络的手写体图片分类方法，其特征在于，采用二进制的量子粒子群优化算法构建卷积神经网络结构，对手写体图片进行分类，并利用量子进化策略对卷积神经网络结构和参数进行多次优化，最终得到手写体图片最优的分类结果，该方法的具体步骤包括如下：

(1)提取手写体图片特征：

(1a)从手写体图片数据库中随机选取60000张图片，每张手写体图片大小为28×28个像素点；从每张手写体图片中，将每行的像素点组成一个向量，将所有向量组成该张手写体图片特征；

(1b)将60000张手写体图片特征划分为训练集和测试集，大小分别是10000张和50000张；

(2)构建二进制的量子粒子群算法的粒子种群：

将二进制的量子粒子群算法的粒子数量设置为30，根据二进制序列的初始化策略确定每个粒子的位置信息；

(3)利用粒子种群构建卷积神经网络：

(3a)根据二进制序列的编码策略，确定二进制的量子粒子群算法中每个粒子的位置信息所对应的卷积神经网络的网络层的类型及其参数，将所有的网络层依次连接，得到该粒子对应的卷积神经网络；得到30个粒子分别对应的30个卷积神经网络；

所述的二进制序列的编码策略是指：由二进制序列的前3位决定该序列对应的网络层类型，后12位根据对应网络层的参数特征划分区段，将各个区段序列转换成十进制数，作为该区段所对应参数值，具体策略如下：

A.将前3位为000或110的二进制序列对应的网络层类型确定为卷积层，后12位划分成3个区段，长度分别为3、7、2，依次对应卷积层的核大小、核数量、步长；

B.将前3位为001或110的二进制序列对应的网络层类型确定为池化层，后12位划分成3个区段，长度分别为2、2、8，依次对应池化层的核大小、步长、类型；

C.将前3位为010或101的二进制序列对应的网络层类型确定为全连接层，后12位对应连续层的神经元数目；

D.将前3位为011或100的二进制序列对应网络层类型随机确定为上述3种中的一种，后12位对应该网络层类型的参数；

(3b)将每个卷积神经网络的第一层修均设定为输入层，神经元个数设置为784个，激活函数为ReLU函数；将最后一层均设定为输出层，神经元个数设置为10，激活函数为softmax函数；

(3c)将每个卷积神经网络中的权重值，设置为服从0到1之间的均匀分布的随机数；

(4)训练卷积神经网络：

将训练集中的手写体图片特征分别输入到每个卷积神经网络中，分别对每个卷积神经网络进行10次迭代训练，最终得到30个训练好的卷积神经网络；

(5)选取最优卷积神经网络：

(5a)将测试集中的手写体图片特征分别输入到每个训练好的卷积神经网络，分别对每个卷积神经网络进行1次测试，最终每个卷积神经网络分别得到测试集的手写体图片的分类结果；

(5b)在每个卷积神经网络的分类结果中，统计分类正确的手写体图片数量，将其与测试集的手写体图片总数的比值，作为该卷积神经网络的分类准确度，将分类准确度最大的卷积神经网络作为最优卷积神经网络；

(6)判断最优卷积神经网络的分类准确度是否小于0.85，若是，执行步骤(7)；否则，执行步骤(8)；

(7)利用量子进化策略，更新每个粒子的位置信息后执行步骤(3)；

所述的量子进化策略的步骤如下：

第一步，在二进制的量子粒子群算法的每个粒子中，判断该粒子的位置信息对应的卷积神经网络的分类准确度，是否大于该粒子的个体最优位置对应的卷积神经网络的分类准确度，若是，将该粒子的位置信息作为该粒子的个体最优位置，否则，不改变该粒子的个体最优位置；

第二步，判断最优卷积神经网络的分类准确度是否大于种群的全局最优位置对应的卷积神经网络的分类准确度，若是，将最优卷积神经网络所对应的粒子的个体最优位置作为种群的全局最优位置，否则，不改变种群的全局最优位置；

第三步，利用量子粒子位置更新公式，更新每个粒子的位置信息，量子粒子位置更新公式如下：

其中，x_i(t+1)表示在第t次更新后第i个粒子的位置信，

是(0,1)范围内选取的随机小数，P_i表示第i个粒子的个体最优位置，P_g表示种群的全局最优位置，β(t)表示第t次更新时粒子种群的收缩扩展因子，β(t)＝1-0.5·t/30，|·|表示取绝对值操作，M表示二进制的量子粒子群算法的粒子总数，u表示量子粒子的不确定性，u是(0,1)范围内选取的随机小数；

(8)输出最优卷积神经网络的分类结果。

2.根据权利要求1所述的基于量子神经网络的手写体图片分类方法，其特征在于：步骤(2)中所述的二进制序列的初始化策略的步骤如下：

第一步，将二进制的量子粒子群算法的每个粒子的位置信息为9个二进制序列，每个二进制序列含有15个bit位；30粒子分别对应30个卷积神经网络结构，粒子中的9个二进制序列分别对应卷积神经网络结构的9个网络层；

第二步，将每个粒子的二进制序列中的15个bit位均随机设置为0或1，将该粒子的位置信息作为该粒子的个体最优位置；

第三步，随机选择一个粒子，将其个体最优位置作为种群的全局最优位置。

Images