CN109376798A - 一种基于卷积神经网络二氧化钛晶格相的分类方法 - Google Patents

Abstract

本发明公开了一种基于卷积神经网络二氧化钛晶格相的分类方法。该设计方法包括：步骤一、采集数据集：步骤二、对步骤一采集到的数据集进行分割；步骤三、通过步骤二分割后的数据集建立卷积神经网络模型；步骤四、通过步骤二分割后的验证集优化模型参数；步骤五、多模型融合；1)、建立多个步骤三中的卷积神经网络模型，其中模型的卷积核和填充层参数选择是不同的，对数据集进行预测，保存并记录结果；2)、对多个模型的最终结果进行加权平均，每个模型的权重通过其在测试集的表现上来确定；步骤六、测试最终结果。该方法能帮助科研人员节省判断图像种类的时间，加快科研进度。

Description

一种基于卷积神经网络二氧化钛晶格相的分类方法

技术领域：

本发明涉及一种基于卷积神经网络二氧化钛晶格相的分类方法，属于机器学习工程技术领域。

背景技术：

二氧化钛(化学式：TiO₂)，白色固体或粉末状的两性氧化物，分子量：79.9，是一种白色无机颜料，具有无毒、最佳的不透明性、最佳白度和光亮度，被认为是现今世界上性能最好的一种白色颜料。钛白的粘附力强，不易起化学变化，永远是雪白的。广泛应用于涂料、塑料、造纸、印刷油墨、化纤、橡胶、化妆品等工业。它的熔点很高，也被用来制造耐火玻璃，釉料，珐琅、陶土、耐高温的实验器皿等。

二氧化钛可由金红石用酸分解提取，或由四氯化钛分解得到。二氧化钛性质稳定，大量用作油漆中的白色颜料，它具有良好的遮盖能力，和铅白相似，但不像铅白会变黑；它又具有锌白一样的持久性。二氧化钛还用作搪瓷的消光剂，可以产生一种很光亮的、硬而耐酸的搪瓷釉罩面。

二氧化钛一般分锐钛矿型(Anatase，简称A型)和金红石型(Rutile，简称R型)。

由于二氧化钛的介电常数较高，因此具有优良的电学性能。在测定二氧化钛的某些物理性质时，要考虑二氧化钛晶体的结晶方向。例如，金红石型的介电常数，随晶体的方向不同而不同，当与C轴相平行时，测得的介电常数为180，与此轴呈直角时为90，其粉末平均值为114。锐钛矿型二氧化钛的介电常数比较低只有48。

二氧化钛具有半导体的性能，它的电导率随温度的上升而迅速增加，而且对缺氧也非常敏感。例如，金红石型二氧化钛在20℃时还是电绝缘体，但加热到420℃时，它的电导率增加了107倍。稍微减少氧含量，对它的电导率会有特殊的影响，按化学组成的二氧化钛(TiO2)电导率＜10^-10s/cm，而TiO1.9995的电导率则高达＜10^-1s/cm。金红石型二氧化钛的介电常数和半导体性质对电子工业非常重要，该工业领域利用上述特性，生产陶瓷电容器等电子元器件。

研究人员通过化学方法制成纳米二氧化钛粒子，做高分辨TEM观察晶格条纹，图2为二氧化钛在高分辨TEM下的图片：

二氧化钛具有多种晶格相，研究人员的主要工作就是对采集到的二氧化钛在TEM下的图片，对其晶格相进行分类。这是一个繁琐的、重复性的工作，因此本发明在采集到大量透射电子显微镜二氧化钛的图片，可以作为数据集的情况下，使用机器学习替代传统的人工分类，可以提高科研人员的工作效率，与此同时还能提升对不同二氧化钛晶格相的分类的准确率。

在机器学习中，卷积神经网络是一种深度前馈人工神经网络，已成功地应用于图像识别，人工神经元可以响应周围单元，可以进行大型图像处理。卷积神经网络包括卷积层和池化层。

一般，卷积神经网络的基本结构包括两层，其一为特征提取层，每个神经元的输入与前一层的局部接受域相连，并提取该局部的特征。一旦该局部特征被提取后，它与其它特征间的位置关系也随之确定下来；其二是特征映射层，网络的每个计算层由多个特征映射组成，每个特征映射是一个平面，平面上所有神经元的权值相等。特征映射结构采用影响函数核小的sigmoid函数作为卷积网络的激活函数，使得特征映射具有位移不变性。此外，由于一个映射面上的神经元共享权值，因而减少了网络自由参数的个数。卷积神经网络中的每一个卷积层都紧跟着一个用来求局部平均与二次提取的计算层，这种特有的两次特征提取结构减小了特征分辨率。

卷积神经网络主要用来识别位移、缩放及其他形式扭曲不变性的二维图形，该部分功能主要由池化层实现。由于卷积神经网络的特征检测层通过训练数据进行学习，所以在使用卷积神经网络时，避免了显式的特征抽取，而隐式地从训练数据中进行学习；再者由于同一特征映射面上的神经元权值相同，所以网络可以并行学习，这也是卷积网络相对于神经元彼此相连网络的一大优势。卷积神经网络以其局部权值共享的特殊结构在语音识别和图像处理方面有着独特的优越性，其布局更接近于实际的生物神经网络，权值共享降低了网络的复杂性，特别是多维输入向量的图像可以直接输入网络这一特点避免了特征提取和分类过程中数据重建的复杂度。

由于卷积神经网络在图片分类上的广泛应用和高分类准确率，本发明采用卷积神经网络这一机器学习模型，结合已有的多种晶格相的二氧化钛数据集，训练一个卷积神经网络网络并使用两种不同的测试集进行预测，当两个测试集的预测结果同时提高表明网络性能成功提升。

发明内容

本发明的目的是提供一种基于卷积神经网络二氧化钛晶格相的分类方法，网络结构具有非常良好的泛化性，可以帮助科研人员节省判断图像种类的时间，加快科研进度。

上述的目的通过以下技术方案实现：

一种基于卷积神经网络二氧化钛晶格相的分类方法，该方法包括如下步骤：

步骤一、采集数据集：采集透射电子显微镜下二氧化钛不同晶格相的图片，并进行人工标注，即标记出图片所属的晶格相，一个标记好的图片称为样本；所有样本包含的晶格相的总的类别个数记为num_classes；将采集到的所有二氧化钛不同晶格相的数据统称为数据集；

步骤二、对步骤一采集到的数据集进行分割；

1)、第一种分割方法，传统的数据分割方法：将步骤一采集到数据集的70％作为训练集，20％作为验证集，10％作为测试集；

2)、第二种分割方法：将步骤一采集到数据集80％作为训练集，20％作为测试集，对训练集做K折交叉验证；

步骤三、通过步骤二分割后的数据集建立卷积神经网络模型，卷积神经网络模型的基本结构由输入层，卷积层，填充层，池化层，dropout层，全连接层，softmax层组成，通过softmax层计算得到最终结果；

步骤四、通过步骤二分割后的验证集优化模型参数；

步骤五、多模型融合；

1)、建立多个步骤三中的卷积神经网络模型，其中模型的卷积核和填充层参数选择是不同的，对数据集进行预测，保存并记录结果；

2)、对多个模型的最终结果进行加权平均，每个模型的权重通过其在测试集的表现上来确定；

步骤六、测试最终结果。

所述的基于卷积神经网络二氧化钛晶格相的分类方法，步骤二所述的K折交叉验证方法，K折交叉验证代表的是，初始采样的数据分割成K个子样本，一个单独的子样本被保留作为验证模型的数据，其他K-1个样本用来训练，交叉验证重复K次，每个子样本验证一次，把得到的K个结果进行平均，最终得到结果。

所述的基于卷积神经网络二氧化钛晶格相的分类方法，步骤二所述的准确率的具体算法是，设总测试图片数为N，预测正确的图片数为M，则准确率＝M/N。

所述的基于卷积神经网络二氧化钛晶格相的分类方法，步骤三所述的建立卷积神经网络的具体方法是：

1)、建立输入层，输入数据来源于步骤二分割后的训练集，图片分辨率为32*32，为黑白图像，转换成灰度张量为[32,32,1]，深度为1；

2)、建立卷积层，称之为filter层，利用多个卷积核与步骤三1)中灰度张量进行卷积，从而起到提取图像特征的作用；

3)、建立填充层，由于在步骤三2)卷积之后原张量的size变小了，所以人为建立一个填充层，把经过步骤三2)卷积后的张量的size填充成和原张量相同；

4)、建立池化层，用于提取经过步骤三3)填充后的灰度张量的特征并缩小数据，池化层设置为在size[2,2]的矩阵中取最大值；

5)、建立dropout层，用于不断的调整神经网络的节点，设置概率使经过步骤三4)池化后的灰度张量随机失活，从而过滤冗余信息；

6)、建立多个卷积层，充分提取经过步骤三5)dropout层处理后的灰度张量的特征；

7)、建立全连接层，把经过步骤三6)多个卷积层处理后的灰度张量变成一个size为[N,num_classes]的矩阵；

8)、通过softmax函数计算经过步骤三7)全连接层处理后的矩阵，输出最终分类结果。

所述的基于卷积神经网络二氧化钛晶格相的分类方法，步骤三8)所述的softmax函数，函数公式为在步骤三7)所述的全连接层计算后得到的size为[N,num_classes]的矩阵，对矩阵的每一行进行softmax函数计算，每一行得到最大值的位置就是分类的最终结果。

所述的基于卷积神经网络二氧化钛晶格相的分类方法，步骤四所述的优化卷积神经网络模型参数：

1)、不断调节步骤三2)中卷积核的个数，模型输入步骤二分割后的验证集，通过模型实验结果来选择最佳个数；

2)、不断调节步骤三5)中dropout层的失活概率，模型输入步骤二分割后的验证集，通过模型实验结果来选择最佳概率。

本发明的有益效果为：

1.采用机器学习方法对的二氧化钛晶格相进行分类，构建的神经网络分类器分类准确率明显高于人工分类，可以取代目前科研人员对二氧化钛晶格相进行繁琐的人工分类的操作，提升工作和科研效率；

2.在数据集分割方面采用两种分割方法，第一种将步骤一采集到数据集的70％作为训练集，20％作为验证集，10％作为测试集；第二种将步骤一采集到数据集80％作为训练集，20％作为测试集，对训练集做5折交叉验证；同时优化两种分割方法，确保整个模型的泛化性；

3.构建神经网络时建立多个模型，并通过验证集不断优化模型参数，最后进行多模型结果的加权融合，提升整个模型的泛化性；

4.本发明的实现简单有效，容易实现，同时分类效果得到充分优化。

附图说明

图1为图1卷积神经网络基本结构示意图。

图2为卷积层结构示意图。

图3为高分辨透射电子显微镜下的二氧化钛结构图。

图4为卷积层格式图。

图5为填充层效果图。

图6为是多模型卷积神经网络的结构示意图。

具体实施方式

下面结合具体实施方式，进一步阐明本发明，应理解下述具体实施方式仅用于说明本发明而不用于限制本发明的范围。

一种基于卷积神经网络二氧化钛晶格相的分类方法，该方法包括如下步骤：

步骤一、采集数据集：采集透射电子显微镜下二氧化钛不同晶格相的图片，并进行人工标注，即标记出图片所属的晶格相，一个标记好的图片称为样本；所有样本包含的晶格相的总的类别个数记为num_classes；将采集到的所有二氧化钛不同晶格相的数据统称为数据集；

步骤二、对步骤一采集到的数据集进行分割；

1)、第一种分割方法，传统的数据分割方法：将步骤一采集到数据集的70％作为训练集，20％作为验证集，10％作为测试集；

2)、第二种分割方法：将步骤一采集到数据集80％作为训练集，20％作为测试集，对训练集做K折交叉验证；这个方法的优势在于，同时重复运用随机产生的子样本进行训练和验证，每次的结果验证一次，泛化能力比较强，10折交叉验证是最常用的，一般在数据集比较大的情况下采用5折交叉验证可以实现泛化能力和训练复杂度的同时优化；训练集和验证集是用来建立和优化权利要求1步骤三中卷积神经网络的模型和参数，测试集是用来测试权利要求1步骤三中卷积神经网络的模型的泛化性。

步骤三、通过步骤二分割后的数据集建立卷积神经网络模型，卷积神经网络模型的基本结构由输入层，卷积层，填充层，池化层，dropout层，全连接层，softmax层组成，通过softmax层计算得到最终结果；采用步骤二的两种数据分割方法，通过步骤三建立模型，如果两种分割后准确率同时提高，表明模型优化成功，从而保证模型的泛化性。泛化性指机器学习算法对新鲜样本的适应能力。对具有同一规律的数据集以外的数据，经过训练的网络也能给出合适的输出结果。

步骤四、通过步骤二分割后的验证集优化模型参数；

步骤五、多模型融合；

1)、建立多个步骤三中的卷积神经网络模型，其中模型的卷积核和填充层参数选择是不同的，对数据集进行预测，保存并记录结果；

2)、对多个模型的最终结果进行加权平均，每个模型的权重通过其在测试集的表现上来确定；加权平均，即各数值乘以相应的权数,然后加总求和得到总体值,再除以总的单位数。

步骤六、测试最终结果。

所述的基于卷积神经网络二氧化钛晶格相的分类方法，步骤二所述的K折交叉验证方法，K折交叉验证代表的是，初始采样的数据分割成K个子样本，一个单独的子样本被保留作为验证模型的数据，其他K-1个样本用来训练，交叉验证重复K次，每个子样本验证一次，把得到的K个结果进行平均，最终得到结果。

所述的基于卷积神经网络二氧化钛晶格相的分类方法，步骤二所述的准确率的具体算法是，设总测试图片数为N，预测正确的图片数为M，则准确率＝M/N。

所述的基于卷积神经网络二氧化钛晶格相的分类方法，步骤三所述的建立卷积神经网络的具体方法是：

1)、建立输入层，输入数据来源于步骤二分割后的训练集，图片分辨率为32*32，为黑白图像，转换成灰度张量为[32,32,1]，深度为1；分辨率的大小表示每英寸图像内有多少个像素点，[32,32,1]即表示每个英寸图像高度为32，宽度为32，图像内有32*32个像素点，深度为1。图像深度指存储每个像素所用的位数,也用于量度图像的色彩分辨率，灰度图像深度为1，彩色图像深度为3。

2)、建立卷积层，称之为filter层，利用多个卷积核与步骤三1)中灰度张量进行卷积，从而起到提取图像特征的作用；卷积层，作用是对步骤三1)中得到的灰度张量进行特征提取，结构如图2所示，假设：输入图像的分辨率[32,32,3]，深度为3，卷积核是一个size为[5,5,3]的张量。通过卷积计算得到新的灰度张量的size为[28,28,1]。卷积核的深度必须和输入图像的深度相同。通过一个卷积层与步骤三1)中的黑白图像进行卷积可以采集到此图像的特征。

3)、建立填充层，由于在步骤三2)卷积之后原张量的size变小了，所以人为建立一个填充层，把经过步骤三2)卷积后的张量的size填充成和原张量相同；如输入图像的分辨率[32,32,3]的图像张量在经过卷积层计算之后变成了[28,28,1]的张量，因此设置一个size为[2,2]的灰度矩阵作为填充层，填充后的张量的size变成了[32,32,1]，与原图像的灰度张量的size相同。

4)、建立池化层，用于提取经过步骤三3)填充后的灰度张量的特征并缩小数据，池化层设置为在size[2,2]的矩阵中取最大值；填充层计算后的张量取最大/最小/平均值。

5)、建立dropout层，用于不断的调整神经网络的节点，设置概率使经过步骤三4)池化后的灰度张量随机失活，从而过滤冗余信息；池化层计算后的张量进行处理，让每一层都的神经元都以一定的概率失活，从而在训练过程中找到冗余特征，从而缓解过拟合。

6)、建立多个卷积层，充分提取经过步骤三5)dropout层处理后的灰度张量的特征；

7)、建立全连接层，把经过步骤三6)多个卷积层处理后的灰度张量变成一个size为[N,num_classes]的矩阵；步骤三6)提取特征之后得到的张量的size为[N,C,H,W]，其中N为步骤一中采集到的样本总个数，C为步骤三2)中使用的所有卷积层的个数，H、W分别为步骤三1)中转化后灰度张量的高和宽。那么全连接层的作用就是根据样本个数把整个张量展平，得到矩阵size为[N,C*H*W]；经过计算得到矩阵的size为[N,num_classes]。

8)、通过softmax函数计算经过步骤三7)全连接层处理后的矩阵，输出最终分类结果。

矩阵用两个坐标轴来度量，张量用多个坐标轴来度量。矩阵size指的是两个坐标轴的取值，张量size指的是多个坐标轴的取值。灰度矩阵，0代表黑，255代表白白。对于黑白图像，每个像素点在0-255之间取值。

所述的基于卷积神经网络二氧化钛晶格相的分类方法，步骤三8)所述的softmax函数，函数公式为在步骤三7)所述的全连接层计算后得到的size为[N,num_classes]的矩阵，对矩阵的每一行进行softmax函数计算，每一行得到最大值的位置就是分类的最终结果。

所述的基于卷积神经网络二氧化钛晶格相的分类方法，步骤四所述的优化卷积神经网络模型参数：

1)、不断调节步骤三2)中卷积核的个数，模型输入步骤二分割后的验证集，通过模型实验结果来选择最佳个数；

2)、不断调节步骤三5)中dropout层的失活概率，模型输入步骤二分割后的验证集，通过模型实验结果来选择最佳概率。

实施例1

本实施例所述为电化学剥离法制备石墨烯片层，使用的材料为石墨

本实施例所述卷积神经网络分类二氧化钛，具体步骤如下：

整理图像数据，标定标签，并把对数据进行分割，第一种分割方法，70％作为训练集，20％作为验证集，10％作为测试集；第二种分割方法：80％作为训练集，20％作为测试集，对训练集做五折交叉验证；

2)batch大小表示每次进入训练的图片个数，设定进入网络的batch大小，一般为100；

3)构建网络，建立卷积层，格式如图4；

4)构建填充层，一般直接填充0即可；

5)构建池化层，一般设置为在2*2的矩阵中取最大值，如图5；

6)构建dropout层，一般都是按照一个概率随机使神经元失活，概率参数一般设置为0.5；

7)构建全连接层，把矩阵重新设置size成[batch_size,num_classes],行数batch_size为batch的大小，列数num_classes为所有分类的可能类别；

8)构建softmax函数，函数公式为计算结果；

9)构建多个模型，融合结果；

10)对测试集进行测试，判断模型的有效性。

实验结果：

1)通过取不同的随机数种子，构成不同的网络参数，得到的单模型分类结果为94％；

2)多模型融合之后的分类准确率是98％。

Claims (6)

1.一种基于卷积神经网络二氧化钛晶格相的分类方法，其特征在于：该方法包括如下步骤：

步骤一、采集数据集：采集透射电子显微镜下二氧化钛不同晶格相的图片，并进行人工标注，即标记出图片所属的晶格相，一个标记好的图片称为样本；所有样本包含的晶格相的总的类别个数记为num_classes；将采集到的所有二氧化钛不同晶格相的数据统称为数据集；

步骤二、对步骤一采集到的数据集进行分割；

1)、第一种分割方法，传统的数据分割方法：将步骤一采集到数据集的70％作为训练集，20％作为验证集，10％作为测试集；

2)、第二种分割方法：将步骤一采集到数据集80％作为训练集，20％作为测试集，对训练集做K折交叉验证；

步骤三、通过步骤二分割后的数据集建立卷积神经网络模型，卷积神经网络模型的基本结构由输入层，卷积层，填充层，池化层，dropout层，全连接层，softmax层组成，通过softmax层计算得到最终结果；

步骤四、通过步骤二分割后的验证集优化模型参数；

步骤五、多模型融合；

1)、建立多个步骤三中的卷积神经网络模型，其中模型的卷积核和填充层参数选择是不同的，对数据集进行预测，保存并记录结果；

2)、对多个模型的最终结果进行加权平均，每个模型的权重通过其在测试集的表现上来确定；

步骤六、测试最终结果。

2.根据权利要求1所述的基于卷积神经网络二氧化钛晶格相的分类方法，其特征在于：步骤二所述的K折交叉验证方法，K折交叉验证代表的是，初始采样的数据分割成K个子样本，一个单独的子样本被保留作为验证模型的数据，其他K-1个样本用来训练，交叉验证重复K次，每个子样本验证一次，把得到的K个结果进行平均，最终得到结果。

3.根据权利要求1所述的基于卷积神经网络二氧化钛晶格相的分类方法，其特征在于：步骤二所述的准确率的具体算法是，设总测试图片数为N，预测正确的图片数为M，则准确率＝M/N。

4.根据权利要求1所述的基于卷积神经网络二氧化钛晶格相的分类方法，其特征在于：步骤三所述的建立卷积神经网络的具体方法是：

1)、建立输入层，输入数据来源于步骤二分割后的训练集，图片分辨率为32*32，为黑白图像，转换成灰度张量为[32,32,1]，深度为1；

2)、建立卷积层，称之为filter层，利用多个卷积核与步骤三1)中灰度张量进行卷积，从而起到提取图像特征的作用；

3)、建立填充层，由于在步骤三2)卷积之后原张量的size变小了，所以人为建立一个填充层，把经过步骤三2)卷积后的张量的size填充成和原张量相同；

4)、建立池化层，用于提取经过步骤三3)填充后的灰度张量的特征并缩小数据，池化层设置为在size[2,2]的矩阵中取最大值；

5)、建立dropout层，用于不断的调整神经网络的节点，设置概率使经过步骤三4)池化后的灰度张量随机失活，从而过滤冗余信息；

6)、建立多个卷积层，充分提取经过步骤三5)dropout层处理后的灰度张量的特征；

7)、建立全连接层，把经过步骤三6)多个卷积层处理后的灰度张量变成一个size为[N,num_classes]的矩阵；

8)、通过softmax函数计算经过步骤三7)全连接层处理后的矩阵，输出最终分类结果。

5.根据权利要求4所述的基于卷积神经网络二氧化钛晶格相的分类方法，其特征在于：步骤三8)所述的softmax函数，函数公式为在步骤三7)所述的全连接层计算后得到的size为[N,num_classes]的矩阵，对矩阵的每一行进行softmax函数计算，每一行得到最大值的位置就是分类的最终结果。

6.根据权利要求4所述的基于卷积神经网络二氧化钛晶格相的分类方法，其特征在于：步骤四所述的优化卷积神经网络模型参数：

1)、不断调节步骤三2)中卷积核的个数，模型输入步骤二分割后的验证集，通过模型实验结果来选择最佳个数；

2)、不断调节步骤三5)中dropout层的失活概率，模型输入步骤二分割后的验证集，通过模型实验结果来选择最佳概率。