CN113792783A - 一种基于深度学习的和面阶段自动识别方法及系统 - Google Patents

Abstract

本发明公开了一种基于深度学习的和面阶段自动识别方法及系统，采集机械和面过程中的图像作为数据集；对采集的数据集进行预处理，将数据集按照初始面粉、润湿粘连、聚集成形、破裂分散和稳定平衡进行分类；将分类后的数据集划分为训练子集、验证集和测试集；构建Transfer‑ResNet50分类网络模型，使用训练子集对构建的Transfer‑ResNet50分类网络模型进行训练，使用验证集对训练后的Transfer‑ResNet50分类网络模型进行验证；将测试集输入训练好的Transfer‑ResNet50分类网络模型中进行模型的测试，输出并保存分类结果。本发明可以有效地提高工业面制品生产的效率，为面制品工业自动化发展提供新思路，利于面制品行业标准的建立。

Description

一种基于深度学习的和面阶段自动识别方法及系统

技术领域

本发明属于图像分类技术领域，具体涉及一种基于深度学习的和面阶段自动识别方法及系统。

背景技术

工业和面是小麦粉和水相互作用，形成面絮的过程，其本质是水在面粉各组分间的重分配过程。一个良好的混合工艺和正确的加水水平应该产生粒径、颜色、水分分布均一的面絮，这也直接关系到最终面条产品的品质。然而，目前操作人员的经验和专业知识依旧是管理和面过程以及获得优质面絮所需时间的唯一工具，这极大的降低了工业面制品生产的效率以及标准化发展速率。

随着我国传统工业技术改造、工厂自动化以及企业信息化发展提速，工业自动化系统需求也在不断增长。近年来，深度卷积神经网络(deep convolutional neuralnetwork,CNN)方法在图像分类领域取得了显著的成果。随着大规模数据集(如ImageNet)的出现，CNN已经成为分类识别的一种高性能工具。然而，在实际应用中，大量标记样本的采集以及训练，耗费成本巨大，耗时过长。为了克服这一问题，迁移学习被提出以降低大数据采集标注的成本和提高分类率。

此外，在深度学习中，网络层数的增多一般会伴随计算资源的消耗，网络模型容易产生过拟合、梯度消失与梯度爆炸等问题。因此如何利用深度学习的优势，实现对和面阶段的自动识别是面制品行业数字化转型发展过程中遇到的新问题。

发明内容

本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于深度学习的和面阶段自动识别方法及系统，解决传统人工判别的缺陷，充分利用迁移学习模型的图像特征学习能力。将不同和面参数下的面絮图像作为模型的输入，将5种和面阶段作为模型的输出；训练后得到和面阶段分类模型，在有限的数据量下，训练所得模型识别精度可达95％以上；有效提高工业面制品生产的效率，为面制品工业自动化发展提供新思路，利于面制品行业标准的建立。

本发明采用以下技术方案：

一种基于深度学习的和面阶段自动识别方法，包括以下步骤：

S1、采集机械和面过程中的图像作为数据集；

S2、对步骤S1采集的数据集进行预处理，将数据集按照初始面粉、润湿粘连、聚集成形、破裂分散和稳定平衡进行分类；

S3、将步骤S2分类后的数据集划分为训练子集、验证集和测试集；

S4、构建Transfer-ResNet50分类网络模型，使用步骤S3划分的训练子集对构建的Transfer-ResNet50分类网络模型进行训练，使用步骤S3划分的验证集对训练后的Transfer-ResNet50分类网络模型进行验证；

S5、将步骤S3划分的测试集输入步骤S4训练好的Transfer-ResNet50分类网络模型中进行模型的测试，输出并保存分类结果。

具体的，步骤S2中，分类后每一类数据子集中均包含比例相同的初始面粉、润湿粘连、聚集成形、破裂分散和稳定平衡类图片。

具体的，步骤S3中，对步骤S2分类后的数据集进行归一化处理，采用基于Python的数据集划分函数将数据集划分为训练子集、验证集和测试集。

进一步的，训练子集和验证集的划分比例为8.5:1.5，训练子集和验证集的合集与测试集的划分比例为8:2。

具体的，步骤S4具体为：

S401、载入自然图像数据集中预训练的ResNet50分类网络结构与权重，设置预训练的ResNet50分类网络的全连接层、池化层和输入数据的格式；

S402、采用网络结构级联的方式对步骤S401中载入的ResNet50分类网络进行处理，得到Transfer-ResNet50分类网络模型，并冻结Transfer-ResNet50分类网络中的卷积层；

S403、设置步骤S402处理后的Transfer-ResNet50分类网络模型训练过程，包括优化器、数据增强选项、回调函数、训练反馈选项、各项超参数；

S404、利用步骤S3中划分的训练子集对步骤S403设置好的Transfer-ResNet50分类网络模型重新进行训练，迁移学习中的Finetune，得到应用于和面阶段的图像自动识别与分类模型。

进一步的，步骤S401中，预训练的Transfer-ResNet50分类网络结构为具有49层卷积层的残差网络，预训练的Transfer-ResNet50分类网络结构输入的图像数据格式为[256,256,3]，采用的池化层为全局平均池化，并去掉原残差网络最后的全连接层，在原残差网络后增加激活函数为Softmax的全连接层，构建针对和面阶段图像分类的深度迁移卷积神经网络Transfer-ResNet50。

进一步的，步骤S402中，使用和面阶段图像数据集重新训练ResNet50分类网络时，将预训练的ResNet50分类网络各层的网络权重作为初始值，冻结ResNet50网络的前5层，即在训练过程中使得前5层网络的参数不更新，后45层网络的参数训练更新得到Transfer-ResNet50分类网络模型。

进一步的，步骤S403中，优化器为Adam优化器，损失函数为多分类损失函数categorical_crossentropy，训练反馈选项中设置学习率递减策略ReduceLROnPlateau以及早停策略EarlyStopping；超参数中，learning_rate＝0.0001，epoch＝30，batch_size＝16；数据增强选项中使用Keras中的函数。

进一步的，步骤S404中，将划分好的训练子集输入到数据增强的ImageDataGenerator函数中，每一个epoch的步长为数据集样本量除以batch_size，验证的数据为步骤S3划分的验证集，接着以梯度下降原则对损失函数categorical_crossentropy求梯度并反向传播梯度，Adam优化器以learning_rate为学习率调整整个神经网络结构中的可训练参数，若出现训练效果停滞或变差的情况，则学习率递减策略ReduceLROnPlateau会对学习率做出相应的衰减，使Transfer-ResNet50的分类网络模型能够继续训练，进行epoch次的迭代，直至损失函数收敛。

本发明的另一技术方案是，一种基于深度学习的自动识别系统，包括：

采集模块，采集机械和面过程中的图像作为数据集；

分类模块，对采集模块采集的数据集进行预处理，将数据集按照初始面粉、润湿粘连、聚集成形、破裂分散和稳定平衡进行分类；

数据模块，将分类模块分类后的数据集划分为训练子集、验证集和测试集；

网络模块，构建Transfer-ResNet50分类网络模型，使用数据模块划分的训练子集对构建的Transfer-ResNet50分类网络模型进行训练，使用数据模块划分的验证集对训练后的Transfer-ResNet50分类网络模型进行验证；

识别模块，将数据模块划分的测试集输入网络模块训练好的Transfer-ResNet50分类网络模型中进行模型的测试，输出并保存分类结果。

与现有技术相比，本发明至少具有以下有益效果：

本发明一种基于深度学习的和面阶段自动识别方法，由于和面过程包含初始面粉、润湿粘连、聚集成形、破裂分散和稳定平衡5个阶段，每个阶段的面粉有其特点，而如果人工对这些面粉所处的阶段进行识别与划分，对判定人的技巧与经验依赖性很大，同时这是一项耗时耗力的工作。本发明采用深度学习的方法，设计一种能够替代人工对和面阶段进行识别与分类的方法。由于深度学习通过建立深度神经网络，对输入的数据(本任务中为面粉和面阶段的拍摄照片)进行自动的特征提取与分类，不需要依赖人的工作，并且能够取得跟人工判定相当甚至超过人工判定的精度；同时深度学习模型能够端到端地训练，即只需要输入特定的数据模型即能给出相应的结果，是一种非常便捷与自动化的方法。。

进一步的，在进行深度学习的网络模型训练时，因为需要输出高精度的分类结果，故对训练的数据集有一定的要求，其中一项即是尽可能保持数据类别的均衡。本发明涉及5种图像类别的分类，属于多分类任务，因此在数据集划分时，应尽可能保持在训练、验证和测试集中5类图片数据的比例相同，使得模型在类别比例相同的情况下进行训练、验证与最终的测试。

进一步的，深度学习模型的构建过程中，数据集划分是其中关键的一环。深度学习的任务即是学习已经收集好的数据中包含的有价值的信息，并且在新的输入数据出现时能够成功预测输出。在实现这一任务的过程中，训练子集是用来训练模型的，给模型输入和对应的输出，让模型学习它们之间的关系；验证集是用来估计模型的训练水平，比如分类器的分类精确度，预测的误差等；测试集是输入数据在最终得到的模型得到的结果，是训练好的模型在模拟的“新”输入数据上得到的输出。

进一步的，数据集的划分比例属于经验设置，这些比例在各项研究使用频繁，且符合当前数据集的大小，可提升训练模型的参考价值

进一步的，迁移学习作为一种利用数据、任务、或模型之间的相似性，将在旧领域学习过的模型，应用于不同但相关的新领域的学习过程，可以解决特定领域图像样本数据不足的问题。使用预训练好的更强大的分类模型进行迁移学习，会消除原数据集建立的卷积神经网络分类模型受数据不平衡的影响，提升识别精度。

进一步的，对于有监督的深度学习模型结构复杂，参数众多，需要巨大的标签样本以建立一个性能优异的深度学习模型。迁移学习借助在自然数据集等大样本量的开源数据集上(样本量能达到百万级别)充分训练的深度神经网络模型极大的减少了模型构建的工作量。通过迁移这些模型的网络结构以及训练好的参数作为新建任务的初始权重，便可以使用新建任务里样本量并不大的数据集对这些初始权重进行微调(Finetune)，即可得到一个针对新建任务数据集的高性能深度学习模型。

进一步的，在深度学习中，模型的训练需要依靠庞大的数据体系，数据增强会解决在实际操作中样本数量不足或者样本质量不够好的问题，以增加训练的数据量，提高模型的泛化能力；增加噪声数据，提升模型的鲁棒性。同时，机器学习的任务就是优化参数使之达到最合适的值，同时使得损失函数达到最小。损失函数即目标函数的值与真实值的差值函数，实际上就是欲优化参数的函数。而优化器的任务就是在每一个epoch中计算损失函数的梯度，进而更新参数。Adam优化器通过对梯度的一阶矩估计(First Moment Estimation，即梯度的均值)和二阶矩估计(Second Moment Estimation，即梯度的未中心化的方差)进行综合考虑，计算出更新步长。具有实现简单，计算高效，对内存需求少；参数的更新不受梯度的伸缩变换影响；能自然地实现步长退火过程(自动调整学习率)等优势，是一种性能优秀的常用优化器。

进一步的，当我们训练深度学习神经网络的时候通常希望能获得最好的泛化性能(generalization performance，即可以很好地拟合数据)。但是所有的标准深度学习神经网络结构如全连接多层感知机都很容易过拟合。早停策略(EarlyStopping)是一种被广泛使用解决过拟合问题的方法，其基本含义是在训练中计算模型在验证集上的表现，当模型在验证集上的表现开始下降的时候，停止训练，这样就能避免继续训练导致过拟合的问题。此外，学习率是神经网络优化时的重要超参数。为了防止定义了学习率之后，经过一定epoch迭代，学习率的不适应性导致的模型效果不再提升，我们配合早停策略设置了学习率递减策略(ReduceLROnPlateau)，避免过早触发EarlyStooping，增加训练循环次数，提升训练模型精度。

综上所述，本发明选择在自然图像数据集ImageNet上充分训练的ResNet50作为预训练网络，通过在ResNet50网络层后增加新的层，改变输出层输出类别数，同时引入迁移学习，利用原始网络权重作为初始值开始训练，构造一个首次针对面粉和面阶段图像数据集的Transfer-ResNet50网络，解决了和面过程中数据量少，不易识别分类的问题，提供了一种基于深度学习自动识别和面阶段的方法，解决了传统人工判别的缺陷，可以有效地提高工业面制品生产的效率，为面制品工业自动化发展提供新思路，利于面制品行业标准的建立。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

图1为深度残差网络里的恒等映射；

图2为Transfer-ResNet50示意图；

图3为为验证集、测试集的准确率和误差；

图4为保存的csv格式分类结果；

图5为指标输出结果；

图6为分类结果稀疏矩阵；

图7为分类结果报告；

图8基于Web的图像特征提取与分类平台的图像上传与分析示意图；

图9为基于Web的图像特征提取与分类平台的结果显示图；

图10为运行manage.py示意图；

图11为和面阶段示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，需要理解的是，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

在附图中示出了根据本发明公开实施例的各种结构示意图。这些图并非是按比例绘制的，其中为了清楚表达的目的，放大了某些细节，并且可能省略了某些细节。图中所示出的各种区域、层的形状及它们之间的相对大小、位置关系仅是示例性的，实际中可能由于制造公差或技术限制而有所偏差，并且本领域技术人员根据实际所需可以另外设计具有不同形状、大小、相对位置的区域/层。

本发明一种基于深度学习的和面阶段自动识别方法，包括以下步骤：

S1、收集训练数据

使用工业相机采集机械和面过程中的图像作为本次训练的数据集，其中主要以陕西地区工业制面常用面粉作为原料，共采集图像2000张。

S2、数据预处理

采集到的数据构建分类系统之前，首先将现有的图片按照初始面粉、润湿粘连、聚集成形、破裂分散、稳定平衡五个阶段进行分类，为了便于代码的书写与阅读，将五个阶段以数字1-5进行编号，每个阶段的图片单独用编号所命名的文件夹存放保存。由于收集得到的图片的大小参差不齐，数据输入分类网络前会将其缩放到固定的尺寸(本模型统一将图片缩放至[256,256])以便后续网络的训练。

初始面粉，没有水和机械作用的介入，以粉末状的面粉作为第一阶段；

润湿粘连，水混入面粉后迅速扩散，被水包裹的面粉颗粒表面产生粘性相互粘连，由于这种扩散是局部和短暂的，并未同更多的蛋白、淀粉互相作用。随着机械作用的介入，粘连部分被拉扯为一些片状的结构，这些结构卷曲为高水分含量区，而且表面附有大量的干粉；

聚集成形，随着进一步的机械作用，高水分含量的片层结构也进一步挤压卷曲，形成大颗粒的堆积结构。在这一过程中，高水分片层会部分断裂，渗出的水分与干粉粘连，干粉完全消失；

破裂分散，在机械力的继续作用下，大块的堆积结构发生破裂，形成一些相对较小但更加规则的聚集体，这个过程中高水分区与低水分区之间发生了大量的水分迁移；

稳定平衡，机械力的持续作用使得小颗粒聚集体分散，形成独立的面絮颗粒，这个时候颗粒大小和水分基本保持不变，达到一个稳定平衡的阶段。面筋结构在每一个小颗粒中发生了最小程度的发展。

S3、划分训练、测试数据集

预处理之后的数据进入分类网络之前会划分为训练集和测试集，这样做的目的是为了充分利用收集的数据，使网络通过训练得到更好的识别能力，并能够根据测试集的结果对网络的性能进行评价。

本分类预测模型采用的是二次划分的方式，首先将数据集划分为训练集和测试集，接着又将训练集划分为训练子集和验证集，采用的划分函数为sklearn.model_selection中的train_test_split函数。train_test_split函数能够根据给定的数据集，给定的划分比例(或者数量)将数据集进行划分，并能够做到划分前后的数据分布相同。

本分类预测模型第一次按照训练集：测试集＝8:2对1000张预处理图像进行划分，stratify设置为以标签的比率为基准分配训练集和测试集中各类的份额。

分类预测模型第二次划分则将800张训练集的图片以训练子集：验证集＝8.5:1.5进行划分，stratify设置为以标签的比率为基准分配训练子集和验证集中各类的份额。

为了便于后续数据处理的方便，保证分类预测模型的收敛速度，本模型在第一次划分之后，对训练集进行了归一化的处理，进而进行第二次的划分。

S4、构建分类预测模型

由于本项目收集的数据集可能受数据不平衡、数据集数目较少等问题的影响，于是在构建分类预测模型时采用了迁移学习+Finetune的方式，对Resnet50分类网络进行调整，经过训练-调整-训练，最终可以得到Transfer-ResNet50的分类网络。

整体的分类网络实现如下：

S401、直接载入预训练好的Transfer-ResNet50分类网络模型与权重，设置相应的预训练Transfer-ResNet50分类网络模型的全连接层、池化层、输入数据的格式；

载入的预训练Transfer-ResNet50分类网络模型为Keras的ResNet50，ResNet网络结构引入残差学习的方式，克服由于网络深度加深而产生的学习效率变低，准确率无法有效提升的问题，并利用恒等映射保证深层网络至少保持较浅层网络的性能。预训练Transfer-ResNet50分类网络模型的输入数据格式为[256,256,3]，不保留顶层的全连接网络，采用的pooling层的方式为avg，即全局平均池化。选取average-pooling是因为其能够减小特征提取中由于邻域大小受限造成的估计值方差增大的误差，可以较好的保存图像的背景信息，得到图像的整体特征。和面的5个阶段整体来看就有较大的区别，因此能够获得图像的整体特征，并以此为基础训练网络，能够有更好的训练效果。

S402、采用网络结构级联的方式，得到Transfer-ResNet50的分类网络结构，并冻结部分网络层，选取需要训练的网络层以便后面微调；

以ResNet50为基础网络结构，删除其顶层的全连接层，并在结尾添加Dense层。Dense层实现的操作为output＝activation(dot(input,kernel)+bias)，这里选取的激活函数为softmax函数，输入的维数为ResNet50网络的输出维数，输出的维数为5(即和面的五个阶段)，bias为0。将ResNet50的前5层的权重进行冻结，后45层选为需要改变权重的网络层。选择前5层进行冻结的原因是卷紧神经网络模型在进行特征提取时，前面几层提取的特征大致是按照条纹--纹理--分布边界--物体轮廓分层递进的，因此借助于迁移学习的思想，冻结前面部分共有的一般特征，只训练后面更细节的特征，能够快速有效的训练出理想的结果。整体的网络结构模型如图2所示。

S403、设置Transfer-ResNet50的分类网络模型训练过程，包括优化器、数据增强选项、回调函数、各项超参数；

对步骤S402建立的Transfer-ResNet50的分类网络模型训练过程所需参数的设置。选用的优化器为Adam优化器，Adam算法很容易实现，并且有很高的计算效率和较低的内存需求，适合解决含大规模数据和参数的优化问题。Adam优化器参数设置为lr＝0.0001,beta_1＝0.9,beta_2＝0.999,epsilon＝None,decay＝0.0,amsgrad＝False。选取的损失函数为多分类损失函数categorical_crossentropy，该损失函数适用于多分类问题，并使用softmax作为输出层的激活函数，适合于本模型需要识别5个和面阶段的任务。

为了防止定义了学习率之后，经过一定epoch迭代，学习率的不适应性导致的模型效果不再提升，在训练前设置了回调函数。本模型选用的是Keras的回调函数ReduceLROnPlateau与EarlyStopping函数的配合使用。ReduceLROnPlateau函数缩放学习率factor的值设置为0.5，patience的值为3，min_lr设置为0.00001，EarlyStopping函数的patience的值设为15。这样若学习率没有降低到min_lr(0.00001)以下，此时val_loss出现了经历一个epoch后下降的情况，那么在下降后的再经过三个epcho后，学习率将以lr＝lr*factor(0.5)的形式被减少，若连续15个epcho都出现了val_loss下降的情况，那么训练就会提前停止。

训练过程中可能会出现过拟合的情况，Transfer-ResNet50的分类网络模型采用了数据增强的方式来避免过拟合情况的发生。所使用的数据增强的函数为Keras中ImageDataGenerator函数，参数设置为rotation_range＝90，zoom_range＝0.1，width_shift_range＝0.1，height_shift_range＝0.1，horizontal_flip＝True，shear_range＝10。即数据提升时图片随机转动的角度为90度，图片随机缩放的幅度为[0.9,1.1]，数据提升时图片随机水平偏移的幅度为0.1，数据提升时图片随机竖直偏移的幅度为0.1，会随机的对图片进行水平翻转、竖直翻转，图片的剪切强度(逆时针方向的剪切变换角度)为10。最后设置需要遍历训练数据的次数epoch为30，每批载入的数据量batch_size为16。

S404、对Transfer-ResNet50的分类网络模型进行训练，并进行Finetune，得到一个用于和面阶段自动识别的系统；

按照步骤S403设置好的Transfer-ResNet50的分类网络模型进行训练，首先将划分好的训练子集输入到数据增强的ImageDataGenerator函数中，设置epoch为30，步长为图片数目除以epoch，验证的数据为划分好的验证集，接着以梯度下降为原则对损失函数categorical_crossentropy求梯度反向传播梯度，Adam优化器以lr为学习率调整整个神经网络结构中的可训练参数，在此过程中若出现训练效果变差情况，则回调函数ReduceLROnPlateau会对学习率做出相应的调整，迭代Transfer-ResNet50的分类网络模型训练模型直至损失函数收敛。

模型每一次训练后，通过将验证集输入Transfer-ResNet50分类网络验证网络的训练精度，整个训练过程不断对Transfer-ResNet50的分类网络模型所需的超参数进行调整，记录每一次超参数组合所得到的准确率和损失，并对比不同超参数下准确率和损失值，以最优准确率为原则得到最佳的超参数配置。(即前文所述的超参数值)对于模型真实效果的评估，即：

S405、将划分好的测试集传入Transfer-ResNet50的分类网络模型，得到测试集的准确率和误差如图3所示：

S5、输出并保存分类结果

整个Transfer-ResNet50的分类网络训练结束之后，便基本完成了模型的搭建，最后需要做的便是对验证结果的保存与评价。

Transfer-ResNet50的分类网络模型将对测试集的结果以csv格式进行保存，打开保存的结果文件，第1列为预测的该图片的隶属阶段的结果，第2列至第6列为该图像属于每个阶段的概率，第7列(最后1列)为该图像的真实类别。保存结果的示例如图4所示。

Transfer-ResNet50的分类网络模型还对保存的结果进行评估，评估的主要指标有balanced accuracy、average precision、ROC、AUC、Specificity以及Accuracy，并将评估的指标打印在屏幕上，输出的结果如图5所示。

为了方便展示分类的结果，Transfer-ResNet50的分类网络模型还将分类的结果以混淆矩阵的方式展示，其中混淆矩阵的5列中每一列都代表了一个和面的阶段，而每一列的数量之和为判别为该阶段的图像数目；每一行代表了每个图片的真实和面阶段，每一行的数量之和表示该阶段的图像数量，结果如图6所示。

请参阅图7，Transfer-ResNet50的分类网络模型分类结果报告如下所示，包括了召回率、准确率、F1分数、宏平均以及加权平均。

最后将整个模型的权重文件以Transfer-ResNet50.h5格式保存。

本发明再一个实施例中，提供一种基于深度学习的自动识别系统，该系统能够用于实现上述基于深度学习的和面阶段自动识别方法，具体的，该基于深度学习的自动识别系统包括采集模块、分类模块、数据模块、网络模块以及识别模块。

其中，采集模块，采集机械和面过程中的图像作为数据集；

分类模块，对采集模块采集的数据集进行预处理，将数据集按照初始面粉、润湿粘连、聚集成形、破裂分散和稳定平衡进行分类；

数据模块，将分类模块分类后的数据集划分为训练子集、验证集和测试集；

网络模块，构建Transfer-ResNet50分类网络模型，使用数据模块划分的训练子集对构建的Transfer-ResNet50分类网络模型进行训练，使用数据模块划分的验证集对训练后的Transfer-ResNet50分类网络模型进行验证；

识别模块，将数据模块划分的测试集输入网络模块训练好的Transfer-ResNet50分类网络模型中进行模型的测试，输出并保存分类结果。

本发明再一个实施例中，提供了一种终端设备，该终端设备包括处理器以及存储器，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器用于执行所述计算机存储介质存储的程序指令。处理器可能是中央处理单元(Central ProcessingUnit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor、DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable GateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其是终端的计算核心以及控制核心，其适于实现一条或一条以上指令，具体适于加载并执行一条或一条以上指令从而实现相应方法流程或相应功能；本发明实施例所述的处理器可以用于基于深度学习的和面阶段自动识别方法的操作，包括：

采集机械和面过程中的图像作为数据集；对采集的数据集进行预处理，将数据集按照初始面粉、润湿粘连、聚集成形、破裂分散和稳定平衡进行分类；将分类后的数据集划分为训练子集、验证集和测试集；构建Transfer-ResNet50分类网络模型，使用训练子集对构建的Transfer-ResNet50分类网络模型进行训练，使用验证集对训练后的Transfer-ResNet50分类网络模型进行验证；将测试集输入训练好的Transfer-ResNet50分类网络模型中进行模型的测试，输出并保存分类结果。

本发明再一个实施例中，本发明还提供了一种存储介质，具体为计算机可读存储介质(Memory)，所述计算机可读存储介质是终端设备中的记忆设备，用于存放程序和数据。可以理解的是，此处的计算机可读存储介质既可以包括终端设备中的内置存储介质，当然也可以包括终端设备所支持的扩展存储介质。计算机可读存储介质提供存储空间，该存储空间存储了终端的操作系统。并且，在该存储空间中还存放了适于被处理器加载并执行的一条或一条以上的指令，这些指令可以是一个或一个以上的计算机程序(包括程序代码)。需要说明的是，此处的计算机可读存储介质可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。

可由处理器加载并执行计算机可读存储介质中存放的一条或一条以上指令，以实现上述实施例中有关基于深度学习的和面阶段自动识别方法的相应步骤；计算机可读存储介质中的一条或一条以上指令由处理器加载并执行如下步骤：

采集机械和面过程中的图像作为数据集；对采集的数据集进行预处理，将数据集按照初始面粉、润湿粘连、聚集成形、破裂分散和稳定平衡进行分类；将分类后的数据集划分为训练子集、验证集和测试集；构建Transfer-ResNet50分类网络模型，使用训练子集对构建的Transfer-ResNet50分类网络模型进行训练，使用验证集对训练后的Transfer-ResNet50分类网络模型进行验证；将测试集输入训练好的Transfer-ResNet50分类网络模型中进行模型的测试，输出并保存分类结果。

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中的描述和所示的本发明实施例的组件可以通过各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例

使用本发明方法自动识别和面阶段

前期工作

面粉加水搅拌的过程也是面粉颗粒湿团聚的过程。研究发现，湿法粉体团聚是一项关键的工业工艺。它是基于在剪切混合器中添加的润湿液体以及发生的颗粒运动。液体使粉末颗粒粘在一起形成一种凝聚结构。这一过程的目标有两个，一是确保各组分的均匀分布，尤其是润湿液体；二是确保得到的润湿聚集体的稳定性和粒度均匀性，以利于进一步的加工处理。虽然，由于多种因素(润湿机制、机械作用等)的介入，使得这一过程复杂多变，不易控制，但是大量的研究已经表明，湿团聚的过程中的发展机制可以分为:润湿和成核，聚结和生长，摩擦和断裂四个部分。

请参阅图11，通过大量采集样本，结合前人的研究，本发明将和面过程分为：初始面粉、润湿粘连、聚集成形、破裂分散、稳定平衡五个阶段。

阶段一

初始面粉阶段，没有水和机械作用的介入，以初始的面粉作为第一阶段。

阶段二

润湿粘连阶段，水混入面粉后迅速扩散，被水包裹的面粉颗粒表面产生粘性相互粘连，由于这种扩散是局部和短暂的，并未同更多的蛋白、淀粉互相作用，而且水与面粉接触面率先形成一层面筋膜，对于水分的进一步渗入互作是有一定的延缓作用的。随着机械作用的介入，粘连部分被拉扯为一些片状的结构，这些结构卷曲为高水分含量区，而且表面附有大量的干粉。

阶段三

聚集成形阶段，随着进一步的机械作用，高水分含量的片层结构也进一步挤压卷曲，形成大颗粒的堆积结构。在这一过程中，高水分片层会部分断裂，渗出的水分与干粉粘连，干粉完全消失。

阶段四

破裂分散阶段，在机械力的继续作用下，大块的堆积结构发生破裂，形成一些相对较小但更加规则的聚集体，这个过程中高水分区与低水分区之间发生了大量的水分迁移。

阶段五

稳定平衡阶段，机械力的持续作用使得小颗粒聚集体分散，形成独立的面絮颗粒，这个时候颗粒大小和水分基本保持不变，达到一个稳定平衡的阶段。面筋结构在每一个小颗粒中发生了最小程度的发展。

请参阅图8，针对五个不同阶段的面粉和面拍摄图像，基于深度迁移学习方法，利用预训练深度神经网络的迁移与微调，构建面向面粉图像的分类模型(Transfer-ResNet50)。并基于Web开发技术，将分类模型作为后台计算核心，实现对用户上传的面粉图像的快速准确分类，系统将输出三种最可能的阶段及其预测概率。

Web平台的搭建基于Django框架的使用流程为：

1.在Pycharm中运行manage.py，当出现如图10所示即进行下一步操作；

2.保持manage.py程序运行状态，在浏览器中输入地址：http://127.0.0.1:8000/classification，打开如图9所示的Web界面。

3.点击“Browse”上传要分析的图像(一般为.jpg/.png格式)，点击Upload将交由后台程序进行计算(过程中会显示进度条)；

4.进度条变成“Done”即为计算完成，同时可以看到Pycharm中亦有相应结果输出；点击“显示结果”即可展示对于上传的图像方法的预测结果(展示方法预测Top3的类别及其预测概率，在实际下结论时，将把图像归为概率最大的那一类)。

综上所述，本发明一种基于深度学习的和面阶段自动识别方法及系统，自动识别和面所处阶段，能满足工业和面终点判断、面条品质调控等应用场景对和面阶段自动识别技术的需求。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。

Claims (10)

1.一种基于深度学习的和面阶段自动识别方法，其特征在于，包括以下步骤：

S1、采集机械和面过程中的图像作为数据集；

S2、对步骤S1采集的数据集进行预处理，将数据集按照初始面粉、润湿粘连、聚集成形、破裂分散和稳定平衡进行分类；

S3、将步骤S2分类后的数据集划分为训练子集、验证集和测试集；

S4、构建Transfer-ResNet50分类网络模型，使用步骤S3划分的训练子集对构建的Transfer-ResNet50分类网络模型进行训练，使用步骤S3划分的验证集对训练后的Transfer-ResNet50分类网络模型进行验证；

S5、将步骤S3划分的测试集输入步骤S4训练好的Transfer-ResNet50分类网络模型中进行模型的测试，输出并保存分类结果。

2.根据权利要求1所述的方法，其特征在于，步骤S2中，分类后每一类数据子集中均包含比例相同的初始面粉、润湿粘连、聚集成形、破裂分散和稳定平衡类图片。

3.根据权利要求1所述的方法，其特征在于，步骤S3中，对步骤S2分类后的数据集进行归一化处理，采用基于Python的数据集划分函数将数据集划分为训练子集、验证集和测试集。

4.根据权利要求3所述的方法，其特征在于，训练子集和验证集的划分比例为8.5:1.5，训练子集和验证集的合集与测试集的划分比例为8:2。

5.根据权利要求1所述的方法，其特征在于，步骤S4具体为：

S401、载入自然图像数据集中预训练的ResNet50分类网络结构与权重，设置预训练的ResNet50分类网络的全连接层、池化层和输入数据的格式；

S402、采用网络结构级联的方式对步骤S401中载入的ResNet50分类网络进行处理，得到Transfer-ResNet50分类网络模型，并冻结Transfer-ResNet50分类网络中的卷积层；

S403、设置步骤S402处理后的Transfer-ResNet50分类网络模型训练过程，包括优化器、数据增强选项、回调函数、训练反馈选项、各项超参数；

S404、利用步骤S3中划分的训练子集对步骤S403设置好的Transfer-ResNet50分类网络模型重新进行训练，迁移学习中的Finetune，得到应用于和面阶段的图像自动识别与分类模型。

6.根据权利要求5所述的方法，其特征在于，步骤S401中，预训练的Transfer-ResNet50分类网络结构为具有49层卷积层的残差网络，预训练的Transfer-ResNet50分类网络结构输入的图像数据格式为[256,256,3]，采用的池化层为全局平均池化，并去掉原残差网络最后的全连接层，在原残差网络后增加激活函数为Softmax的全连接层，构建针对和面阶段图像分类的深度迁移卷积神经网络Transfer-ResNet50。

7.根据权利要求5所述的方法，其特征在于，步骤S402中，使用和面阶段图像数据集重新训练ResNet50分类网络时，将预训练的ResNet50分类网络各层的网络权重作为初始值，冻结ResNet50网络的前5层，即在训练过程中使得前5层网络的参数不更新，后45层网络的参数训练更新得到Transfer-ResNet50分类网络模型。

8.根据权利要求5所述的方法，其特征在于，步骤S403中，优化器为Adam优化器，损失函数为多分类损失函数categorical_crossentropy，训练反馈选项中设置学习率递减策略ReduceLROnPlateau以及早停策略EarlyStopping；超参数中，learning_rate＝0.0001，epoch＝30，batch_size＝16；数据增强选项中使用Keras中的函数。

9.根据权利要求5所述的方法，其特征在于，步骤S404中，将划分好的训练子集输入到数据增强的ImageDataGenerator函数中，每一个epoch的步长为数据集样本量除以batch_size，验证的数据为步骤S3划分的验证集，接着以梯度下降原则对损失函数categorical_crossentropy求梯度并反向传播梯度，Adam优化器以learning_rate为学习率调整整个神经网络结构中的可训练参数，若出现训练效果停滞或变差的情况，则学习率递减策略ReduceLROnPlateau会对学习率做出相应的衰减，使Transfer-ResNet50的分类网络模型能够继续训练，进行epoch次的迭代，直至损失函数收敛。

10.一种基于深度学习的自动识别系统，其特征在于，包括：

采集模块，采集机械和面过程中的图像作为数据集；

分类模块，对采集模块采集的数据集进行预处理，将数据集按照初始面粉、润湿粘连、聚集成形、破裂分散和稳定平衡进行分类；

数据模块，将分类模块分类后的数据集划分为训练子集、验证集和测试集；

网络模块，构建Transfer-ResNet50分类网络模型，使用数据模块划分的训练子集对构建的Transfer-ResNet50分类网络模型进行训练，使用数据模块划分的验证集对训练后的Transfer-ResNet50分类网络模型进行验证；

识别模块，将数据模块划分的测试集输入网络模块训练好的Transfer-ResNet50分类网络模型中进行模型的测试，输出并保存分类结果。

Images