CN110852998B - 一种基于深度学习的泰勒锥检测方法及检测系统 - Google Patents

Abstract

本发明涉及静电纺丝领域，具体涉及一种基于深度学习的泰勒锥检测方法及检测系统，该方法包括：采集图像样本，对采集到的图像样本进行训练生成泰勒锥检测模型；在静电纺丝设备上安装部署了泰勒锥检测模型的小型计算机，使用泰勒锥检测模型在静电纺丝过程中对纺丝针头处是否形成泰勒锥进行检测。检测系统包括：图像样本采集装置、检测模型训练装置、静电纺丝装置，图像样本采集装置用于采集图像样本，高性能计算机用于训练生成检测模型，将检测模型部署在静电纺丝设备上的小型计算机中检测是否生成泰勒锥，通过上述检测方法及检测系统，实现自动检测泰勒锥，无需人工肉眼观察，提高判断的速度以及准确率。

Description

一种基于深度学习的泰勒锥检测方法及检测系统

技术领域

本发明涉及静电纺丝技术领域，尤其涉及一种基于深度学习的泰勒锥检测方法及检测系统。

背景技术

静电纺丝技术最早由Formhzls在1934年提出，随后Taylor等人于1964年对静电纺丝过程中带电聚合物的变形提出了泰勒锥这一概念，直到上个世纪90年代人们开始广泛关注静电纺丝技术。静电纺丝技术的原理是，处于高压电场的溶体或者溶液，在电场力的作用下，克服其表面张力，形成泰勒锥。当电场力远大于其粘弹力和张力时，泰勒锥就会出现带电射流现象。射流形成的纤维沉积后，就制备好了纤维。在静电纺丝的过程中，需要实时监控泰勒锥的状态是否正常，目前常用的方法是通过相机获取泰勒锥的实时图像，通过肉眼观测泰勒锥是否正常，从而判断静电纺丝的进行是否正常。但由于纺丝过程时间过长，人眼具有疲劳性，不能长时间观测，同时人工成本过于昂贵。

发明内容

为解决上述问题，本发明提供了一种基于深度学习的泰勒锥检测方法，包括：

采集图像样本；

对采集到的图像样本进行训练生成泰勒锥检测模型；

在静电纺丝设备上安装部署了泰勒锥检测模型的小型计算机，使用泰勒锥检测模型在静电纺丝过程中对纺丝针头处是否形成泰勒锥进行检测。

进一步的，对采集到的图像样本进行训练生成泰勒锥检测模型包括：

获取图像样本，将图像样本分为训练集、交叉验证集、测试集；

对训练集、交叉验证集内的图像样本进行标记，生成xml标记文件，xml标记文件包括图片名称、图片地址、图片大小、标记类别、标记类别对应的区域坐标；

选择网络模型，配置网络模型超参数、定义损失函数对训练集进行训练，并在训练过程中输出当前训练步数、损失值、训练一步所需的时间；

不定时保存训练出的模型参数，用当前的模型参数对交叉验证集内的图像样本进行预测，并输出当前的预测图片、预测损失、预测准确率；

若当前预测准确率达到预设的预测准确率或者当前训练步数达到训练步数上限，则停止训练，根据当前的模型参数保存最终的检测模型；否则根据预测损失、预测准确率调整网络模型超参数继续进行训练。

进一步的，网络模型超参数包括标记类别数量、输入的图像尺寸、核函数、每步训练的图像样本数量、学习率、学习率下降的速度、训练步数上限、交叉验证集内的图像样本数量。

进一步的，网络模型ssd_mobilenet；标记类别数量设为1，输入图像的尺寸设为长640px、宽640px,核函数设为Sigmoid函数，每步训练的图像样本数量设为10张，学习率设为0.0799999982119，学习率下降的速度设为0.0266660004854，训练步数上限设为12500步，交叉验证集内的图像样本数量设为3000张。

进一步的，训练集的图像样本数量占图像样本总量的70％、交叉验证集的图像样本数量占图像样本总量的15％、测试集的图像样本数量占图像样本总量的15％。

进一步的，损失函数为：

进一步的，预测准确率的计算公式为：

进一步的，使用泰勒锥检测模型在静电纺丝过程中对纺丝针头处是否形成泰勒锥进行检测包括以下步骤：

拍摄静电纺丝过程中纺丝针头处的图像；

在图像上纺丝针头位置标记“泰勒锥”；

计算预测概率，并将预测概率标记在所述图像上；

将标记后的图像作为检测图像输出。

本发明还提供一种基于深度学习的泰勒锥检测系统，系统包括图像样本采集装置、检测模型训练装置、静电纺丝装置；

图像样本采集装置包括工业相机、显微镜头，工业相机与显微镜头连接，工业相机与显微镜头用于采集图像样本；

检测模型训练装置包括高性能计算机，高性能计算机使用上述的训练泰勒锥检测模型的方法，生成泰勒锥检测模型；

静电纺丝装置包括部署了泰勒锥检测模型的小型计算机、用于拍摄纺丝针头处的图像的摄像头，静电纺丝装置使用上述的检测方法对纺丝针头处是否形成泰勒锥进行检测。

本发明提供的基于深度学习的泰勒锥检测方法及检测系统通过使用深度学习技术训练出泰勒锥的检测模型，使用检测模型对纺丝针头处是否形成泰勒锥进行检测，代替肉眼检测，无需人工参与，降低成本，同时比人工肉眼检测有更高的准确率与预测速度。

附图说明

为了更清楚的说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见的，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1为本发明一种实施例的训练泰勒锥检测模型的步骤流程图；

图2为本发明一种实施例使用泰勒锥检测模型进行检测输出的检测图片；

图3为本发明一种实施例使用泰勒锥检测模型检测的步骤流程图；

图4为本发明一种实施例的泰勒锥检测系统结构示意图。

1-显微镜头、2-工业相机、3-高性能计算机、4-小型计算机。

具体实施方式

下面将结合本发明中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通的技术人员在没有做出创造性劳动的前提下所获得的所有其它实施例，都属于本发明的保护范围。

在本发明的一实施例中，基于深度学习的泰勒锥检测方法包括：

步骤S1：采集图像样本；具体的，在本实施例中，可以使用显微镜头以及工业相机的组合，将显微镜头设置在工业相机上，对准静电纺丝设备上的纺丝针头，在静电纺丝过程中实时拍摄纺丝针头处的图像作为图像样本。

步骤S2：对采集到的图像样本进行训练生成泰勒锥检测模型；可以使用深度学习算法对采集到的图像样本进行训练，从而生成泰勒锥检测模型。

步骤S3：在静电纺丝设备上安装部署了泰勒锥检测模型的小型计算机，使用泰勒锥检测模型在静电纺丝过程中对纺丝针头处是否形成泰勒锥进行检测。

使用训练好的泰勒锥检测模型在静电纺丝过程中对纺丝针头处是否形成泰勒锥进行检测：首先可以使用摄像头实时拍摄纺丝针头处的图像，将图像发送给小型计算机，小型计算机使用训练好的泰勒锥检测模型对接收的图像进行检测，判断纺丝针头处是否形成了泰勒锥，通过上述过程无需人工肉眼判断是否形成泰勒锥，提高判断速度及准确率。

进一步的，如图1所示，为训练泰勒锥检测模型的步骤流程图，泰勒锥检测模型的训练步骤包括：

S101：获取图像样本，将图像样本分为训练集、交叉验证集、测试集。

具体的，可以使用高性能计算机训练泰勒锥检测模型，在工业相机采集到图像样本后将图像样本发送给高性能计算机，高性能计算机将图像样本按照一定比例分为训练集、交叉验证集、测试集，比例可以根据实际需要自行设置。其中训练集中的图像样本用来训练泰勒锥检测模型；交叉验证集是在训练预测模型时单独留下来的样本集，可以用于调整检测模型的超参数和用于对检测模型的泛化能力进行初步评估；测试集是用来评估最终的检测模型的泛化能力。其中泛化能力是指对未知数据的检测能力。

S102：对训练集、交叉验证集内的图像样本进行标记，生成xml标记文件。

xml标记文件包括图片名称、图片地址、图片大小、标记类别、标记类别对应的区域坐标。具体的，在本发明的实施例中，标记类别仅为泰勒锥一种，采集的图像样本中纺丝针头处形成了泰勒锥，则将其标记为泰勒锥，若在纺丝针头处未形成泰勒锥，则不进行标记；标记类别所对应的区域坐标为(xmin，ymin)，(xmax，ymax)，其中标记类别所对应的区域坐标指的是标记为泰勒锥的图片样本中泰勒锥所在区域的矩形边界框的坐标，其中(xmin，ymin)为边界框的左上顶点坐标，(xmax，ymax)为边界框的右下顶点坐标。进一步的，根据左上顶点和右下顶点的坐标即可画出边界框，在后面对交叉验证集、测试集内的图像样本进行检测时会根据标记类别所对应的区域坐标将泰勒锥所在区域通过边界框在图像样本上标示出来。

S103：选择网络模型、配置网络模型超参数、定义损失函数。

具体的，深度学习的网络模型有多种选择，如ssd_mobilenet、ssd_inception、faster_rcnn、yoloV3等都是目前主流的网络模型，在选择网络模型时可以根据实际需要选择合适的网络模型；网络模型超参数是模型外部的配置，是在开始学习过程之前设置值的参数，比如算法中的learning rate(学习率)、iterations(梯度下降法循环的数量)、(隐藏层数目)、(隐藏层单元数目)、choice of activation function(激活函数的选择)等需要在学习之前设置，这些数字实际上控制了最后的参数和的值，所以它们被称作超参数。损失函数在深度学习中被用于估量模型的预测值与真实值不一致的程度。

S104：使用训练集进行模型训练。

具体的，在配置好网络模型超参数、定义好损失函数之后，开始进行训练。可选的，在训练过程中可以输出当前的训练步数、损失值、训练一步所需的时间。当前的训练步数与训练一步所需的时间结合预设的训练步数上限能够判断出模型训练所需的时间。损失值根据损失函数计算，下文有详细的介绍，在此不过多赘述。

S105：不定时保存训练出的模型参数，用当前模型参数对交叉验证集进行预测。

在这里，可以将训练模型看作是一个函数，得到模型参数是训练的目的，模型参数一旦确定，训练模型也就确定。在预测时输出预测图片、预测损失、预测准确率。预测损失即为上文提到的损失值，代表预测值与真实值之间的偏差，通过损失函数进行计算。预测准确率指的是在被预测为泰勒锥的图像中实际为泰勒锥的图像占被预测为泰勒锥的图像的比例。

S106：若满足“当前预测准确率≥预设预测准确率”或“当前训练步数≥训练步数上限”则执行步骤S108，否则，执行步骤S107。

S107：调整网络模型超参数，执行步骤S104。具体的，在当前预测准确率未达到预先设置的预测准确率且当前训练步数未达到预设的训练步数时，根据当前模型参数对交叉验证集进行预测时输出的预测损失以及预测准确率对网络模型超参数进行调节，从而提高预测准确率。

S108：停止训练，根据当前的模型参数保存为最终的泰勒锥检测模型。

经过上述步骤，得到了泰勒锥的检测模型。

进一步的，网络模型超参数包括标记类别数量，标记类别数量指的是在训练集中标记为泰勒锥的图像的数量；输入图片尺寸，由于高性能计算机获取的图像样本的尺寸可能大小不一，在进行训练之前需要统一图像尺寸；核函数，可选的，核函数可以为sigmid,tanh,Relu,Leaky Relu。每步训练的图像样本数，表示在每步训练时输入的图像样本数量；学习率；学习率下降的速度；训练步数上限；交叉验证集的图像样本数量。上面提到的网络模型超参数是本发明一实施例中主要用到的超参数，并不是对本发明的限制，本发明中在配置网络模型超参数时还包括其他的超参数需要配置，如数据增强的类型，隐藏层数量，隐藏层单元数量，卷积核的大小等等。

进一步的，在本发明的一实施例网络模型选择ssd_mobilenet，ssd_mobilenet是现有技术中常用的网络模型，再此不过多赘述；标记类别数量即标记为泰勒锥的图像样本的种类设为1；输入图像的尺寸设为长640像素、宽640像素；核函数选择Sigmoid函数即：

其中，z＝ω^Tx+b，z＝ω^Tx+b表示所要训练出的泰勒锥检测模型所代表的函数，ω以及b为上文提到的需要经过训练得出的模型参数；每步训练的图像样本数设为10张，学习率设为0.0799999982119，学习率下降的速度设为0.0266660004854，训练步数上限设为12500步，交叉验证集内的图像样本数量设为3000张。

进一步的，在本发明的一种实施例中，训练集的图像样本数量占图像样本总量的70％、交叉验证集的图像样本数量占图像样本总量的15％、测试集的图像样本数量占图像样本总量的15％。应当注意的是，上述的训练集、交叉验证集、测试集所占的比例只是其中一个实施例，并非是对本发明的限制，根据实际需要，也可以将其设置为其他比例。

进一步的，在本发明的一实施例中，损失函数为：

其中y为输入的真实值，y的取值为0或1，1表示泰勒锥，0表示非泰勒锥，

为输出的预测值，

的取值范围为[0,1]，

m为输入图像样本数量，i的取值为1，2，…，m。损失值或预测损失即为根据损失函数计算得到的j的值。

进一步的，在本发明的又一实施例中，预测准确率的计算公式为：

其中，TP代表True Positive,被模型判定为正样本，事实上也是正样本的数量，在本发明中即为被模型判定为是泰勒锥，事实上也是泰勒锥的数量；FP代表False Positive,被模型判定为正样本，但事实上是负样本的数量，在本发明中即为被模型判定为是泰勒锥，事实上是非泰勒锥的数量。

进一步的，在本发明的又一实施例中，如图3所示，使用泰勒锥检测模型在静电纺丝过程中对纺丝针头处是否形成泰勒锥进行检测包括以下步骤：

步骤S201：拍摄静电纺丝过程中纺丝针头处的图像。

步骤S202：在图像上的纺丝针头位置处标记“泰勒锥”；由于本方案中的标记类别仅为泰勒锥，因此无论在纺丝针头处是否形成泰勒锥，均在被检测的图像上标记泰勒锥。

步骤S203：计算预测概率，并将预测概率标记在图像上；预测概率代表被检测的图像中纺丝针头处形成泰勒锥的概率，预测概率的计算公式为

其中

为上文提到的核函数，σ(z)的值即为预测概率，σ(z)的取值范围为[0,1]。若σ(z)的值小于0.5，则代表纺丝针头处形成泰勒锥的概率低于50％，可以认为纺丝针头处未形成泰勒锥，若σ(z)的值大于等于0.5，则代表纺丝针头处形成泰勒锥的概率高于50％，可以认为纺丝针头处形成了泰勒锥。如图2所示，为使用泰勒锥检测模型进行检测输出的检测图像，检测图像中显示了标记类别，即泰勒锥，并将标记类别所在区域使用方框框起来，方框的确定根据标记类别所对应的区域坐标为(xmin，ymin)，(xmax，ymax)决定，同时在检测图像上标记了预测概率，如图2所示，即在图像上标记Taylar_cone：94％，即表示是泰勒锥的概率为94％。

步骤S204：将标记后的图像作为检测图像输出。

标记后的图像上标记了形成泰勒锥的概率，操作人员可以从输出的检测图像上清晰的知道在纺丝针头处是否形成了泰勒锥，并根据这种检测结果进行后续的静电纺丝的调整。

通过上述方法，使得在静电纺丝过程中对泰勒锥的检测实现自动检测，无需再由人工进行检测，降低了检测成本，同时由于采用深度学习的方式训练出检测模型，相比于肉眼检测具有更高的准确率以及更快的速度。

本发明还提供了一种基于深度学习的泰勒锥检测系统，系统包括图像样本采集装置、检测模型训练装置、静电纺丝装置。

如图3所示，图像样本采集装置包括工业相机2、显微镜头1，工业相机2与所述显微镜头1连接，工业相机2与显微镜头1用于采集图像样本。

检测模型训练装置包括高性能计算机3，高性能计算机3使用上述的训练泰勒锥检测模型的方法，生成泰勒锥检测模型。

静电纺丝装置包括部署了泰勒锥检测模型的小型计算机、用于拍摄纺丝针头处的图像的摄像头，在静电纺丝装置上增加了部署有检测模型的小型计算机4、摄像头，在摄像头拍摄到纺丝针头处的图像后输入给小型计算机4进行判断，并在判断后输出检测图像，取代了人工肉眼观察判断，既提高了判断的准确性又节省了人工成本，同时整个判断过程速度快、效率高。

本发明说明书中使用的术语和措辞仅仅为了举例说明，并不意味构成限定。本领域技术人员应当理解，在不脱离所公开的实施方式的基本原理的前提下，对上述实施方式中的各细节可进行各种变化。因此，本发明的范围只由权利要求确定，在权利要求中，除非另有说明，所有的术语应按最宽泛合理的意思进行理解。

Claims (6)

1.一种基于深度学习的泰勒锥检测方法，其特征在于，所述方法包括：

采集图像样本；

获取图像样本，将所述图像样本分为训练集、交叉验证集、测试集；

对所述训练集、所述交叉验证集内的图像样本进行标记，生成xml标记文件；

选择网络模型为ssd_mobilenet，配置网络模型超参数、定义损失函数对所述训练集进行训练，并在训练过程中输出当前训练步数、损失值、训练一步所需的时间；

其中，配置所述网络模型超参数包括将标记类别数量设为1、输入的图像尺寸设为长640px、宽640px、核函数设为Sigmoid函数、每步训练的图像样本数量设为10张、学习率设为0.0799999982119、学习率下降的速度设为0.0266660004854、训练步数上限设为12500步、所述交叉验证集内的图像样本数量设为3000张，所述损失函数为：

y为输入的真实值，y的取值为0或1，1表示泰勒锥，0表示非泰勒锥，

为输出的预测值，

的取值范围为[0,1]，

m为输入图像样本数量，j为预测损失，i的取值为1，2，…，m；

不定时保存训练出的模型参数，用当前的模型参数对交叉验证集内的图像样本进行预测，并输出当前的预测图片、预测损失、预测准确率；

若当前预测准确率达到预设的预测准确率或者当前训练步数达到训练步数上限，则停止训练，根据当前的模型参数保存模型作为最终的泰勒锥检测模型；否则根据所述预测损失、所述预测准确率调整网络模型超参数继续进行训练；

在静电纺丝设备上安装部署了所述泰勒锥检测模型的小型计算机，使用所述泰勒锥检测模型在静电纺丝过程中对纺丝针头处是否形成泰勒锥进行检测。

2.如权利要求1所述的基于深度学习的泰勒锥检测方法，其特征在于，所述xml标记文件包括图片名称、图片地址、图片大小、标记类别、所述标记类别对应的区域坐标。

3.如权利要求1所述的基于深度学习的泰勒锥检测方法，其特征在于，所述训练集的图像样本数量占所述图像样本总量的70％、所述交叉验证集的图像样本数量占所述图像样本总量的15％、所述测试集的图像样本数量占所述图像样本总量的15％。

4.如权利要求1所述的基于深度学习的泰勒锥检测方法，其特征在于，所述预测准确率的计算公式为：

5.如权利要求1所述的基于深度学习的泰勒锥检测方法，其特征在于，所述使用所述泰勒锥检测模型在静电纺丝过程中对纺丝针头处是否形成泰勒锥进行检测包括以下步骤：

拍摄静电纺丝过程中纺丝针头处的图像；

在图像上的纺丝针头位置处标记“泰勒锥”；

计算预测概率，并将所述预测概率标记在所述图像上；

将标记后的图像作为检测图像输出。

6.一种基于深度学习的泰勒锥检测系统，其特征在于，所述系统包括图像样本采集装置、检测模型训练装置、静电纺丝装置；

所述图像样本采集装置包括工业相机、显微镜头，所述工业相机与所述显微镜头连接，所述工业相机与所述显微镜头用于采集图像样本；

所述检测模型训练装置包括高性能计算机，所述高性能计算机使用如权利要求1-4任一项所述的训练泰勒锥检测模型的方法，生成泰勒锥检测模型；

所述静电纺丝装置包括部署了所述泰勒锥检测模型的小型计算机、用于拍摄纺丝针头处的图像的摄像头，所述静电纺丝装置使用如权利要求5所述的方法对纺丝针头处是否形成泰勒锥进行检测。

Images