CN112750109B - 一种基于形态学和深度学习的制药设备安全监测方法 - Google Patents

Abstract

一种基于形态学和深度学习的制药设备安全监测模型。步骤1，获取模型训练样本：利用红外热像仪拍摄制药车间机械设备不同工作状态下的图像，并制作相应的标签；步骤2，训练样本的扩充：利用生成对抗网络对步骤1中采集的样本进行扩充；步骤3，红外图像的增强：利用时域低通卷积滤波对图像进行初次滤波，而后利用形态学滤波对图像进行二次滤波增强；步骤4，模型的离线训练：上位机程序利用步骤3中得到的图像对正则化卷积神经网络模型进行训练，直至模型收敛；步骤5，模型的在线监测：将训练得到的网络模型应用于制药生产车间的机械设备中以保护设备的正常运行。本发明可以很好的保障制药车间的机械设备安全的运行，提高生产效率。

Description

一种基于形态学和深度学习的制药设备安全监测方法

技术领域

本发明涉及制药设备安全监测领域，特别是涉及一种基于形态学和深度学习的制药设备安全监测方法。

背景技术

随着中国老龄化的到来，国内市场对药物的需求是越来越高，如何高效利用现有的自动化生产技术，提高现有的生产效率尤为重要，这不仅对自动化生产提出了很高的要求，对机械设备状态监测也提出了很高的要求。状态监测系统通过各类传感器、红外热像仪等数据采集硬件对自动化机械设备运行状态进行监测，而后结合相关的分析算法，进行机械设备运行状态的可靠性监测，保障机械设备在工作状态下的运行安全，提高工厂的生产效率，具有很好的现实意义。

从目前的研究来看，制药机械设备的健康状态监测领域还不成熟，尤以深度学习在此领域的应用为最。近年来，得益于硬件性能的不断优化，深度学习得到了极快的发展，各类性能优异的深度学习模型被提出如生成对抗网络(GAN)、卷积神经网络(CNN)和堆栈自编码网络(SDAE)等等。但是，深度学习模型的性能大大的受制于训练样本的数量，工业实际应用中，样本数量是很少的，如何解决在小样本条件下，避免深度学习模型产生过拟合现象是一大难题。同时，如何从传感器或红外摄像仪采集的信号或图像中挖掘所含有的特征信息亦是一大难题。在制药设备的健康状态监测应用中，尤要考虑以上两大难题。

国内涉及设备健康状态监测的专利有“一种电网设备智能监测系统”(201710634398.8)，该发明将电网设备无线监测模块监测的数据与预先设定的正常阈值范围的边界值进行比较，若超过正常值范围，则输出报警信号，但该专利中的阈值设置不具有自适应性，这对该方法的推广产生了一定的限制。国家发明专利“一种基于人工智能的电气自动化设备监测系统和方法”(201911132393.0)，该方法利用电气控制数据并进行深度学习训练；接受深度学习训练后的电气控制数据；建立动态时间窗，进行动态交差训练实现对电气自动化设备的状态监测，但该方法中未考虑到小样本数据对模型监测精度的影响。

发明内容

为解决上述问题，本发明在生成对抗网络(GAN)、时域低通滤波、形态学滤波和卷积神经网络(CNN)的基础上，提出了一种基于形态学和深度学习的制药设备安全监测方法。为了解决深度学习模型中训练样本数量过少的问题，采用了GAN对现有的样本进行扩充，解决了模型在小样本条件下产生的过拟合而导致泛化性能降低的难题。另外，为了降低红外热像仪采集照片中所含的噪声，采用时域低通卷积滤波和形态学滤波对照片进行二次滤波以增强照片中含有的特征。最后，在原始的CNN网络的损失函数中加入正则项，这避免模型的过拟合同时增强特征数据的可分性。为达此目的，本发明提供一种基于形态学和深度学习的制药设备安全监测模型，具体步骤如下，其特征在于：

步骤1，获取模型训练样本：利用红外热像仪拍摄制药车间机械设备不同工作状态下的图像，并制作相应的标签；

步骤2，训练样本的扩充：利用生成对抗网络(GAN)对步骤1中采集的样本进行扩充；

步骤3，红外图像的增强：利用时域低通卷积滤波对图像进行初次滤波，而后利用形态学滤波对图像进行二次滤波增强；

步骤4，模型的离线训练：上位机程序利用步骤3中得到的图像对正则化卷积神经网络模型进行训练，直至模型收敛；

步骤5，模型的在线监测：将训练得到的网络模型应用于制药生产车间的机械设备中以保护设备的正常运行。

进一步，步骤2中利用GAN网络对图像进行样本扩充可具体描述为：

GAN中生成器G和判别器D使用的都是深度卷积神经网络，在训练过程中，G和D进行博弈训练，在参数更新时，固定G/D而反向修正D/G，直至G和D达到纳什平衡，此时认为生成的图像与原始图像有着相同的概率分布，也即完成了图像的扩充。

进一步，步骤3中对红外图像的滤波增强的具体步骤为：

步骤3.1，利用时域低通卷积滤波对图像进行初次滤波，该过程可表示为：

d(x,y)＝s(x,y)*w(x,y)

式中，d(x,y)为滤波增强后的图像，s(x,y)表示原图像，*表示卷积运算，w(x,y)为滤波器滑动窗口，本专利中w(x,y)对应的频域卷积模板矩阵W选择：

步骤3.2，利用形态学滤波对步骤3.1得到的图像进行二次滤波增强，其具体步骤为：

步骤3.2.1，利用形态学梯度算子计算步骤3.1得到的图像的梯度图像，其中形态学梯度g(x,y)的计算公式为：

式中，

和Θ分别表示形态学膨胀和腐蚀运算，b(x',y')代表结构元素，b(x',y')采用“disk”，参数选择为5；

步骤3.2.2，对步骤3.2.1得到的梯度图像进行腐蚀运算和膨胀运算以获得二次增强的图像。

进一步，步骤4中正则化卷积神经网络模型进行训练的具体步骤为：

步骤4.1，利用TensorFlow搭建正则卷积神经网络(RCNN)框架，其具体框架为：输入层—卷积层1—池化层1—卷积层2—池化层2—卷积层3—池化层3—卷积层4—池化层4—全连接层1—全连接层2—Softmax层。

步骤4.2，将步骤3得到的增强图像输入到RCNN中，并且向原有的卷积神经网络的损失函数L_c中加入正则惩罚项L_r，具体的损失函数L_RCNN可表示为：

式中，N为训练样本总数，r⁽ⁱ⁾为Softmax层得到的实际样本标签，

为Softmax层理论的标签，λ为正则化系数，卷积核权重系数表示为w_j，数量为m；

步骤4.3，利用Adam优化算法对RCNN中的参数进行更新，直至损失函数L_RCNN小于设定的收敛阈值1e-5，此时RCNN训练结束。

本发明一种基于形态学和深度学习的制药设备安全监测方法，有益效果：本发明的技术效果在于：

1.本发明采用了GAN对现有的样本进行扩充，解决了模型在小样本条件下产生的过拟合而导致泛化性能降低的难题；

2.本发明采用时域低通卷积滤波和形态学滤波对照片进行二次滤波，增强了照片中含有的特征；另外，在原始的CNN网络的损失函数中加入正则项，避免了模型的过拟合同时增强特征数据的可分性。

附图说明

图1为本发明的流程图；

图2为本发明所用的RCNN网络结构图；

具体实施方式

下面结合附图与具体实施方式对本发明作进一步详细描述：

本发明提出了一种基于形态学和深度学习的制药设备安全监测方法，旨在保障制药车间的机械设备运行的安全，提高生产效率。图1为本发明的流程图。下面结合流程图对本发明的步骤作详细介绍。

步骤1，获取模型训练样本：利用红外热像仪拍摄制药车间机械设备不同工作状态下的图像，并制作相应的标签；

步骤2，训练样本的扩充：利用生成对抗网络(GAN)对步骤1中采集的样本进行扩充；

步骤2中利用GAN网络对图像进行样本扩充可具体描述为：

GAN中生成器G和判别器D使用的都是深度卷积神经网络，在训练过程中，G和D进行博弈训练，在参数更新时，固定G/D而反向修正D/G，直至G和D达到纳什平衡，此时认为生成的图像与原始图像有着相同的概率分布，也即完成了图像的扩充。

步骤3，红外图像的增强：利用时域低通卷积滤波对图像进行初次滤波，而后利用形态学滤波对图像进行二次滤波增强；

步骤3中对红外图像的滤波增强的具体步骤为：

步骤3.1，利用时域低通卷积滤波对图像进行初次滤波，该过程可表示为：

d(x,y)＝s(x,y)*w(x,y)

式中，d(x,y)为滤波增强后的图像，s(x,y)表示原图像，*表示卷积运算，w(x,y)为滤波器滑动窗口，本专利中w(x,y)对应的频域卷积模板矩阵W选择：

步骤3.2，利用形态学滤波对步骤3.1得到的图像进行二次滤波增强，其具体步骤为：

步骤3.2.1，利用形态学梯度算子计算步骤3.1得到的图像的梯度图像，其中形态学梯度g(x,y)的计算公式为：

式中，

和Θ分别表示形态学膨胀和腐蚀运算，b(x',y')代表结构元素，b(x',y')采用“disk”，参数选择为5。

步骤3.2.2，对步骤3.2.1得到的梯度图像进行腐蚀运算和膨胀运算以获得二次增强的图像。

步骤4，模型的离线训练：上位机程序利用步骤3中得到的图像对正则化卷积神经网络模型进行训练，直至模型收敛；

步骤4中正则化卷积神经网络模型进行训练的具体步骤为：

步骤4.1，利用TensorFlow搭建正则卷积神经网络(RCNN)框架，其具体框架为：输入层—卷积层1—池化层1—卷积层2—池化层2—卷积层3—池化层3—卷积层4—池化层4—全连接层1—全连接层2—Softmax层。

步骤4.2，将步骤3得到的增强图像输入到RCNN中，并且向原有的卷积神经网络的损失函数L_c中加入正则惩罚项L_r，具体的损失函数L_RCNN可表示为：

式中，N为训练样本总数，r⁽ⁱ⁾为Softmax层得到的实际样本标签，

为Softmax层理论的标签，λ为正则化系数，卷积核权重系数表示为w_j，数量为m。

步骤4.3，利用Adam优化算法对RCNN中的参数进行更新，直至损失函数L_RCNN小于设定的收敛阈值1e-5，此时RCNN训练结束。

步骤5，模型的在线监测：将训练得到的网络模型应用于制药生产车间的机械设备中以保护设备的正常运行。

图2为本发明所用的RCNN网络结构图，其具体的框架为：输入层—卷积层1—池化层1—卷积层2—池化层2—卷积层3—池化层3—卷积层4—池化层4—全连接层1—全连接层2—Softmax层。有别于传统的CNN网络，RCNN网络的损失函数中添加了正则化项，避免模型的过拟合同时增强特征数据的可分性。

以上所述，仅是本发明的较佳实施例而已，并非是对本发明作任何其他形式的限制，而依据本发明的技术实质所作的任何修改或等同变化，仍属于本发明所要求保护的范围。

Claims (2)

1.一种基于形态学和深度学习的制药设备安全监测方法，具体步骤如下，其特征在于：

步骤1，获取模型训练样本：利用红外热像仪拍摄制药车间机械设备不同工作状态下的图像，并制作相应的标签；

步骤2，训练样本的扩充：利用生成对抗网络GAN对步骤1中采集的样本进行扩充；

步骤3，红外图像的增强：利用时域低通卷积滤波对图像进行初次滤波，而后利用形态学滤波对图像进行二次滤波增强；

步骤3中对红外图像的滤波增强的具体步骤为：

步骤3.1，利用时域低通卷积滤波对图像进行初次滤波，该过程表示为：

d(x,y)＝s(x,y)*w(x,y)

式中，d(x,y)为滤波增强后的图像，s(x,y)表示原图像，*表示卷积运算，w(x,y)为滤波器滑动窗口，w(x,y)对应的频域卷积模板矩阵W选择：

步骤3.2，利用形态学滤波对步骤3.1得到的图像进行二次滤波增强，其具体步骤为：

步骤3.2.1，利用形态学梯度算子计算步骤3.1得到的图像的梯度图像，其中形态学梯度g(x,y)的计算公式为：

式中，

和Θ分别表示形态学膨胀和腐蚀运算，b(x',y')代表结构元素，b(x',y')采用“disk”，参数选择为5；

步骤3.2.2，对步骤3.2.1得到的梯度图像进行腐蚀运算和膨胀运算以获得二次增强的图像；

步骤4，模型的离线训练：上位机程序利用步骤3中得到的图像对正则化卷积神经网络模型进行训练，直至模型收敛；

步骤4中正则化卷积神经网络模型进行训练的具体步骤为：

步骤4.1，利用TensorFlow搭建正则卷积神经网络RCNN框架，其具体框架为：输入层—卷积层1—池化层1—卷积层2—池化层2—卷积层3—池化层3—卷积层4—池化层4—全连接层1—全连接层2—Softmax层；

步骤4.2，将步骤3得到的增强图像输入到RCNN中，并且向原有的卷积神经网络的损失函数L_c中加入正则惩罚项L_r，具体的损失函数L_RCNN表示为：

式中，N为训练样本总数，r⁽ⁱ⁾为Softmax层得到的实际样本标签，

为Softmax层理论的标签，λ为正则化系数，卷积核权重系数表示为w_j，数量为m；

步骤4.3，利用Adam优化算法对RCNN中的参数进行更新，直至损失函数L_RCNN小于设定的收敛阈值1e^-5，此时RCNN训练结束；

步骤5，模型的在线监测：将训练得到的网络模型应用于制药生产车间的机械设备中以保护设备的正常运行。

2.根据权利要求1所述的一种基于形态学和深度学习的制药设备安全监测方法，其特征在于：步骤2中利用GAN网络对图像进行样本扩充可具体描述为：

GAN中生成器G和判别器D使用的都是深度卷积神经网络，在训练过程中，G和D进行博弈训练，在参数更新时，固定G/D而反向修正D/G，直至G和D达到纳什平衡，此时认为生成的图像与原始图像有着相同的概率分布，也即完成了图像的扩充。

Images