CN109871614B - 基于bp神经网络的气动式微滴喷射状态预测的方法 - Google Patents

Abstract

本发明公开了基于BP神经网络的气动式微滴喷射状态预测的方法，属于微滴喷射领域。该方法首先建立了基于BP神经网络的微滴状态预测模型，该预测模型以气压振荡信号P(t)为输入，P(t)由腔内高速压力传感器采集，以微滴状态为输出。经验证搭建的模型可以精确地预测微滴喷射状态。常见的喷射状态参数包括：微滴个数N_d、微滴在一定延时(以高速电磁阀驱动信号上升沿为参考时间)相对喷口的距离H_d。在应用举例中，对微滴个数的预测准确率高于99％。相比基于机器视觉和图像处理获得微滴的统计平均位置，通过P(t)和BP神经网络的预测模型对H_d的预测精度可以提高3倍以上。

Description

基于BP神经网络的气动式微滴喷射状态预测的方法

技术领域

本发明属于微滴喷射领域，具体涉及一种气动微滴喷射系统以及基于BP神经网络的微滴喷射状态预测的方法。该方法通过建立预测模型可以有效地预测微滴喷射状态，可用于气动微滴喷射装置的微滴状态的预测，实时监测与控制。

背景技术

微滴喷射技术被广泛用于许多领域，例如喷墨印刷，印刷电子，3D打印等领域。除此之外，由于微滴喷射技术还常被应用在生物医学领域。对于珍贵或稀缺的样品，微量样品分配不仅减少了样品量以降低成本，而且还有助于提高生化反应的速度。气动微滴喷射相较于其他喷射方式，操作简单且适用于各种粘度和温度范围的样品。最初用于细胞打印，它实现了近100％的细胞活力，使其成为分配载有细胞的生物医学样品的潜在选择。

常见的气动微滴喷射装置包括微滴喷射系统、微滴监测系统，如图1。通过该装置可以获得较为可控的微滴，并记录喷射状态图像与储液腔内气体压强数据。

微滴喷射系统包括：储液腔体1；喷嘴2；高速电磁阀3；电气比例阀4；通气管路(包含进气通道，通气管和T形接头)5。

微滴监测系统包括：高亮LED灯6；用于机器视觉监控的工业相机7；用于监测储液器中的气体压力的高速压力传感器8；控制及数据处理系统(包含上位机、控制软件和下位机)9。控制及数据处理系统会根据用户配置参数，驱动相机在一段延时后，记录下微滴状态图像。

微滴的产生是在储液腔内压强脉冲的驱动下实现的。脉冲的产生可以通过电声学类比原理，装置中的气压源P₀可以类比为恒压源，储液腔可以类比为一个电容元件，电磁阀类比为理想开关与电阻的串联，而短管则类比为一个电感元件与一个电阻元件的串联，装置内的气压与RLC电路中的电容两端的电压满足相同的微分方程。对于实验的装置而言，获得的等效电路，如图2所示。对该等效电路进行分析，当开关接通后，电压源向电路中电容元件充电，电容两端实际电压受到其他元件分压。当开关断开，储能后的电容通过电感和电阻放电。对等效电路的充电和放电过程进行仿真，可以获得电容两端的电压变化，进而根据电声类比模型得到腔体内气压振荡波形P(t)的变化。

结合实际压力波形与模拟结果，可以发现进气和放气管通路几何尺寸、储液腔中液面以上空间的体积V、电磁阀导通时间Δt、电磁阀前端气压P₀等参数。均会对腔内气压振荡波形P(t)产生影响，进而影响微滴的产生。实际实验中P₀和Δt取值会在一定范围。打印过程中储液腔中液面以上气体体积V会随时间改变，也会使得P(t)具有不一致的特点。

对于气动微滴喷射装置，微滴的产生涉及到气压振荡信号P(t)驱动下复杂的多相流体过程，并需要考虑由于表面张力效应导致的不稳定性问题。目前，对微滴喷射过程的研究方法主要有：基于有限元计算的模拟仿真方法。其有效性尚需要实验验证，且模拟耗时。基于散射的光学测量方法，可以实现微滴几何参数的高速测量，但系统对环境条件要求较高(例如黑暗环境)，实用性较差。基于机器视觉和图像处理的方法是研究微滴喷射状态最直接有效的方法，但采集设备昂贵，对大量图像信息的实时处理更是增加了系统的复杂性。成像系统的存在很大程度上限制其他部件(例如运动部件)的设计空间。

BP神经网络是一种按照误差逆向传播算法训练的多层前馈神经网络，是目前应用最广泛的神经网络。BP神经网络以神经元的传递函数完成输入与输出的映射，通过误差的反向传播和误差梯度下降的学习算法对神经网络进行训练。由于BP神经网络拥有自学习，自适应能力强，非线性关系映射能力强等特点，常用于研究非线性问题的映射关系，其网络理论与性能均已比较成熟，适合于微滴状态预测模型的建立。

因此，本发明涉及使用BP神经网络构建气压振荡信号P(t)与微滴喷射状态之间的关系模型，能够加深我们对微滴产生这一复杂流体过程的理解，同时，该模型可以通过输入气压振荡信号P(t)对微滴状态进行预测。相较于传统机器视觉和图像分析技术，气压信号P(t)具有采集成本低、利于快速分析处理等特点。采用这种方法能够更好地实时监测和控制微滴喷射状态。

发明内容

为了解决上述技术问题，本发明采用的技术方案为基于BP神经网络的气动式微滴喷射状态预测的方法，该方法首先建立了基于BP神经网络的微滴状态预测模型，该预测模型以气压振荡信号P(t)为输入，P(t)由腔内高速压力传感器采集，以微滴状态为输出。经验证搭建的模型可以精确地预测微滴喷射状态。常见的喷射状态参数包括：微滴个数N_d、微滴在一定延时(以高速电磁阀驱动信号上升沿为参考时间)相对喷口的距离H_d。在应用举例中，对微滴个数的预测准确率高于99％。相比基于机器视觉和图像处理获得微滴的统计平均位置，通过P(t)和BP神经网络的预测模型对H_d的预测精度可以提高3倍以上。

该预测方法的实现过程如下：

步骤1，气动微滴喷射装置气压波形P(t)及喷射状态记录。

(1)设置喷射装置相关参数：

在上位机控制软件中能够设定装置高速电磁阀导通时间Δt、通过电气比例阀或者手动减压阀开度能够调整高速电磁阀前端输入气压P₀。气压脉冲波形还受储液腔内气体体积影响，因而喷射过程中液面的变化也会影响气压波形。

通过改变高速电磁阀导通时间Δt、前端输入气压P₀，储液腔内液面高度等参数，获得不同的具有尽量广泛代表性的P(t)波形和微滴喷射状态的大数据，微滴喷射状态包括N_d和H_d。

(2)对喷射状态的拍摄：

下位机控制电路根据上位机控制软件上设定的参数，产生高速电磁阀驱动信号，控制高速电磁阀开启和关闭；

同时，电路会按照设定好的延时，产生触发信号，控制工业相机对喷口处适当视场范围进行拍照，回传至上位机并保存。拍照对象为喷出的液带，以及单个或者多个微滴。

(3)采集波形信号：

装置通过高速气压传感器和虚拟示波器(或其他数据采集卡等类似工具)，对气压振荡信号P(t)进行采集(同样以电磁阀驱动信号上升沿为参考时间)，采样频率为f_s，采样间隔时间为

实际采集过程中，从同步信号的上升沿开始，对两组信号进行采集，获得i个离散时刻的气压信号P(t_i)。最后将气压振荡信号P(t_i)传送至上位机并保存，得到样本图像。

步骤2，样本图像处理及信息提取：使用matlab程序，对样本图像进行喷射状态的参数提取。

(1)批量读取样本图像；

(2)对确定图像的感兴趣区域即ROI区域进行自适应直方图均衡化；

(3)使用Otsu算法对均衡化后的图像进行二值化处理；

(4)对图像进行形态学闭操作，填充微滴图像中的孔洞，孔洞由于光线折射所造成；

(5)根据连通域的判断微滴状态信息(N_d、H_d等)。值得注意的是，微滴的位置通过一定延时(相对电磁阀触发信号上升沿)下微滴重心与喷口的距离H_d来表述。

步骤3，波形样本的预处理：

(1)使用matlab批量读取气压波形P(t_i)样本；

(2)结合周期性的高速电磁阀触发信号，截取出每次喷射对应的完整波形；

(3)根据微滴产生的先验知识，微滴产生后的P(t_i)对微滴喷射状态影响可以忽略。根据实验经验，截取和保留断裂时刻前这段时间内的气压波形信号。

(4)使用线性最小二乘法，对波形进行滤波操作，从而获得高质量的波形样本，并保存。

步骤4，对样本进行归一化：

(1)对获得的波形样本进行全局归一化。

使用归一化函数对波形样本进行全局归一化，归一化后所得数据范围在[-1,1]之间。归一化函数为：

P_s表示第s个气压波形样本，t_i表示第i个离散时刻的采样时间。

(2)对获得的微滴状态参数进行归一化。

使用归一化函数对微滴状态参数进行归一化，归一化后所得数据范围在[-1,1]之间。归一化函数为：

式中S表示微滴状态参数，实际表示为微滴个数N_d、微滴位置H_d等

(3)将获得的所有微滴状态数据与其对应的气压波形样本P(t_i)进行保存。

步骤5，建立预测微滴喷射状态的BP神经网络预测模型：

(1)搭建预测微滴喷射状态的BP神经网络预测模型，该预测模型的输入变量为腔体内气压波形P(t_i)，输出变量为微滴喷射状态(微滴个数、位置等参数)。

配置输入层神经元数、输出层神经元数、隐含层层数和各隐含层神经元个数等参数。输入层神经元数为气压波形P(t_i)离散数据点的个数，输出层神经元数为1；

(2)初始化神经网络，选择神经网络中的神经元激发函数；

(3)将气压波形P(t_i)输入至神经网络中，神经网络通过前向传播后输出微滴状态预测值；如果微滴状态预测值与微滴状态真实值的误差不满足要求，则将误差在神经网络中反向传播，在这个过程中逐层调整各层神经元之间的连接权重weight和偏移bias，从而使误差不断减小，即微滴状态预测值不断接近微滴状态真实值。重复这个过程，直至训练达到设定误差阈值。

(4)调整测试集与训练集的比例，同时微调相关网络参数(隐含层神经元个数、层数等)后再次进行训练，使网络具有更强的泛化能力。从而使网络可以更加准确的预测不同气压波形P(t_i)条件下产生的微滴状态

步骤6，验证：使用训练好的神经网络对不同喷射气压条件下的微滴喷射状态进行预测：测量储液腔气压波形信号P(t_i)，通过搭建好的预测模型，获得输出值(微滴个数N_d、微滴位置H_d)。并与通过机器视觉和图像处理得到的实际值做比较，从而验证BP神经网络预测模型的预测精度。

本发明能够通过储液腔气压波形有效预测微滴喷射状态。可用于气动微滴喷射装置的微滴状态的预测，与实时监测和控制。

附图说明

图1为气动微滴喷射装置的参考示意图；

图2为储液腔内气压波形的声电学类比模拟示意图；

图3为本发明的图像处理过程图；

图4为BP网络结构图；

图5为神经网络泛化能力验证图；

图6为微滴位置H_d预测结果图；

具体实施方式

以下是发明人提供的具体实施例，以对本发明的技术方案做进一步解释说明。

气动微滴喷射装置微滴喷射状态参数主要包含：微滴个数N_d和微滴位置(相比高速电磁阀驱动信号上升沿一定延时时间)H_d。

实施例1：

该实施例中，主要针对搭建好的气动微滴喷射装置对微滴喷射个数进行预测。该装置包括微滴喷射系统、微滴监测系统。

步骤1，波形及微滴喷射状态记录：

通过气动微滴喷射装置，记录各种气压振荡信号P(t)及对应波形下的微滴喷射状态：

(1)在上位机控制软件上打开工业相机，打开串行通信接口与下位机控制电路进行通信；

(2)在上位机控制软件上设定装置的喷射频率20Hz、高速电磁阀导通时间Δt为1000-1500μs、工业相机延时拍照时间5000μs等参数；调整装置前端输入气压P₀为0.3MPa。

(3)在波形记录软件中，设定采样频率、采样长度等参数。开始记录数据

(4)下位机控制电路根据上位机控制软件上设定的参数；周期性产生拍照信号，控制所述工业相机相对高速电磁阀驱动信号上升沿延迟5000μs对该装置产生的微滴进行拍照，并回传至上位机；

(5)重复上述步骤，直到获得10000组波形、喷射图像样本数据。

步骤2，图像处理及信息提取：使用matlab程序，对样本图像进行喷射状态的参数提取，如图3所示。

(1)批量读取样本图像；

(2)对确定图像的感兴趣区域(ROI区域)进行自适应直方图均衡化；

(3)使用Otsu算法对均衡化后的图像进行二值化处理；

(4)对图像进行形态学闭操作，填充微滴图像中的孔洞；

(5)根据连通域的判断微滴个数信息。

步骤3，波形样本的预处理：

(1)使用matlab批量读取气压波形样本P(t_i)；

(2)结合周期性的高速电磁阀驱动信号上升沿，截取出每次喷射对应的完整波形；

(3)截取电磁阀驱动信号上升沿起始时间至微滴断裂时间，截取前120点作为波形样本；

(4)使用线性最小二乘法，对波形进行滤波操作，从而获得高质量的波形数据，并保存。

步骤4，对样本进行归一化：

(1)对获得的波形样本进行全局归一化。

使用归一化函数对波形样本进行全局归一化，归一化后所得数据范围在[-1,1]之间。

(2)对获得的微滴状态样本微滴个数进行归一化。

使用归一化函数对微滴个数进行归一化，归一化后所得数据为-1，0，1。

(2)将获得的所有微滴个数数据与其对应的波形样本，一并存入excel文件中。

步骤5，建立预测微滴喷射状态的BP神经网络预测模型：

(1)搭建模型，模型输入变量为腔体内气压波形P(t_i)，输出变量为微滴个数。

输入层神经元个数为P(t_i)离散数据点个数，即120个，一个隐藏层包含2个神经元，输出层神经元个数为1，如图4所示。

(2)对于本例，随机选择80％的样品作为训练集，剩余的20％的样品作为测试集。选用“tansig”作为激发函数。

(3)将训练样本输入神经网络进行训练：首先，进行输出层计算，然后进行误差计算。并判断误差是否达到要求，或训练次数是否达到最大，若满足任一条件，则停止训练。

否则，调整各层神经元之间的连接权重weight和偏移bias的阈值，从而使误差不断减小；不断重复这个过程，直至训练达到设定阈值。

(4)调整测试集与训练集的比例，进行4次训练和测试。编号从k＝1到4，训练样本与测试样本各占总样本的80％与20％、60％与40％、40％与60％和20％与80％。训练过程中微调神经网络参数。

步骤6，使用训练好的神经网络对不同喷射气压条件下的微滴喷射状态进行预测：给定气压波形信号P(t_i)，通过BP神经网络计算后，获得输出值(微滴个数)

经过上述步骤操作，该神经网络能够通过波形有效预测喷射的微滴个数，准确率高达99％。

如图5所示，k和m分别表示第几次训练和隐藏层神经元个数,在四组训练(k＝1,2,3,4)中，各组间预测效果差别不大，仅使用20％总样本数进行训练

的预测效果与使用80％总样本数进行训练

的预测效果基本一致，证明该模型具有很想强的泛化能力。

实施例2：

该实施例中，主要针对搭建好的气动微滴喷射装置，喷射单个液滴时，进行微滴位置H_d进行预测。该装置包括微滴喷射系统、微滴监测系统。

步骤1，波形及喷射状态记录：

通过气动微滴喷射装置，记录各种气压振荡信号P(t_i)及对应波形下的微滴位置参数H_d：

(1)在上位机控制软件上打开工业CCD相机，打开串行通信接口与下位机控制电路进行通信；

(2)在上位机控制软件上设定装置的喷射频率20Hz、高速电磁阀导通时间Δt为1000-1500μs、工业相机延时拍照时间5000μs等参数；调整装置前端输入气压P₀为0.3MPa。

(3)波形记录软件中，设定采样频率、采样长度等参数。开始记录数据

(4)下位机控制电路根据上位机控制软件上设定的参数；周期性产生拍照信号，控制所述工业相机相对高速电磁阀驱动信号上升沿延迟5000μs对该装置产生的微滴进行拍照，并回传至上位机；

(5)重复上述步骤，直到获得10000组波形、喷射图像样本数据。

步骤2，图像处理及信息提取：使用matlab程序，对样本图像进行喷射状态的参数提取，如图3所示。

(1)批量读取样本图像；

(2)对确定图像的感兴趣区域(ROI区域)进行自适应直方图均衡化；

(3)使用Otsu算法对均衡化后的图像进行二值化处理；

(4)对图像进行形态学闭操作，填充微滴图像中的孔洞；

(5)根据连通域的判断微滴个数信息。

步骤3，波形样本的预处理：

(1)使用matlab批量读取气压波形样本P(t_i)；

(2)结合周期性的高速电磁阀驱动信号上升沿，截取出每次喷射对应的完整波形；

(3)截取电磁阀驱动信号上升沿起始时间至微滴断裂时间，截取前120点作为波形样本；

(4)使用线性最小二乘法，对波形进行滤波操作，从而获得高质量的波形数据，并保存。

步骤4，对样本进行归一化：

(1)对获得的波形样本进行全局归一化。

使用归一化函数对波形样本进行全局归一化，归一化后所得数据范围在[-1,1]之间。

(2)对获得的微滴状态样本微滴位置进行归一化。

使用归一化函数对微滴位置进行归一化，归一化后所得数据范围在[-1,1]之间。

(3)将获得的所有微滴状态数据与其对应的波形样本，一并存入excel文件中。

步骤5，建立预测微滴喷射状态的BP神经网络预测模型：

(1)搭建模型，模型输入变量为腔体内气压波形P(t_i)，输出变量为微滴位置

输入层神经元个数为P(t_i)离散数据点个数，即120个，一个隐藏层包含5个神经元，输出层单元为1个，如图3所示。

(2)对于本例，随机选择70％的样品作为训练集，剩余的30％的样品作为测试集。选用“tansig”作为激发函数。

(3)将训练样本输入神经网络进行训练：首先，进行输出层计算，然后进行误差计算。并判断误差是否达到要求，或训练次数是否达到最大，若满足任一条件，则停止训练。

否则，调整各层神经元之间的连接权重weight和偏移bias的阈值，从而使误差不断减小；不断重复这个过程，直至训练达到设定阈值。

(4)调整隐藏层神经元的个数，在1、2、3、4、5、10、20个神经元的条件下分别进行训练，并微调其他神经网络参数。

步骤6，使用训练好的神经网络对不同喷射气压条件下的微滴喷射状态进行预测：给定气压波形信号P(t_i)，通过BP神经网络计算后，获得输出值(微滴位置)

经过上述步骤操作，能够通过气压波形P(t_i)有效预测微滴喷射状态。

其预测误差如图6所示，机器视觉和图像处理方法获得微滴的统计平均位置的预测误差与通过BP神经网络模型微滴位置预测误差。横坐标是测试样本序号，纵坐标是预测误差(以像素为单位)。神经网络预测方法相较于传统机器视觉和图像处理方法，对微滴位置预测精度提高了近3倍。

Claims (2)

1.基于BP神经网络的气动式微滴喷射状态预测的方法，其特征在于：该预测方法的实现过程如下，

步骤1，气动微滴喷射装置气压波形P(t)及喷射状态记录；

步骤2，样本图像处理及信息提取：使用matlab程序，对样本图像进行喷射状态的参数提取；

步骤3，波形样本的预处理：

步骤4，对样本进行归一化：

步骤5，建立预测微滴喷射状态的BP神经网络预测模型；

步骤1的实施过程如下，(1)设置喷射装置相关参数：

在上位机控制软件中能够设定装置高速电磁阀导通时间Δt、通过电气比例阀或者手动减压阀开度能够调整高速电磁阀前端输入气压P₀；气压脉冲波形还受储液腔内气体体积影响，因而喷射过程中液面的变化也会影响气压波形；

通过改变高速电磁阀导通时间Δt、前端输入气压P₀，储液腔内液面高度参数，获得不同的具有尽量广泛代表性的P(t)波形和微滴喷射状态的大数据，微滴喷射状态包括N_d和H_d；

(2)对喷射状态的拍摄：

下位机控制电路根据上位机控制软件上设定的参数，产生高速电磁阀驱动信号，控制高速电磁阀开启和关闭；

同时，电路会按照设定好的延时，产生触发信号，控制工业相机对喷口处适当视场范围进行拍照，回传至上位机并保存；拍照对象为喷出的液带，以及单个或者多个微滴；

(3)采集波形信号：

装置通过高速气压传感器和虚拟示波器对气压振荡信号P(t)进行采集，采集同样以电磁阀驱动信号上升沿为参考时间，采样频率为f_s，采样间隔时间为

实际采集过程中，从同步信号的上升沿开始，对两组信号进行采集，获得i个离散时刻的气压信号P(t_i)；最后将气压振荡信号P(t_i)传送至上位机并保存，得到样本图像；

步骤2的实施过程如下，(1)批量读取样本图像；

(2)对确定图像的感兴趣区域即ROI区域进行自适应直方图均衡化；

(3)使用Otsu算法对均衡化后的图像进行二值化处理；

(4)对图像进行形态学闭操作，填充微滴图像中的孔洞，孔洞由于光线折射所造成；

(5)根据连通域的判断微滴状态信息；微滴的位置通过一定延时下微滴重心与喷口的距离H_d来表述；

步骤3的实施过程如下，(1)使用matlab批量读取气压波形P(t_i)样本；

(2)结合周期性的高速电磁阀触发信号，截取出每次喷射对应的完整波形；

(3)根据微滴产生的先验知识，微滴产生后的P(t_i)对微滴喷射状态影响可以忽略；根据实验经验，截取和保留断裂时刻前这段时间内的气压波形信号；

(4)使用线性最小二乘法，对波形进行滤波操作，从而获得高质量的波形样本，并保存；

步骤5的实施过程如下，(1)搭建预测微滴喷射状态的BP神经网络预测模型，该预测模型的输入变量为腔体内气压波形P(t_i)，输出变量为微滴喷射状态即微滴个数、位置参数；

配置输入层神经元数、输出层神经元数、隐含层层数和各隐含层神经元个数参数；输入层神经元数为气压波形P(t_i)离散数据点的个数，输出层神经元数为1；

(2)初始化神经网络，选择神经网络中的神经元激发函数；

(3)将气压波形P(t_i)输入至神经网络中，神经网络通过前向传播后输出微滴状态预测值；如果微滴状态预测值与微滴状态真实值的误差不满足要求，则将误差在神经网络中反向传播，在这个过程中逐层调整各层神经元之间的连接权重weight和偏移bias，从而使误差不断减小，即微滴状态预测值不断接近微滴状态真实值；重复这个过程，直至训练达到设定误差阈值；

(4)调整测试集与训练集的比例，同时微调相关网络参数即隐含层神经元个数、层数后再次进行训练，使网络具有更强的泛化能力；从而使网络更加准确的预测不同气压波形P(t_i)条件下产生的微滴状态；

步骤6，验证：使用训练好的神经网络对不同喷射气压条件下的微滴喷射状态进行预测：测量储液腔气压波形信号P(t_i)，通过搭建好的预测模型，获得输出值即微滴个数N_d、微滴位置H_d；并与通过机器视觉和图像处理得到的实际值做比较，从而验证BP神经网络预测模型的预测精度。

2.根据权利要求1所述的基于BP神经网络的气动式微滴喷射状态预测的方法，其特征在于：步骤4的实施过程如下，(1)对获得的波形样本进行全局归一化；

使用归一化函数对波形样本进行全局归一化，归一化后所得数据范围在[-1,1]之间；归一化函数为：

P_s表示第s个气压波形样本，t_i表示第i个离散时刻的采样时间；

(2)对获得的微滴状态参数进行归一化；

使用归一化函数对微滴状态参数进行归一化，归一化后所得数据范围在[-1,1]之间；归一化函数为：

式中S表示微滴状态参数，实际表示为微滴个数N_d、微滴位置H_d；

(3)将获得的所有微滴状态数据与其对应的气压波形样本P(t_i)进行保存。

Images