CN108296059A - 基于机器视觉的气动微滴喷射状态控制系统及方法 - Google Patents

Abstract

本发明公开了基于机器视觉的气动微滴喷射状态控制系统及方法，属于微滴喷射领域。该方法能够通过单独控制高速电磁阀导通时间t或单独控制高速电磁阀前端气压P，实现系统在初始化喷射和喷射过程中均稳定喷射出单个微滴；本发明可以实现气动微滴喷射装置在初始化喷射和喷射过程中，自动地从拍摄的微滴图像中识别微滴的喷射状态，通过控制电气比例阀开度调节高速电磁阀前端气压P和高速电磁阀导通时间t，时刻保证系统能稳定喷射出单个微滴。取代了操作人员要实时根据CCD相机拍摄的微滴图像，判断微滴的喷射状态，随后手动调节高速电磁阀前端气压P和高速电磁阀导通时间t，提高了装置的使用效率。

Description

基于机器视觉的气动微滴喷射状态控制系统及方法

技术领域

本发明具体涉及一种气动微滴喷射系统，通过机器视觉检测系统产生微滴的喷射状态，实时自动调节控制器，实现该系统在初始化喷射和喷射过程中，能稳定喷射单个微滴的功能，属于微滴喷射技术领域。

背景技术

微滴喷射是一种以外力作为驱动力迫使液体以微滴的形式从小孔中喷出的技术。常见的微液滴喷射方式主要有压电驱动喷射、热泡驱动喷射和气压驱动喷射等。特别是对于生物医学领域样品施加和3D生物打印，压电驱动喷头在实际操作中，工作参数的设定比较复杂，而且喷射液体的黏度不能过大；热泡驱动喷头制作简单，但是喷头局部温度可达到300℃，喷射过程中对包括细胞在内的生物医学样品的活性影响难以评估。因此，需要一种对生物细胞打印没有不利影响的微滴喷射装置。基于气压驱动喷的微滴喷射技术可以实现较高粘度液体的喷射。常温工作，对生物医学样本活性影响小，细胞喷射的成活率高。气动微液滴喷射装置主要分为储液腔、喷嘴、气路三部分，工作原理是利用高速电磁阀产生气体脉冲进入储液腔，迫使储液腔内液体喷出喷嘴，形成微滴。

微滴的喷射状态与通过高速电磁阀进入储液腔的气体，在储液腔内形成的压强脉冲有关。此压强脉冲主要通过高速电磁阀前端压强P、以及高速电磁阀导通时间t控制。当P过大时，极易喷射出多个微滴；当P过小时，则无法喷出微滴。当t过大时，也易喷射出多个微滴；当t过小时，也无法喷射出微滴。所以气动微滴喷射装置在喷射过程中，需要实时保证P和t在合适的范围内，才能稳定喷射单个微滴。稳定单个液滴喷射的P和t范围主要受以下因素影响：液体的特性(主要包括粘性系数、表面张力系数、密度等)；储液腔内液面高度；微滴喷射频率。

目前，气动微滴喷射装置主要存在以下两个问题。一：当装置初始化喷射时，即首次喷射未知液体特性的液体时，或者首次改变喷射频率时，因为无法给装置的控制器设定合适的参数，导致喷射装置工作不稳定，即可能无法喷出微滴或喷出多个微滴；二：在装置喷射过程中，随着喷射时间推移，腔体内的液体会逐渐减少导致液面下降，或者液体特性发生变化(例如液体内物质的沉淀导致的液体特性发生变化等)，因为装置的工作条件发生了变化，原先设定的参数对当前状态已不适用，也会导致喷射装置工作不稳定，即可能无法喷出微滴或喷出多个微滴。现阶段这两个问题的解决办法是：操作人员实时根据CCD相机拍摄的微滴图像，判断微滴的喷射状态，随后手动调节高速电磁阀前端气压P和高速电磁阀导通时间t，以保证装置能够稳定喷射出单个微滴。这不仅增加了实验的复杂程度，降低了实验的效率，还过度依赖操作人员的操作经验和主观判断。由此可知，目前急需一种替代人工的方法，该方法可以实现气动微滴喷射装置在初始化喷射和喷射过程中，自动地从拍摄的微滴图像中识别微滴的喷射状态，并实时调节高速电磁阀前端气压P和高速电磁阀导通时间t，使系统能稳定喷射出单个微滴。

发明内容

为了解决上述技术问题，本发明设计了一种基于图像处理的微液滴反馈控制装置，该装置基于对喷射液滴的图像处理，结合气动喷射装置、气压驱动装置(如：电气比例阀、高速电磁阀)，可以实现气动微滴喷射装置在初始化喷射和喷射过程中，自动地从拍摄的微滴图像中识别微滴的喷射状态，并实时调节高速电磁阀前端气压P和高速电磁阀导通时间t，使系统能稳定喷射出单个微滴。

为了实现上述目的，本发明采用如下技术方案：

基于机器视觉的气动微滴喷射状态控制系统，该系统包括微滴喷射系统、微滴观测系统和微滴控制系统。所述微滴喷射系统包括储液腔体1、喷头2、T型快速插头3、放气管4和供气管5；喷头2和储液腔体1的下端相连；喷头2设置在储液腔体1的底部中间，T型快速插头3的一端和储液腔体1的上端相连，T型快速插头3的另一端和放气管4相连，T型快速插头3的第三端和供气管5相连；所述微滴观测系统包括高亮LED灯6、工业CCD相机7；高亮LED灯6照射方向与喷头2所指方向成一定角度；工业CCD相机7的拍照方向正对高亮LED灯6照射方向；所述微滴控制系统包括上位机控制软件8、下位机控制电路9、高速电磁阀10、电气比例阀11和气源12；上位机控制软件8通过USB2.0线和工业CCD相机7相连，通过串口线和下位机控制电路9相连；下位机控制电路9通过CCD控制线和工业CCD相机7相连，通过高速电磁阀控制线和高速电磁阀10相连，通过电气比例阀控制线和电气比例阀11相连；高速电磁阀10的出气端和供气管5相连，高速电磁阀10的进气端和电气比例阀11出气端相连；电气比例阀11进气端和气源12相连。

基于机器视觉的气动微滴喷射状态控制方法，基于机器视觉的气动微滴喷射状态控制方法，该方法能够通过单独控制高速电磁阀导通时间t或单独控制高速电磁阀前端气压P，实现系统在初始化喷射和喷射过程中均稳定喷射出单个微滴；

所述单独控制高速电磁阀导通时间t的控制方法中，高速电磁阀导通时间t作为控制变量，电气比例阀固定在一开度下，即高速电磁阀前端气压P恒定。该方法的实现包括如下步骤，

步骤一，设定系统喷射参数并开始喷射：

(1)根据需求在上位机控制软件上设定装置的喷射频率、高速电磁阀导通时间t、电气比例阀开度、工业CCD相机延时拍照时间等参数；

(2)下位机控制电路根据上位机控制软件上设定的参数；周期性产生高速电磁阀控制信号，控制高速电磁阀开启和关闭；周期性产生拍照信号，控制工业CCD相机对该系统从喷口处喷出的所有液体进行拍照，拍照对象为喷出的液带、单个或者多个液滴；

步骤二，图像处理及信息提取：

(1)通过USB2.0线，将工业CCD相机拍摄到的微滴图像传输给上位机控制软件；

(2)上位机控制软件确定图像的ROI区域；

(3)上位机控制软件对确定图像的ROI区域进行自适应直方图均衡化；

(4)上位机控制软件使用Otsu算法对均衡化后的图像进行二值化处理；

(5)上位机控制软件使用Canny边沿检测算子对二值化后的图像进行边沿检测；

(6)上位机控制软件根据边沿检测得到所述图像中微滴的个数；

步骤三，控制高速电磁阀导通时间t：

S3.1下位机控制电路根据上位机控制软件得到的图像中微滴的个数；

S3.2判断微滴个数是否为0，如果是，则增加高速电磁阀导通时间t，如果不是，则进行下一步；

S3.3判断微滴个数是否大于1，如果是，则减小高速电磁阀导通时间t，如果不是，则维持当前高速电磁阀导通时间t；

S3.4判断是否结束喷射工作，如果是，结束工作，如果不是，重复执行单独控制高速电磁阀导通时间t的控制方法中的步骤S3.2至S3.3；

所述单独控制高速电磁阀前端气压P的控制方法中，高速电磁阀前端气压P作为控制变量，P通过电气比例阀开度进行控制，维持高速电磁阀导通时间t不变。

步骤一，设定装置喷射参数并开始喷射；

步骤二，图像处理及信息提取；

步骤三，控制电气比例阀开度，即调节高速电磁阀前端气压P：

S3.1下位机控制电路根据上位机控制软件得到的图像中微滴的个数；

S3.2判断微滴个数是否为0，如果是，则增加电气比例阀开度，即增加高速电磁阀前端气压P，如果不是，则进行下一步；

S3.3判断微滴个数是否大于1，如果是，则减小电气比例阀开度，即减小高速电磁阀前端气压P，如果不是，则维持当前电气比例阀开度，即维持高速电磁阀前端气压P；

S3.4判断是否结束喷射工作，如果是，结束工作，如果不是，重复执行单独控制高速电磁阀前端气压P的控制方法中的步骤S3.2至S3.3。

本发明优点在于，可以实现气动微滴喷射装置在初始化喷射和喷射过程中，自动地从拍摄的微滴图像中识别微滴的喷射状态，通过控制电气比例阀开度调节高速电磁阀前端气压P和高速电磁阀导通时间t，时刻保证系统能稳定喷射出单个微滴。取代了操作人员要实时根据CCD相机拍摄的微滴图像，判断微滴的喷射状态，随后手动调节高速电磁阀前端气压P和高速电磁阀导通时间t，提高了装置的使用效率。

附图说明

图1为本发明装置的参考示意图；

图2为本发明的图像处理流程图；

图3为本发明以高速电磁阀导通时间t作为控制变量的控制方法流程图；

图4为本发明以高速电磁阀前端气压P作为控制变量的控制方法流程图；

具体实施方式

以下是发明人提供的具体实施例，以对本发明的技术方案做进一步解释说明。

实施例1：

该实施例中，气动微滴喷射装置包括微滴喷射系统、微滴观测系统和微滴控制系统。微滴控制系统的控制变量为高速电磁阀导通时间t，高速电磁阀前端气压P恒定。

步骤一，设定装置喷射参数并开始喷射：

(1)在上位机控制软件上设定装置的喷射频率80Hz、高速电磁阀导通时间t为0us、电气比例阀开度25％、工业CCD相机延时拍照时间5000us等参数；

(2)在上位机控制软件上打开工业CCD相机，打开串行通信接口与下位机控制电路进行通信，将上述参数发送给下位机控制电路；

(3)下位机控制电路根据上位机控制软件上设定的参数；产生电气比例阀控制信号，控制电气比例阀维持在25％的开度；周期性产生高速电磁阀控制信号，控制高速电磁阀开启和关闭；周期性产生拍照信号，控制所述工业CCD相机相对高速电磁阀控制信号延迟5000us对该装置产生的微滴进行拍照；

步骤二，图像处理及信息提取：

(1)通过USB2.0线，将工业CCD相机拍摄到的微滴图像传输给所述上位机控制软件；

(2)上位机控制软件确定图像的ROI区域；

(3)上位机控制软件对确定图像的ROI区域进行自适应直方图均衡化；

(4)上位机控制软件使用Otsu算法对均衡化后的图像进行二值化处理；

(5)上位机控制软件使用Canny边沿检测算子对二值化后的图像进行边沿检测；

(6)上位机控制软件根据所述边沿检测得到图像中微滴的个数；

(7)上位机控制软件将微滴个数通过串行通信接口发送给下位机控制电路；

步骤三，控制高速电磁阀导通时间t，如图3所示：

(1)下位机控制电路根据上位机控制软件得到的图像中微滴的个数；

(2)判断微滴个数是否为0，如果是，则增加高速电磁阀导通时间t，如果不是，则进行下一步；

(3)判断微滴个数是否大于1，如果是，则减小高速电磁阀导通时间t，如果不是，则维持当前高速电磁阀导通时间t；

(4)判断是否结束喷射工作，如果是，结束工作，如果不是，重复执行步骤一(3)至步骤三；

按照上述步骤操作，就可以实现在初始化喷射和喷射过程中，稳定喷出单个微滴的功能。

实施例2：

该实施例中，气动微滴喷射装置包括微滴喷射系统、微滴观测系统和微滴控制系统。微滴控制系统的控制变量为高速电磁阀前端气压P，P通过电气比例阀开度进行控制，维持高速电磁阀导通时间t不变。

步骤一，设定装置喷射参数并开始喷射：

(1)在上位机控制软件上设定装置的喷射频率80Hz、电磁阀导通时间t为1000us、电气比例阀开度0％、工业CCD相机延时拍照时间5000us等参数；

(2)在上位机控制软件上打开工业CCD相机，打开串行通信接口与下位机控制电路进行通信，将上述参数发送给下位机控制电路；

(3)下位机控制电路根据上位机控制软件上设定的参数；周期性产生高速电磁阀控制信号，控制高速电磁阀开启1000us后关闭；产生电气比例阀控制信号，控制电气比例阀开度为0％；周期性产生拍照信号，控制工业CCD相机相对电磁阀控制信号延迟5000us对该装置产生的微滴进行拍照；

步骤二，图像处理及信息提取：

(1)通过USB2.0线，将所业CCD相机拍摄到的微滴图像传输给上位机控制软件；

(2)上位机控制软件确定图像的ROI区域；

(3)上位机控制软件对所述确定图像的ROI区域进行自适应直方图均衡化；

(4)上位机控制软件使用Otsu算法对均衡化后的图像进行二值化处理；

(5)上位机控制软件使用Canny边沿检测算子对二值化后的图像进行边沿检测；

(6)上位机控制软件根据所述边沿检测得到图像中微滴的个数；

(7)上位机控制软件将微滴个数通过串行通信接口发送给下位机控制电路；

步骤三，控制电气比例阀开度，即调节高速电磁阀前端气压P，如图4所示：

(1)下位机控制电路根据上位机控制软件得到的图像中微滴的个数；

(2)判断微滴个数是否为0，如果是，则增加电气比例阀开度，即增加高速电磁阀前端气压P，如果不是，则进行下一步；

(3)判断微滴个数是否大于1，如果是，则减小电气比例阀开度，即减小高速电磁阀前端气压P，如果不是，则维持当前电气比例阀开度，即维持高速电磁阀前端气压P；

(4)判断是否结束喷射工作，如果是，结束工作，如果不是，重复执行步骤一的(3)至步骤三；

按照上述步骤操作，就可以实现在初始化喷射和喷射过程中，稳定喷出单个微滴的功能。

Claims (3)

1.基于机器视觉的气动微滴喷射状态控制系统，其特征在于：该系统包括微滴喷射系统、微滴观测系统和微滴控制系统；所述微滴喷射系统包括储液腔体(1)、喷头(2)、T型快速插头(3)、放气管(4)和供气管(5)；喷头(2)和储液腔体(1)的下端相连；喷头(2)设置在储液腔体(1)的底部中间，T型快速插头(3)的一端和储液腔体(1)的上端相连，T型快速插头(3)的另一端和放气管(4)相连，T型快速插头(3)的第三端和供气管(5)相连；所述微滴观测系统包括高亮LED灯(6)、工业CCD相机(7)；高亮LED灯(6)照射方向与喷头(2)所指方向成一定角度；工业CCD相机(7)的拍照方向正对高亮LED灯(6)照射方向；所述微滴控制系统包括上位机控制软件(8)、下位机控制电路(9)、高速电磁阀(10)、电气比例阀(11)和气源(12)；上位机控制软件(8)通过USB2.0线和工业CCD相机(7)相连，通过串口线和下位机控制电路(9)相连；下位机控制电路(9)通过CCD控制线和工业CCD相机(7)相连，通过高速电磁阀控制线和高速电磁阀(10)相连，通过电气比例阀控制线和电气比例阀(11)相连；高速电磁阀(10)的出气端和供气管(5)相连，高速电磁阀(10)的进气端和电气比例阀(11)出气端相连；电气比例阀(11)进气端和气源(12)相连。

2.利用权利要求1所述系统进行的基于机器视觉的气动微滴喷射状态控制方法，其特征在于：单独控制高速电磁阀导通时间t的控制方法中，高速电磁阀导通时间t作为控制变量，电气比例阀固定在一开度下，即高速电磁阀前端气压P恒定；该方法的实现包括如下步骤，

步骤一，设定系统喷射参数并开始喷射：

(1)根据需求在上位机控制软件上设定装置的喷射频率、高速电磁阀导通时间t、电气比例阀开度、工业CCD相机延时拍照时间等参数；

(2)下位机控制电路根据上位机控制软件上设定的参数；周期性产生高速电磁阀控制信号，控制高速电磁阀开启和关闭；周期性产生拍照信号，控制工业CCD相机对该系统从喷口处喷出的所有液体进行拍照，拍照对象为喷出的液带、单个或者多个液滴；

步骤二，图像处理及信息提取：

(1)通过USB2.0线，将工业CCD相机拍摄到的微滴图像传输给上位机控制软件；

(2)上位机控制软件确定图像的ROI区域；

(3)上位机控制软件对确定图像的ROI区域进行自适应直方图均衡化；

(4)上位机控制软件使用Otsu算法对均衡化后的图像进行二值化处理；

(5)上位机控制软件使用Canny边沿检测算子对二值化后的图像进行边沿检测；

(6)上位机控制软件根据边沿检测得到所述图像中微滴的个数；

步骤三，控制高速电磁阀导通时间t：

S3.1下位机控制电路根据上位机控制软件得到的图像中微滴的个数；

S3.2判断微滴个数是否为0，如果是，则增加高速电磁阀导通时间t，如果不是，则进行下一步；

S3.3判断微滴个数是否大于1，如果是，则减小高速电磁阀导通时间t，如果不是，则维持当前高速电磁阀导通时间t；

S3.4判断是否结束喷射工作，如果是，结束工作，如果不是，重复执行单独控制高速电磁阀导通时间t的控制方法中的步骤S3.2至S3.3。

3.利用权利要求1所述系统进行的基于机器视觉的气动微滴喷射状态控制方法，其特征在于：单独控制高速电磁阀前端气压P的控制方法中，高速电磁阀前端气压P作为控制变量，P通过电气比例阀开度进行控制，维持高速电磁阀导通时间t不变；

步骤一，设定装置喷射参数并开始喷射；

步骤二，图像处理及信息提取；

步骤三，控制电气比例阀开度，即调节高速电磁阀前端气压P：

S3.1下位机控制电路根据上位机控制软件得到的图像中微滴的个数；

S3.2判断微滴个数是否为0，如果是，则增加电气比例阀开度，即增加高速电磁阀前端气压P，如果不是，则进行下一步；

S3.3判断微滴个数是否大于1，如果是，则减小电气比例阀开度，即减小高速电磁阀前端气压P，如果不是，则维持当前电气比例阀开度，即维持高速电磁阀前端气压P；

S3.4判断是否结束喷射工作，如果是，结束工作，如果不是，重复执行单独控制高速电磁阀前端气压P的控制方法中的步骤S3.2至S3.3。