CN112634198B - 基于机器视觉的近场电纺直写的泰勒锥动态识别检测方法 - Google Patents

Abstract

本发明公开了一种基于机器视觉的近场电纺直写的泰勒锥动态识别检测方法，包括：配置静电并启动静电纺丝设备，并进行打印；初始化泰勒锥动态识别检测；正式启动泰勒锥动态识别检测；记录泰勒锥面积变化情况；将面积期望与梯度值作为输入，通过几何状态模型，输出得到反馈信息；根据所述反馈信息调节，上位机发出静电纺丝电压的调压信号，根据调压信号进行对应调整，从而调整泰勒锥面积。本发明针对静电纺丝过程中的泰勒锥的实时监控，对泰勒锥面积进行实时检测并处理，得到反馈信号，作进一步反馈调整，保证静电纺丝泰勒锥的状态正常以及纺丝均匀，相比传统手调参数，本发明创造可以做到提前预警、及时调整有利参数以保证静电纺丝的正常运行。

Description

基于机器视觉的近场电纺直写的泰勒锥动态识别检测方法

技术领域

本发明涉及静电纺丝技术领域，特别涉及一种基于机器视觉的近场静电纺丝的泰勒锥的动态识别检测方法。

背景技术

1934年，Formhzls提出了静电纺丝的概念，随后Taylor等人于1964年对静电纺丝过程中带电聚合物在高压电源的作用下拉伸形成一个类似锥体的形状，提出了泰勒锥这一概念，到了二十世纪九十年代，静电纺丝技术开始得到人们的关注。静电纺丝的原理是在强电场下，带电聚合物被高倍拉伸，在电压增大，电场逐渐增强的情况下，喷头处的滴液逐渐被拉伸，当电压调整到一定范围时，带电液滴在电场力作用下，形成泰勒锥。当电场力远大于其粘弹力和张力时，出现泰勒的电射流现象，射流形成的纤维沉积来制造纳米纤维，它能够产生与细胞外基质纤维相似的无纺布纤维结构，显示出作为组织工程支架的巨大潜力。而在静电纺丝的过程中，如果出现泰勒锥的断裂，会导致材料报废，因此需要一个能够实时监控泰勒锥的状态是否正常的应用。

目前常用的方法是通过工业摄像头获得泰勒锥的实时图像，再通过人工肉眼监测、判断的方法得出泰勒锥是否处于正常状态，从而判断静电纺丝的过程是否正常。由于静电纺丝的产品精密度高、纺丝设备的往复平台运动速度较快以及人工成本较高等问题的存在，人工监测并不是一个有效的方法。现有技术中的一种在线检测方法，其问题主要体现在，其一，对微米乃至纳米级别的纺丝进行检测，对摄像头的配置要求极高这将会导致设备成本过高。其二，由于丝的颜色接近透明，而底下又放置玻璃片，所要检测的物体与背景颜色过于接近，故实时检测的难度大，准确度也不高。

发明内容

本发明的目的是提供一种基于机器视觉的近场电纺直写的泰勒锥动态识别检测方法，实现电纺设备的自动反馈与及时调整。

为了实现上述任务，本发明采用以下技术方案：

一种基于机器视觉的近场电纺直写的泰勒锥动态识别检测方法，包括：

配置静电并启动静电纺丝设备，并进行打印；

初始化泰勒锥动态识别检测，包括：

通过视觉识别系统进行连续N1帧图像的采集，对采集的图像进行初始化，其中包括对N1帧图像分别进行灰度化->直方图均衡化->高斯去噪->二值化->边缘检测算法->确定针管的左右两点、计算针管长度->确定针尖位置->对N1帧图像的针尖位置进行升序排列，取出中值作为针尖的确定位置->初始化完毕；

正式启动泰勒锥动态识别检测，包括：

取初始化后的针尖位置作快速定位；针对于视觉识别系统获取的泰勒锥的轨迹图像，识别检测步骤为：取出针尖部分->灰度化->直方图均衡化->高斯去噪->边缘检测算法->形态学扩张多次->形态学侵蚀多次->进行轮廓提取、整合->面积计算->面积反馈；

记录泰勒锥面积变化情况，包括：

通过一个队列，连续保存N2个反馈的面积值，对其进行一次拟合，得到梯度值；每当增加一个泰勒锥面积值时，则删除队列中最起始的面积值，以保证此时队列中的数据是最近N2帧的泰勒锥的面积值；对队列中的N2个面积值求取期望；

将面积期望与梯度值作为输入，通过几何状态模型，输出得到反馈信息；

根据所述反馈信息调节，上位机发出静电纺丝电压的调压信号，根据调压信号进行对应调整，从而调整泰勒锥面积。

进一步地，所述配置静电并启动静电纺丝设备，并进行打印，包括：

将静电纺丝设备的收集板接地，注射器的针尖与直流高压电连接；

启动静电纺丝系统，设置初始电压和气压设为，打开加热设备，待泰勒锥形成时启动运动平台，根据上位机软件规划的路径开始运动，进行打印。

进一步地，所述初始化泰勒锥动态识别检测中，为了得到更加精确的位置信息，除了确定针尖位置之外，还包括：

取出针尖区域并进行泰勒锥轮廓的提取，从而得到针口的轮廓，用此轮廓加上实时得到的泰勒锥边缘轮廓，得到的区域面积作为后续进行快速定位的基础。

进一步地，当移动摄像头时，只需点击重新初始化按钮即可，此时将重复初始化泰勒锥动态识别检测，重新确定针尖位置并进行动态识别检测。

进一步地，所述的几何状态模型的建立过程包括：

采集多个泰勒锥的踪迹轨迹实验数据，包括正常泰勒锥面积变化、泰勒锥由于电压过小而断裂的面积变化过程、泰勒锥由于电压过大而断裂的面积变化过程的视频数据，进行特征提取，包括电压和斜率，然后进行二元非线性拟合，得到所述模型。

进一步地，所述反馈信息包括需增加电压、减少电压、保持电压；

当所述队列中连续获取的面积持续增大/减少，同时梯度方向仍为正值/负值，此时说明泰勒锥已断裂，则在上位机界面出现泰勒锥断裂警告信息并强制停止静电纺丝系统。

与现有技术相比，本发明具有以下技术特点：

1.本发明针对静电纺丝过程中的泰勒锥的实时监控，对泰勒锥面积进行实时检测并处理，然后得到反馈信号，设备作进一步反馈调整，保证静电纺丝泰勒锥的状态正常以及纺丝均匀，相比传统手调参数，本发明创造可以做到提前预警、及时调整有利参数以保证静电纺丝的正常运行。

2.本发明建立了一个基于几何空间特征的静电纺丝设备工作状态的评价模型，将实时监控到的面积与梯度进行输入，得到反馈信号，上位机判断泰勒锥动态纺丝状态并向电纺底层设备发送实时判别反馈信号，解决了微纳级产品生产过程中人工识别困难问题。

3.本发明可替代传统工业摄像头采集、人工肉眼检测的方法，避免因主观判断、手动调节导致的误差，提高纺丝过程中泰勒锥断裂、纺丝材料不均匀、丝分叉等系列异常现象的动态调整精度，同时降低人工调整电纺设备的操作难度，最终实现生产精密度、稳定性的提高并推动生产自动化、批量化的目的。

附图说明

图1为本发明方法的流程示意图；

图2为泰勒锥断裂警告信息并强制停止静电纺丝系统的示意图；

图3为取出针尖区域并进行泰勒锥轮廓的提取示意图；

图4为几何状态模型的拟合过程示意图；

图5为实验中视觉系统检测到泰勒锥的状态不健康时的示意图；

图6为通过反馈信号调整后泰勒锥状态正常的示意图；

图7为实施例中泰勒锥面积状态的变化示意图；

图8为实施例中底层设备做出调压反馈后得到的面积变化数据。

具体实施方式

本发明采用的是实时检测泰勒锥的状态，由于泰勒锥的面积较大且区域范围变化小，易于检测且准确度高，同时对摄像头的配置要求低，大大降低了设备成本。

参见图1，本发明的一种基于机器视觉的近场电纺直写的泰勒锥动态识别检测方法，包括以下步骤：

步骤1，将静电纺丝设备的收集板接地，注射器的针尖与直流高压电连接。

步骤2，启动静电纺丝系统，初始电压设为2KV，初始气压设为15kpa，打开加热设备，待泰勒锥形成时启动X-Y-Z-U运动平台，根据上位机软件规划的路径开始运动，进行打印。

步骤3，初始化泰勒锥动态识别检测。

首先通过视觉识别系统进行连续20帧图像的采集，对采集的图像进行初始化，其中包括对20帧图像分别进行灰度化->直方图均衡化->高斯去噪->二值化->边缘检测Canny算法->确定针管的左右两点，计算针管长度->确定针尖位置->

对20帧图像的针尖位置进行升序排列，取出中值作为针尖的确定位置->初始化完毕。

在该步骤中，为了得到更加精确的位置信息，除了确定针尖位置之外，还取出针尖区域并进行泰勒锥轮廓的提取，从而得到针口的轮廓，用此轮廓加上实时得到的泰勒锥边缘轮廓，得到的区域面积与现实更为相符，如图3；可利用该区域面积作为后续步骤4进行快速定位的基础。

步骤4，正式启动泰勒锥动态识别检测。

取初始化后的针尖位置作快速定位，以保证算法的高效性与实时性；针对于视觉识别系统获取的泰勒锥的轨迹图像，算法识别检测步骤：取出针尖部分->灰度化->直方图均衡化->高斯去噪->边缘检测Canny算法->形态学扩张7次->形态学侵蚀7次->进行轮廓提取、整合->面积计算->面积反馈。

当移动摄像头时，只需点击重新初始化按钮即可，此时将重复步骤3、4，重新确定针尖位置并进行动态识别检测。

步骤5，记录泰勒锥面积变化情况。

通过一个队列，连续保存30个反馈的面积值，对其进行一次拟合，得到梯度值；每当增加一个泰勒锥面积值时，则删除队列中最起始的面积值，以保证此时队列中的数据是最近30帧的泰勒锥的面积值；对队列中的30个面积值求取期望。

步骤6，将面积期望与梯度值作为输入，通过几何状态模型，输出得到反馈信息，其中包括需增加电压、减少电压、保持电压等。

所述的几何状态模型的建立过程包括：

通过对大量的泰勒锥的踪迹轨迹实验数据，包括正常泰勒锥面积变化，泰勒锥由于电压过小而断裂的面积变化过程，泰勒锥由于电压过大而断裂的面积变化过程等视频数据，进行特征提取，包括电压和斜率，然后进行二元非线性拟合，得到所述模型；拟合成图4所示。

除了上述的几何状态模型的建立方法之外，还可以是利用神经网络，将面积、梯度、残差等参数作为输入，将训练后的模型作为所述几何状态模型。

步骤7，根据反馈信息，上位机向底层设备发出静电纺丝电压的调压信号，底层设备根据调压信号进行对应调整，以调整泰勒锥面积；所述调压信号例如增加/减小80.00V电压等。

当所述队列中连续获取的面积持续增大(减少)，同时梯度方向仍为正值(负值)，此时说明泰勒锥已断裂，软件界面将出现WARNNING！！！Tayorcone fracture泰勒锥断裂警告信息并强制停止静电纺丝系统，如图2所示。

实施例：

当静电纺丝设备处于工作状态时候，视觉识别系统开始工作。通过摄像头将泰勒锥的轨迹图像实时监测并传输至上位机，上位机进行视觉识别分析。识别算法流程依次进行灰度化，直方图均衡化，高斯去噪，二值化，边缘检测canny算法，形态学扩张7次，形态学侵蚀7次，进行轮廓提取、整合。算法的稳定性体现在对图像噪声的处理，如直方图均衡化原理：

其中MN为图像像素总数，n_j是灰度为r_k的像素个数，L是图像可能的灰度级数量。通过直方图均衡化，可以避免因为光源不同而造成的检测失败。由于图像大多数噪声均属于高斯噪声，所以先采用高斯去噪，这可以去除图像中大部分的噪声。同时配合使用形态学闭运算，可消除图像中存在的椒盐噪声，使泰勒锥轮廓更清晰，以便后续的边缘检测与轮廓提取。经实验证明，本发明算法具有在不同光线环境下进行正确识别的功能。

本发明解决了在传统近场电纺丝过程中依赖人工肉眼判断纺丝情况。本发明的算法应用于纺丝设备，对纺丝过程中泰勒锥面积状态进行检测，通过几何状态模型，得到一个反馈信号，系统进行反馈调整以保证泰勒锥纺丝正常。

实验部分：

如图5所示，当视觉系统检测泰勒锥的状态不健康后，上位机根据如图的反馈信息发送反馈信号，底层设备的静电纺丝电压进行实时地调整，调整后如图6所示，可以看到视觉识别系统检测反馈泰勒锥状态正常。

在某次识别系统中，得到如图7的泰勒锥面积的状态变化图，可以看到实验中数据显示的6个周期，其中前4个周期为正常周期，第五为过亏周期，第六为过盈周期，这都是需要系统进行及时反馈调节的。如图8所示，是在经过视觉识别，底层设备做出调压反馈后得到的面积变化数据，从图中可以看出面积基本稳定在正常的范围。

以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (6)

1.一种基于机器视觉的近场电纺直写的泰勒锥动态识别检测方法，其特征在于，包括：

配置静电并启动静电纺丝设备，并进行打印；

初始化泰勒锥动态识别检测，包括：

通过视觉识别系统进行连续N1帧图像的采集，对采集的图像进行初始化，其中包括对N1帧图像分别进行灰度化->直方图均衡化->高斯去噪->二值化->边缘检测算法->确定针管的左右两点、计算针管长度->确定针尖位置->对N1帧图像的针尖位置进行升序排列，取出中值作为针尖的确定位置->初始化完毕；

正式启动泰勒锥动态识别检测，包括：

取初始化后的针尖位置作快速定位；针对于视觉识别系统获取的泰勒锥的轨迹图像，识别检测步骤为：取出针尖部分->灰度化->直方图均衡化->高斯去噪->边缘检测算法->形态学扩张多次->形态学侵蚀多次->进行轮廓提取、整合->面积计算->面积反馈；

记录泰勒锥面积变化情况，包括：

通过一个队列，连续保存N2个反馈的面积值，对其进行一次拟合，得到梯度值；每当增加一个泰勒锥面积值时，则删除队列中最起始的面积值，以保证此时队列中的数据是最近N2帧的泰勒锥的面积值；对队列中的N2个面积值求取期望；

将面积期望与梯度值作为输入，通过几何状态模型，输出得到反馈信息；

根据所述反馈信息调节，上位机发出静电纺丝电压的调压信号，根据调压信号进行对应调整，从而调整泰勒锥面积。

2.根据权利要求1所述的基于机器视觉的近场电纺直写的泰勒锥动态识别检测方法，其特征在于，所述配置静电并启动静电纺丝设备，并进行打印，包括：

将静电纺丝设备的收集板接地，注射器的针尖与直流高压电连接；

启动静电纺丝系统，设置初始电压和气压设为，打开加热设备，待泰勒锥形成时启动运动平台，根据上位机软件规划的路径开始运动，进行打印。

3.根据权利要求1所述的基于机器视觉的近场电纺直写的泰勒锥动态识别检测方法，其特征在于，所述初始化泰勒锥动态识别检测中，为了得到更加精确的位置信息，除了确定针尖位置之外，还包括：

取出针尖区域并进行泰勒锥轮廓的提取，从而得到针口的轮廓，用此轮廓加上实时得到的泰勒锥边缘轮廓，得到的区域面积作为后续进行快速定位的基础。

4.根据权利要求1所述的基于机器视觉的近场电纺直写的泰勒锥动态识别检测方法，其特征在于，当移动摄像头时，只需点击重新初始化按钮即可，此时将重复初始化泰勒锥动态识别检测，重新确定针尖位置并进行动态识别检测。

5.根据权利要求1所述的基于机器视觉的近场电纺直写的泰勒锥动态识别检测方法，其特征在于，所述的几何状态模型的建立过程包括：

采集多个泰勒锥的踪迹轨迹实验数据，包括正常泰勒锥面积变化、泰勒锥由于电压过小而断裂的面积变化过程、泰勒锥由于电压过大而断裂的面积变化过程的视频数据，进行特征提取，包括电压和斜率，然后进行二元非线性拟合，得到所述模型。

6.根据权利要求1所述的基于机器视觉的近场电纺直写的泰勒锥动态识别检测方法，其特征在于，所述反馈信息包括需增加电压、减少电压、保持电压；

当所述队列中连续获取的面积持续增大/减少，同时梯度方向仍为正值/负值，此时说明泰勒锥已断裂，则在上位机界面出现泰勒锥断裂警告信息并强制停止静电纺丝系统。

Images