CN113145187A - 基于ros的智能液滴生成系统 - Google Patents

基于ros的智能液滴生成系统 Download PDF

Info

Publication number
CN113145187A
CN113145187A CN202110247517.0A CN202110247517A CN113145187A CN 113145187 A CN113145187 A CN 113145187A CN 202110247517 A CN202110247517 A CN 202110247517A CN 113145187 A CN113145187 A CN 113145187A
Authority
CN
China
Prior art keywords
ros
liquid drop
fluid
main control
control computer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110247517.0A
Other languages
English (en)
Inventor
汪长春
张栩诚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fudan University
Original Assignee
Fudan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fudan University filed Critical Fudan University
Priority to CN202110247517.0A priority Critical patent/CN113145187A/zh
Publication of CN113145187A publication Critical patent/CN113145187A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B01—PHYSICAL OR CHEMICAL PROCESSES OR APPARATUS IN GENERAL
    • B01L—CHEMICAL OR PHYSICAL LABORATORY APPARATUS FOR GENERAL USE
    • B01L3/00—Containers or dishes for laboratory use, e.g. laboratory glassware; Droppers
    • B01L3/50—Containers for the purpose of retaining a material to be analysed, e.g. test tubes
    • B01L3/502—Containers for the purpose of retaining a material to be analysed, e.g. test tubes with fluid transport, e.g. in multi-compartment structures
    • B01L3/5027—Containers for the purpose of retaining a material to be analysed, e.g. test tubes with fluid transport, e.g. in multi-compartment structures by integrated microfluidic structures, i.e. dimensions of channels and chambers are such that surface tension forces are important, e.g. lab-on-a-chip
    • B01L3/50273—Containers for the purpose of retaining a material to be analysed, e.g. test tubes with fluid transport, e.g. in multi-compartment structures by integrated microfluidic structures, i.e. dimensions of channels and chambers are such that surface tension forces are important, e.g. lab-on-a-chip characterised by the means or forces applied to move the fluids
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes

Abstract

本发明属于液滴生成技术领域，具体为基于ROS的智能液滴生成系统。本发明基于ROS的智能液滴生成系统，包括主控计算机、流体驱动单元、流体传感器件、液滴芯片和图像感知单元；通过ROS的话题‑消息方式处理各部分之间的通讯，在保证性能的同时提供较强的可扩展性。通过对液滴的数字化监控与流速的实时反馈调节对冲外部因素造成的液滴尺寸偏差，提高了液滴生成的精度与稳定性。同时将液滴生成的整个过程自动化，用户无需手动进行调节，仅需要输入目标直径即可获得相应的液滴，显著节约试错成本，大大降低了液滴制备的操作门槛。

Description

基于ROS的智能液滴生成系统
技术领域
本发明属于液滴生成技术领域，具体涉及基于ROS操作系统的智能液滴生成系统。
背景技术
微流控技术被广泛应用于液滴生成系统。其原理是通过扰动两相之间的界面张力使其相界面失稳，令一相突破界面张力以液滴形式进入到另一相当中。影响液滴尺寸的因素包括流体粘度、界面张力、两相流速等等。在常规操作当中，一般通过手动调节注射泵的转速间接控制液体流速来实现对液滴尺寸的调节。然而，通过肉眼观察和手动控制难以达到理想的调控精度，且液滴生成效果依赖于使用者的经验和仪器操作水平。除此以外，随着时间的推移，微流控管道产生的形变与阻塞会改变流体的实际流速，导致生成的液滴发生相应变化，使得最终获得的产品尺寸不一。而通过对液滴图像的实时捕获与处理，可以将粒径观察分辨率提高到微米级别；把流速修正因子反馈给注射泵则可以实现液滴尺寸的在线自动调节，从而有效对冲因管道形变或阻塞产生的偏差，提高液滴生成的稳定性。
ROS（Robot Operating System）是用于编写机器人软件的高度灵活可扩展的操作系统。它不仅提供了硬件的底层抽象和驱动接口，还自带大量工具包与库文件方便开发者进行调试。ROS系统将各个硬件抽象为节点，节点间通过话题-消息方式进行通讯。通过ROS构建的智能液滴生成系统可以方便地实现感知层和控制层之间的信息交互。同时系统具有高度可扩展性，能够适配包括注射泵、恒压泵在内的各种流体驱动装置以及各类传感器件，而不必对软件进行大规模改动。
发明内容
本发明的目的在于针对上述问题的一个或多个，提供一种基于ROS的智能液滴生成系统。用户仅需要输入目标液滴大小即可生成液滴，而无需对流速进行手动调节。
本发明提供的基于ROS的智能液滴生成系统，包括主控计算机、流体驱动单元、流体传感器件、液滴芯片和图像感知单元；其中：
所述流体驱动单元，用于驱动生成液滴的油相和水相；流体驱动单元包括控制器与流体驱动执行机构；其中，控制器与主控计算机通过串口连接，实时向主控计算机传输流体驱动状态，接收来自主控计算机运行指令并向执行机构发送驱动信号；流体驱动执行机构接受控制器发送的指令，对流体进行驱动；
所述流体传感器件，用于实时监控流体流量与液路压力等信息；
所述微流控液滴芯片，用于生成液滴并提供观察场所；
所述图像感知单元，包括显微镜和用于采集显微图像的高速照相机，用于对芯片中的液滴进行成像并采集，并将采集的信息传输给主控计算机；主控计算机中配置的ROS将图像信息抽象为图像感知节点，获取相机帧并传输给ROS图像处理节点；
所述主控计算机配置有ROS系统、图像处理程序以及反馈调节算法；主控计算机通过ROS的话题-消息方式处理各单元之间的通讯，通过图像处理程序对于图像感知单元传输的图形数据进行图像处理，并通过反馈调节算法实时调整流体参数以获取符合尺寸要求的液滴。
本发明中，所述反馈调节算法以液滴期望大小与当前液滴大小之差为优化目标，通过ROS的话题-消息机制以固定的时间间隔向流体驱动单元发出指令，调节油相、水相的流速。
本发明中，所述流体驱动单元执行机构为微量注射泵、恒压泵或蠕动泵中的一种。
本发明中，所述流体传感器件包括流量计和压力传感器；流量计将液路中的流量信息通过串口传输至主控计算机；压力传感器实时检测液路压力，并将该压力信息通过串口传输至主控计算机。
本发明中，所述图像处理程序包括如下步骤：
（1）目标检测，利用训练好的深度学习模型对相机帧中的液滴进行识别，并输出包含液滴目标的候选框；
（2）对候选框中的液滴图像进行二值化处理，并对液滴进行轮廓提取和大小计算；
（3）根据显微镜的放大倍数，将轮廓大小转换为液滴的真实尺寸，以话题形式进行发布。
本发明中，所述反馈调节算法为PID控制、贝叶斯优化或强化学习中的一种。
本发明中，所述主控计算机还包括与之相连的显示设备，用于展示与用户交互的图形界面。所述图形界面包括流体参数和液滴大小的实时监控与设置、反馈调节开关以及实时显示的液滴图像。
本发明的有益效果：本发明利用ROS将液滴的制备、观测与表征过程进行闭环封装，以话题-消息形式处理各单元之间的通讯，具有较强的可扩展性；对液滴的数字化监控与流速的反馈调节能有效对冲外部因素造成的偏差，提高了液滴生成的精度与稳定性；用户无需进行手动调节，仅需要输入目标直径即可获得相应的液滴，显著节约试错成本，大大降低了液滴制备的操作门槛。
附图说明
图1为本发明实施例的基于ROS的智能液滴生成系统结构框图。
图2为本发明另一实施例的基于ROS的智能液滴生成系统结构框图。
图3为生成的液滴照片及深度学习算法输出的候选框。
图4为候选框中图像的二值化处理结果。
具体实施方式
下面结合实施例和图1至图4所示，进一步介绍本发明的基于ROS的智能液滴生成系统。其中：
主控计算机，配置有ROS系统，图像处理程序以及反馈调节算法。通过ROS的话题-消息机制处理与流体驱动单元及图像感知单元间的通讯，其中图像处理程序抽象为ROS图像处理节点，用于接收来自图像感知单元的相机帧，并将其转化为液滴尺寸信息；反馈调节算法抽象为ROS反馈调节节点，实时接受液滴尺寸信息，根据当前液滴大小提交流速修正指令。
流体驱动单元，包括控制器与流体驱动执行机构。其中控制器与主控计算机连接，通过ROS抽象为流体驱动节点，接收ROS反馈调节节点发出的控制参数。流体驱动执行机构接受控制器发送的指令对流体进行驱动。
液滴芯片，用于生成液滴并提供观察场所。
图像感知单元，包括显微镜和用于采集显微图像的高速照相机。与主控计算机相连，通过ROS抽象为图像感知节点，获取相机帧并传输给ROS图像处理节点。
作为一种可选的技术方案，流体驱动执行机构为注射泵、恒压泵或蠕动泵中的一种。
作为一种可选的技术方案，系统中可配置包括流量计、压力传感器在内的流体传感器件。流体传感器件与主控计算机相连，用于实时定量监控油、水两相的流动状况。
作为一种可选的技术方案，所述图像处理程序包括如下步骤：
（1）目标检测，利用训练好的深度学习模型对相机帧中的液滴进行识别，并输出包含液滴目标的候选框；
（2）对候选框中的液滴图像进行二值化处理，并对液滴进行轮廓提取和大小计算；
（3）根据显微镜的放大倍数，将轮廓大小转换为液滴的真实尺寸，以话题形式进行发布。
作为一种可选的技术方案，所述反馈调节算法为PID控制、贝叶斯优化或强化学习中的一种。
作为一种可选的技术方案，所述主控计算机还包括与之相连的显示设备，用于展示与用户交互的图形界面。所述图形界面包括流体参数和液滴大小的实时监控与设置、反馈调节开关以及实时显示的液滴图像。
实施例1：使用arm架构的NVIDIA Jetson AGX Xavier嵌入式开发板作为主控计算机，其配置有ROS系统；使用微量注射泵作为流体驱动单元；使用训练好的YOLO V4算法[1]对相机帧进行目标检测，输出包含液滴图像的候选框；使用OpenCV[2]对候选框内的图像进行二值化处理，进行外围轮廓提取及其大小计算，根据显微镜的放大倍数将轮廓大小转化为液滴的真实尺寸，通过图像感知节点以话题形式进行发布；反馈调节节点订阅液滴尺寸信息，以最小化液滴的实时尺寸与目标尺寸差异为优化目标，使用PID算法实时调整油、水两相的流速，使得最终液滴尺寸与用户输入的目标尺寸相等。
实施例2：使用arm架构的NVIDIA Jetson AGX Xavier嵌入式开发板作为主控计算机，其配置有ROS系统；使用恒压泵作为流体驱动单元；使用训练好的YOLO V4算法对相机帧进行目标检测，输出包含液滴图像的候选框；使用OpenCV对候选框内的图像进行二值化处理，进行外围轮廓提取及其大小计算，根据显微镜的放大倍数将轮廓大小转化为液滴的真实尺寸，通过图像感知节点以话题形式进行发布；反馈调节节点订阅液滴尺寸信息，以最小化液滴的实时尺寸与目标尺寸差异为优化目标，使用贝叶斯优化算法实时调整驱动油、水两相的压力，使得最终液滴尺寸与用户输入的目标尺寸相等。流量传感器实时将液路中的实际流速传输给主控计算机并显示在屏幕上。
实施例3：使用x86架构的通用计算机作为主控计算机，其配置有ROS系统；使用恒压泵作为流体驱动单元；使用训练好的Fast R-CNN算法[3]对相机帧进行目标检测，输出包含液滴图像的候选框；使用OpenCV对候选框内的图像进行二值化处理，进行外围轮廓提取及其大小计算，根据显微镜的放大倍数将轮廓大小转化为液滴的真实尺寸，通过图像感知节点以话题形式进行发布；反馈调节节点订阅液滴尺寸信息，以最小化液滴的实时尺寸与目标尺寸差异为优化目标，使用贝叶斯优化算法实时调整驱动油、水两相的压力，使得最终液滴尺寸与用户输入的目标尺寸相等。流量传感器实时将液路中的实际流速传输给主控计算机并显示在屏幕上。
实施例4：使用x86架构的通用计算机作为主控计算机，其配置有ROS系统；使用恒压泵作为流体驱动单元；使用训练好的Fast R-CNN算法对相机帧进行目标检测，输出包含液滴图像的候选框；使用OpenCV对候选框内的图像进行二值化处理，进行外围轮廓提取及其大小计算，根据显微镜的放大倍数将轮廓大小转化为液滴的真实尺寸，通过图像感知节点以话题形式进行发布；反馈调节节点订阅液滴尺寸信息，以最小化液滴的实时尺寸与目标尺寸差异为优化目标，使用基于深度确定性策略梯度的强化学习算法实时调整驱动油、水两相的压力，使得最终液滴尺寸与用户输入的目标尺寸相等。流量传感器实时将液路中的实际流速传输给主控计算机并显示在屏幕上。
实施例5：使用x86架构的通用计算机作为主控计算机，其配置有ROS系统；使用蠕动泵作为流体驱动单元；使用训练好的Fast R-CNN算法对相机帧进行目标检测，输出包含液滴图像的候选框；使用OpenCV对候选框内的图像进行二值化处理，进行外围轮廓提取及其大小计算，根据显微镜的放大倍数将轮廓大小转化为液滴的真实尺寸，通过图像感知节点以话题形式进行发布；反馈调节节点订阅液滴尺寸信息，以最小化液滴的实时尺寸与目标尺寸差异为优化目标，使用基于深度确定性策略梯度的强化学习算法实时调整驱动油、水两相的压力，使得最终液滴尺寸与用户输入的目标尺寸相等。流量传感器实时将液路中的实际流速传输给主控计算机并显示在屏幕上。
上述实施例仅代表本发明的部分实施方式，需要指出的是，本发明并不局限于上述实施方式中的具体细节，在本发明构思基础上进行的多种变换与改进，都属于本发明的保护范围。
参考文献：
[1]Bochkovskiy, A.; Wang, C.-Y.; Liao, H.-Y. M. YOLOv4: Optimal Speedand Accuracy of Object Detection. arXiv:2004.10934 [cs, eess]2020.
[2]Bradski, G. The OpenCV Library. Dr. Dobb’s Journal of Software Tools2000.
[3]Girshick, R. Fast R-CNN. In International Conference on Computer Vision (ICCV); 2015。

Claims (7)

1.一种基于ROS的智能液滴生成系统，其特征在于，包括主控计算机、流体驱动单元、流体传感器件、液滴芯片和图像感知单元；其中：
所述流体驱动单元，用于驱动生成液滴的油相和水相；流体驱动单元包括控制器与流体驱动执行机构；其中，控制器与主控计算机通过串口连接，实时向主控计算机传输流体驱动状态，接收来自主控计算机运行指令并向执行机构发送驱动信号；流体驱动执行机构接受控制器发送的指令，对流体进行驱动；
所述流体传感器件，用于实时监控流体流量与液路压力信息；
所述微流控液滴芯片，用于生成液滴并提供观察场所；
所述图像感知单元，包括显微镜和用于采集显微图像的高速照相机，用于对芯片中的液滴进行成像并采集，并将采集的信息传输给主控计算机；主控计算机中配置的ROS将图像信息抽象为图像感知节点，获取相机帧并传输给ROS图像处理节点；
所述主控计算机配置有ROS系统、图像处理程序模块以及反馈调节算法模块；主控计算机通过ROS的话题-消息方式处理各单元之间的通讯，通过图像处理程序模块对于图像感知单元传输的图形数据进行图像处理，并通过反馈调节算法模块实时调整流体参数以获取符合尺寸要求的液滴。
2.根据权利要求1所述的基于ROS的智能液滴生成系统，其特征在于，所述反馈调节算法以液滴期望大小与当前液滴大小之差为优化目标，通过ROS的话题-消息机制以固定的时间间隔向流体驱动单元发出指令，调节油相、水相的流速。
3.根据权利要求1所述的基于ROS的智能液滴生成系统，其特征在于，所述流体驱动单元执行机构为微量注射泵、恒压泵或蠕动泵中的一种。
4.根据权利要求1所述的基于ROS的智能液滴生成系统，其特征在于，所述流体传感器件包括流量计和压力传感器；流量计将液路中的流量信息通过串口传输至主控计算机；压力传感器实时检测液路压力，并将该压力信息通过串口传输至主控计算机。
5.根据权利要求1所述的基于ROS的智能液滴生成系统，其特征在于，所述图像处理程序模块的工作流程为：
（1）目标检测，利用训练好的深度学习模型对相机帧中的液滴进行识别，并输出包含液滴目标的候选框；
（2）对候选框中的液滴图像进行二值化处理，并对液滴进行轮廓提取和大小计算；
（3）根据显微镜的放大倍数，将轮廓大小转换为液滴的真实尺寸，以话题形式进行发布。
6.根据权利要求1所述的基于ROS的智能液滴生成系统，其特征在于，所述反馈调节算法为PID控制、贝叶斯优化或强化学习中的一种。
7.根据权利要求1所述的基于ROS的智能液滴生成系统，其特征在于，所述主控计算机还包括与之相连的显示设备，用于展示与用户交互的图形界面；所述图形界面包括流体参数和液滴大小的实时监控与设置、反馈调节开关以及实时显示的液滴图像。
CN202110247517.0A 2021-03-06 2021-03-06 基于ros的智能液滴生成系统 Pending CN113145187A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110247517.0A CN113145187A (zh) 2021-03-06 2021-03-06 基于ros的智能液滴生成系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110247517.0A CN113145187A (zh) 2021-03-06 2021-03-06 基于ros的智能液滴生成系统

Publications (1)

Publication Number Publication Date
CN113145187A true CN113145187A (zh) 2021-07-23

Family

ID=76884341

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110247517.0A Pending CN113145187A (zh) 2021-03-06 2021-03-06 基于ros的智能液滴生成系统

Country Status (1)

Country Link
CN (1) CN113145187A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117455922A (zh) * 2023-12-26 2024-01-26 墨卓生物科技(浙江)有限公司 一种基于液滴运动图像的自动计数分析方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105107558A (zh) * 2015-09-14 2015-12-02 安徽博微长安电子有限公司 一种全自动液滴生成系统及其控制方法
CN107497504A (zh) * 2017-07-24 2017-12-22 广东顺德工业设计研究院(广东顺德创新设计研究院) 液滴生成控制装置
CN108707536A (zh) * 2018-04-10 2018-10-26 广东顺德墨赛生物科技有限公司 液滴生成方法和系统
GB202012504D0 (en) * 2020-08-11 2020-09-23 Univ Of Hertfordshire Higher Education Corporation Droplet generation system
CN111748466A (zh) * 2020-05-28 2020-10-09 湖南工业大学 一种基于数字微流控的检测装置及其应用和检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105107558A (zh) * 2015-09-14 2015-12-02 安徽博微长安电子有限公司 一种全自动液滴生成系统及其控制方法
CN107497504A (zh) * 2017-07-24 2017-12-22 广东顺德工业设计研究院(广东顺德创新设计研究院) 液滴生成控制装置
CN108707536A (zh) * 2018-04-10 2018-10-26 广东顺德墨赛生物科技有限公司 液滴生成方法和系统
CN111748466A (zh) * 2020-05-28 2020-10-09 湖南工业大学 一种基于数字微流控的检测装置及其应用和检测方法
GB202012504D0 (en) * 2020-08-11 2020-09-23 Univ Of Hertfordshire Higher Education Corporation Droplet generation system

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117455922A (zh) * 2023-12-26 2024-01-26 墨卓生物科技(浙江)有限公司 一种基于液滴运动图像的自动计数分析方法
CN117455922B (zh) * 2023-12-26 2024-04-05 墨卓生物科技(浙江)有限公司 一种基于液滴运动图像的自动计数分析方法

Similar Documents

Publication Publication Date Title
EP3620868B1 (en) Apparatus, method, program, and recording medium to output recommended control conditions
WO2022120665A1 (zh) 一种基于深度学习的电容缺陷智能检测方法
CN113145187A (zh) 基于ros的智能液滴生成系统
CN105107558A (zh) 一种全自动液滴生成系统及其控制方法
CN208654640U (zh) 两轮平衡机器人控制系统
CN104571152A (zh) 基于微阀的液滴微流控闭环调节装置
US20090222752A1 (en) Industrial automation visualization object having integrated hmi and control components
EP2833223B1 (en) Simulation device, simulation method and simulation program
CN109871859A (zh) 一种自动生成图像训练集系统
CN107972036B (zh) 基于TensorFlow的工业机器人动力学控制系统及方法
Brasileiro et al. Construction of a microbubble generation and measurement unit for use in flotation systems
US6746606B2 (en) Method and system for matching flow rate
CN102354285A (zh) 一种嵌入式图形界面快速开发装置及方法
Ammi et al. Biological cell injection visual and haptic interface
CN108398371A (zh) 一种血细胞剪应力流变观测装置及血细胞剪应力流变规律的分析和流变过程的再现方法
CN116088403A (zh) 应用超滤工艺对硬件运行进行监控的软件控制系统及方法
CN107562100A (zh) 一种微反应设备的流量及温度控制方法及系统
CN111749289B (zh) 设备控制方法、装置、设备和计算机存储介质
CN103869460A (zh) 防止载玻片被显微镜的物镜挤压的系统
Ye et al. A Voice Control Platform of Mobile Robot through ROS
Xu et al. Two-phase flow pattern online monitoring system based on convolutional neural network and transfer learning
CN114598935A (zh) 装置、方法以及记录介质
CN206872804U (zh) 一种适用于控制取卵过程中恒定流速抽吸卵泡液的操作台
CN201703027U (zh) 粘度精确控制装置
CN106826837B (zh) 一种水下机器人非视距控制系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210723

WD01 Invention patent application deemed withdrawn after publication