CN117455922B - 一种基于液滴运动图像的自动计数分析方法 - Google Patents

一种基于液滴运动图像的自动计数分析方法 Download PDF

Info

Publication number
CN117455922B
CN117455922B CN202311799006.5A CN202311799006A CN117455922B CN 117455922 B CN117455922 B CN 117455922B CN 202311799006 A CN202311799006 A CN 202311799006A CN 117455922 B CN117455922 B CN 117455922B
Authority
CN
China
Prior art keywords
image
liquid drop
liquid
stride
pooling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311799006.5A
Other languages
English (en)
Other versions
CN117455922A (zh
Inventor
郑涵睿
王亮
裴颢
郑文山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mezhuo Biotechnology Zhejiang Co ltd
Original Assignee
Mezhuo Biotechnology Zhejiang Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mezhuo Biotechnology Zhejiang Co ltd filed Critical Mezhuo Biotechnology Zhejiang Co ltd
Priority to CN202311799006.5A priority Critical patent/CN117455922B/zh
Publication of CN117455922A publication Critical patent/CN117455922A/zh
Application granted granted Critical
Publication of CN117455922B publication Critical patent/CN117455922B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/207—Analysis of motion for motion estimation over a hierarchy of resolutions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Investigating Or Analysing Biological Materials (AREA)

Abstract

本发明涉及一种自动化计数领域，尤其设计一种基于液滴运动图像的自动计数分析方法。液滴微流控在实际应用过程中需要进行高通量的液滴融合，按照试剂比例需要两种液滴一对一的配对及融合。由于芯片尺寸、液滴大小等批次间差距较大的关键因素会影响液滴输出频率，每一次做实验需要重新确定各个试剂的流速以达成最优的配对。本发明为了克服现有技术中采取人工的方法，手动计数及调整，需要更多的时间，及更多的试错次数调整至最优比例的问题。本发明要解决的技术问题提供一种基于液滴运动图像的自动计数分析方法。本发明通过对液滴图像进行识别，之后测试不同芯片、不同试剂下的流速与液滴生成频率的关系，极大地提高了液滴识别的自动化。

Description

一种基于液滴运动图像的自动计数分析方法
技术领域
本发明涉及一种自动化计数领域，尤其涉及一种基于液滴运动图像的自动计数分析方法。
背景技术
微流控芯片是指在一块几平方厘米的芯片上集成生物、化学实验中样品的制备、反应、检测、分离等多个功能，堪称一个微型的实验室。微流控芯片以其微型化、集成化、自动化的优势在生物样品处理、疾病的快速诊断等领域具有巨大的应用潜力，在近些年来已取得了重大发展。
而液滴微流控是微流控平台的一个重要分支，是一种操作微小体积液体的全新技术，微小体积液体即液滴。液滴具有体积小、扩散低、无交叉污染、反应速度快等优势，能用于高通量分析。在实际应用过程中需要进行高通量的液滴融合，按照试剂比例需要两种液滴一对一的配对及融合。由于芯片尺寸、液滴大小等批次间差距较大的关键因素会影响液滴输出频率，每一次做实验需要重新确定各个试剂的流速以达成最优的配对。目前采取人工的方法，手动计数及调整，需要更多的时间，及更多的试错次数调整至最优比例。
因此亟需研发一种基于液滴运动图像自动计数分析方法，来克服现有技术中的缺点。
发明内容
（1）要解决的技术问题
本发明为了克服现有技术中手动技术和调整液滴输出频率，需要更多时间及更多的试错次数才能调整至最优比例，本发明要解决的技术问题是提供一种基于液滴运动图像的自动计数分析方法。
（2）技术方案
为了解决上述技术问题，本发明提供了这样一种基于液滴运动图像的自动计数分析方法，具体实施方式为：
S1使用显微镜和高速相机捕捉液滴图像；
S2对液滴图像进行图像增强；
S3将增强后的图像上传至处理系统，在处理系统中对图像上的液滴和交叉口进行标识；
S4利用卷积神经网络进行分析处理完成的图像，获取两侧液滴生成的频率；
S5通过神经网络获取到的数据，不断调整两侧液滴的流速，达到两个液滴按照比例配对的最优情况。
进一步地，获取液滴运动的清晰图像需要使用高帧率的高速相机加上显微镜的组合来捕捉快速移动的液滴，并在液滴经过拍摄位置时，使用脉冲光源与高速相机同步，减少运动模糊并捕捉清晰的液滴运动图像。
进一步地，所述S2采对图像增强首先对使用显微镜和高速相机捕捉液滴的图像使用非局部均值去噪算法对图片进行去噪处理，减小图像中的随机噪声，同时保留液滴边缘的重要信息，具体的计算公式为：，其中u(j)是图像中像素点j的强度值，w(i,j)是基于像素i和像素j的相似性的权重，C(i)是归一化因子，为平滑参数，控制高斯函数的衰减程度，越大去噪水平越高，但图像也会越模糊，具体取值以图像中的噪声水平为依据；之后，将图像分解为不同的频率层次，然后在每个层次上根据液滴的大小和形状特征调整对比度；最后对液滴运动图像进行边缘检测，使用Sobel算子计算出图像中每个像素的梯度幅度G，其中G=\sqrt{Gx^2+Gy^2}，\sqrt为Latex格式下的根号运算符，Gx和Gy是在水平和垂直方向上的梯度图像，之后根据梯度幅度的大小，确定图像中的边缘强度，对于边缘强度，设定一个阈值，当像素点的梯度幅度大于该阈值时，保留该像素点，以凸显液滴的边缘轮廓。
进一步地，所述对图像上的液滴和交叉口进行标识的具体步骤为：
S4.1首先对进行过图像增强的液滴运动图像中的交叉口进行检测，通过交叉口的直线找到交点，即找到图像中的液滴之间生成的交叉口，具体使用霍夫变换算法检测图像中的直线，具体的数学公式为：，其中t为时间，xt和yt分别是液滴在时间t的x和y的坐标，(ρ,θ)是直线的极坐标表示；
S4.2使用连通组件标记算法结合形态学操作对图像中的液滴和交叉口进行计数和标识；首先设定一个经过形态学操作的二值图像P，形态学运算包括膨胀、腐蚀、开运算、闭运算，通过形态学操作提取图像中的特征，之后对二值图像P进行连通组件分析,定义L(x,y)为连同组件标记函数，为每一个连通组件分配一个唯一标签，同时提取每个连通组件的特征记为T，该特征包括形状、大小、纹理；之后，使用训练好的分类器函数F(T)区分液滴与非液滴，其中具体的计算公式为F(T)=w*T+b,其中w是权重向量，b是偏差项，这些值都是在训练中学习到的，而T是每个连通组件的特征；最后，对标签为液滴的连通组件进行求和；
S4.3在测试阶段通过人工验证的方式对图像上的液滴和交叉口进行标识的准确度进行验证。
进一步地，利用卷积神经网络对处理完成的图像进行分析，以此获得两侧液滴生成的频率；所述卷积神经网络模型为以下架构：
卷积层1：64个3x3的卷积核，步幅为1，ReLU激活函数；
池化层1：最大池化，2x2池化窗口，步幅为2；
卷积层2：128个3x3的卷积核，步幅为1，ReLU激活函数；
池化层2：最大池化，2x2池化窗口，步幅为2；
卷积层3：256个3x3的卷积核，步幅为1，ReLU激活函数；
池化层3：最大池化，2x2池化窗口，步幅为2；
卷积层4：512个3x3的卷积核，步幅为1，ReLU激活函数；
池化层4：最大池化，2x2池化窗口，步幅为2；
卷积层5：512个3x3的卷积核，步幅为1，ReLU激活函数；
池化层5：最大池化，2x2池化窗口，步幅为2；
全连接层：
全连接层1：4096个神经元，ReLU激活函数；
全连接层2：4096个神经元，ReLU激活函数；
输出层：根据分类任务，输出相应数量的神经元，使用softmax激活函数进行分类。
进一步地，所述卷积神经网络设置有数据预处理，在流道设计上做方位识别，使得软件能自动识别待分析区域，以减少不需要的区域，降低训练时间。
进一步地，将两个液滴按照最优比例配对的具体实现步骤为：
T1在同一次实验中，测试各个流速下不同的液滴生成的频率及频率比例；
T2使用该数据计算获得此芯片在此试剂下的流速与液滴生成频率的关系；
T3在同设计不同芯片下重复步骤T1与T2，获得该芯片设计的对应关系
T4在该芯片设计上重复其他试验时，能使用步骤T3所获得的对应关系快速调整流速，以达到两个液滴按照比例配对的最优情况。
进一步地，液滴的进入方式能够为在此芯片上生成或液滴重新注入。
进一步地，液滴的频率应控制在10000Hz以内，优选1000Hz以内，能够更优的控制液滴频率。
进一步地，所述液滴包括水相和油相，两个方向的水相的比例是固定的，应优先调整油相速度。
（3）有益效果
本发明通过使用显微镜及高速相机捕捉液滴汇聚的清晰图像，并使用图像识别算法对液滴图形进行识别，可以精确识别出不符合尺寸或其他要求的液滴，提高了液滴的精准度，实现了液滴辨别的自动化流程，提高了本发明的实用性。
本发明使用不同微流控芯片和不同的试剂组合，计算在这些组合下流速与液滴生成频率的关系，根据关系调整流速，达到两个液滴按照比例配对的最优情况，可以精准控制液滴的生成，并且可以快速的调整液滴的流速，提高工作效率，并且还具有广泛的适用性。
附图说明
图1为本发明的具体实现步骤示意图。
图2为本发明液滴运动图像示意图。
其中：101指识别的液滴，102指左侧最新的液滴，103指右侧最早的液滴，104指交叉口，105指下侧液滴计数，106指右侧液滴计数，107指下侧流道，108指右侧流道，109指左侧流道。
具体实施方式
下面结合附图和实施例对本发明作进一步的说明。
本发明是一种基于液滴运动图像的自动计数分析方法，要实现自动计数功能，首先就要进行图1中的步骤S101使用显微镜和高速相机捕捉液滴图像，所以本发明对液滴运动图像采用的捕捉方式是使用高帧率的高速相机加上显微镜的组合来捕捉快速移动的液滴，可以将液滴运动图像放大的同时精准捕捉到液滴汇聚的清晰图像，并在液滴经过拍摄位置时，使用脉冲光源与高速相机同步，减少运动模糊并捕捉清晰的液滴运动图像。
之后进行步骤S102对液滴图像向进行图像增强，即对使用显微镜和高速相机捕捉的液滴运动图像使用非局部均值去噪算法对图片进行去噪处理，减小图像中的随机噪声，同时保留液滴边缘的重要信息，具体的计算公式为：
NL(u)(i)=1/C(i)×Σ(w(x,j)×u(j))
其中u(j)是图像中像素点j的强度值，w(i,j)是基于像素i和像素j的相似性的权重，C(i)是归一化因子，为平滑参数，控制高斯函数的衰减程度，越大去噪水平越高，但图像也会越模糊，所以在进行去噪操作时，要考虑液滴的特征尺寸，选择合适的去噪参数，避免过度平滑液滴边缘；之后，将图像分解为不同的频率层次，然后在每个层次上根据液滴的大小和形状特征调整对比度；最后对液滴运动图像进行边缘检测，使用Sobel算子计算出图像中每个像素的梯度幅度G，其中G=\sqrt{Gx^2+Gy^2}，\sqrt为Latex格式下的根号运算符，Gx和Gy是在水平和垂直方向上的梯度图像，之后根据梯度幅度的大小，确定图像中的边缘强度，对于边缘强度，设定一个阈值，当像素点的梯度幅度大于该阈值时，保留该像素点，以凸显液滴的边缘轮廓。
之后进行步骤S103对图像增强后的液滴运动图像进行液滴和交叉口标识，而该步骤的具体操作为:
首先对进行过图像增强的液滴运动图像中的交叉口进行检测，通过交叉口的直线找到交点，即找到图像中的液滴之间生成的交叉口，具体使用霍夫变换算法检测图像中液滴轨迹中的直线部分，然后找到这些直线的交点，具体的数学公式为：
ρ(t)=xtcosθ+ytsinθ
其中t为时间，xt和yt分别是液滴在时间t的x和y的坐标，(ρ,θ)是直线的极坐标表示。
之后使用连通组件标记算法结合形态学操作对图像中的液滴和交叉口进行计数和标识；首先设定一个经过形态学操作的二值图像P，形态学运算包括膨胀、腐蚀、开运算、闭运算等操作，通过形态学操作提取图像中的特征，之后对二值图像P进行连通组件分析,定义L(x,y)为连同组件标记函数，为每一个连通组件分配一个唯一标签，同时提取每个连通组件的特征记为T，该特征包括形状、大小、纹理等信息；
之后，使用训练好的分类器函数F(T)区分液滴与非液滴，其中具体的计算公式为F(T)=w*T+b,其中w是权重向量，b是偏差项，这些值都是在训练中学习到的，而T是每个连通组件的特征；最后，对标签为液滴的连通组件进行求和；在测试阶段通过人工验证的方式对图像上的液滴和交叉口进行标识的准确度进行验证。
在步骤S103操作完成后，执行步骤S104中使用神经网络分析标识完的图像，获取两侧液滴生成的频率，而在本发明中采用卷积神经网络对处理完成的图像序列进行分析，首先收集大量的液滴图像数据，对数据进行数据清洗，并进行特征提取，将数据分为训练集和测试集，之后使用训练集数据对卷积神经网络模型进行训练，再使用测试集数据对模型进行测试，并不断对模型进行参数调整，直到卷积神经网络模型在对图像序列的分析结果达到预期的使用效果后，即可使用训练好的卷积神经网络模型对液滴及交叉口进行标识的液滴运动图像，获取两侧液生成的频率，其中卷积神经网络在本发明中的架构为：
卷积层1：64个3x3的卷积核，步幅为1，ReLU激活函数；
池化层1：最大池化，2x2池化窗口，步幅为2；
卷积层2：128个3x3的卷积核，步幅为1，ReLU激活函数；
池化层2：最大池化，2x2池化窗口，步幅为2；
卷积层3：256个3x3的卷积核，步幅为1，ReLU激活函数；
池化层3：最大池化，2x2池化窗口，步幅为2；
卷积层4：512个3x3的卷积核，步幅为1，ReLU激活函数；
池化层4：最大池化，2x2池化窗口，步幅为2；
卷积层5：512个3x3的卷积核，步幅为1，ReLU激活函数；
池化层5：最大池化，2x2池化窗口，步幅为2；
全连接层1：4096个神经元，ReLU激活函数；
全连接层2：4096个神经元，ReLU激活函数；
输出层：根据分类任务，输出相应数量的神经元，使用softmax激活函数进行分类。
而在PC端的处理系统中，安装有增量学习算法，卷积神经网络模型会根据每次测量的两侧液滴生成的真实频率会自动进行参数调整，对模型进行不断优化，以满足对不同试剂与不同微流控芯片的组合下不同液滴流速的调整效率。
在步骤S104执行完毕后，执行步骤S105不断调整两侧液滴流速，达到两个液滴按照比例配对的最优情况；即计算不同的微流控芯片与不同试剂的对应关系并快速调整流速，以达到两个液滴按照比例进行配对的最优情况，具体操作是首先在同一次实验中，测试各个流速下不同的液滴生成的频率及频率比例，如图2中，103右侧最早的液滴从108右侧流道与102左侧最新的液滴从109左侧流道一起向104交叉口移动，并在104交叉口合并，之后通过107下侧流道流出，其中在图片左下角分别为105下侧液滴计数和106右侧液滴计数；使用该数据计算获得此芯片此试剂下的流速与液滴生成频率的关系；在同设计不同芯片下重复上面所述的操作步骤，获得该芯片设计的对应关系在该芯片设计上重复其他试验时，可以通过对上面步骤不断重复操作，以所获得的对应关系快速调整流速，以达到两个液滴按照比例配对的最优情况。下述表格为调整液滴流速的具体参数：
时间 油1流速 油2流速 试剂流速 液滴流速 液滴配对率
T0 1500 uL/h 1200 uL/h 750 uL/h 400 uL/h 1:5
T0+2min 1500 uL/h 1700 uL/h 750 uL/h 450 uL/h 1:2
T0+3min 1500 uL/h 1800 uL/h 750 uL/h 470 uL/h 3:5
T0+4min 1500 uL/h 1900 uL/h 750 uL/h 500 uL/h 4:5
T0+5min 1500 uL/h 1950 uL/h 750 uL/h 510 uL/h 9:10
T0为初始检测时间，油1与试剂在下侧流道107形成了液滴，油2与液滴在右侧流道108形成了液滴，随着每次的检测及优化参数，液滴配对率往1：1接近，为最优状态。
在一些方式中，液滴的进入方式可以为在某个微流控芯片上生成或液滴重新注入；而液滴的频率也应该控制在10000Hz以内，优选为1000Hz以内，这样可以更优的控制液滴频率。
在一些方式中，由于后续实验要求，两个方向的水相比例是固定的，此时优先调整油相速度；其中根据液滴发生过程中两种不混溶流体所处的角色不同，分别称之为连续相和分散相(不连续相)；分散相就是被分散为液滴的流体，连续相是充当液滴载体的流体。根据单层乳化分散相属于水相或油相的不同，液滴可分为O/W型(水包油型)液滴、W/O型(油包水型)液滴，其中：O/W型液滴指以油相为分散相，水相为连续相形成的油滴，W/O型液滴指以水相为分散相，油相为连续相产生的水滴。
以上所述实施例仅表达了本发明的优选实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形、改进及替代，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (8)

1.一种基于液滴运动图像的自动计数分析方法，其特征在于，具体由以下步骤实现：
S1获取液滴运动图像；
S2对液滴图像进行图像增强；
S3将增强后的图像上传至处理系统，在处理系统中对图像上的液滴和交叉口进行标识；
所述对图像上的液滴和交叉口进行标识的具体步骤为：
S3.1首先对进行过图像增强的液滴运动图像中的交叉口进行检测，通过交叉口的直线找到交点，即找到图像中的液滴之间生成的交叉口，具体使用霍夫变换算法检测图像中的直线，具体的数学公式为：，其中t为时间，/>和/>分别是液滴在时间t的x和y的坐标，(ρ,θ)是直线的极坐标表示；
S3.2使用连通组件标记算法结合形态学操作对图像中的液滴和交叉口进行计数和标识；首先设定一个经过形态学操作的二值图像P，形态学运算包括膨胀、腐蚀、开运算、闭运算，通过形态学操作提取图像中的特征，之后对二值图像P进行连通组件分析,定义L(x,y)为连同组件标记函数，为每一个连通组件分配一个唯一标签，同时提取每个连通组件的特征记为T，该特征包括形状、大小、纹理；之后，使用训练好的分类器函数F(T)区分液滴与非液滴，其中具体的计算公式为F(T)=w*T+b,其中w是权重向量，b是偏差项，这些值都是在训练中学习到的，而T是每个连通组件的特征；最后，对标签为液滴的连通组件进行求和；
S3.3在测试阶段通过人工验证的方式对图像上的液滴和交叉口进行标识的准确度进行验证；
S4利用卷积神经网络进行分析处理完成的图像，获取两侧液滴生成的频率；
S5通过神经网络获取到的数据，不断调整两侧液滴的流速，达到两个液滴按照比例配对的最优情况；
将两个液滴按照最优比例配对的具体实现步骤为：
S5.1在同一次实验中，测试各个流速下不同的液滴生成的频率及频率比例；
S5.2使用该数据计算获得此芯片在此试剂下的流速与液滴生成频率的关系；
S5.3在同设计不同芯片下重复步骤T1与T2，获得该芯片设计的对应关系；
S5.4在该芯片设计上重复其他试验时，能使用步骤T3所获得的对应关系快速调整流速，以达到两个液滴按照比例配对的最优情况。
2.根据权利要求1所述的一种基于液滴运动图像的自动计数分析方法，其特征在于，获取液滴运动的清晰图像需要使用高帧率的高速相机加上显微镜的组合来捕捉快速移动的液滴，并在液滴经过拍摄位置时，使用脉冲光源与高速相机同步，减少运动模糊并捕捉清晰的液滴运动图像。
3.根据权利要求2所述的一种基于液滴运动图像的自动计数分析方法，其特征在于，所述S2对液滴图像进行图像增强首先对使用显微镜和高速相机捕捉的液滴运动图像使用非局部均值去噪算法对图片进行去噪处理，减小图像中的随机噪声，同时保留液滴边缘的重要信息，具体的计算公式为：，其中u(j)是图像中像素点j的强度值，w(i,j)是基于像素i和像素j的相似性的权重，C(i)是归一化因子，为平滑参数，控制高斯函数的衰减程度，越大去噪水平越高，但图像也会越模糊，具体取值以图像中的噪声水平为依据；之后，将图像分解为不同的频率层次，然后在每个层次上根据液滴的大小和形状特征调整对比度；最后对液滴运动图像进行边缘检测，使用Sobel算子计算出图像中每个像素的梯度幅度G，其中G=\sqrt{Gx^2+Gy^2}，\sqrt为Latex格式下的根号运算符，Gx和Gy是在水平和垂直方向上的梯度图像，之后根据梯度幅度的大小，确定图像中的边缘强度，对于边缘强度，设定一个阈值，当像素点的梯度幅度大于该阈值时，保留该像素点，以凸显液滴的边缘轮廓。
4.根据权利要求3所述的一种基于液滴运动图像的自动计数分析方法，其特征在于，利用卷积神经网络对处理完成的图像进行分析，以此获得两侧液滴生成的频率；所述卷积神经网络模型为以下架构：
卷积层1：64个3x3的卷积核，步幅为1，ReLU激活函数；
池化层1：最大池化，2x2池化窗口，步幅为2；
卷积层2：128个3x3的卷积核，步幅为1，ReLU激活函数；
池化层2：最大池化，2x2池化窗口，步幅为2；
卷积层3：256个3x3的卷积核，步幅为1，ReLU激活函数；
池化层3：最大池化，2x2池化窗口，步幅为2；
卷积层4：512个3x3的卷积核，步幅为1，ReLU激活函数；
池化层4：最大池化，2x2池化窗口，步幅为2；
卷积层5：512个3x3的卷积核，步幅为1，ReLU激活函数；
池化层5：最大池化，2x2池化窗口，步幅为2；
全连接层：
全连接层1：4096个神经元，ReLU激活函数；
全连接层2：4096个神经元，ReLU激活函数；
输出层：根据分类任务，输出相应数量的神经元，使用softmax激活函数进行分类。
5.根据权利要求4所述的一种基于液滴运动图像的自动计数分析方法，其特征在于，所述卷积神经网络设置有数据预处理，在流道设计上做方位识别，使得软件能自动识别待分析区域，以减少不需要的区域，降低训练时间。
6.根据权利要求5所述的一种基于液滴运动图像的自动计数分析方法，其特征在于，液滴的进入方式能够为在此芯片上生成或液滴重新注入。
7.根据权利要求6所述的一种基于液滴运动图像的自动计数分析方法，其特征在于，液滴的频率应控制在10000Hz以内，具体地，液滴的频率应更为理想地控制在1000Hz以内，以实现液滴频率的精确控制。
8.根据权利要求7所述的一种基于液滴运动图像的自动计数分析方法，其特征在于，所述液滴包括水相和油相，两个方向的水相的比例是固定的，应优先调整油相速度。
CN202311799006.5A 2023-12-26 2023-12-26 一种基于液滴运动图像的自动计数分析方法 Active CN117455922B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311799006.5A CN117455922B (zh) 2023-12-26 2023-12-26 一种基于液滴运动图像的自动计数分析方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311799006.5A CN117455922B (zh) 2023-12-26 2023-12-26 一种基于液滴运动图像的自动计数分析方法

Publications (2)

Publication Number Publication Date
CN117455922A CN117455922A (zh) 2024-01-26
CN117455922B true CN117455922B (zh) 2024-04-05

Family

ID=89595239

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311799006.5A Active CN117455922B (zh) 2023-12-26 2023-12-26 一种基于液滴运动图像的自动计数分析方法

Country Status (1)

Country Link
CN (1) CN117455922B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106855398A (zh) * 2017-01-23 2017-06-16 苏州艺力鼎丰智能技术有限公司 基点和基线的获取方法及接触角的测量方法和装置
CN107462301A (zh) * 2016-06-06 2017-12-12 财团法人成大水利海洋研究发展文教基金会 液面监测方法
CN109308712A (zh) * 2017-07-26 2019-02-05 清华大学 一种从液滴流视频中计算液滴运动频率的方法
CN111729700A (zh) * 2020-07-09 2020-10-02 墨卓生物科技(上海)有限公司 一种采用dPCR集成芯片的液滴检测方法
CN112070711A (zh) * 2020-06-04 2020-12-11 清华大学 一种微液滴图像检测法中微液滴的分析方法
CN113145187A (zh) * 2021-03-06 2021-07-23 复旦大学 基于ros的智能液滴生成系统
CN114638832A (zh) * 2022-05-19 2022-06-17 深圳市中科先见医疗科技有限公司 一种基于分水岭算法的dpcr液滴荧光检测方法
CN115100160A (zh) * 2022-07-02 2022-09-23 西南石油大学 一种多孔介质乳液流动实验中液滴速度定量分析方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3017308A4 (en) * 2013-07-05 2017-04-26 University Of Washington Through Its Center For Commercialization Methods, compositions and systems for microfluidic assays

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107462301A (zh) * 2016-06-06 2017-12-12 财团法人成大水利海洋研究发展文教基金会 液面监测方法
CN106855398A (zh) * 2017-01-23 2017-06-16 苏州艺力鼎丰智能技术有限公司 基点和基线的获取方法及接触角的测量方法和装置
CN109308712A (zh) * 2017-07-26 2019-02-05 清华大学 一种从液滴流视频中计算液滴运动频率的方法
CN112070711A (zh) * 2020-06-04 2020-12-11 清华大学 一种微液滴图像检测法中微液滴的分析方法
CN111729700A (zh) * 2020-07-09 2020-10-02 墨卓生物科技(上海)有限公司 一种采用dPCR集成芯片的液滴检测方法
CN113145187A (zh) * 2021-03-06 2021-07-23 复旦大学 基于ros的智能液滴生成系统
CN114638832A (zh) * 2022-05-19 2022-06-17 深圳市中科先见医疗科技有限公司 一种基于分水岭算法的dpcr液滴荧光检测方法
CN115100160A (zh) * 2022-07-02 2022-09-23 西南石油大学 一种多孔介质乳液流动实验中液滴速度定量分析方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Advanced deep learning for dynamic emulsion stability measurement;Patil, A等;COMPUTERS & CHEMICAL ENGINEERING;20220131;全文 *
基于图像处理的掺水乳化柴油液滴蒸发特性研究;陈俊杰;中国优秀硕士学位论文全文数据库工程科技II辑;20200115(第01期);全文 *

Also Published As

Publication number Publication date
CN117455922A (zh) 2024-01-26

Similar Documents

Publication Publication Date Title
Rao et al. Selfie video based continuous Indian sign language recognition system
CN108053419A (zh) 基于背景抑制和前景抗干扰的多尺度目标跟踪方法
CN105354568A (zh) 基于卷积神经网络的车标识别方法
CN109285348A (zh) 一种基于双向长短时记忆网络的车辆行为识别方法及系统
CN108073905A (zh) 一种智能水尺读数的方法、系统和设备
CN113838089B (zh) 一种基于特征匹配算法的气泡轨迹跟踪方法
CN110222767B (zh) 基于嵌套神经网络和栅格地图的三维点云分类方法
CN105046197A (zh) 基于聚类的多模板行人检测方法
CN105809718B (zh) 一种轨迹熵最小化的对象跟踪方法
CN104361340A (zh) 基于显著性检测和聚类的sar图像目标快速检测方法
CN101533466B (zh) 一种眼睛定位图像处理方法
CN110991397B (zh) 一种行进方向确定方法及相关设备
Farag Real-time detection of road lane-lines for autonomous driving
CN108229483A (zh) 基于caffe与软触发下的门牌压印字符识别装置
CN108257124A (zh) 一种基于图像的白细胞计数方法和系统
CN107679516A (zh) 基于多尺度高斯‑马尔科夫随机场模型的下肢运动识别方法
CN110969121A (zh) 一种基于深度学习的高分辨率雷达目标识别算法
CN114998815B (zh) 一种基于视频分析的交通车辆识别追踪方法及系统
CN113393426A (zh) 一种轧钢板表面缺陷检测方法
CN104778699A (zh) 一种自适应对象特征的跟踪方法
EP3718046A1 (en) Prostate cancer tissue image classification with deep learning
Sahu et al. A comparative analysis of deep learning approach for automatic number plate recognition
CN117455922B (zh) 一种基于液滴运动图像的自动计数分析方法
CN102063726B (zh) 一种运动目标分类方法和系统
CN109493370A (zh) 一种基于空间偏移学习的目标跟踪方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant