CN114639101A - 一种乳状液液滴识别系统、方法、计算机设备及存储介质 - Google Patents

一种乳状液液滴识别系统、方法、计算机设备及存储介质 Download PDF

Info

Publication number
CN114639101A
CN114639101A CN202210278340.5A CN202210278340A CN114639101A CN 114639101 A CN114639101 A CN 114639101A CN 202210278340 A CN202210278340 A CN 202210278340A CN 114639101 A CN114639101 A CN 114639101A
Authority
CN
China
Prior art keywords
emulsion
image
identification
droplet identification
emulsion droplet
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210278340.5A
Other languages
English (en)
Inventor
任喜伟
韩欣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shaanxi University of Science and Technology
Original Assignee
Shaanxi University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shaanxi University of Science and Technology filed Critical Shaanxi University of Science and Technology
Priority to CN202210278340.5A priority Critical patent/CN114639101A/zh
Publication of CN114639101A publication Critical patent/CN114639101A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明属于乳状液液滴识别领域，涉及一种乳状液液滴识别方法，包括以下步骤：获取乳状液原始图像，对乳状液原始图像进行预处理，得到乳状液序列图像；对乳状液序列图像进行处理，生成掩膜图像；将得到的掩膜图像以及乳状液序列图像共同作为乳状液图像数据集，将乳状液图像数据集输入UNet神经网络进行多轮训练，获得最优权重参数，得到训练好的的乳状液液滴识别模型；使用训练好的乳状液液滴识别模型对待识别的乳状液图片进行识别，输出乳状液显微图片液滴识别结果图。本发明提出的乳状液液滴识别方法基于UNet网络结构，提高乳状液液滴的识别精度，且具有较强的泛化能力，实现了乳状液液滴的自动识别。

Description

一种乳状液液滴识别系统、方法、计算机设备及存储介质
技术领域
本发明属于乳状液液滴识别领域，涉及一种乳状液液滴识别系统、方法、计算机设备及存储介质。
背景技术
观测乳状液粒径大小及其分布是分析乳状液稳定性的前提条件，对掌握乳状液微观特征、指导溶液乳化和破乳过程非常重要。乳状液粒径研究的第一步是要能够准确的识别出乳状液液滴。显微镜下拍摄的乳状液图片容易受到设备的干扰，产生噪声，且背景复杂，识别困难。
现有的识别乳状液液滴的方法主要有两种：一种为使用全局阈值二值化算法识别乳状液液滴。基本思路是首先找到图像中所有像素的最大值和最小值，取中点作为阈值。将图像中低于某个阈值的像素设置为黑色，其他设置为白色。但是如果图像过拟合或者欠曝光，图像可能会全黑或者全白，无法进行乳状液的液滴识别。
第二种方法是对乳状液液滴进行边缘检测，边缘检测的目的是找到图像中亮度变化剧烈的像素点构成的集合，这些集合往往就是目标的轮廓，但在实际中对乳状液显微图检测时，边缘的变化并没有预想中的简单明显，并且算法的过程较为复杂，对初始图像的要求较高，算法鲁棒性较差，对不同类型的乳状液识别时，有着不同的成功率，算法推广性不强。
发明内容
本发明提供了一种乳状液液滴识别系统、方法、计算机设备及存储介质，解决了现有乳状液液滴识别难、精度低的问题。
为了达到上述发明目的，本发明采用的技术方案为：
一种乳状液液滴识别方法，包括以下步骤：
步骤1、获取乳状液原始图像，对乳状液原始图像进行预处理，得到乳状液序列图像；
步骤2、对乳状液序列图像进行处理，生成掩膜图像；
步骤3、将得到的掩膜图像以及步骤1得到的乳状液序列图像共同作为乳状液图像数据集，将乳状液图像数据集输入UNet神经网络进行多轮训练，获得最优权重参数，得到训练好的的乳状液液滴识别模型；
步骤4、使用训练好的乳状液液滴识别模型对待识别的乳状液图片进行识别，输出乳状液显微图片液滴识别结果图。
进一步，步骤1中，用显微镜获取不同类型的乳状液原始图像。
进一步，步骤1中，所述预处理用于对乳状液原始图像进行数据扩充，数据扩充的方式为水平翻转、垂直翻转、随机剪裁、旋转或加噪声。
进一步，步骤2中，使用Lableme软件标注乳状液序列图像，将乳状液液滴区域标注名设置为target，生成与乳状液序列图像对应的json文件；
使用json文件和步骤1得到的乳状液序列图像生成掩膜图像。
进一步，步骤3中，UNet神经网络包含5个下采样层和5个上采样层，最后一个下采样层和第一个上采样层连接，前四个下采样层和后四个上采样层之间存在跳跃连接链，最后一个上采样层连接全连接层输出识别结果。
进一步，步骤3中，UNet神经网络所使用的激活函数为Relu函数。
进一步，步骤3中，UNet神经网络进行第n轮训练时，首先得到训练集中乳状液序列图像各像素点的分类结果数据，使用损失函数将此分类结果数据与步骤2中得到的掩模图的各像素点的值做计算，得出损失值；
将损失值反向传播至UNet神经网络进行参数更新，之后利用参数更新后的UNet网络模型对验证集图片进行前向推理，使用推理的结果和步骤2中得到的掩模图计算MIOU值；
将计算的MIOU值与前n-1轮中最高的MIOU值作比较，将拥有最高MIOU值的网络结构以及模型参数保存，作为最优的乳状液液滴识别模型。
本发明还公开了一种乳状液液滴识别系统，包括：
数据预处理模块，用于对乳状液原始图像进行预处理，得到乳状液序列图像；
掩膜图像生成模块，用于对乳状液序列图像进行标注，生成包含标注名称与标注位置的json文件；使用json文件和乳状液序列图像生成掩膜图像；
UNet神经网络模块，用于将得到的掩膜图像以及乳状液序列图像共同作为乳状液图像数据集，将乳状液图像数据集输入UNet神经网络进行训练，获得最优权重参数，得到训练好的的乳状液液滴识别模型；
图像检测模块，用于对乳状液显微图像进行液滴识别，将乳状液显微图像输入到训练好的乳状液液滴识别模型，得出乳状液显微图片液滴识别结果图。
本发明还公开了一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述乳状液液滴识别方法的步骤。
本发明还公开了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现所述乳状液液滴识别方法的步骤。
与现有技术相比，本发明具有以下有益效果：
本发明公开了一种乳状液液滴识别方法，可以充分利用深度学习的优势，通过一次标注之后可以对多种背景、类别的乳状液图像端到端批量识别，普适性、泛化能力较强，解决了传统图像处理方法针对场景单一，需对每类场景设计特定解决方法的问题，省去了复杂算法的设计与实现，提高了工作效率。另一方面，传统的图像处理方法因其关注的信息较少，识别精度较低，分割效果差，本发明提出的乳状液液滴识别方法基于UNet网络结构，其上采样和下采样之间有大量的通道连接，可以有效的利用图像的深层、浅层特征，保留图像的底层细节，提高乳状液液滴的识别精度，且具有较强的泛化能力，实现了乳状液液滴的自动识别。
进一步，保存最终的网络识别模型时，只保留拥有最高MIOU值的网络模型，不仅保证了识别模型的准确率、可靠性，也避免了保留过多模型造成的存储空间占用过大、以及最终筛选最优模型的额外工作量。
附图说明
图1为本发明的流程示意图；
图2为本发明的Unet神经网络结构图；
图3为本发明进行检测的乳状液显微图像原图；
图4为本发明乳状液显微图像的Unet网络检测结果图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或装置不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或装置固有的其它步骤或单元。
下面结合附图对本发明做进一步详细描述：
如图1所示，本发明公开了一种乳状液液滴识别方法，包括以下步骤：
步骤1、获取乳状液原始图像，对乳状液原始图像进行预处理，得到乳状液序列图像；
步骤2、对乳状液序列图像进行处理，生成掩膜图像；
步骤3、将得到的掩膜图像以及步骤1得到的乳状液序列图像共同作为乳状液图像数据集，将乳状液图像数据集输入UNet神经网络进行多轮训练，获得最优权重参数，得到训练好的的乳状液液滴识别模型；
步骤4、使用训练好的乳状液液滴识别模型对待识别的乳状液图片进行识别，输出如图4所示的乳状液显微图片液滴识别结果图。
具体地步骤如下：
一、数据集制作
如图3所示，将采集到的乳状液显微图像作为乳状液原始图像，对乳状液原始图像进行预处理，得到乳状液序列图像；
预处理具体为：使用python的opencv库对图像进行批量的水平、垂直翻转、裁剪或加噪声等进行数据增强，增强网络模型的鲁棒性。
使用Labelme软件标注数据，将乳状液滴标注名设为target。标注完成之后，每张图片会生成对应的json文件。
使用python语言及opencv库对乳状液显微图像原图和对应的json文件批量处理生成掩膜图像。
之后将乳状液显微图像和生成的同名掩膜图像分别放置到两个文件夹，取名为img和label，输入到UNet网络中训练。
“掩模图”通俗的来说就是人工给的一个“标准答案”，在训练过程中，网络如何确定自己现在训练的结果正确率如何，就是通过对比“掩模图”来确定的，而网络每轮训练之后的预测值与掩模图(真实值)差距是通过损失函数来计算，计算之后更新参数，进行下一轮的训练，直到越来越接近真实值。所以乳状液图像数据集是包含两部分的，一部分为乳状液的原图，一部分就是生成的掩模图。
二、网络模型搭建
UNet深度学习网络框架被广泛用于语义分割，对数据量的要求不高，因此能方便高效的应用到各类场景。UNet网络主要由下采样编码、上采样解码、跳跃链接组成。下采样编码对网络中的输入图像进行卷积、归一化、最大池化操作降低图像尺寸，提取图像的不同尺度的浅层特征。上采样解码将提取到的图像的不同尺度的特征运用插值、卷积的方法恢复图像尺寸，提取图像的深层特征。跳跃连接将每次下采样提取到的不同尺度特征与对应的上采样提取到的特征进行特征融合，结合深层次与浅层次的特征，细化图像，之后进行识别。
如附图2所示，本发明建立的用来识别乳状液液滴的UNet神经网络由5个下采样层、5个上采样层组成。每个下采样层会进行两次卷积操作，前四个下采样层之间由池化层连接。每个上采样层也会进行两次卷积，后4个上采样层之间通过反卷积层连接。前4个下采样层和后4个上采样层之间连接有4个跳跃连接链。第5下采样层和第1个上采样层连接，第5个上采样之后接全连接层，输出识别结果。此网络中激活函数使用的是Relu。
上采样层是利用大量的卷积核来对乳状液显微图像进行特征提取的过程。此发明实例中的网络，卷积核取用的大小为3x3，步长为1。卷积核矩阵与乳状液显微图像矩阵进行数学运算，将原始图像中3x3窗口中的像素变为1个像素，运算完成之后卷积核向右滑动一个步长，继续运算。在此网络结构中padding填充值为1，因此经过卷积操作之后输出图像的尺寸不变。每经过一个上采样层，卷积核的数目增加1倍。
池化层位于两个下采样层之间，本发明使用最大池化方法，池化核大小为2x2，步长为2。池化层可以对提取到的特征信息进行降维，一方面使得特征图变小，简化网络计算复杂度，在一定程度上避免过拟合的出现，一方面进行特征压缩，提取主要特征。池化操作之后特征图的长度和宽度会缩小一半。
激活函数是在神经元上运行的函数，负责将神经元的输入映射到输出端。激活函数给神经元引入了非线性因素，使得神经网络可以任意逼近任何非线性函数。比起其他几种激活函数，Relu激活函数没有饱和区，不存在梯度消失问题，没有复杂的指数运算，计算简单，效率高，实际收敛速度快。
上采样层是将提取出来的特征向量图还原成图片。上采样层首先将对应的下采样层提取的特征向量图裁剪成和上采样层图片相同大小，之后拼接，再经过两次卷积操作提取特征。此过程使用的卷积核大小为3x3，步长为1。此层的操作将图像的浅层和深层特征结合，还原得到的图片更加的准确。每个上采样层卷积核的数目和对应的下采样层卷积核数目一致。
反卷积位于两个上采样层之间，使用插值的方式扩充图像，反卷积核的大小为2x2，步长为2，经过此操作之后图像的长和宽会扩大2倍。
全连接层位于最后一个上采样层之后，将图像分为前景和背景两个类别，组合输出图像的掩膜，即最终识别的结果。此层使用尺寸为1x1的卷积核。
如附图2所示，本发明建立的用来识别乳状液液滴的UNet神经网络由5个下采样层、5个上采样层组成。每个下采样层会进行两次卷积操作，前四个下采样层之间由池化层连接。每个上采样层也会进行两次卷积，后4个上采样层之间通过反卷积层连接。前4个下采样层和后4个上采样层之间连接有4个跳跃连接链。输入一张乳状液显微图像进入UNet网络，下采样层对乳状液显微图像进行特征提取。
本发明使用大小为3x3，步长为1的卷积核与输入的乳状液显微图像的矩阵进行卷积运算，每层共进行2次卷积运算，每经过一次卷积都需利用Relu激活函数对得到的特征图进行非线性映射。第一个下采样层完成之后，利用池化层对提取到的特征信息进行降维，提取主要特征，使得特征图的长和宽变为原来一半，简化网络计算复杂度，防止训练时发生过拟合。下采样一共进行5次，第一次的卷积核数量为64，之后每进行一层，卷积核的数量相较与上一层增加一倍，到第5层，卷积核的数量为1024。每经过一个池化层就增加一个尺度，共有4个池化层，加上原图的尺度，共有5个尺度，因此本结构实现了对图像的多尺度特征识别。
最后一个下采样层与第一个上采样层连接。上采样时，第一步需要对对应层次的下采样得到的特征图进行裁剪，然后与上一个上采样层得到的特征图拼接，之后使用尺寸为3x3，步长为1的卷积核进行两次卷积操作，提取特征。每次卷积之后都需使用Relu激活函数对得到的特征图进行非线性映射。两次卷积操作完成之后需进行反卷积操作，即使用插值的方式扩充特征图，使图像逐渐恢复到输入大小。本发明使用的反卷积核的大小为2x2，步长为2。每经过一个上采样层，卷积核核数量相较于上一层减少一倍，到第五层，卷积核的数量由第一层的1024变为64。最后一个上采样层连接两个全连接层，全连接层使用尺寸为1x1的卷积核，对乳状液显微图像中各个像素分类，区分背景像素和液滴像素。
三、模型的训练
使用乳状液序列图像与对应json文件生成掩膜图像，之后制作乳状液数据集，数据集中包含乳状液序列图像和掩模图像。包含乳状液序列图像及对应的掩膜图像，将乳状液序列图像及掩膜图像分别按照7：2：1的比例生成训练集、验证集和测试集。
关于分割训练集、验证集、测试集，生成掩模图时默认图片的名称和原图名称相同，在分割这三部分的时候按照图片名称分成7：2：1，即例如图片命名为“Img1”，则对应的是两张图，一张为原图，一张是掩模图，即一张原图和一张掩模图可以看成一个整体，一个用来训练学习，一个用来对比观察网络学习的准确率。
将制作好的乳状液显微图像以及生成的掩膜图像输入搭建好的UNet网络中，使用Dropout方法训练，在训练次数达到预设阈值时停止训练，每次训练完成之后将本轮训练得到模型中的MIOU值与历史最高的MIOU值做对比，MIOU(均交并比)为语义分割的标准度量，指计算两个集合的交并比，在此例中为标注生成的掩模图各像素点值和网络训练得到的预测图像的各像素点值的交集和并集的比值，取值在0-1之间，越接近1表示预测的结果越准确。得出的精度与模型中历史最好的精度(精度指具体的指标MIOU)比较，之后将拥有最高MIOU值的乳状液滴识别模型作为最终结果。
MIOU的公式为：
Figure BDA0003556805500000081
其中，k为类别个数，i表示真实值，j表示预测值，pii表示将i预测为i,pij表示将i预测为j,pji表示将j预测为i。
在此发明中，UNet神经网络使用的损失函数为：
Figure BDA0003556805500000091
其中，L为交叉熵计算函数，M表示类别数，yc是one-hot向量，有0和1两种取值，若网络训练后的预测类别和真实类别相同取值为1，否则为0，pc表示预测值属于类别c的概率。
损失函数来评估网络训练时生成的乳状液图像与人工标注生成的掩模图的差距，在训练过程中会反馈给网络进行参数更新。
四、实例效果
本实施例中，共采集构造了1500张乳状液显微图像，其中，将1050张图像作为训练集，300张图像作为验证集，150张图像作为测试集。选取在验证集上到达最高精度的模型作为最终模型，将其应用到测试集，该模型在测试集上表现出的平均性能如下表所示：
数据集 训练时长 Loss MIOU值 预测图片时间
乳状液显微图像 14.5h 0.1562 0.8031 0.068s
直观来看，根据上表中的Loss损失函数的值以及MIOU的值基本能够将图像上的乳状液液滴识别出来，且精度较高，识别效果较好。
本申请实例在输入一张乳状液显微图像进入网络时，网络正向传播，输出乳状液显微图像中每个像素点的分类结果，再与人工标注生成的掩模图的像素值作比较，利用损失函数计算出差距值，利用链式法则将误差值反向传播至网络，反向传播时，优化器使用Adam对网络中的参数，如卷积核数值、偏置等进行更新，根据MIOU值判断是否保存此轮网络模型，至此，一轮训练完成。本发明实例中UNet网络模型总迭代次数epochs取值为150，初始学习率设置为5e-4，训练时每10个epochs学习率减半。
在示例性实施例中，还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现所述乳状液液滴识别方法的步骤。其中，所述计算机存储介质可以是计算机能够存取的任何可用介质或数据存储设备，包括但不限于磁性存储器(例如软盘、硬盘、磁带、磁光盘(MO)等)、光学存储器(例如CD、DVD、BD、H VD等)、以及半导体存储器(例如RO M、E PRO M、EE PRO M、非易失性存储器(NANDFLASH)、固态硬盘(SSD))等。
在示例性实施例中，还提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述乳状液液滴识别方法的步骤。处理器可能是中央处理单元(C e n t ra l P r o ce s s i ng U n i t，C P U)，还可以是其他通用处理器、数字信号处理器(DigitalSignalProcessor，DSP)、专用集成电路(ApplicationSpecificIntegratedCircuit，ASIC)、现成可编程门阵列(Field-ProgrammableGateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
本发明提出的乳状液液滴识别方法，是直接从输入乳状液显微原图到图像掩膜输出的方法，UNet网络的上采样层与下采样层相连，使得网络能够融合图像的浅层和深层特征，有效的保留图像细节，进行更高精度的检测。
本发明可以充分利用语义分割模型UNet网络的优势，实现了端到端的乳状液液滴识别，解决了传统的图像处理法适用场景单一的问题。另一方面，传统的图像处理法操作步骤复杂，算法针对性太强，普适性较弱，无法批量解决问题，工作效率低下。本发明提出的乳状液液滴识别方法不但提高了识别的精度，且具有较强的泛化能力，实现了乳状液液滴的自动识别。
以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。

Claims (10)

1.一种乳状液液滴识别方法，其特征在于，包括以下步骤：
步骤1、获取乳状液原始图像，对乳状液原始图像进行预处理，得到乳状液序列图像；
步骤2、对乳状液序列图像进行处理，生成掩膜图像；
步骤3、将得到的掩膜图像以及步骤1得到的乳状液序列图像共同作为乳状液图像数据集，将乳状液图像数据集输入UNet神经网络进行多轮训练，获得最优权重参数，得到训练好的的乳状液液滴识别模型；
步骤4、使用训练好的乳状液液滴识别模型对待识别的乳状液图片进行识别，输出乳状液显微图片液滴识别结果图。
2.根据权利要求1所述的一种乳状液液滴识别方法，其特征在于：步骤1中，用显微镜获取不同类型的乳状液原始图像。
3.根据权利要求1所述的一种乳状液液滴识别方法，其特征在于：步骤1中，所述预处理用于对乳状液原始图像进行数据扩充，数据扩充的方式为水平翻转、垂直翻转、随机剪裁、旋转或加噪声。
4.根据权利要求1所述的一种乳状液液滴识别方法，其特征在于：步骤2中，使用Lableme软件标注乳状液序列图像，将乳状液液滴区域标注名设置为target，生成与乳状液序列图像对应的json文件；
使用json文件和步骤1得到的乳状液序列图像生成掩膜图像。
5.根据权利要求1所述的一种乳状液液滴识别方法，其特征在于：步骤3中，UNet神经网络包含5个下采样层和5个上采样层，最后一个下采样层和第一个上采样层连接，前四个下采样层和后四个上采样层之间存在跳跃连接链，最后一个上采样层连接全连接层输出识别结果。
6.根据权利要求1所述的一种乳状液液滴识别方法，其特征在于：步骤3中，UNet神经网络所使用的激活函数为Relu函数。
7.根据权力要求1所述的一种乳状液液滴识别方法，其特征在于：步骤3中，UNet神经网络进行第n轮训练时，首先得到训练集中乳状液序列图像各像素点的分类结果数据，使用损失函数将此分类结果数据与步骤2中得到的掩模图的各像素点的值做计算，得出损失值；
将损失值反向传播至UNet神经网络进行参数更新，之后利用参数更新后的UNet网络模型对验证集图片进行前向推理，使用推理的结果和步骤2中得到的掩模图计算MIOU值；
将计算的MIOU值与前n-1轮中最高的MIOU值作比较，将拥有最高MIOU值的网络结构以及模型参数保存，作为最优的乳状液液滴识别模型。
8.一种乳状液液滴识别系统，其特征在于，包括：
数据预处理模块，用于对乳状液原始图像进行预处理，得到乳状液序列图像；
掩膜图像生成模块，用于对乳状液序列图像进行标注，生成包含标注名称与标注位置的json文件；使用json文件和乳状液序列图像生成掩膜图像；
UNet神经网络模块，用于将得到的掩膜图像以及乳状液序列图像共同作为乳状液图像数据集，将乳状液图像数据集输入UNet神经网络进行训练，获得最优权重参数，得到训练好的的乳状液液滴识别模型；
图像检测模块，用于对乳状液显微图像进行液滴识别，将乳状液显微图像输入到训练好的乳状液液滴识别模型，得出乳状液显微图片液滴识别结果图。
9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任意一项所述乳状液液滴识别方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任意一项所述乳状液液滴识别方法的步骤。
CN202210278340.5A 2022-03-21 2022-03-21 一种乳状液液滴识别系统、方法、计算机设备及存储介质 Pending CN114639101A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210278340.5A CN114639101A (zh) 2022-03-21 2022-03-21 一种乳状液液滴识别系统、方法、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210278340.5A CN114639101A (zh) 2022-03-21 2022-03-21 一种乳状液液滴识别系统、方法、计算机设备及存储介质

Publications (1)

Publication Number Publication Date
CN114639101A true CN114639101A (zh) 2022-06-17

Family

ID=81949786

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210278340.5A Pending CN114639101A (zh) 2022-03-21 2022-03-21 一种乳状液液滴识别系统、方法、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN114639101A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115272779A (zh) * 2022-09-28 2022-11-01 广东顺德工业设计研究院(广东顺德创新设计研究院) 液滴识别方法、装置、计算机设备和存储介质
CN117496274A (zh) * 2023-12-29 2024-02-02 墨卓生物科技(浙江)有限公司 一种基于液滴图像的分类计数方法、系统和存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115272779A (zh) * 2022-09-28 2022-11-01 广东顺德工业设计研究院(广东顺德创新设计研究院) 液滴识别方法、装置、计算机设备和存储介质
CN115272779B (zh) * 2022-09-28 2022-12-27 广东顺德工业设计研究院(广东顺德创新设计研究院) 液滴识别方法、装置、计算机设备和存储介质
CN117496274A (zh) * 2023-12-29 2024-02-02 墨卓生物科技(浙江)有限公司 一种基于液滴图像的分类计数方法、系统和存储介质

Similar Documents

Publication Publication Date Title
CN109934293B (zh) 图像识别方法、装置、介质及混淆感知卷积神经网络
US11256960B2 (en) Panoptic segmentation
US11200424B2 (en) Space-time memory network for locating target object in video content
CN110689036B (zh) 用于自动染色体分类的方法和系统
CN112132156B (zh) 多深度特征融合的图像显著性目标检测方法及系统
CN111027493B (zh) 一种基于深度学习多网络软融合的行人检测方法
CN110348384B (zh) 一种基于特征融合的小目标车辆属性识别方法
CN112699937B (zh) 基于特征引导网络的图像分类与分割的装置、方法、设备及介质
CN114639101A (zh) 一种乳状液液滴识别系统、方法、计算机设备及存储介质
CN114565770B (zh) 基于边缘辅助计算和掩模注意力的图像分割方法及系统
CN111914654B (zh) 一种文本版面分析方法、装置、设备和介质
CN114187311A (zh) 一种图像语义分割方法、装置、设备及存储介质
CN111523421A (zh) 基于深度学习融合各种交互信息的多人行为检测方法及系统
CN116310850B (zh) 基于改进型RetinaNet的遥感图像目标检测方法
CN110852327A (zh) 图像处理方法、装置、电子设备及存储介质
CN114861842A (zh) 少样本目标检测方法、装置和电子设备
CN116188907A (zh) 图像处理方法、语义分割模型的训练方法及装置
CN112132867B (zh) 一种遥感影像变化检测方法及装置
CN111582057B (zh) 一种基于局部感受野的人脸验证方法
CN112597997A (zh) 感兴趣区域确定方法、图像内容识别方法及装置
CN111340139A (zh) 一种图像内容复杂度的判别方法及装置
CN107644251B (zh) 对象分类方法、装置和系统
CN116091763A (zh) 苹果叶部病害图像语义分割系统及分割方法、设备和介质
CN113705489B (zh) 基于先验区域知识指导的遥感影像细粒度飞机识别方法
Xin et al. Siamraan: Siamese residual attentional aggregation network for visual object tracking

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination