CN111415368A - 一种基于深度学习的移动设备液滴滴速的快速测量方法 - Google Patents
一种基于深度学习的移动设备液滴滴速的快速测量方法 Download PDFInfo
- Publication number
- CN111415368A CN111415368A CN202010155778.5A CN202010155778A CN111415368A CN 111415368 A CN111415368 A CN 111415368A CN 202010155778 A CN202010155778 A CN 202010155778A CN 111415368 A CN111415368 A CN 111415368A
- Authority
- CN
- China
- Prior art keywords
- image
- liquid drop
- neural network
- network model
- droplet
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000007788 liquid Substances 0.000 title claims abstract description 123
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000013135 deep learning Methods 0.000 title claims abstract description 16
- 238000003062 neural network model Methods 0.000 claims abstract description 81
- 238000012549 training Methods 0.000 claims abstract description 72
- 238000012360 testing method Methods 0.000 claims abstract description 39
- 238000005259 measurement Methods 0.000 claims abstract description 13
- 230000008569 process Effects 0.000 claims abstract description 13
- 230000006870 function Effects 0.000 claims description 19
- 210000002569 neuron Anatomy 0.000 claims description 12
- 238000010606 normalization Methods 0.000 claims description 4
- 238000005457 optimization Methods 0.000 claims description 4
- SMZOUWXMTYCWNB-UHFFFAOYSA-N 2-(2-methoxy-5-methylphenyl)ethanamine Chemical compound COC1=CC=C(C)C=C1CCN SMZOUWXMTYCWNB-UHFFFAOYSA-N 0.000 claims description 3
- NIXOWILDQLNWCW-UHFFFAOYSA-N 2-Propenoic acid Natural products OC(=O)C=C NIXOWILDQLNWCW-UHFFFAOYSA-N 0.000 claims description 3
- 230000003044 adaptive effect Effects 0.000 claims description 3
- 238000004422 calculation algorithm Methods 0.000 claims description 3
- 239000003086 colorant Substances 0.000 claims description 3
- 238000009795 derivation Methods 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 abstract 2
- 238000010276 construction Methods 0.000 abstract 1
- 238000013528 artificial neural network Methods 0.000 description 8
- 238000001802 infusion Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 238000001990 intravenous administration Methods 0.000 description 3
- 238000013526 transfer learning Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 229940079593 drug Drugs 0.000 description 2
- 239000003814 drug Substances 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- ZLMJMSJWJFRBEC-UHFFFAOYSA-N Potassium Chemical compound [K] ZLMJMSJWJFRBEC-UHFFFAOYSA-N 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 229910052700 potassium Inorganic materials 0.000 description 1
- 239000011591 potassium Substances 0.000 description 1
- 239000000376 reactant Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于深度学习的移动设备液滴滴速的快速测量方法。本发明采集液滴滴落过程的图像构建图像数据集,通过图像预处理、人工标记方法构建液滴图像训练集以及液滴图像测试集;选取二分类神经网络模型,通过液滴图像训练集训练二分类神经网络模型,得到训练后二分类神经网络模型;将智能终端采集的图像通过预处理后得到待测液滴图像,通过训练后二分类神经网络模型预测,若第二次滴落状态预测为滴落状态则间隔多帧图像后继续通过训练后二分类神经网络模型预测,直至下一次滴落状态预测为滴落状态,计算得到相邻两次均处于滴落状态之间的间隔所用时长,进一步计算当前滴速。本发明测量液滴滴速快速、准确,极大提高液滴滴速的测量效率。
Description
技术领域
本发明涉及神经网络的迁移学习和图像分类领域,具体设计一种基于深度学习的移动设备液滴滴速的快速测量方法。
背景技术
在对某些特殊药物如含钾、升压药等或者特殊人群如老人和儿童进行静脉输液时,或者在某些对反应物滴速具有严格要求的化学反应中,液滴滴速的测量和监控非常重要,尤其是在医院中,静脉输液治疗作为极其常见的医疗手段,人工测量费时费力,会给医务工作者带来很大的负担,使用输液泵价格高昂且移动不便,因此快速、简便、准确的检测滴速成为输液过程中的迫切需求。
随着人工智能浪潮的迭起,神经网络和深度学习应用到了越来越多的领域之中,2012年AlexNet的提出极大的提高了图像分类的准确率,由此掀起了深度学习的热潮,同时迁移学习的概念使得小数据集的分类依旧能有十分不错的表现,基于此,在移动设备如此普及的当下,使用深度学习的方法在移动端进行液滴滴速测量,不仅实现简单、成本低、移动性强,也能进一步提高测量的速度和准确率。
发明内容
本发明的目的是针对现有技术的不足而提供的一种基于深度学习的移动设备液滴滴速的快速测量方法,该方法综合了深度学习和移动设备优点,使得液滴滴速测量的速度、准确率、便携性、移动性得到了提高。
实现本发明目的的具体技术方案是:
一种基于深度学习的移动设备液滴滴速的快速测量方法,该方法包括以下具体步骤:
步骤1:采集处于不同场景、不同光线条件下、不同颜色的液滴滴落过程的图像构建图像数据集,通过人工标记方法将液滴处于未滴落状态的液滴图像标签设置为0,将液滴处于滴落状态的液滴图像标签设置为1,将图像数据集中每幅图像进行裁剪处理、归一化处理得到预处理后图像数据集,将预处理后图像数据集根据比例系数划分为液滴图像训练集、液滴图像测试集;
步骤2:选取二分类神经网络模型,通过液滴图像训练集训练二分类神经网络模型,得到训练后二分类神经网络模型;
步骤3:将智能终端的摄像头对准测量目标,将智能终端的摄像头采集的图像通过步骤1中裁剪处理、归一化处理得到待测液滴图像,将待测液滴图像通过训练后神经网络模型预测,通过智能终端的摄像头采集待测液滴图像,将待测液滴图像通过训练后二分类神经网络模型预测,若第二次待测液滴图像的滴落状态预测为滴落状态则间隔多帧图像后继续通过训练后二分类神经网络模型预测,直至下一次待测液滴图像的滴落状态预测为滴落状态,计算得到相邻两次待测液滴图像均处于滴落状态之间的间隔所用时长,进一步计算当前滴速;
作为优选,步骤1所述液滴处于未滴落状态,即液滴仍然处于形成过程中,还未与液滴形成处分离;
步骤1所述液滴处于滴落状态,即液滴已经完全形成并滴落且不与任何物体相接触;
步骤1所述裁剪处理为:图像数据集中每幅液滴图像截取图像中心区域一定大小的图像,经过裁剪后图像数据集为Ikk∈[1,m+n],Ik为液滴图像数据集中第k个样本即采集的第k幅液滴图像,m+n为液滴图像数据集中液滴图像的数量;
步骤1所述归一化处理为:
步骤1所述预处理后液滴图像数据集划分为液滴图像训练集、液滴图像测试集,其中,液滴图像训练集中液滴图像的数量为m,液滴图像测试集中液滴图像的数量为n,q=m/n,q为步骤1中所述比例系数;
所述液滴图像训练集为:
(xi,yi)i∈[1,m];
其中,xi为液滴图像训练集中第i个样本即采集的第i幅液滴图像,yi为液滴图像训练集中第i个样本的标签,m表示液滴图像训练集中样本数量;
所述液滴图像测试集为:
(uj,vj)j∈[1,n];
其中,uj为液滴图像测试集中第j个样本即采集的第j幅液滴图像,vj为液滴图像测试集中第j个样本的标签,n表示液滴图像测试集中样本数量;
作为优选,步骤2所述二分类神经网络模型的输入为液滴图像训练集每个样本即液滴图像,输出为通过二分类神经网络模型预测的液滴状态;
所述液滴状态由液滴处于未滴落状态、液滴处于滴落状态构成;
若二分类神经网络模型预测的液滴状态为液滴处于未滴落状态,则二分类神经网络模型输出为0;
若二分类神经网络模型预测的液滴状态为液滴处于滴落状态,则二分类神经网络模型输出为1;
步骤2所述选取二分类神经网络模型为VGG16网络,该网络通过连续的卷积和池化操作对图像的特征进行提取,最后接入全连接层,具体表现为一维向量,表示了图像属于各个类别的概率;
步骤2所述二分类神经网络模型的初始化参数包括:optimizer、learning_rate、epochs、batch_size;
其中,optimizer表示二分类神经网络模型结构中神经元的权重参数和偏置参数,learning_rate表示二分类神经网络模型的学习率,即模型的权重参数的更新幅度,epochs为迭代次数,表示整个训练过程中遍历整个训练集的次数,batch_size为批尺寸,表示在每次遍历整个训练集时,将训练集分批输入模型时,每批液滴图像图像的数目;
步骤2所述通过液滴图像训练集训练二分类神经网络模型为:
将模型的损失函数定义为二进制交叉熵,其表达式为:
其中,m表示样本数量,yi为液滴图像训练集中第i个样本的标签,hω(xi)表示液滴图像训练集中第i个样本预测为1的概率,(1-hω(xi))表示液滴图像训练集中第i个样本预测为0的概率,从表达式中可以看出,当预测正确的概率越大时,该函数值越小,二进制交叉熵损失函数是凸函数,在求导时能够得到全局最优解,即可以得到最优的权重参数;
以模型的损失函数最小化为优化目标,通过适应性矩估计算法优化求解得到optimizer*,optimizer*表示训练后二分类神经网络模型结构中神经元的权重参数和偏置参数;
步骤2所述训练后二分类神经网络模型为通过optimizer*构建训练后二分类神经网络模型;
作为优选,步骤3所述若第二次待测液滴图像的滴落状态预测为滴落状态则间隔多帧图像后继续通过训练后二分类神经网络模型预测为:
若第二次输入图像的预测结果为滴落状态则标记此时的帧序号,重复执行下述步骤即:
丢弃后面的R帧即间隔R帧后再开始预测,若输入图像的预测结果为滴落状态则标记此时的帧序号;
通过模型的表现以及液滴滴落的时间特性可以确定该R帧为未滴落状态,R的大小由模型的测试集准确率accn、帧速率fps、最大可测滴速vmax决定:
测试集的准确率为:accn=Pn/An;
其中,Pn为测试集中通过训练后二分类神经网络模型预测的图像数目,An为液滴图像测试集中液滴图像的数量即n,测试集的准确率越高,则说明模型泛化能力越强,在实际情况中表现越好;
步骤3中所述相邻两次待测液滴图像均处于滴落状态之间的间隔期所用时长为:
其中,Fi为第i次输入图像的预测结果为滴落状态时的帧序号,Fi+1为第i+1次输入图像的预测结果为滴落状态时的帧序号,fps为帧速率;
步骤3所述当前滴速为1/t。
本发明的有益效果在于:
准确率高:将测速问题转换为图像的分类问题,使用深度学习中迁移学习的方法,使得小数据集通过训练依旧得到了很高的准确率。
速度快:神经网络模型的预测速度很快,在实施丢帧策略后使得测量的速度进一步提高,基本满足实时性的要求。
移动性强:神经网络模型可移植于移动终端,在当今移动设备广泛普及的情况下,使得测量的移动性、便携性大大提高。
附图说明
图1:为本发明方法流程图。
图2:为液滴状态分类图。
图3:为二分类神经网络模型结构图。
图4:为二分类神经网络模型训练流程图。
图5:为取景框细节图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面本发明中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1为本发明的方法流程图。
下面结合图1至图5,介绍本发明的具体实施方式为一种基于深度学习的移动设备液滴滴速的快速测量方法,包括以下具体步骤:
步骤1:采集处于不同场景、不同光线条件下、不同颜色的液滴滴落过程的图像构建图像数据集,通过人工标记方法将液滴处于未滴落状态的液滴图像标签设置为0,将液滴处于滴落状态的液滴图像标签设置为1,将图像数据集中每幅图像进行裁剪处理、归一化处理得到预处理后图像数据集,将预处理后图像数据集根据比例系数划分为液滴图像训练集、液滴图像测试集;
步骤1所述液滴处于未滴落状态,即液滴仍然处于形成过程中,还未与液滴形成处分离;
步骤1所述液滴处于滴落状态,即液滴已经完全形成并滴落且不与任何物体相接触;
上述未滴落状态、滴落状态参见图2,液滴状态分类图。
步骤1所述裁剪处理为:图像数据集中每幅液滴图像截取图像中心区域一定大小的图像,经过裁剪后图像数据集为Ikk∈[1,m+n],Ik为液滴图像数据集中第k个样本即采集的第k幅液滴图像,m+n为液滴图像数据集中液滴图像的数量;
步骤1所述归一化处理为:
步骤1所述预处理后液滴图像数据集划分为液滴图像训练集、液滴图像测试集,其中,液滴图像训练集中液滴图像的数量为m=1393,液滴图像测试集中液滴图像的数量为n=348,q=m/n为步骤1中所述比例系数;
所述液滴图像训练集为:
(xi,yi)i∈[1,m];
其中,xi为液滴图像训练集中第i个样本即采集的第i幅液滴图像,yi为液滴图像训练集中第i个样本的标签,m表示液滴图像训练集中样本数量;
所述液滴图像测试集为:
(uj,vj)j∈[1,n];
其中,uj为液滴图像测试集中第j个样本即采集的第j幅液滴图像,vj为液滴图像测试集中第j个样本的标签,n表示液滴图像测试集中样本数量;
步骤2:选取二分类神经网络模型,通过液滴图像训练集训练二分类神经网络模型,得到训练后二分类神经网络模型;
步骤2所述二分类神经网络模型的输入为液滴图像训练集每个样本即液滴图像,输出为通过二分类神经网络模型预测的液滴状态;
所述液滴状态由液滴处于未滴落状态、液滴处于滴落状态构成;
若二分类神经网络模型预测的液滴状态为液滴处于未滴落状态,则二分类神经网络模型输出为0;
若二分类神经网络模型预测的液滴状态为液滴处于滴落状态,则二分类神经网络模型输出为1;
因训练二分类神经网络模型所需要的数据量巨大,而可获得的数据量有限,因此采用深度学习中的迁移学习方法,步骤2所述选取二分类神经网络模型为VGG16网络,该网络通过连续的卷积和池化操作对图像的特征进行提取,最后接入全连接层,具体表现为一维向量,表示了图像属于各个类别的概率,参见图3,为二分类神经网络模型结构图。
本发明选择keras深度学习框架,导入在imagenet数据集上已经训练好的VGG16网络模型结构以及参数,imagenet数据集数据量极大,VGG16网络使用该数据集进行训练,使得训练后的网络具有较强的特征提取能力和泛化程度,冻结VGG16网络模型已经训练好的神经网络层以及其神经元的权重参数和偏置参数,被冻结的网络层的参数不参与训练,即在训练过程中只有新添加的神经网络层的神经元的权重参数和偏置参数进行训练寻优。
所述新添加的神经网络层包括:压平层、全连接层、抛弃层、全连接层,在VGG16网络模型后依次添加。
所述压平层,将多维的输入一维化,用于卷积层到全连接层之间的过渡;
所述全连接层,该层的神经元的数量为128,目的是将前面提取的特征,经过非线性变化,找到特征之间的关联,最后映射到输出空间上,该层的激活函数为relu,即修正线性单元,其作用是增加神经网络层之间的非线性关系,可以节省计算量,缓解过拟合问题,
所述抛弃层,该层会以一定概率使上一层中部分神经元不参与计算,增加网络稀疏性,防止网络过拟合,抛弃概率设置为0.5;
所述全连接层,神经元个数的数量2,对应该网络的类别数,激活函数为softmax,即归一化指数函数,目的使将分类结果以概率的形式展现出来。
步骤2所述二分类神经网络模型的初始化参数包括:optimizer、learning_rate、epochs、batch_size;
通过观察训练集和测试集的准确率和损失曲线,若收敛速度较快但并未达到最佳值,如准确率高于0.95,损失低于0.05,则可适当调小学习率,若收敛速度较慢,则可适当调大学习率;迭代次数通常首先设置的值较大,以获得完整的训练表现,在观察到网络在某次迭代后已经收敛,则可确定合适的迭代次数;批尺寸可预先指定一个值,观察训练曲线表现,若曲线震荡较大,可以适当提高批尺寸。
本发明中learning_rate设置为0.0005,epochs设置为50,batch_size设置为16;
其中,optimizer表示二分类神经网络模型结构中神经元的权重参数和偏置参数,learning_rate表示二分类神经网络模型的学习率,即模型的权重参数的更新幅度,学习率越大,则神经网络模型收敛速度越快,训练时间较短,但可能难以得到最优解,学习率越小,则神经网络模型收敛速度越慢,训练时间较长,通常可以得到最优解,epochs为迭代次数,表示整个训练过程中遍历整个训练集的次数,batch_size为批尺寸,表示在每次遍历整个训练集时,将训练集分批输入模型时,每批液滴图像图像的数目;
步骤2所述通过液滴图像训练集训练二分类神经网络模型为:
将模型的损失函数定义为二进制交叉熵,其表达式为:
其中,m表示样本数量,yi为液滴图像训练集中第i个样本的标签,hω(xi)表示液滴图像训练集中第i个样本预测为1的概率,(1-hω(xi))表示液滴图像训练集中第i个样本预测为0的概率,从表达式中可以看出,当预测正确的概率越大时,该函数值越小,二进制交叉熵损失函数是凸函数,在求导时能够得到全局最优解,即可以得到最优的权重参数;
以模型的损失函数最小化为优化目标,通过适应性矩估计算法优化求解得到optimizer*,optimizer*表示训练后二分类神经网络模型结构中神经元的权重参数和偏置参数;
步骤2所述训练后二分类神经网络模型为通过optimizer*构建训练后二分类神经网络模型,参见图4为二分类神经网络模型训练流程图。
步骤3:将智能终端的摄像头对准测量目标,将智能终端的摄像头采集的图像通过步骤1中裁剪处理、归一化处理得到待测液滴图像,将待测液滴图像通过训练后神经网络模型预测,通过智能终端的摄像头采集待测液滴图像,将待测液滴图像通过训练后二分类神经网络模型预测,若第二次待测液滴图像的滴落状态预测为滴落状态则间隔多帧图像后继续通过训练后二分类神经网络模型预测,直至下一次待测液滴图像的滴落状态预测为滴落状态,计算得到相邻两次待测液滴图像均处于滴落状态之间的间隔所用时长,进一步计算当前滴速;
参见图5为取景框细节图,通过步骤3所述裁剪处理、归一化处理得到待测液滴图像的取景框细节图。
步骤3所述若第二次待测液滴图像的滴落状态预测为滴落状态则间隔多帧图像后继续通过训练后二分类神经网络模型预测为:
通过丢帧实现测量速度的进一步提高,由于模型预测每一帧图像都需要花费时间,而测速所需要关注的是处于滴落状态的帧图像,若第二次输入图像的预测结果为滴落状态则标记此时的帧序号,重复执行下述步骤即:
丢弃后面的R帧即间隔R帧后再开始预测,若输入图像的预测结果为滴落状态则标记此时的帧序号;
通过模型的表现以及液滴滴落的时间特性可以确定该R帧为未滴落状态,R的大小由模型的测试集准确率accn、帧速率fps、最大可测滴速vmax决定:
测试集的准确率为:accn=Pn/An;
其中,Pn为测试集中通过训练后二分类神经网络模型预测的图像数目,An为液滴图像测试集中液滴图像的数量即n,测试集的准确率越高,则说明模型泛化能力越强,在实际情况中表现越好;
步骤3中所述相邻两次待测液滴图像均处于滴落状态之间的间隔期所用时长为:
其中,Fi为第i次输入图像的预测结果为滴落状态时的帧序号,Fi+1为第i+1次输入图像的预测结果为滴落状态时的帧序号,fps为帧速率;
步骤3所述当前滴速为1/t。
在具体实施方式中,训练后模型的测试集准确率达accn=97%,当fps=30帧/秒,vmax=3滴/秒时,R可设为10,最终在测量真实滴速为0.5滴/秒的静脉输液场景时,得到t=2s,1/t=0.5,与真实情况相符。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (4)
1.一种基于深度学习的移动设备液滴滴速的快速测量方法,其特征在于,包括以下步骤:
步骤1:采集处于不同场景、不同光线条件下、不同颜色的液滴滴落过程的图像构建图像数据集,通过人工标记方法将液滴处于未滴落状态的液滴图像标签设置为0,将液滴处于滴落状态的液滴图像标签设置为1,将图像数据集中每幅图像进行裁剪处理、归一化处理得到预处理后图像数据集,将预处理后图像数据集根据比例系数划分为液滴图像训练集、液滴图像测试集;
步骤2:选取二分类神经网络模型,通过液滴图像训练集训练二分类神经网络模型,得到训练后二分类神经网络模型;
步骤3:将智能终端的摄像头对准测量目标,将智能终端的摄像头采集的图像通过步骤1中裁剪处理、归一化处理得到待测液滴图像,将待测液滴图像通过训练后神经网络模型预测,通过智能终端的摄像头采集待测液滴图像,将待测液滴图像通过训练后二分类神经网络模型预测,若第二次待测液滴图像的滴落状态预测为滴落状态则间隔多帧图像后继续通过训练后二分类神经网络模型预测,直至下一次待测液滴图像的滴落状态预测为滴落状态,计算得到相邻两次待测液滴图像均处于滴落状态之间的间隔所用时长,进一步计算当前滴速。
2.根据权利要求1所述的基于深度学习的移动设备液滴滴速的快速测量方法,其特征在于:
步骤1所述液滴处于未滴落状态,即液滴仍然处于形成过程中,还未与液滴形成处分离;
步骤1所述液滴处于滴落状态,即液滴已经完全形成并滴落且不与任何物体相接触;
步骤1所述裁剪处理为:图像数据集中每幅液滴图像截取图像中心区域一定大小的图像,经过裁剪后图像数据集为Ik k∈[1,m+n],Ik为液滴图像数据集中第k个样本即采集的第k幅液滴图像,m+n为液滴图像数据集中液滴图像的数量;
步骤1所述归一化处理为:
步骤1所述预处理后液滴图像数据集划分为液滴图像训练集、液滴图像测试集,其中,液滴图像训练集中液滴图像的数量为m,液滴图像测试集中液滴图像的数量为n,q=m/n,q为步骤1中所述比例系数;
所述液滴图像训练集为:
(xi,yi)i∈[1,m];
其中,xi为液滴图像训练集中第i个样本即采集的第i幅液滴图像,yi为液滴图像训练集中第i个样本的标签,m表示液滴图像训练集中样本数量;
所述液滴图像测试集为:
(uj,vj)j∈[1,n];
其中,uj为液滴图像测试集中第j个样本即采集的第j幅液滴图像,vj为液滴图像测试集中第j个样本的标签,n表示液滴图像测试集中样本数量。
3.根据权利要求1所述的基于深度学习的移动设备液滴滴速的快速测量方法,其特征在于:
步骤2所述二分类神经网络模型的输入为液滴图像训练集每个样本即液滴图像,输出为通过二分类神经网络模型预测的液滴状态;
所述液滴状态由液滴处于未滴落状态、液滴处于滴落状态构成;
若二分类神经网络模型预测的液滴状态为液滴处于未滴落状态,则二分类神经网络模型输出为0;
若二分类神经网络模型预测的液滴状态为液滴处于滴落状态,则二分类神经网络模型输出为1;
步骤2所述选取二分类神经网络模型为VGG16网络,该网络通过连续的卷积和池化操作对图像的特征进行提取,最后接入全连接层,具体表现为一维向量,表示了图像属于各个类别的概率;
步骤2所述二分类神经网络模型的初始化参数包括:optimizer、learning_rate、epochs、batch_size;
其中,optimizer表示二分类神经网络模型结构中神经元的权重参数和偏置参数,learning_rate表示二分类神经网络模型的学习率,即模型的权重参数的更新幅度,epochs为迭代次数,表示整个训练过程中遍历整个训练集的次数,batch_size为批尺寸,表示在每次遍历整个训练集时,将训练集分批输入模型时,每批液滴图像图像的数目;
步骤2所述通过液滴图像训练集训练二分类神经网络模型为:
将模型的损失函数定义为二进制交叉熵,其表达式为:
其中,m表示样本数量,yi为液滴图像训练集中第i个样本的标签,hω(xi)表示液滴图像训练集中第i个样本预测为1的概率,(1-hω(xi))表示液滴图像训练集中第i个样本预测为0的概率,从表达式中可以看出,当预测正确的概率越大时,该函数值越小,二进制交叉熵损失函数是凸函数,在求导时能够得到全局最优解,即可以得到最优的权重参数;
以模型的损失函数最小化为优化目标,通过适应性矩估计算法优化求解得到optimizer*,optimizer*表示训练后二分类神经网络模型结构中神经元的权重参数和偏置参数;
步骤2所述训练后二分类神经网络模型为通过optimizer*构建训练后二分类神经网络模型。
4.根据权利要求1所述的基于深度学习的移动设备液滴滴速的快速测量方法,其特征在于:
步骤3所述若第二次待测液滴图像的滴落状态预测为滴落状态则间隔多帧图像后继续通过训练后二分类神经网络模型预测为:
若第二次输入图像的预测结果为滴落状态则标记此时的帧序号,重复执行下述步骤即:
丢弃后面的R帧即间隔R帧后再开始预测,若输入图像的预测结果为滴落状态则标记此时的帧序号;
通过模型的表现以及液滴滴落的时间特性可以确定该R帧为未滴落状态,R的大小由模型的测试集准确率accn、帧速率fps、最大可测滴速vmax决定:
测试集的准确率为:accn=Pn/An;
其中,Pn为测试集中通过训练后二分类神经网络模型预测的图像数目,An为液滴图像测试集中液滴图像的数量即n,测试集的准确率越高,则说明模型泛化能力越强,在实际情况中表现越好;
步骤3中所述相邻两次待测液滴图像均处于滴落状态之间的间隔期所用时长为:
其中,Fi为第i次输入图像的预测结果为滴落状态时的帧序号,Fi+1为第i+1次输入图像的预测结果为滴落状态时的帧序号,fps为帧速率;
步骤3所述当前滴速为1/t。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010155778.5A CN111415368B (zh) | 2020-03-09 | 2020-03-09 | 一种基于深度学习的移动设备液滴滴速的快速测量方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010155778.5A CN111415368B (zh) | 2020-03-09 | 2020-03-09 | 一种基于深度学习的移动设备液滴滴速的快速测量方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111415368A true CN111415368A (zh) | 2020-07-14 |
CN111415368B CN111415368B (zh) | 2022-03-04 |
Family
ID=71492878
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010155778.5A Active CN111415368B (zh) | 2020-03-09 | 2020-03-09 | 一种基于深度学习的移动设备液滴滴速的快速测量方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111415368B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113144327A (zh) * | 2021-03-18 | 2021-07-23 | 华南理工大学 | 一种基于机器视觉的医用智能辅助输液装置和输液方法 |
CN113274584A (zh) * | 2021-05-26 | 2021-08-20 | 北京大学第三医院(北京大学第三临床医学院) | 一种基于图像处理注射速度管理方法 |
CN114462551A (zh) * | 2022-02-28 | 2022-05-10 | 华中科技大学 | 一种喷墨液滴状态预测方法及其应用 |
CN114648529A (zh) * | 2022-05-19 | 2022-06-21 | 深圳市中科先见医疗科技有限公司 | 一种基于cnn网络的dpcr液滴荧光检测方法 |
CN114462551B (zh) * | 2022-02-28 | 2024-09-03 | 华中科技大学 | 一种喷墨液滴状态预测方法及其应用 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103127583A (zh) * | 2013-03-19 | 2013-06-05 | 南京理工大学 | 一种基于视频图像的输液监控装置 |
CN103179995A (zh) * | 2010-07-15 | 2013-06-26 | 陶锴 | 使用视频和图像处理技术进行输液监测 |
US20160024322A1 (en) * | 2014-07-25 | 2016-01-28 | Kateeva, Inc. | Organic Thin Film Ink Compositions and Methods |
US20190054740A1 (en) * | 2017-08-17 | 2019-02-21 | Xerox Corporation | Methods and systems for ejecting drops from inkjets following a period of latency |
CN109871885A (zh) * | 2019-01-28 | 2019-06-11 | 南京林业大学 | 一种基于深度学习和植物分类学的植物识别方法 |
CN110248020A (zh) * | 2019-05-06 | 2019-09-17 | 华为技术有限公司 | 一种计时方法和装置 |
-
2020
- 2020-03-09 CN CN202010155778.5A patent/CN111415368B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103179995A (zh) * | 2010-07-15 | 2013-06-26 | 陶锴 | 使用视频和图像处理技术进行输液监测 |
CN103127583A (zh) * | 2013-03-19 | 2013-06-05 | 南京理工大学 | 一种基于视频图像的输液监控装置 |
US20160024322A1 (en) * | 2014-07-25 | 2016-01-28 | Kateeva, Inc. | Organic Thin Film Ink Compositions and Methods |
US20190054740A1 (en) * | 2017-08-17 | 2019-02-21 | Xerox Corporation | Methods and systems for ejecting drops from inkjets following a period of latency |
CN109871885A (zh) * | 2019-01-28 | 2019-06-11 | 南京林业大学 | 一种基于深度学习和植物分类学的植物识别方法 |
CN110248020A (zh) * | 2019-05-06 | 2019-09-17 | 华为技术有限公司 | 一种计时方法和装置 |
Non-Patent Citations (2)
Title |
---|
JIANG MA 等: "A new algorithms of drop speed measuring of infusion monitoring device", 《IEEE》 * |
余翠 等: "基于模板匹配的静脉注射滴速测量", 《小型微型计算机系统》 * |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113144327A (zh) * | 2021-03-18 | 2021-07-23 | 华南理工大学 | 一种基于机器视觉的医用智能辅助输液装置和输液方法 |
CN113274584A (zh) * | 2021-05-26 | 2021-08-20 | 北京大学第三医院(北京大学第三临床医学院) | 一种基于图像处理注射速度管理方法 |
CN113274584B (zh) * | 2021-05-26 | 2022-05-03 | 北京大学第三医院(北京大学第三临床医学院) | 一种基于图像处理注射速度管理方法 |
CN114462551A (zh) * | 2022-02-28 | 2022-05-10 | 华中科技大学 | 一种喷墨液滴状态预测方法及其应用 |
CN114462551B (zh) * | 2022-02-28 | 2024-09-03 | 华中科技大学 | 一种喷墨液滴状态预测方法及其应用 |
CN114648529A (zh) * | 2022-05-19 | 2022-06-21 | 深圳市中科先见医疗科技有限公司 | 一种基于cnn网络的dpcr液滴荧光检测方法 |
CN114648529B (zh) * | 2022-05-19 | 2022-09-23 | 深圳市中科先见医疗科技有限公司 | 一种基于cnn网络的dpcr液滴荧光检测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111415368B (zh) | 2022-03-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111415368B (zh) | 一种基于深度学习的移动设备液滴滴速的快速测量方法 | |
CN107330357A (zh) | 基于深度神经网络的视觉slam闭环检测方法 | |
CN110929848B (zh) | 基于多挑战感知学习模型的训练、跟踪方法 | |
CN110751209B (zh) | 一种融合深度图像分类和检索的智能台风定强方法 | |
Kim et al. | Fast pedestrian detection in surveillance video based on soft target training of shallow random forest | |
CN110222592B (zh) | 一种基于互补时序行为提案生成的时序行为检测网络模型的构建方法 | |
CN107909008A (zh) | 基于多通道卷积神经网络和粒子滤波的视频目标跟踪方法 | |
CN112862849B (zh) | 一种基于图像分割和全卷积神经网络的田间稻穗计数方法 | |
CN108615011A (zh) | 基于多尺度滑动窗口的非修剪视频行为识别预测方法 | |
CN112801942A (zh) | 一种基于注意力机制的柑橘黄龙病图像识别方法 | |
CN113822198B (zh) | 基于uav-rgb图像和深度学习的花生生长监测方法、系统及介质 | |
Latha et al. | Fruits and vegetables recognition using YOLO | |
CN114943831A (zh) | 基于知识蒸馏的移动端病虫害目标检测方法及移动端设备 | |
CN114821338A (zh) | 一种多源异构数据融合的甘蔗多灾种气象灾害预警方法 | |
CN115438841A (zh) | 基于人工智能精准预测降雨模型的训练方法及预测方法 | |
Uoc et al. | A novel automatic detecting system for cucumber disease based on the convolution neural network algorithm | |
He et al. | Visual recognition and location algorithm based on optimized YOLOv3 detector and RGB depth camera | |
CN108830740A (zh) | 一种农作物生长节点实时技术信息采集系统及方法 | |
CN117496325A (zh) | 一种基于改进YOLOv5s模型的水稻害虫检测方法及装置 | |
CN113936019A (zh) | 一种基于卷积神经网络技术的大田作物产量估算方法 | |
Li et al. | Production evaluation of citrus fruits based on the yolov5 compressed by knowledge distillation | |
CN116187561A (zh) | 一种基于空间时域卷积网络的pm10浓度精细化预测方法 | |
CN116311521A (zh) | 一种面向多任务的大鼠机器人行为分析方法 | |
Demir et al. | Drone-assisted automated plant diseases identification using spiking deep conventional neural learning | |
Sharma et al. | Self-attention vision transformer with transfer learning for efficient crops and weeds classification |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |