CN114648529B - 一种基于cnn网络的dpcr液滴荧光检测方法 - Google Patents
一种基于cnn网络的dpcr液滴荧光检测方法 Download PDFInfo
- Publication number
- CN114648529B CN114648529B CN202210544715.8A CN202210544715A CN114648529B CN 114648529 B CN114648529 B CN 114648529B CN 202210544715 A CN202210544715 A CN 202210544715A CN 114648529 B CN114648529 B CN 114648529B
- Authority
- CN
- China
- Prior art keywords
- image
- liquid drop
- network model
- layers
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000007788 liquid Substances 0.000 title claims abstract description 90
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000001917 fluorescence detection Methods 0.000 title claims abstract description 16
- 238000012549 training Methods 0.000 claims abstract description 54
- 238000012545 processing Methods 0.000 claims abstract description 27
- 230000000877 morphologic effect Effects 0.000 claims abstract description 17
- 238000012360 testing method Methods 0.000 claims abstract description 16
- 238000002073 fluorescence micrograph Methods 0.000 claims abstract description 5
- 230000003287 optical effect Effects 0.000 claims abstract description 5
- 238000005070 sampling Methods 0.000 claims description 40
- 230000006870 function Effects 0.000 claims description 30
- 238000011176 pooling Methods 0.000 claims description 18
- 230000008569 process Effects 0.000 claims description 13
- 230000004913 activation Effects 0.000 claims description 12
- 238000000605 extraction Methods 0.000 claims description 11
- 230000000694 effects Effects 0.000 claims description 5
- 239000012535 impurity Substances 0.000 claims description 5
- 230000002708 enhancing effect Effects 0.000 claims description 3
- 230000003628 erosive effect Effects 0.000 claims description 3
- 238000011478 gradient descent method Methods 0.000 claims description 3
- 230000001902 propagating effect Effects 0.000 claims description 3
- 241000760358 Enodes Species 0.000 claims description 2
- 238000004364 calculation method Methods 0.000 abstract description 8
- 238000001514 detection method Methods 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000000018 DNA microarray Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000012631 diagnostic technique Methods 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000006740 morphological transformation Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000003753 real-time PCR Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration by the use of local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G06T5/70—
-
- G06T5/92—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/155—Segmentation; Edge detection involving morphological operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10064—Fluorescence image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20192—Edge enhancement; Edge preservation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
Abstract
本申请涉及一种基于CNN网络的DPCR液滴荧光检测方法，包括如下步骤：采用光学设备采集液滴图像和液滴荧光图像；收集液滴图像数据，并将收集到的液滴图像数据按照一定的比例划分成训练集、测试集；搭建及训练ResUnet++网络模型，并将训练好的ResUnet++网络模型对液滴图像进行分割；对分割出来的Mask图像进行形态学处理去除小对像的干扰，生成液滴轮廓图像；搭建及训练荧光液滴辨识网络模型，并将训练好的荧光液滴辨识网络模型对液滴荧光图像进行阳性、阴性的识别。本发明能够有效的从干扰图像、模糊图像中分离出阳性与阴性液滴，提高了浓度计算的准确度，解决了因污染导致假阳性造成结果偏差很大的问题。
Description
技术领域
本申请涉及DPCR检测技术领域，特别是涉及一种基于CNN网络的DPCR液滴荧光检测方法。
背景技术
在DPCR技术中包括了两种。第一种是以流式液滴技术为代表的分子诊断技术，通过气路、液路及物理加压的方式生成液滴，然后通过指定的管路来实现对扩增后的液滴荧光进行检测，并进行对应实验浓度计算。这种方法虽然可以取得较为准确的DPCR浓度值，但实现成本比较高、技术整合较为繁琐、对应开发周期也长。第二种是以生物芯片为载体，使液滴平铺于芯片内，然后进行扩增，再通过拍照形成图像序列，对图像序列进行分析来达到计算相关实验浓度的目的。这种方法虽然对相关设备及结构要求并不高，但是最后计算实验浓度的精度完全取决于图像算法。
申请公布号为CN112070711A的中国发明，公开了一种微液滴图像检测法中微液滴的分析方法，其采用采用霍夫变换和深度学习的方法来实现相关实验浓度计算。首先利用霍夫变换处理待检测微液滴图像，得到微液滴图像中每个液滴疑似物的具体位置，将所有微液滴疑似物的图像提取出来，再使用训练好的分类器判读合格与不合格液滴，实现相关实验浓度计算。由于而霍夫变换是一个常规的图像处理算法，随着光源使用久之后发生的衰减及液滴之间的间隔不明显的情况下，通过霍夫变换分离出来的液滴数量是有较大的减少，同时也导致了后面使用深度学习进行分类时，分离出来的阳性液滴数量与实际数量偏少。跟据泊松分布计算浓度的原理，阳性液滴数少、阴性液滴数少，最终导致整个浓度值与实际值就有较大的偏差。
申请公布号为CN106399075A的中国发明，公开了一种基于反射镜的荧光定量PCR的检测系统，该检测系统利用反射镜原理，通过反射镜、样品试管架模块、光电探测器、光源、光纤及样品试管架等模块，组成一套荧光液滴反射系统。虽然该检测系统结构简单且紧凑、收集荧光能力强。但是对样本受到污染导致的假阳没法辩别及有效的处理。
发明内容
基于此，有必要针对现有技术中DPCR浓度计算的结果偏差很大的问题，提出一种基于CNN网络的DPCR液滴荧光检测方法。
为了实现上述目的，本申请实施例提供了一种基于CNN网络的DPCR液滴荧光检测方法，包括如下步骤：
采用光学设备采集液滴图像和液滴荧光图像；
收集液滴图像数据，并将收集到的液滴图像数据按照一定的比例划分成训练集、测试集；
搭建及训练ResUnet++网络模型，并将训练好的ResUnet++网络模型对液滴图像进行分割；
对分割出来的Mask图像进行形态学处理去除干扰，生成液滴轮廓图像；
搭建及训练荧光液滴辨识网络模型，并将训练好的荧光液滴辨识网络模型对液滴荧光图像进行阳性、阴性的识别。
优选地，所述ResUnet++网络模型包括：
在Unet网络模型向下采样和向上采样进行特征提取的过程中，将卷积层加Relu层的特征提取模块替换成残差模块，在残差模块的每一个卷积层后面加入一个BN层，BN层后面再加入一个Scale层；
下采样层和上采样层的数量都有5个加深到7个，7个下采样层输出的特征数据分别与7个上采样层输出的特征数据进行拼接融合。
优选地，每个所述下采样层都包括4个卷积层、1个池化层、2个BN层及2个Scale层，每个所述卷积层的卷积核大小为5*5，所述池化层的卷积核大小为2*2，每个所述卷积层的卷积核的数量分别为32、 64、128、128、128、128、128；
每个所述上采样层都包括1个上采样反卷积层、4个卷积层、4个BN层及4个Scale层，所述上采样反卷积层的卷积核大小为2*2，每个所述卷积层的卷积核的大小为5*5，每个所述上采样反卷积层的卷积核的数量分别为128、128、128、128、128、64、32。
优选地，所述Unet网络模型在上采样进行反卷积操作之前，还有4个卷积核大小均为5*5的卷积层；
所述Unet网络模型在下采样进行至最后一个池化层之前加入一个Dropout层；
所述Unet网络模型在首次进行上采样之前加入一个Dropout层；
Relu层使用的激活函数为Relu函数。
优选地，训练ResUnet++网络模型包括：
将训练集的液滴图像转换成Mask图像；
将液滴图像的RGB值和Mask图像作为ResUnet++网络模型的输入数据；
采用分批次的方法对ResUnet+++网络模型使用训练集数据进行训练。
优选地，所述训练所用的损失函数为交叉熵损失函数；
在训练之前设定基础学习率和权重衰减值；
计算训练过程中Mask图像中真实值和预测值的交叉商值，并采用自适应矩估计梯度下降法进行优化及反向传播更新参数。
优选地，采用收集好的测试集图像数据对ResUnet++网络模型进行效果测试，当相似度IOU>0.97时，将该训练好的ResUnet++网络模型用于分割液滴图像。
优选地，所述将训练集的液滴图像转换成Mask图像包括：
将训练集的液滴图像通过二值化算法处理到液滴图像的二值图像；
对二值图像进行形态学开运算、闭运算处理，去除干扰杂质和噪点；
对形态学开运算、闭运算处理后的图像进行调整，使得每个液滴图像与其对应的Mask图像大小一致，且液滴图像与Mask图像的最大偏差不能超过5个像素，并将Mask图像做为液滴图像的标签数据；
对收集到的液滴图像数据进行镜像处理并增加训练集的数据，同时对训练集的液滴图像进行高斯模糊处理，高斯模糊半径为3个像素以上；
对训练集的液滴图像进行gamma拉伸增强处理。
优选地，所述对分割出来的Mask图像进行形态学处理去除干扰，生成液滴轮廓图像包括：
使用Opencv中的getStructuringElement()函数，选择开运算模式创建一个10*10算子，并返回指定变量；
使用Opencv中的erode()函数通过返回的指定变量来实现对Mask图像的侵蚀，从而达到去除干扰的目的；
使用Opencv中的dilate()函数，创建一个11*11的算子进行形态学膨胀，使Mask图像恢复原来大小；
使用Opencv中的Robert算子提取Mask图像的边缘图像，并通过二值化算法对形成的边缘图像进行增强，从而形成完整的液滴轮廓图像。
优选地，所述荧光液滴辨识网络模型包括2个卷积层、2个池化层、2个全连接层，第一个卷积层与第一个池化层之间有ReLU激活函数和LRN层，第二个卷积层与第二个池化层之间有ReLU激活函数，两个全连接层之间有ReLU激活函数和Dropou层。
本发明所提供的一种基于CNN网络的DPCR液滴荧光检测方法具有如下优点和有益效果：
通过ResUnet++网络模型及荧光液滴辨识网络模型可以有效的从干扰图像、模糊图像中分离出阳性与阴性液滴，提升DPCR实验最终浓度计算的准确度，有效的解决了因污染导致假阳性造成结果偏差很大的问题。
附图说明
图1为本申请基于CNN网络的DPCR液滴荧光检测方法较佳实施例的流程示意图。
图2为本申请基于CNN网络的DPCR液滴荧光检测方法另一较佳实施例的流程示意图。
图3为Unet网络模型中向下采样过程的特征提取模块替换成残差模块的模型结构图。
图4为ResUnet++网络模型向下采样过程的特征提取的模块结构图。
图5为训练好的ResUnet++网络模型对液滴图像进行分割的效果图。
具体实施方式
为了便于理解本申请，下面将参照相关附图对本申请进行更全面的描述。附图中给出了本申请的首选实施例。但是，本申请可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使对本申请的公开内容更加透彻全面。
需要说明的是，当一个元件被认为是“连接”另一个元件，它可以是直接连接到另一个元件并与之结合为一体，或者可能同时存在居中元件。本文所使用的术语“安装”以及类似的表述只是为了说明的目的。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请。本文所使用的术语“及／或”包括一个或多个相关的所列项目的任意的和所有的组合。
在一个实施例中，如图1所示，提供了一种基于CNN网络的DPCR液滴荧光检测方法，包括如下步骤：
S100、采用光学设备采集液滴图像和液滴荧光图像；
S200、收集液滴图像数据，并将收集到的液滴图像数据按照一定的比例划分成训练集、测试集；
S300、搭建及训练ResUnet++网络模型，并将训练好的ResUnet++网络模型对液滴图像进行分割；
S400、对分割出来的Mask图像进行形态学处理去除干扰，生成液滴轮廓图像；
S500、搭建及训练荧光液滴辨识网络模型，并将训练好的荧光液滴辨识网络模型对液滴荧光图像进行阳性、阴性的识别。
这里的Mask图像即为液滴掩膜图像，将收集到的液滴图像数据按照一定的比例划分成训练集、测试集，这里按照一定的比例优选为为7:3或8:2。当然上述方法在识别出阳性、阴性液滴后经过如下步骤即可计算出溶度，如图2所示。
S600、对识别出来的液滴荧光图像进行积分得到荧光强度，并通过阳性液滴与阴性液滴的交界处确定阀值线；
S700、根据阳性液滴的泊松分布计算出浓度值。
具体实施时，所述ResUnet++网络模型包括：
在原来Unet网络模型的基础上，在向下采样进行特征提取的过程中，将原来的卷积层加Relu层的特征提取模块替换成残差模块进行特征提取，如图3所示。然后在残差模块的每一个卷积层后面加入一个BN（Batch Normalization）层，BN层后面再加入一个Scale层，这样就完成了一个ResUnet++网络模型向下采样过程的特征提取的模块设计，如图4所示。
同样在Unet网络模型的向上采样过程中的卷积过程也采用与下采样过程中相同的特征提取模块并再次加深网络，从原来的5个下采样层和5个上采样层，加深到7个下采样层和7个上采样层网络。7个下采样层输出的特征数据分别与7个上采样层输出的特征数据进行拼接融合。
具体实施时，每个所述下采样层都包括4个卷积层、1个池化层、2个BN层及2个Scale层，每个所述卷积层的卷积核大小为5*5，所述池化层的卷积核大小为2*2，每个所述卷积层的卷积核的数量分别为32、 64、128、128、128、128、128；每个所述上采样层都包括1个上采样反卷积层、4个卷积层、4个BN层及4个Scale层，所述上采样反卷积层的卷积核大小为2*2，每个所述卷积层的卷积核的大小为5*5，每个所述上采样反卷积层的卷积核的数量分别为128、128、128、128、128、64、32。
具体实施时，所述Unet网络模型在上采样进行反卷积操作之前，还有4个卷积核大小均为5*5的卷积层；所述Unet网络模型在下采样进行至最后一个池化层之前加入一个Dropout层；所述Unet网络模型在首次进行上采样之前加入一个Dropout层；Relu层使用的激活函数为Relu函数。
具体实施时，训练ResUnet++网络模型，在训练之前需要收集液滴图像数据，把收集到的液滴数据按照一定的比例（优选为7:3，或8:2）进行划分，划分出训练集与测试集。
具体过程为：首先将训练集的液滴图像转换成Mask图像；然后将液滴图像的RGB值和Mask图像作为ResUnet++网络模型的输入数据；最后采用分批次的方法对ResUnet+++网络模型使用训练集数据进行训练。
具体实施时，所述训练所用的损失函数为交叉熵损失函数；在训练之前设定基础学习率和权重衰减值；计算训练过程中Mask图像中真实值和预测值的交叉商值，并采用自适应矩估计梯度下降法进行优化及反向传播更新参数。
具体实施时，采用收集好的测试集图像数据对ResUnet++网络模型进行效果测试，当相似度IOU>0.97时，将该训练好的ResUnet++网络模型用于分割液滴图像。
具体实施时，所述将训练集的液滴图像转换成Mask图像包括：
第一、将训练集的液滴图像通过二值化算法处理到液滴图像的二值图像；
第二、对二值图像进行形态学开运算、闭运算处理，去除干扰杂质和噪点；
第三、对形态学开运算、闭运算处理后的图像进行调整，使得每个液滴图像与其对应的Mask图像大小一致，且液滴图像与Mask图像的最大偏差不能超过5个像素，并将Mask图像做为液滴图像的标签数据；
第四、对收集到的液滴图像数据进行镜像处理并增加训练集的数据，同时对训练集的液滴图像进行高斯模糊处理，高斯模糊半径为3个像素以上；
第五、对训练集的液滴图像进行gamma拉伸增强处理。
通过形态学开运算、闭运算处理，去除干扰杂质和噪点，然后再进行手工修图调整。
使用训练好的ResUnet++网络模型对实际液滴图像进行分割，其实际效果 如图5所示。
对分割出来的Mask图像进行形态学变换去除小对像的干扰，具体步骤为：
第一、使用Opencv中的getStructuringElement()函数，选用开运算模式创建一个10*10算子，并返回指定变量；
第二、使用Opencv中的erode()函数通过返回的指定变量来实现对Mask图像的侵蚀，从而达到去除干扰的目的；
第三、使用Opencv中的dilate()函数，创建一个11*11的算子进行形态学膨胀，使Mask图像恢复回原来大小。
这样就可以在即不损失原有Mask图像情况下，去除由ResUnet++网络模型分割产生的各种小对像（噪点）。
最后使用Opencv中的Robert算子提取Mask图像的边缘图像，通过二值化算法来对形成的边缘图像进行增强，从而形成完整的液滴轮廓图像，通过对轮廓的查找，得到所有液滴的轮廓信息。
具体实施时，所述荧光液滴辨识网络模型是在Lenet网络模型的基础上，添加Alexnet网络模型的各层模块。其具体包括2个卷积层、2个池化层、2个全连接层，第一个卷积层与第一个池化层之间有ReLU激活函数和LRN层，第二个卷积层与第二个池化层之间有ReLU激活函数，两个全连接层之间有ReLU激活函数和Dropou层，每个所述卷积层的卷积核大小为5*5。
本发明利用深度学习算法具有的推理能力，有效的提升了抗干扰能力，对杂质、灰尘引起的液滴分裂图像与液滴残缺图像具有较好的预测能力，同时，能从模糊液滴图像有效的分割出液滴单个图像，提升有效液滴数，从而提升DPCR实验最终浓度计算的准确度。
综上，本申请提供的一种基于CNN网络的DPCR液滴荧光检测方法，包括如下步骤：采用光学设备采集液滴图像和液滴荧光图像；收集液滴图像数据，并将收集到的液滴图像数据按照一定的比例划分成训练集、测试集；搭建及训练ResUnet++网络模型，并将训练好的ResUnet++网络模型对液滴图像进行分割；对分割出来的Mask图像进行形态学处理去除小对像的干扰，生成液滴轮廓图像；搭建及训练荧光液滴辨识网络模型，并将训练好的荧光液滴辨识网络模型对液滴荧光图像进行阳性、阴性的识别，使得能够有效的从干扰图像、模糊图像中分离出阳性与阴性液滴，提高了浓度计算的准确度，解决了因污染导致假阳性造成结果偏差很大的问题。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (5)
1.一种基于CNN网络的DPCR液滴荧光检测方法，其特征在于，包括如下步骤：
采用光学设备采集液滴图像和液滴荧光图像；
收集液滴图像数据，并将收集到的液滴图像数据按照一定的比例划分成训练集、测试集；
搭建及训练ResUnet++网络模型，并将训练好的ResUnet++网络模型对液滴图像进行分割；
对分割出来的Mask图像进行形态学处理去除小对像的干扰，生成液滴轮廓图像；
搭建及训练荧光液滴辨识网络模型，并将训练好的荧光液滴辨识网络模型对液滴荧光图像进行阳性、阴性的识别；
训练ResUnet++网络模型包括：
将训练集的液滴图像转换成Mask图像；
将液滴图像的RGB值和Mask图像作为ResUnet++网络模型的输入数据；
采用分批次的方法对ResUnet+++网络模型使用训练集数据进行训练；
所述训练所用的损失函数为交叉熵损失函数；
在训练之前设定基础学习率和权重衰减值；
计算训练过程中Mask图像中真实值和预测值的交叉商值，并采用自适应矩估计梯度下降法进行优化及反向传播更新参数；
采用收集好的测试集图像数据对ResUnet++网络模型进行效果测试，当相似度IOU>0.97时，将该训练好的ResUnet++网络模型用于分割液滴图像；
所述ResUnet++网络模型包括：
在Unet网络模型向下采样和向上采样进行特征提取的过程中，将卷积层加Relu层的特征提取模块替换成残差模块，在残差模块的每一个卷积层后面加入一个BN层，BN层后面再加入一个Scale层；
下采样层和上采样层的数量都有5个加深到7个，7个下采样层输出的特征数据分别与7个上采样层输出的特征数据进行拼接融合；
所述对分割出来的Mask图像进行形态学处理去除干扰，生成液滴轮廓图像包括：
使用Opencv中的getStructuringElement()函数，选择开运算模式创建一个10*10算子，并返回指定变量；
使用Opencv中的erode()函数通过返回的指定变量来实现对Mask图像的侵蚀，从而达到去除干扰的目的；
使用Opencv中的dilate()函数，创建一个11*11的算子进行形态学膨胀，使Mask图像恢复原来大小；
使用Opencv中的Robert算子提取Mask图像的边缘图像，并通过二值化算法对形成的边缘图像进行增强，从而形成完整的液滴轮廓图像。
2.根据权利要求1所述的基于CNN网络的DPCR液滴荧光检测方法，其特征在于，每个所述下采样层都包括4个卷积层、1个池化层、2个BN层及2个Scale层，每个所述卷积层的卷积核大小为5*5，所述池化层的卷积核大小为2*2，每个所述卷积层的卷积核的数量分别为32、64、128、128、128、128、128；
每个所述上采样层都包括1个上采样反卷积层、4个卷积层、4个BN层及4个Scale层，所述上采样反卷积层的卷积核大小为2*2，每个所述卷积层的卷积核的大小为5*5，每个所述上采样反卷积层的卷积核的数量分别为128、128、128、128、128、64、32。
3.根据权利要求2所述的基于CNN网络的DPCR液滴荧光检测方法，其特征在于，所述Unet网络模型在上采样进行反卷积操作之前，还有4个卷积核大小均为5*5的卷积层；
所述Unet网络模型在下采样进行至最后一个池化层之前加入一个Dropout层；
所述Unet网络模型在首次进行上采样之前加入一个Dropout层；
Relu层使用的激活函数为Relu函数。
4.根据权利要求1所述的基于CNN网络的DPCR液滴荧光检测方法，其特征在于，所述将训练集的液滴图像转换成Mask图像包括：
将训练集的液滴图像通过二值化算法处理到液滴图像的二值图像；
对二值图像进行形态学开运算、闭运算处理，去除干扰杂质和噪点；
对形态学开运算、闭运算处理后的图像进行调整，使得每个液滴图像与其对应的Mask图像大小一致，且液滴图像与Mask图像的最大偏差不能超过5个像素，并将Mask图像做为液滴图像的标签数据；
对收集到的液滴图像数据进行镜像处理并增加训练集的数据，同时对训练集的液滴图像进行高斯模糊处理，高斯模糊半径为3个像素以上；
对训练集的液滴图像进行gamma拉伸增强处理。
5.根据权利要求1所述的基于CNN网络的DPCR液滴荧光检测方法，其特征在于，所述荧光液滴辨识网络模型包括2个卷积层、2个池化层、2个全连接层，第一个卷积层与第一个池化层之间有ReLU激活函数和LRN层，第二个卷积层与第二个池化层之间有ReLU激活函数，两个全连接层之间有ReLU激活函数和Dropou层。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210544715.8A CN114648529B (zh) | 2022-05-19 | 2022-05-19 | 一种基于cnn网络的dpcr液滴荧光检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210544715.8A CN114648529B (zh) | 2022-05-19 | 2022-05-19 | 一种基于cnn网络的dpcr液滴荧光检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114648529A CN114648529A (zh) | 2022-06-21 |
| CN114648529B true CN114648529B (zh) | 2022-09-23 |
Family
ID=81997524
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210544715.8A Active CN114648529B (zh) | 2022-05-19 | 2022-05-19 | 一种基于cnn网络的dpcr液滴荧光检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114648529B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018052586A1 (en) * | 2016-09-14 | 2018-03-22 | Konica Minolta Laboratory U.S.A., Inc. | Method and system for multi-scale cell image segmentation using multiple parallel convolutional neural networks |
| CN111415368A (zh) * | 2020-03-09 | 2020-07-14 | 武汉大学 | 一种基于深度学习的移动设备液滴滴速的快速测量方法 |
| CN111627024A (zh) * | 2020-05-14 | 2020-09-04 | 辽宁工程技术大学 | 一种改进U-net的肾脏肿瘤分割方法 |
| CN113486806A (zh) * | 2021-07-07 | 2021-10-08 | 西安交通大学 | 基于一维残差神经网络的悬沙监测方法 |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106650796B (zh) * | 2016-12-06 | 2020-10-23 | 国家纳米科学中心 | 一种基于人工智能的细胞荧光图像分类方法和系统 |
| CN109711409A (zh) * | 2018-11-15 | 2019-05-03 | 天津大学 | 一种结合U-net和ResNet的手写乐谱谱线删除方法 |
| CN109598728B (zh) * | 2018-11-30 | 2019-12-27 | 腾讯科技（深圳）有限公司 | 图像分割方法、装置、诊断系统及存储介质 |
| CN109903296B (zh) * | 2019-02-15 | 2021-06-01 | 领航基因科技（杭州）有限公司 | 一种基于LBP-Adaboost算法的数字PCR液滴检测方法 |
| CN112070711A (zh) * | 2020-06-04 | 2020-12-11 | 清华大学 | 一种微液滴图像检测法中微液滴的分析方法 |
| CN111784788A (zh) * | 2020-06-04 | 2020-10-16 | 深圳深透医疗科技有限公司 | 一种基于深度学习的pet快速成像方法和系统 |
| CN114170128B (zh) * | 2020-08-21 | 2023-05-30 | 张逸凌 | 基于深度学习的骨骼分割方法和系统 |
| CN112435198A (zh) * | 2020-12-03 | 2021-03-02 | 西安交通大学 | 一种焊缝射线检测底片图像增强方法、存储介质及设备 |
| CN112598656A (zh) * | 2020-12-28 | 2021-04-02 | 长春工业大学 | 一种基于UNet++优化和权值预算的脑肿瘤分割算法 |
| CN113112465B (zh) * | 2021-03-31 | 2022-10-18 | 上海深至信息科技有限公司 | 一种颈动脉内中膜分割模型的生成系统及方法 |
| CN114187228A (zh) * | 2021-09-28 | 2022-03-15 | 领航基因科技（杭州）有限公司 | 一种基于svm的数字pcr假阳性液滴检测方法 |
| CN114038506A (zh) * | 2021-11-09 | 2022-02-11 | 领航基因科技（杭州）有限公司 | 一种微滴式数字pcr高浓度检测方法 |
| CN114092456A (zh) * | 2021-11-26 | 2022-02-25 | 上海申挚医疗科技有限公司 | 细胞荧光图像判别方法及系统 |
-
2022
- 2022-05-19 CN CN202210544715.8A patent/CN114648529B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018052586A1 (en) * | 2016-09-14 | 2018-03-22 | Konica Minolta Laboratory U.S.A., Inc. | Method and system for multi-scale cell image segmentation using multiple parallel convolutional neural networks |
| CN111415368A (zh) * | 2020-03-09 | 2020-07-14 | 武汉大学 | 一种基于深度学习的移动设备液滴滴速的快速测量方法 |
| CN111627024A (zh) * | 2020-05-14 | 2020-09-04 | 辽宁工程技术大学 | 一种改进U-net的肾脏肿瘤分割方法 |
| CN113486806A (zh) * | 2021-07-07 | 2021-10-08 | 西安交通大学 | 基于一维残差神经网络的悬沙监测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114648529A (zh) | 2022-06-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109214349B (zh) | 一种基于语义分割增强的物体检测方法 | |
| CN110852316B (zh) | 一种采用密集结构卷积网络的图像篡改检测和定位方法 | |
| CN112101221B (zh) | 一种用于交通信号灯实时检测与识别的方法 | |
| KR102319468B1 (ko) | 딥 러닝 기반 객체 검출 방법 및 장치 | |
| CN110599459A (zh) | 基于深度学习的地下管网风险评估云系统 | |
| CN114155474A (zh) | 基于视频语义分割算法的损伤识别技术 | |
| CN116012291A (zh) | 工业零件图像缺陷检测方法及系统、电子设备和存储介质 | |
| CN113963333B (zh) | 一种基于改进yolof模型的交通标志牌检测方法 | |
| CN115273154A (zh) | 基于边缘重构的热红外行人检测方法、系统及存储介质 | |
| CN116844143B (zh) | 基于边缘增强的胚胎发育阶段预测与质量评估系统 | |
| CN111612803B (zh) | 一种基于图像清晰度的车辆图像语义分割方法 | |
| Shirode et al. | Car damage detection and assessment using CNN | |
| CN113033371A (zh) | 基于csp模型的多级特征融合行人检测方法 | |
| CN114648529B (zh) | 一种基于cnn网络的dpcr液滴荧光检测方法 | |
| CN113269119A (zh) | 一种夜间车辆检测方法及装置 | |
| CN112132839A (zh) | 一种基于深度卷积级联网络的多尺度快速人脸分割方法 | |
| CN116977844A (zh) | 一种轻量级水下目标实时检测方法 | |
| CN116883650A (zh) | 一种基于注意力和局部拼接的图像级弱监督语义分割方法 | |
| CN116740362A (zh) | 一种基于注意力的轻量化非对称场景语义分割方法及系统 | |
| CN115690752A (zh) | 一种驾驶员行为检测方法及装置 | |
| CN115631186A (zh) | 一种基于双分支神经网络的工业元件表面缺陷检测方法 | |
| CN116206229A (zh) | 目标检测方法和装置 | |
| Taleb-Ahmed et al. | Vehicle license plate recognition in marketing application | |
| CN113221604A (zh) | 目标识别方法、装置、存储介质及电子设备 | |
| CN116823864B (zh) | 基于平衡损失函数的数据处理方法、装置、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |