CN116416617A - 大视场荧光图像中液滴识别方法及装置 - Google Patents

Abstract

本发明公开了一种大视场荧光图像中液滴识别方法及装置，该方法包括以下步骤：S1、采集用于装载液滴的芯片的背景图像；S2、通过芯片装载液滴，采集芯片中所有液滴的荧光图像P1；S3、对荧光图像P1进行预处理，然后进行图像拼接，得到全景图像P2；S4、采用Unet分割模型对全景图像P2进行背景分割，得到前景液滴图像的概率图P3；S5、针对概率图P3进行液滴识别。本发明提出了一种高效、准确的荧光图像中识别微液滴的方法，对于低对比度、密集的小目标检测精度高，不易漏检，对于芯片边框、孔洞、气泡等干扰结构具有良好的区分效果，可以应用于基于液滴微流控技术的数字PCR、药物筛选、单细胞测序等领域。

Description

大视场荧光图像中液滴识别方法及装置

技术领域

本发明涉及图像处理领域，特别涉及一种大视场荧光图像中液滴识别方法及装置。

背景技术

液滴微流控技术也被称作多相微流控技术，是微流控技术领域的热门分支之一，具有一系列独特的优势。将水相样品分散到相互隔离的液滴中，以不相溶的油相作为隔离液，能显著降低通道表面吸附，减少冲洗液的用量。液滴在生成后可以进一步混合、分裂、筛选，便于集成实现应用中的多个复杂步骤。同时，液滴中的检测结果相互独立，便于实现离散统计。目前，液滴微流控技术已在数字PCR、药物筛选、单细胞测序等多个领域中发挥了重要应用。

微液滴的信号检测方法包括流式检测法和基于荧光图像的平面探测法。流式检测法具有背景荧光强度低，识别算法简单等优点，但是该方法光路复杂、成本高昂，难以与仪器前端的微滴生成模块、PCR扩增模块进行集成，在数字PCR集成化和低成本化的发展趋势下显得后继无力。基于荧光图像的平面探测法存在以下问题：第一，成像视场的大小与激发光源的强度呈负相关，在大视场的情况下激发荧光强度较弱，通常需要较长的曝光时间才能获得可用于识别的图像。即便如此，微滴荧光图像的亮度和对比度仍明显偏低。第二，微滴荧光图像的信噪比较低，图像亮度不均匀，这些都可能造成图像中液滴的识别尤其是阴性液滴识别的干扰。

目前，常见的平面计数方法多用于细胞计数，视野范围在1mm²左右，图像质量及均匀性较好，如专利CN112752964A公开一种用于批量分选颗粒的系统和方法，其批量分选系统的示例包括微流体喷射器、在一端流体耦合到微流体喷射器的流动通道、以及耦合到与微流体喷射器相对的流动通道端的储存器。计数器被设置在微流体喷射器上游的流动通道中，以在从微流体喷射器喷射之前对颗粒进行计数。光学传感器用于对流动通道成像。控制器被配置为至少部分基于图像来定位流动通道中的目标颗粒，以及至少部分基于来自计数器的计数来在收集器皿中捕获目标颗粒。而如何在更大视野的范围内实现液滴识别及荧光强度的统计是一个亟待解决的问题。

发明内容

本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种大视场荧光图像中液滴识别方法及装置。

为解决上述技术问题，本发明采用的技术方案是：一种大视场荧光图像中液滴识别方法，包括以下步骤：

S1、采集用于装载液滴的芯片的背景图像；

S2、通过芯片装载液滴，采集芯片中所有液滴的荧光图像P1；

S3、对荧光图像P1进行预处理，然后进行图像拼接，得到全景图像P2；

S4、采用基于全卷积神经网络的Unet分割模型对全景图像P2进行背景分割，得到前景液滴图像的概率图P3；

S5、针对前景液滴图像的概率图P3，应用阈值操作获得二值化图像，然后进行孔洞填充，再采用分水岭算法分割粘连液滴并识别所有独立连通域，每个独立的连通域作为一个液滴，从而实现液滴识别。

优选的是，所述步骤S3中的预处理步骤包括中值滤波以及基于点扩散函数的去模糊处理。

优选的是，所述Unet分割模型通过以下方法构建得到：

S4-1、构建训练数据集：采集若干液滴的荧光图像，并采用基础真值掩码图像标识图像中的前景和液滴类型，然后进行数据增强处理，构建得到训练数据集；

S4-2、采用训练数据集对Unet神经网络进行训练，得到Unet分割模型；

其中，使用加权交叉熵损失函数表征预测值与真实值的差异程度，将权重图作为该加权交叉熵损失函数的输入之一，采用Adam优化器，对Unet神经网络中的不同参数进行优化进而使得该加权交叉熵损失函数最小。

优选的是，所述步骤S4-1中的数据增强处理包括对图像进行旋转、平移、重构尺寸、正则化、随机亮度对比以及高斯模糊操作。

优选的是，权重图的计算流程为：

1)初始化像素值全为1的矩阵；

2)寻找掩码图像中的某一液滴，计算其每个像素对应权重w_i：

w_i＝f(d_i)

其中，d_i为第i像素在原始图像中的强度，f为像素的强度-权重计算函数；

3)依次计算所有液滴权重，得到所有液滴权重子图；

4)将所有液滴权重子图相加得到全局权重图,并将全局权重图加入loss函数的输入中。

优选的是，其中，每个像素对应权重w_i的计算公式为：

其中，th为阈值，w₀、w₁均为常数。

优选的是，其中，th为事先统计的低灰度值物体的灰度值上限。

优选的是，其中，w₀、w₁的具体值分别为1、1.5

本发明还提供一种大视场荧光图像中液滴识别装置，包括：

芯片，其用于装载液滴；

荧光探测模块，其用于采集荧光图像；

数据处理模块，其用于采用权利要求1-8中任意一项所述的方法，对所述荧光探测模块采集的荧光图像进行液滴识别；

位移模块，其具备XYZ三个反向的自由度，用于驱动所述荧光探测模块相对芯片进行移动；

以及控制模块，其用于对位移模块进行控制，以通过荧光探测模块实现芯片中所有液滴的荧光图像采集。

优选的是，所述的大视场荧光图像中液滴识别装置的工作步骤包括：

步骤一、开始检测时，通过所述位移模块驱动荧光探测模块复位；

步骤二、控制荧光探测模块移动至芯片的一个区域上方，进行自动对焦；

步骤三、控制荧光探测模块进行水平移动，采集当前区域内所有液滴的荧光图像；

步骤四、按照以上步骤2)-3)进行下一个区域的图像采集，直至完成所有区域的图像；

步骤五、采用权利要求1-8中任意一项所述的方法对步骤4)得到的图像进行液滴识别。

本发明的有益效果是：

本发明提供了一种大视场荧光图像中液滴识别方法及装置，本发明基于图像语义分割与形态学快速处理提出了一种高效、准确的荧光图像中识别微液滴的方法，对于低对比度、密集的小目标检测精度高，不易漏检，对于芯片边框、孔洞、气泡等干扰结构具有良好的区分效果，可以应用于基于液滴微流控技术的数字PCR、药物筛选、单细胞测序等领域。

附图说明

图1为本发明的实施例1中的大视场荧光图像中液滴识别方法的流程图；

图2为本发明的实施例1中的Unet分割模型的构建流程图；

图3为本发明的实施例1中的Unet神经网络的架构图；

图4为本发明的实施例1中的液滴识别的流程图；

图5为采用本发明方法和常规全形态学分割方法进行液滴检测和识别的结果对比；

图6为本发明的实施例2中的荧光探测模块的结构示意图；

图7为本发明的实施例2中的大视场荧光图像中液滴识别装置的工作步骤的流程图。

附图标记说明：

1—LED光源；2—准直镜；3—激发光滤光片；4—二色镜；5—芯片；6—发射光滤光片；7—镜头；8—相机。

具体实施方式

下面结合实施例对本发明做进一步的详细说明，以令本领域技术人员参照说明书文字能够据以实施。

应当理解，本文所使用的诸如“具有”、“包含”以及“包括”术语并不排除一个或多个其它元件或其组合的存在或添加。

实施例1

本实施例提供一种大视场荧光图像中液滴识别方法，参照图1，其包括以下步骤：

S1、采集用于装载液滴的芯片的初始背景图像；

采集图像开始前，首先收集一个或多个初始背景图像，用于补偿背景的改变。例如，如果杂质粘在检测腔体中，则检测腔体的背景可能发生改变。

S2、通过芯片装载液滴，采集芯片中所有液滴的荧光图像P1；

S3、对荧光图像P1进行预处理，然后进行图像拼接，得到全景图像P2；

其中的预处理步骤包括中值滤波，用以降低随机噪声的，以及基于点扩散函数的去模糊处理，以改善大视场情况下采集的图像像差。

S4、采用基于全卷积神经网络的Unet分割模型对全景图像P2进行背景分割，得到前景液滴图像的概率图P3，其尺寸与全景图像P2相同，概率图P3中每个像素值代表属于某个液滴的概率。

获取全景图像后，为保证识别液滴时不引入假阳性，首先需要将芯片边缘、支撑柱、空白部分、气泡等背景从图像中分离，本发明采用使用基于全卷积神经网络的语义分割模型Unet，从而获得前景液滴图像的概率二值化结果。

其中，参照图2，Unet分割模型通过以下方法构建得到：

S4-1、构建训练数据集：采集若干液滴的荧光图像，并采用基础真值掩码图像标识图像中的前景和液滴类型，然后进行数据增强处理，构建得到训练数据集；

其中的数据增强处理用于增加训练数据集的数量，具体方法包括对图像进行旋转、平移、重构尺寸、正则化、随机亮度对比以及高斯模糊操作。

S4-2、采用训练数据集对Unet神经网络进行训练，得到Unet分割模型。使用损失函数(loss function)表征预测值与真实值的差异程度，这里使用加权交叉熵损失函数，权重图作为损失函数的输入之一。采用Adam优化器，对神经网络中的不同参数进行优化进而使得损失函数最小。

基于深度学习的训练过程中的挑战之一是密集出现的阴性液滴的识别。由于阴性液滴荧光强度与背景荧光强度相似，可能出现误识别现象。为了改善阴性液滴的识别，我们引入了随掩码图像中荧光强度而变化的权重图，以此保证对阴性液滴的误识别具有更大的损失。本实施例中，权重图的计算流程为：

1)初始化像素值全为1的矩阵；

2)寻找掩码图像中的某一液滴，计算其每个像素对应权重w_i：

w_i＝f(d_i)

其中，d_i为第i像素在原始图像中的强度，f为像素的强度-权重计算函数；

3)依次计算所有液滴权重，得到所有液滴权重子图；

4)将所有液滴权重子图相加得到全局权重图,并将全局权重图加入损失函数的输入中。

在一种优选的实施例中，每个像素对应权重w_i的计算公式为：

其中，th为阈值，w₀、w₁均为常数。

在进一步优选的实施例中，th为事先统计的低灰度值物体的灰度值上限。w₀、w₁的具体值分别为1、1.5。

参照图3，为一种优选的实施例中的Unet神经网络的架构图，其为采用跳跃连接全卷积神经网络，其中：

(1)左边网络为特征提取网络：典型的基于Resnet34的特征提取网络包括多次降采样操作，其中包含1个(降采样模块)和至少1个(Resnet模块)，每次降采样之后特征图个数乘2。以输入的图像为1×512×512为例，经过一系列特征提取后，得到512×16×16的特征张量。

(2)右边网络为特征融合网络：使用与左侧对称的多次上采样操作(上采样模块)，每个上采样模块通过反卷积将特征图尺寸乘2，同时将其个数减半，然后与左侧特征网络中相同层次的特征图进行(合并操作)。

(3)最后再经过卷积模块生成特征图，再用1个卷积核大小为1*1的卷积做分类得到前景液滴的得分热力图。

S5、将热力图作为softmax函数的输入，计算得到像素级液滴概率图，针对前景液滴图像的概率图P3，应用阈值操作获得二值化图像，其中白色连通域像素组代表检测到的液滴；然后进行孔洞填充(应用形态学运算以去除少数孤立像素并填充检测到的孔内)，再采用基于平均像元大小设置参数的分水岭算法分割粘连液滴并识别所有独立连通域，每个独立的连通域作为一个液滴，从而实现液滴识别，参照图4。

参照图5，为采用本发明方法和常规全形态学分割方法进行液滴检测和识别的结果对比：图5a是原始图像，在经过背景分割模型输出的概率图(图5b)后，对概率图应用阈值操作以获得二进制掩码(图5c)，图5d中为本发明的方法进行液滴识别的结果，图5e提供了作为对照的全形态学分割方法的处理结果。可以看到，与直接使用形态学分割的方法相比，本发明的方法减少了液滴的误识别，对于气泡等非液滴物体的识别率也很好。

实施例2

本实施例提供一种大视场荧光图像中液滴识别装置，包括：

芯片，其用于装载液滴；

荧光探测模块，其用于采集荧光图像；

数据处理模块，其用于采用实施例1的方法，对荧光探测模块采集的荧光图像进行液滴识别；

位移模块，其具备XYZ三个反向的自由度，用于驱动荧光探测模块相对芯片进行移动；

以及控制模块，其用于对位移模块进行控制，以通过荧光探测模块实现芯片中所有液滴的荧光图像采集。

在优选的实施例中，还包括状夹模块，用于装载固定芯片。

在优选的实施例中，参照图6，荧光探测模块包括LED光源1、准直镜2、激发光滤光片3、二色镜4、发射光滤光片6、镜头7以及相机8，LED光源1发出的光依次经过准直镜2、激发光滤光片3后被二色镜4反射至芯片5上，芯片5中的液滴被激发产生的荧光透射二色镜4后，经过发射光滤光片6、镜头7后被相机8采集。

参照图7，在一种优选的实施例中，该大视场荧光图像中液滴识别装置的工作步骤包括：

步骤一、开始检测时，通过位移模块驱动荧光探测模块复位；

步骤二、控制荧光探测模块移动至芯片的一个区域上方，进行自动对焦；

步骤三、控制荧光探测模块进行水平移动，采集当前区域内所有液滴的荧光图像；

步骤四、按照以上步骤2)-3)进行下一个区域的图像采集，直至完成所有区域的图像；如有多个荧光通道，则按照以上方法完成所有通道的图像采集；

步骤五、采用实施例1的方法对步骤4)得到的图像进行液滴识别。

尽管本发明的实施方案已公开如上，但其并不仅仅限于说明书和实施方式中所列运用，它完全可以被适用于各种适合本发明的领域，对于熟悉本领域的人员而言，可容易地实现另外的修改，因此在不背离权利要求及等同范围所限定的一般概念下，本发明并不限于特定的细节。

Claims (10)

1.一种大视场荧光图像中液滴识别方法，其特征在于，包括以下步骤：

S1、采集用于装载液滴的芯片的背景图像；

S2、通过芯片装载液滴，采集芯片中所有液滴的荧光图像P1；

S3、对荧光图像P1进行预处理，然后进行图像拼接，得到全景图像P2；

S4、采用基于全卷积神经网络的Unet分割模型对全景图像P2进行背景分割，得到前景液滴图像的概率图P3；

S5、针对前景液滴图像的概率图P3，应用阈值操作获得二值化图像，然后进行孔洞填充，再采用分水岭算法分割粘连液滴并识别所有独立连通域，每个独立的连通域作为一个液滴，从而实现液滴识别。

2.根据权利要求1所述的大视场荧光图像中液滴识别方法，其特征在于，所述步骤S3中的预处理步骤包括中值滤波以及基于点扩散函数的去模糊处理。

3.根据权利要求1所述的大视场荧光图像中液滴识别方法，其特征在于，所述Unet分割模型通过以下方法构建得到：

S4-1、构建训练数据集：采集若干液滴的荧光图像，并采用基础真值掩码图像标识图像中的前景和液滴类型，然后进行数据增强处理，构建得到训练数据集；

S4-2、采用训练数据集对Unet神经网络进行训练，得到Unet分割模型；

其中，使用加权交叉熵损失函数表征预测值与真实值的差异程度，将权重图作为该加权交叉熵损失函数的输入之一，采用Adam优化器，对Unet神经网络中的不同参数进行优化进而使得该加权交叉熵损失函数最小。

4.根据权利要求3所述的大视场荧光图像中液滴识别方法，其特征在于，所述步骤S4-1中的数据增强处理包括对图像进行旋转、平移、重构尺寸、正则化、随机亮度对比以及高斯模糊操作。

5.根据权利要求4所述的大视场荧光图像中液滴识别方法，其特征在于，权重图的计算流程为：

1)初始化像素值全为1的矩阵；

2)寻找掩码图像中的某一液滴，计算其每个像素对应权重w_i：

w_i＝f(d_i)

其中，d_i为第i像素在原始图像中的强度，f为像素的强度-权重计算函数；

3)依次计算所有液滴权重，得到所有液滴权重子图；

4)将所有液滴权重子图相加得到全局权重图,并将全局权重图加入损失函数的输入中。

6.根据权利要求5所述的大视场荧光图像中液滴识别方法，其特征在于，其中，每个像素对应权重w_i的计算公式为：

其中，th为阈值，w₀、w₁均为常数。

7.根据权利要求6所述的大视场荧光图像中液滴识别方法，其特征在于，其中，th为事先统计的低灰度值物体的灰度值上限。

8.根据权利要求7所述的大视场荧光图像中液滴识别方法，其特征在于，其中，w₀、w₁的值分别为1和1.5。

9.一种大视场荧光图像中液滴识别装置，其特征在于，包括：

芯片，其用于装载液滴；

荧光探测模块，其用于采集荧光图像；

数据处理模块，其用于采用权利要求1-8中任意一项所述的方法，对所述荧光探测模块采集的荧光图像进行液滴识别；

位移模块，其具备XYZ三个反向的自由度，用于驱动所述荧光探测模块相对芯片进行移动；

以及控制模块，其用于对位移模块进行控制，以通过荧光探测模块实现芯片中所有液滴的荧光图像采集。

10.根据权利要求4所述的大视场荧光图像中液滴识别装置，其特征在于，其工作步骤包括：

步骤一、开始检测时，通过所述位移模块驱动荧光探测模块复位；

步骤二、控制荧光探测模块移动至芯片的一个区域上方，进行自动对焦；

步骤三、控制荧光探测模块进行水平移动，采集当前区域内所有液滴的荧光图像；

步骤四、按照以上步骤2)-3)进行下一个区域的图像采集，直至完成所有区域的图像；

步骤五、采用权利要求1-8中任意一项所述的方法对步骤4)得到的图像进行液滴识别。

Images