CN110009619A - 一种基于荧光编码的液相生物芯片的图像分析方法 - Google Patents

Abstract

一种基于荧光编码的液相生物芯片的图像分析方法，包括以下步骤：S1、将原始图像输入训练好的FCN网络模型，经过FCN分割后得到分割图像，实现对图像中液相生物芯片的定位；S2、单独提取出所述分割图像中对应于每一个液相生物芯片的目标识别区域边界，并得到分别对应包含每个目标识别区域边界的图像；S3、将原始图像与步骤S2得到的每个图像相乘，分别提取基于原始图像的仅含有每一个单独的液相生物芯片区域的图像；S4、计算步骤S3提取出来的图像的所有非零像素的平均值，以对相应的液相生物芯片作出定量分析。该方法能够实现对基于荧光编码微球的液相生物芯片准确性高、快速的定量与定性分析，高效准确地处理大量的数据集，极大地减少人力成本。

Description

一种基于荧光编码的液相生物芯片的图像分析方法

技术领域

本发明涉及分子检测分析领域，特别是涉及一种基于荧光编码的液相生物芯片的图像分析方法。

背景技术

液相生物芯片技术是一种集荧光编码微球、流式细胞术、激光检测和高速数字信号处理等多项技术为一体的新型生物分子高通量技术，它主要是以不同种类的荧光编码微球作为载体进行杂交反应和信号检测，通常多以多色流式细胞仪作为解码和检测平台，通过把芯片技术和流式细胞检测技术结合到一起，在液相反应体系中实现核酸、蛋白质等多种生物分子的检测。液相芯片技术解决了固态微阵列芯片反应速率慢、重复性及灵活性差等问题，和其他传统的免疫检测方法相比，液相生物芯片技术具有高通量、多指标联合检测、高敏感性、高特异性、线性范围宽、反应快速、重复性好以及操作简便等优点。

目前已知的商用主流液相生物芯片技术通过在微球表面接不同种类的有机荧光染料或在微球中包裹不同的荧光量子点来形成荧光编码微球。然后在荧光编码微球表面结合上探针分子，在液相环境中与被标记的待测分子进行杂交反应。选用两种不同波长照射微球，一个波长用于激发荧光编码微球的荧光来进行分类，做定性分析，一个波长用来确定荧光编码微球的强度，从而确定待测分子的数量，做定量分析。这样通过双色激光的同时检测，可以确定被结合的生物分子的种类和数量。目前定性分析通过人眼观察获取图片，在进行大量数据分析时，有很大的误差，并且费时费力。而目前定量分析的方法，主要是通过手动计算图片中每一个液相生物芯片的平均像素值，来做定量分析。然而手动计算有很大的误差，对液相生物芯片的定量分析有很大的干扰。

发明内容

本发明的主要目的在于克服现有技术的不足，提供一种基于荧光编码的液相生物芯片的图像分析方法。

为实现上述目的，本发明采用以下技术方案：

一种基于荧光编码的液相生物芯片的图像分析方法，包括以下步骤：

S1、将原始图像输入训练好的FCN网络模型，经过FCN分割后得到分割图像，实现对图像中液相生物芯片的定位；

S2、单独提取出所述分割图像中对应于每一个液相生物芯片的目标识别区域边界，并得到分别对应包含每个目标识别区域边界的图像；

S3、将原始图像与步骤S2得到的每个图像相乘，分别提取基于原始图像的仅含有每一个单独的液相生物芯片区域的图像；

S4、计算步骤S3提取出来的图像的所有非零像素的平均值，以对相应的液相生物芯片作出定量分析。

进一步地：

步骤S2中通过边缘检测方法确定每一个液相生物芯片的目标识别区域边界。

步骤S2还包括：对于每一个提取了所述目标识别区域边界的分割图像，判断图像中的各个像素点是否在所述目标识别区域边界里，如果在所述目标识别区域边界里，将该像素点的像素值设置为1，否则设置为0，最终得到分别对应包含每个目标识别区域边界的图像。

所述FCN网络形成为所有的层都是卷积层的全卷积网络，其中第5-8层卷积核的大小分别为(4096，1，1)、(4096，1，1)、(1000，1，1)，所述FCN网络接受任意尺寸的输入图像，采用反卷积对卷积层的特征图进行采样，使它恢复到输入图像相同的尺寸，从而对每个像素都产生一个预测，同时保留了输入输入图像的空间信息，然后在上采样上的特征图进行逐像素分类，最后逐个像素计算损失，相当于每个像素对应一个训练样本，由此实现从原始图像中识别出每一个液相生物芯片。

还包括以下步骤：

S5、将步骤S3提取的仅含有每一个单独的液相生物芯片区域的图像放入训练好的CNN网络模型中进行定性分析。

所述CNN网络的基本结构包括两层，其一为特征提取层，每个神经元的输入与前一层的局部接受域相连，并提取该局部的特征，一旦该局部特征被提取后，与其它特征间的位置关系也随之确定下来；其二是特征映射层，网络的每个计算层由多个特征映射组成，每个特征映射是一个平面，平面上所有神经元的权值相等；特征映射结构采用激活函数作为卷积网络的激活函数，使得特征映射具有位移不变性；一个映射面上的神经元共享权值；所述CNN网络的每一个卷积层都紧跟着一个用来求局部平均与二次提取的计算层，形成两次特征提取结构。

一种存储有计算机程序的计算机可读存储介质，该计算机程序被处理器执行时实现所述方法的步骤，包括：

S1、将原始图像输入训练好的FCN网络模型，经过FCN分割后得到分割图像，实现对图像中液相生物芯片的定位；

S2、单独提取出所述分割图像中对应于每一个液相生物芯片的目标识别区域边界，并得到分别对应包含每个目标识别区域边界的图像；

S3、将原始图像与步骤S2得到的每个图像相乘，分别提取基于原始图像的仅含有每一个单独的液相生物芯片区域的图像；

S4、计算步骤S3提取出来的图像的所有非零像素的平均值，以对相应的液相生物芯片作出定量分析。

进一步地：

步骤S2中通过边缘检测方法确定每一个液相生物芯片的目标识别区域边界。

优选地，步骤S2还包括：对于每一个提取了所述目标识别区域边界的分割图像，判断图像中的各个像素点是否在所述目标识别区域边界里，如果在所述目标识别区域边界里，将该像素点的像素值设置为1，否则设置为0，最终得到分别对应包含每个目标识别区域边界的图像；优选地，所述FCN网络形成为所有的层都是卷积层的全卷积网络，其中第5-8层卷积核的大小分别为(4096，1，1)、(4096，1，1)、(1000，1，1)，所述FCN网络接受任意尺寸的输入图像，采用反卷积对卷积层的特征图进行采样，使它恢复到输入图像相同的尺寸，从而对每个像素都产生一个预测，同时保留了输入输入图像的空间信息，然后在上采样上的特征图进行逐像素分类，最后逐个像素计算损失，相当于每个像素对应一个训练样本，由此实现从原始图像中识别出每一个液相生物芯片。

所述方法还包括以下步骤：

S5、将步骤S3提取的仅含有每一个单独的液相生物芯片区域的图像放入训练好的CNN网络模型中进行定性分析；优选地，所述CNN网络的基本结构包括两层，其一为特征提取层，每个神经元的输入与前一层的局部接受域相连，并提取该局部的特征，一旦该局部特征被提取后，与其它特征间的位置关系也随之确定下来；其二是特征映射层，网络的每个计算层由多个特征映射组成，每个特征映射是一个平面，平面上所有神经元的权值相等；特征映射结构采用激活函数作为卷积网络的激活函数，使得特征映射具有位移不变性；一个映射面上的神经元共享权值；所述CNN网络的每一个卷积层都紧跟着一个用来求局部平均与二次提取的计算层，形成两次特征提取结构。

本发明的有益效果：

本发明的方法将输入的原始图片通过FCN模型，获取分割图片，再单独提取出分割图像中每一个液相生物芯片的边界区域，然后通过与原始图像进行乘法运算，获取输入图像上每一个单独的液相生物芯片区域，然后计算这些液相生物芯片的平均像素，从而可以确定待测液相生物芯片的荧光强度，完成对液相生物芯片的定量分析。另外，通过CNN网络，可对获取的每一个单独的液相生物芯片区域进行分类，完成定性分析。总得来讲，本发明的方法可有效解决荧光编码微球的液相生物芯片传统的定性与定量分析方法所存在的问题，能够实现准确性高、快速的定量与定性分析，高效准确地处理大量的数据集，极大地减少人力成本。

本发明提出了一种快速高效，高准确率的基于深度学习中的图像分割与分类的液相生物分子的定性与定量分析方法，与目前传统针对于荧光编码微球的液相生物芯片定性与定量的图像分析方法相比，本发明的方法不仅可以分析基于荧光编码解码的微球载体，还可以可分析用不同形状，不同种类的微片或微球来做载体的液相生物芯片，本发明可以迅速完成对荧光编码的液相生物芯片完成定性与定量分析，相比人为计算与识别的传统方法相比，本方法完全实现了全自动化，减少了人为计算与识别的误差，在处理大量数据有极为显著的优势，对提高液相生物芯片定性与定量分析的准确率，有着重要的意义。

与传统的方法相比，本发明基于荧光编码的液相生物芯片定性与定量分析方法的优势具体可体现在以下方面：

1、传统的定量分析方法很难十分准确地计算出所有液相生物芯片的平均像素值，本发明通过设置一个FCN网络，用FCN分割图像的方法实现对图像中液相生物芯片的定位，提取包含每个目标识别区域边界的图像，将原始图像与提取的包含目标识别区域边界的图像相乘，并分别提取基于原始图像的仅含有每一个单独的液相生物芯片区域的图像，最后计算提取出来的图像的所有非零像素的平均值，本发明计算出来的液相生物芯片的平均像素值准确率极高，实现定量分析的计算分析速度很快，大大节省了人力成本。

2、进一步地，本发明摒弃了人工定性分析方式，通过设计CNN网络进行定性分析，克服传统方式的局限性，提高效率，且对分类的种类没有限制。

3、可以通过将关于液相生物芯片分割与液相生物芯片分类的训练数据放入FCN网络、CNN网络中进行深度学习，用于液相生物芯片的定性与定量分析方法，减少医生以及科研人员的工作量，为液相生物芯片的商业化，提供帮助。

附图说明

图1为本发明实施例基于荧光编码的液相生物芯片的图像分析方法的流程示意图。

图2为本发明实施例中步骤S1进行FCN图像分割的流程图。

图3为本发明实施例中步骤S1-S3的图像处理流程图。

图4为本发明实施例基于荧光编码液相生物芯片定性预定量分析系统。

图5为本发明实施例读入的原图。

图6为本发明实施例经FCN分割后的图片。

图7(a)至图7(c)为本发明实施例FCN每一个液相生物芯片提取示意图。

图8(a)至图8(c)为本发明实施例输入图片提取示意图。

图9为本发明实施例像素定量分析结果图。

图10为本发明实施例定性分析结果图。

具体实施方式

以下对本发明的实施方式作详细说明。应该强调的是，下述说明仅仅是示例性的，而不是为了限制本发明的范围及其应用。

参阅图1，在一种实施例中，一种基于荧光编码的液相生物芯片的图像分析方法，包括以下步骤：

S1、将原始图像输入训练好的FCN网络模型，经过FCN分割后得到分割图像，实现对图像中液相生物芯片的定位；

S2、单独提取出所述分割图像中对应于每一个液相生物芯片的目标识别区域边界，并得到分别对应包含每个目标识别区域边界的图像；

S3、将原始图像与步骤S2得到的每个图像相乘，分别提取基于原始图像的仅含有每一个单独的液相生物芯片区域的图像；

S4、计算步骤S3提取出来的图像的所有非零像素的平均值，以对相应的液相生物芯片作出定量分析。

荧光编码的液相生物芯片的定性与定量的图像分析的传统方法，在处理大量数据方面会产生极大地误差，本发明提出通过一个FCN(全卷积网络)模型进行图像分割，该模型对图像进行像素级的分类，从而解决了语义级别的图像分割(semantic segmentation)问题。在本发明实施例中，通过设计一个全卷积网络(FCN)从抽象的特征中恢复出每个像素所属的类别，即从图像级别的分类进一步延伸到像素级别的分类。在传统的CNN结构中，前5层是卷积层，第6层和第7层分别是一个长度为4096的一维向量，第8层是长度为1000的一维向量，分别对应1000个类别的概率。

在本发明优选实施例中，与传统的CNN结构相比，除了前5层之外，该FCN网络的第5-8层也为卷积层，且其卷积核的大小(通道数，宽，高)分别为(4096，1，1)、(4096，1，1)、(1000，1，1)，形成为所有的层都是卷积层的全卷积网络。该FCN网络全连接层为卷积层，可以接受任意尺寸的输入图像，采用反卷积对卷积层的特征图进行采样，使它恢复到输入图像相同的尺寸，从而可以对每个像素都产生一个预测，同时保留了输入输入图像的空间信息，然后在上采样上的特征图进行逐像素分类，最后逐个像素计算损失，相当于每个像素对应一个训练样本。通过这种方式，实现从输入图片中识别出每一个液相生物芯片。

进一步地，通过边缘检测的方式可以把分割图片中的液相生物芯片区域一一提取，分别与输入图片相乘，完成输入图片上液相生物芯片区域的一一提取，最后计算平均像素值，以完成液相生物芯片的定量分析。

在优选的实施例中，步骤S2中通过边缘检测方法确定每一个液相生物芯片的目标识别区域边界。

在优选的实施例中，步骤S2还包括：对于每一个提取了所述目标识别区域边界的分割图像，判断图像中的各个像素点是否在所述目标识别区域边界里，如果在所述目标识别区域边界里，将该像素点的像素值设置为1，否则设置为0，最终得到分别对应包含每个目标识别区域边界的图像。

在优选的实施例中，所述方法还包括以下步骤：

S5、将步骤S3提取的仅含有每一个单独的液相生物芯片区域的图像放入训练好的CNN(卷积神经网络)模型中进行定性分析。将液相生物芯片图片放入CNN网络模型中，由CNN网络模型对图像进行分类，输出分类的结果，完成定性分析。

本发明优选实施例中的CNN网络的基本结构包括两层，其一为特征提取层，每个神经元的输入与前一层的局部接受域相连，并提取该局部的特征。一旦该局部特征被提取后，它与其它特征间的位置关系也随之确定下来；其二是特征映射层，网络的每个计算层由多个特征映射组成，每个特征映射是一个平面，平面上所有神经元的权值相等。特征映射结构采用激活函数作为卷积网络的激活函数，使得特征映射具有位移不变性。一个映射面上的神经元共享权值，因而减少了网络自由参数的个数。该CNN网络中的每一个卷积层都紧跟着一个用来求局部平均与二次提取的计算层，这种特有的两次特征提取结构减小了特征分辨率。

以下结合附图进一步描述本发明实施例的流程。

如图1所示，为进行荧光编码的液相生物芯片的定性与定量图像分析方法的流程图，包括采用图像分割以及边缘检测的方式对输入图像中的每一片液相生物芯片区域的提取，并且完成对每一个液相生物芯片的定性与定量分析。该方法包括：输入图片的读取，通过FCN网络找到要提取的液相生物芯片的位置，通过边缘检测的方式，完成每一个位置的提取，接着和输入的图片相乘，分别得到输入图片上的液相生物芯片，最后通过计算像素平均值完成定量分析，通过CNN网络，完成分类，定性分析。

本具体实施例中，我们选择微片为载体，采用荧光编码。利用荧光显微镜获取液相生物芯片的荧光图像。

如图2所示的流程，将图片(例如图5所示)输入已经训练好的FCN网络模型当中，得到FCN分割后的图像(例如图6所示)。

接下来提取经FCN分割后的图像中的每一个液相生物芯片，以完成对每一个液相生物芯片的定性与定量分析。具体流程如图3所示，对输入图像进行分割后，采用边界提取函数对分割图像中的每一个目标识别区域边界进行提取，对于每一个目标识别区域边界，判断图像中像素点是否为区域里的，如果在目标识别区域边界里的保存为1，否则保存为0，最后，得到分别对应包含每个目标识别区域边界的图像，然后通过与输入图片相乘，得到了输入图像中每一个液相生物芯片的图像。我们通过计算提取出来的液相生物芯片图像所有非零的像素的平均值，来完成对每一个液相生物芯片的定量分析。接着将每一个液相生物芯片图像放入已经训练好的CNN模型中进行定性分析。

发明人基于本发明的方法制作了分析系统实验软件，如图4所示为基于荧光编码液相生物芯片定性定量分析系统的界面，对应于本发明方法的各个步骤所提供的功能包括，实现FCN图片分割、分割(目标识别区域边界图像提取)、原始图片分割(图片相乘)、定量分析、图像分类(定性分析)。其中图像分类和定性分析前文以提到。输入要分割的原始图像，如图5所示，为以微片为载体，具有红色荧光编码的液相生物芯片的原始图像。然后将输入的原始图片经过FCN模型，分割后得到的图片，如图6所示，实现对液相生物芯片位置的定位。然后采用边缘检测方式，提取图片上每个液相生物芯片的区域，结果如图7(a)至图7(c)所示。将提取每个液相生物芯片区域的图片与输入图片相乘，所得结果为图8(a)至图8(c)所示。一个实例的定性与定量分析的结果如图9和图10所示。

以上内容是结合具体/优选的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，其还可以对这些已描述的实施方式做出若干替代或变型，而这些替代或变型方式都应当视为属于本发明的保护范围。

Claims (10)

1.一种基于荧光编码的液相生物芯片的图像分析方法，其特征在于，包括以下步骤：

S1、将原始图像输入训练好的FCN网络模型，经过FCN分割后得到分割图像，实现对图像中液相生物芯片的定位；

S2、单独提取出所述分割图像中对应于每一个液相生物芯片的目标识别区域边界，并得到分别对应包含每个目标识别区域边界的图像；

S3、将原始图像与步骤S2得到的每个图像相乘，分别提取基于原始图像的仅含有每一个单独的液相生物芯片区域的图像；

S4、计算步骤S3提取出来的图像的所有非零像素的平均值，以对相应的液相生物芯片作出定量分析。

2.如权利要求1所述的基于荧光编码的液相生物芯片的图像分析方法，其特征在于，步骤S2中通过边缘检测方法确定每一个液相生物芯片的目标识别区域边界。

3.如权利要求1或2所述的基于荧光编码的液相生物芯片的图像分析方法，其特征在于，步骤S2还包括：对于每一个提取了所述目标识别区域边界的分割图像，判断图像中的各个像素点是否在所述目标识别区域边界里，如果在所述目标识别区域边界里，将该像素点的像素值设置为1，否则设置为0，最终得到分别对应包含每个目标识别区域边界的图像。

4.如权利要求1至3任一项所述的基于荧光编码的液相生物芯片的图像分析方法，其特征在于，所述FCN网络形成为所有的层都是卷积层的全卷积网络，其中第5-8层卷积核的大小分别为(4096，1，1)、(4096，1，1)、(1000，1，1)，所述FCN网络接受任意尺寸的输入图像，采用反卷积对卷积层的特征图进行采样，使它恢复到输入图像相同的尺寸，从而对每个像素都产生一个预测，同时保留了输入输入图像的空间信息，然后在上采样上的特征图进行逐像素分类，最后逐个像素计算损失，相当于每个像素对应一个训练样本，由此实现从原始图像中识别出每一个液相生物芯片。

5.如权利要求1至4任一项所述的基于荧光编码的液相生物芯片的图像分析方法，其特征在于，还包括以下步骤：

S5、将步骤S3提取的仅含有每一个单独的液相生物芯片区域的图像放入训练好的CNN网络模型中进行定性分析。

6.如权利要求5所述的基于荧光编码的液相生物芯片的图像分析方法，其特征在于，所述CNN网络的基本结构包括两层，其一为特征提取层，每个神经元的输入与前一层的局部接受域相连，并提取该局部的特征，一旦该局部特征被提取后，与其它特征间的位置关系也随之确定下来；其二是特征映射层，网络的每个计算层由多个特征映射组成，每个特征映射是一个平面，平面上所有神经元的权值相等；特征映射结构采用激活函数作为卷积网络的激活函数，使得特征映射具有位移不变性；一个映射面上的神经元共享权值；所述CNN网络的每一个卷积层都紧跟着一个用来求局部平均与二次提取的计算层，形成两次特征提取结构。

7.一种存储有计算机程序的计算机可读存储介质，其特征在于，该计算机程序被处理器执行时实现如权利要求1至6任一项所述方法的步骤，包括：

S1、将原始图像输入训练好的FCN网络模型，经过FCN分割后得到分割图像，实现对图像中液相生物芯片的定位；

S2、单独提取出所述分割图像中对应于每一个液相生物芯片的目标识别区域边界，并得到分别对应包含每个目标识别区域边界的图像；

S3、将原始图像与步骤S2得到的每个图像相乘，分别提取基于原始图像的仅含有每一个单独的液相生物芯片区域的图像；

S4、计算步骤S3提取出来的图像的所有非零像素的平均值，以对相应的液相生物芯片作出定量分析。

8.如权利要求7所述的计算机可读存储介质，其特征在于，步骤S2中通过边缘检测方法确定每一个液相生物芯片的目标识别区域边界。

9.如权利要求7或8所述的计算机可读存储介质，其特征在于，优选地，步骤S2还包括：对于每一个提取了所述目标识别区域边界的分割图像，判断图像中的各个像素点是否在所述目标识别区域边界里，如果在所述目标识别区域边界里，将该像素点的像素值设置为1，否则设置为0，最终得到分别对应包含每个目标识别区域边界的图像；优选地，所述FCN网络形成为所有的层都是卷积层的全卷积网络，其中第5-8层卷积核的大小分别为(4096，1，1)、(4096，1，1)、(1000，1，1)，所述FCN网络接受任意尺寸的输入图像，采用反卷积对卷积层的特征图进行采样，使它恢复到输入图像相同的尺寸，从而对每个像素都产生一个预测，同时保留了输入输入图像的空间信息，然后在上采样上的特征图进行逐像素分类，最后逐个像素计算损失，相当于每个像素对应一个训练样本，由此实现从原始图像中识别出每一个液相生物芯片。

10.如权利要求7至9任一项所述的计算机可读存储介质，其特征在于，还包括以下步骤：

S5、将步骤S3提取的仅含有每一个单独的液相生物芯片区域的图像放入训练好的CNN网络模型中进行定性分析；优选地，所述CNN网络的基本结构包括两层，其一为特征提取层，每个神经元的输入与前一层的局部接受域相连，并提取该局部的特征，一旦该局部特征被提取后，与其它特征间的位置关系也随之确定下来；其二是特征映射层，网络的每个计算层由多个特征映射组成，每个特征映射是一个平面，平面上所有神经元的权值相等；特征映射结构采用激活函数作为卷积网络的激活函数，使得特征映射具有位移不变性；一个映射面上的神经元共享权值；所述CNN网络的每一个卷积层都紧跟着一个用来求局部平均与二次提取的计算层，形成两次特征提取结构。