CN113327233A - 一种基于迁移学习的细胞图像检测方法 - Google Patents

Abstract

本发明提供了一种基于迁移学习的细胞图像检测方法，通过傅里叶叠层显微成像系统采集了细胞图像并通过频谱迭代进行融合获得大视场、高分辨率细胞图像，采用VGG和FPN网络模型构建细胞密度估计网络，对细胞图像中细胞中心位置进行标注获取细胞密度图输入训练模型，将训练好的网络模型作为骨干网络构建细胞检测网络模型，进行迁移学习，获取细胞检测图输入细胞检测网络模型中，采用RPN网络提取候选区域，通过回归器和分类器对细胞进行位置回归和分类，最终得到细胞预测结果。本发明基于迁移学习，通过迁移学习训练能够提取到相似数据集共同特征的网络模型，解决了训练样本不足的问题，同时保证了模型输出的准确性。

Description

一种基于迁移学习的细胞图像检测方法

技术领域

本发明涉及细胞图像检测技术领域，特别涉及一种基于迁移学习的细胞图像检测方法。

背景技术

随着信息化时代的到来，在医学上，图像的采集、存储和处理都可以借助计算机系统来实现，数字化医学图像使得数据的存储更为方便、安全，同时也促进了数字图像处理的发展，随着时代和科技的进步，医学图像的处理正朝着数字化、自动化和智能化的方向发展。

显微镜检查是一种广泛应用于临床医学的检测方法，待检样本中细胞的数目和形态变化可为临床诊断提供大量有用信息。为了提高诊断的准确性，一般在使用显微镜检测时通常需要对大面积样本区域进行检查，即要求能够实现大视场、高分辨率的成像。

全视野数字切片(Whole Slide Image，WSI)是当前数字病理学的主流技术，主要应用于病理学细胞图像领域。WSI通过高清摄像头对玻璃切片进行高速、高分辨率扫描处理，并储存成一幅包含多种分辨率的全视野数字图像，该图像包含了玻璃切片上的所有病变信息，可以在电脑上进行任意的缩放，是目前最接近于直接显微镜诊断的一种模式。但通过WSI这种方式实现全视野采集，首先就需要使用昂贵的机械扫描装置采集图像，之后再通过算法对采集的图像进行拼合，所需的成本高昂，且在图像的拼合过程中还需要消除由运动引起的位置误差。

因而现如今会采用傅里叶叠层显微技术(Fourier Pythchography Microscopy，FPM)采集高分辨率成像，在显微成像领域，系统的分辨率及视场与物镜的数值孔径息息相关，一般来说，物镜数值孔径越大，系统分辨率越高，系统能观察到的视场也越小，FPM基于低倍显微物镜对切片成像，不需要高相干光源、移动部件和具有高动态范围的探测器，且能同时获取不同分辨率的图像，极大地节省了时间和制造成本。

得到了高分辨率图像数据后，最终还需要考虑对细胞进行检测，根据检测方式的不同，目前细胞检测一般分为传统细胞检测方法和基于深度学习的细胞检测方法；深度学习将特征学习融入到了建立模型的过程中，并能从海量的训练数据集中学习到更为丰富的特征信息，因此在满足特定条件的应用场景下，达到了超越传统算法的识别或分类性能，但现阶段深度学习算法十分依赖于训练集的大小，当训练样本不足时，会导致网络模型发生过拟合的现象，无法提取到有效特征，在医学图像处理领域，由于样本获取难度高、标注难度大、研究人员稀少等原因，导致数据集往往十分匮乏，其中以大视场、高分辨率图像数据匮乏最为突出，为医学中细胞图像检测的一大难题。

发明内容

本发明提供了一种基于迁移学习的细胞图像检测方法，基于迁移学习通过在相关领域的其它数据集，例如细胞计数数据集上，预先训练能够提取到相似数据集共同特征的骨干网络，然后将训练好的模型迁移到目标数据集上进行微调训练，解决了训练样本不足问题的困扰，且相对细胞检测进行标注，计数的标注要求更为简单，便于研究人员自行制作数据集。

本发明提供了一种基于迁移学习的细胞图像检测方法，方法具体步骤如下：

S1：采集细胞图像，通过傅里叶叠层显微成像系统对样本的低分辨率强度图像采样，获取计算机可以直接处理的数字图像数据，得到低分辨率图像集合；

S2：对所述低分辨率图像集合进行频谱迭代处理，获得高分辨率细胞图像；

S3：获取细胞密度图数据集，根据得到的所述高分辨率细胞图像，对图像中的细胞进行标注，并利用高斯核函数生成细胞密度图来构建所述细胞密度图数据集。

S4：构建细胞密度估计网络模型，并将所述细胞密度图数据集作为训练集训练细胞密度估计网络模型。

S5：获取细胞识别数据集，构建细胞检测网络模型，将所述细胞密度估计网络模型作为预训练的骨干网络进行迁移学习，输入所述细胞识别数据集训练所述细胞检测网络。

进一步的，步骤S1中，通过傅里叶叠层显微成像系统进行采样时，采用可编程LED阵列作为照明光源提供不同角度的入射光，利用低物倍显微镜观测细胞涂片，通过数字照相机和图像采集卡对不同入射角度下对应的样本低分辨率强度图像进行采样。

进一步的，所述可编程LED阵列大小为7×7，阵列中相邻LED之间的距离设置为8.128mm,光源波长为629nm，光源到样本的距离设置为98mm，所述图像采集卡的传感器像素大小为2160×2560，像元大小为6.5，所述低物倍显微镜物镜为4倍镜，相应的数值孔径为0.13。

进一步的，步骤S3中，所述标注根据步骤S2中得到的高分辨率细胞图像，在图像上对每个细胞中心位置进行标注。

进一步的，步骤S4中，所述细胞密度估计模型基于VGGNet网络框架提取图像特征，通过FPN结构融合多层不同尺度的特征图，并连接堆叠的四个3×3卷积层压缩特征通道数，得到单通道的密度估计图。

进一步的，所述卷积层包括四个步长均为1，卷积核分别为3×3×128、3×3×128、3×3×32、3×3×1的子卷积层，所述子卷积层后均连接有ReLu激活函数层。

进一步的，在步骤S5中，根据步骤S2中得到的高分辨率细胞图像，获取表征细胞的矩形框四角坐标，并标注细胞类别，构建所述细胞识别数据集。

进一步的，步骤S5中，所述细胞检测网络在所述细胞密度估计网络输出后采用RPN网络提取候选区域，最后通过回归器和分类器对提取的所述候选区中的细胞进行位置回归和分类，获得细胞检测结果。

进一步的，候选区域提取过程如下：

首先叠加一个3×3卷积层，随着卷积核移动生成2000个锚框，然后通过两个1×1卷积层分别对锚框进行正/负类预测和边框修正，从正类锚框中提取得分最高的前k个作为候选区域，并通过非极大值抑制去除重叠的锚框得到最终的候选区域；

进一步的，所述回归器为全连接层，对候选区域的边界框P进行线性映射d，得到与真实边界框更为接近的预测边界框

所述分类器为softmax函数，对每个类别Z_i分别计算一个类别分数，计算公式为：

本发明的有益效果如下：

1、通过对傅里叶叠层显微成像系统采集低分辨率细胞图像，并通过频谱迭代对细胞图像进行融合获得高分辨、大视场图像，进行细胞检测，保证即使在训练样本数据有限的情况下，能够使模型获得良好的性能。

2、对采集的大视场、高分辨图像进行标注，以细胞中心位置标注预训练集，降低了数据的标注难度，为自制训练数据集提供便利。

3、通过迁移学习的方法，在构建细胞检测网络模型中，对已经预训练好的密度估计网络进行迁移学习，并提取候选区域利用回归器和分类器对输入图像的细胞进行位置回归和分类，得到细胞预测结果，更好地预测了细胞的中心位置，提升了细胞检测任务的准确率和召回率。

附图说明

图1是本发明方法的模型流程架构示意图；

图2是本发明图像数据获取流程架构示意图；

图3是本发明方法的流程示意图。

具体实施方式

在下面的描述中对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的实施例提供了一种基于迁移学习的细胞图像检测方法，如图1所示，方法包括如下步骤：

一种基于迁移学习的细胞图像检测方法，其特征在于，包括如下步骤：

S1：采集细胞图像，通过傅里叶叠层显微成像系统对样本的低分辨率强度图像采样，获取计算机可以直接处理的数字图像数据，得到低分辨率图像集合；

如图2所示，傅里叶叠层显微成像系统采样包括LED阵列、低倍率物镜、数字照相机和图像采集卡，LED阵列用于对细胞涂片进行照射、低倍率物镜放大观测细胞涂片，数字照相机和图像采集卡对观测的细胞涂片进行图像采集。

本实施例中，通过所述傅里叶叠层显微成像系统进行采样时，采用可编程7×7大小的LED阵列作为照明光源提供不同角度的入射光，其中，阵列中相邻LED之间的距离设置为8.128mm,光源波长为629nm，光源到样本的距离设置为98mm，利用低物倍显微镜观测细胞涂片，通过数字照相机和图像采集卡对不同入射角度下对应的样本低分辨率强度图像进行采样；

所述图像采集卡的传感器像素大小为2160×2560，像元大小为6.5；

所述低物倍显微镜物镜采用4倍镜，相应的数值孔径为0.13。

S2：对所述低分辨率图像集合进行频谱迭代处理，获得高分辨率重建图像；

结合如图2所示，将采集获得的垂直入射所对应的低分辨率图像双线性内插结果作为高分辨图像的初始强度值o(r)，初始的相位值设为零。通过傅里叶变换

得到高分辨率频谱O(u)，根据傅里叶光学理论，照明角度的改变对应着傅里叶域中的频谱移动O(u-u_l)，记系统光瞳函数为P(u)，则该入射角度对应的子孔径频谱为()(-)。按照入射光改变的顺序，逐个选取子孔径频谱，通过迭代更新强度和相位直至高分辨率收敛，根据当前高分辨频谱与每个子孔径的累积误差E^k与上次迭代的累积误差E^k-1之间的差值判定是否收敛，若E^k-E^k-1<γ，则说明该过程收敛，其中k表示迭代次数。

S3：获取细胞密度图数据集，根据得到的所述高分辨率重建图像对图像中的细胞进行标注，利用高斯核函数生成细胞密度图构建细胞密度图数据集；

本实施例中，在根据步骤S2中得到的大视场、高分辨率细胞图像上标注每个细胞中心位置，通过高斯核函数

生成细胞密度图，构建细胞密度图数据集。

其中，所述细胞密度图是一幅与原图像尺寸一致的单通道图像，背景像素值为0，每个细胞区域的像素值分布符合高斯分布，整幅密度图像的像素值之和即为原图像的细胞总数。

S4：构建细胞密度估计网络模型，将所述细胞密度图数据集作为训练集训练细胞密度估计网络模型。

如图3所示，本实施例中，所述细胞密度估计网络模型基于VGGNet网络框架、FPN网络和一组卷积核为3×3的卷积层构成，其中通过所述VGGNet网络提取图像特征，输入的图像经过VGGNet网络提取得到通道数为{64、128、256、512、512}，步长为{2、4、8、16、32}的一组特征图{C1、C2、C3、C4、C5}，所述卷积层包括四个子卷积层，各子卷积层的卷积核参数分别为3×3×128、3×3×128、3×3×32、3×3×1，步长均为1，且每个子卷积层后连接有一个Relu激活函数层，保证估计的密度值非负。

之后通过FPN网络对{C2、C3、C4、C5}进行2倍上采样，利用1×1卷积压缩特征图的通道，使得上采样后的上层特征图与下层未采样特征图具有相同的通道数，再将二者相加，生成一组新的特征图{M2、M3、M4、M5}，最后将得到的新特征图通过3×3的卷积层进行卷积得到融合的特征图{P2、P3、P4、P5}，减少上采样的混叠效应，之后通过三层3×3的卷积层压缩具有最高分辨率的融合特征层P2的通道数，得到分辨率为原图1/2、通道数为1的密度估计图像。

S5：获取细胞识别数据集，构建细胞检测网络模型，将所述细胞密度估计网络模型作为预训练的骨干网络进行迁移学习，输入所述细胞识别数据集训练所述细胞检测网络。

根据步骤S2中得到的高分辨率细胞图像，以与细胞大小相同的矩形框来表征该细胞，并标注该细胞的类别，获取选取的矩形框四角坐标和标注的类别标签作为真值构建细胞识别数据集。

所述细胞检测网络模型包括细胞密度估计网络模型、RPN网络模型、回归器和分类器，基于训练好的细胞密度估计网络模型，将其作为骨干网络迁入学习，并在输出后连接RPN网络模型用于提取输入细胞识别图像数据的候选区域；

具体过程如下：

首先叠加一个3×3卷积层，随着卷积核移动生成2000个锚框，然后通过两个1×1卷积层分别对锚框进行正/负类预测和边框修正，从正类锚框中提取得分最高的前k个作为候选区域，并利用非极大值抑制算法去除重叠的锚框得到最终的候选区域；

之后到回归器和分类器中对提取的所述候选区中的细胞进行位置回归和分类，最终输出细胞预测结果；其中

其中，所述回归器为全连接层，对候选区域的边界框P进行线性映射d，得到与真实边界框更为接近的预测边界框

所述分类器为softmax，对每个类别Z_i分别计算一个类别分数，计算公式如下：

本发明并不局限于前述的具体实施方式。本发明扩展到任何在本说明书中披露的新特征或任何新的组合，以及披露的任一新的方法或过程的步骤或任何新的组合。

Claims (10)

1.一种基于迁移学习的细胞图像检测方法，其特征在于，包括如下步骤：

S1：采集细胞图像，通过傅里叶叠层显微成像系统对样本的低分辨率强度图像采样，获取计算机可以直接处理的数字图像数据，得到低分辨率图像集合；

S2：对所述低分辨率图像集合进行频谱迭代处理，获得高分辨率细胞图像；

S3：获取细胞密度图数据集，根据得到的所述高分辨率细胞图像，对图像中的细胞进行标注，并利用高斯核函数生成细胞密度图来构建所述细胞密度图数据集。

S4：构建细胞密度估计网络模型，并将所述细胞密度图数据集作为训练集训练细胞密度估计网络模型。

S5：获取细胞识别数据集，构建细胞检测网络模型，将所述细胞密度估计网络模型作为预训练的骨干网络进行迁移学习，输入所述细胞识别数据集训练所述细胞检测网络。

2.根据权利要求1所述的基于迁移学习的细胞图像检测方法，其特征在于，步骤S1中，通过傅里叶叠层显微成像系统进行采样时，采用可编程LED阵列作为照明光源提供不同角度的入射光，利用低物倍显微镜观测细胞涂片，通过数字照相机和图像采集卡对不同入射角度下对应的样本低分辨率强度图像进行采样。

3.根据权利要求2所述的基于迁移学习的细胞图像检测方法，其特征在于，所述可编程LED阵列大小为7×7，阵列中相邻LED之间的距离设置为8.128mm,光源波长为629nm，光源到样本的距离设置为98mm，所述图像采集卡的传感器像素大小为2160×2560，像元大小为6.5，所述低物倍显微镜物镜为4倍镜，相应的数值孔径为0.13。

4.根据权利要求1所述的基于迁移学习的细胞图像检测方法，其特征在于，步骤S3中，所述标注根据步骤S2中得到的高分辨率细胞图像，在图像上对每个细胞中心位置进行标注。

5.根据权利要求1所述的基于迁移学习的细胞图像检测方法，其特征在于，步骤S4中，所述细胞密度估计模型基于VGGNet网络框架提取图像特征，通过FPN结构融合多层不同尺度的特征图，并连接堆叠的四个3×3卷积层压缩特征通道数，得到单通道的密度估计图。

6.根据权利要求5所述的基于迁移学习的细胞图像检测方法，其特征在于，所述卷积层包括四个步长均为1，卷积核分别为3×3×128、3×3×128、3×3×32、3×3×1的子卷积层，所述子卷积层后均连接有ReLu激活函数层。

7.根据权利要求1所述的基于迁移学习的细胞图像检测方法，其特征在于，在步骤S5中，根据步骤S2中得到的高分辨率细胞图像，获取表征细胞的矩形框四角坐标，并标注细胞类别，构建所述细胞识别数据集。

8.根据权利要求1所述的基于迁移学习的细胞图像检测方法，其特征在于，步骤S5中，所述细胞检测网络在所述细胞密度估计网络输出后采用RPN网络提取候选区域，最后通过回归器和分类器对提取的所述候选区中的细胞进行位置回归和分类，获得细胞检测结果。

9.根据权利要求8所述的基于迁移学习的细胞图像检测方法，其特征在于，候选区域提取过程如下：

首先叠加一个3×3卷积层，随着卷积核移动生成2000个锚框，然后通过两个1×1卷积层分别对锚框进行正/负类预测和边框修正，从正类锚框中提取得分最高的前k个作为候选区域，并通过非极大值抑制去除重叠的锚框得到最终的候选区域。

10.根据权利要求8所述的基于迁移学习的细胞图像检测方法，其特征在于，所述回归器为全连接层，对候选区域的边界框P进行线性映射d，得到与真实边界框更为接近的预测边界框

所述分类器为softmax函数，对每个类别Z_i分别计算一个类别分数，计算公式为：

Images