CN112347977B - 一种诱导性多能干细胞的自动检测方法、存储介质及装置 - Google Patents

Abstract

本发明公开了一种诱导性多能干细胞的自动检测方法、存储介质及装置，方法包括步骤：基于构建的多分支卷积神经网络模型检测iPSCs显微镜图像中iPSCs的位置信息；构建多尺度深监督分类网络模型，所述多尺度深监督分类网络模型包括多尺度残差卷积模块以及注意力模块，多尺度残差卷积模块用于对iPSCs显微镜图像进行不同尺度的卷积操作，获得图像特征，注意力模块用于对不同通道的图像特征和不同区域的图像特征进行重编码，获得有效分类特征；基于有效分类特征识别出iPSCs显微镜图像中每个iPSCs的健康状况。本发明实现了自动从iPSCs的显微镜图像中检测出细胞的位置并识别出其健康状况，提高了检测效率和检测准确率。

Description

一种诱导性多能干细胞的自动检测方法、存储介质及装置

技术领域

本发明涉及细胞培养检测领域，特别涉及一种诱导性多能干细胞的自动检测方法、存储介质及装置。

背景技术

诱导性多能干细胞(iPSCs)在基因表达、蛋白质转录和细胞分化等都与胚胎干细胞十分相似，可以分化成人体器官所需的各种不同类型的细胞，而且由于iPSCs可以由体细胞转化而来，从而在来源方面也避免了社会伦理问题，因此iPSCs在医学上有极大地应用空间。而在iPSCs的培养过程中，其健康状况对于后续的实验和治疗有着重要的意义

目前，研究人员还在探索并寻找更有效的iPSCs特征表示方法，在培养过程中，现有技术还需要医生根据协议来寻找细胞的位置并判断其健康状况。而在iPSCs的显微镜图像中，由于制备条件和设备的不同，图像中存在光照不均匀、细胞粘连等情况，这也为人工检测增加了更大的难度。

因此，现有技术还有待于改进和发展。

发明内容

本发明要解决的技术问题在于，针对现有技术的不足，提供一种诱导性多能干细胞的自动检测方法、存储介质及装置，旨在解决现有技术无法有效在显微镜图像中找出每个iPSCs的位置信息以及对应健康状况信息的问题。

为了解决上述技术问题，本发明所采用的技术方案如下：

一种诱导性多能干细胞的自动检测方法，其中，包括步骤：

构建基于注意力引导的多分支卷积神经网络模型，基于所述多分支卷积神经网络模型检测iPSCs显微镜图像中iPSCs的位置信息；

构建基于注意力引导的多尺度深监督分类网络模型，所述多尺度深监督分类网络模型包括多尺度残差卷积模块以及注意力模块，所述多尺度残差卷积模块用于对iPSCs显微镜图像进行不同尺度的卷积操作，获得图像特征，所述注意力模块用于对不同通道的图像特征和不同区域的图像特征进行重编码，获得有效分类特征；

基于所述有效分类特征识别出iPSCs显微镜图像中每个iPSCs的健康状况。

所述诱导性多能干细胞的自动检测方法，其中，所述多尺度残差卷积模块包括1×1，3×3，5×5三种不同大小的卷积核。

所述诱导性多能干细胞的自动检测方法，其中，所述注意力模块包括通道注意力分支和空间注意力分支，所述注意力模块用于对不同通道的图像特征和不同区域的图像特征进行重编码，获得有效分类特征的步骤包括：

对于输入特征图

其中w，h，c分别表示特征图的宽度、高度和特征图的通道数，在通道注意力分支中，通过全局平均池化层获取每个通道特征图的特征，然后为每个通道的特征分配一个权重，通过将权重与对应通道的特征相乘，使多尺度深监督分类网络模型在训练过程中自动学习每个类与不同通道特征之间的相关性；

对于输入特征图

其中w，h，c分别表示特征图的宽度、高度和特征图的通道数，在空间注意力分支中，每个通道的特征经过一个1×1卷积层重新映射后，使用Sigmoid函数来获取不同区域特征的权重，通过将权重与特征图相乘，使多尺度深监督分类网络模型在训练过程中自动学习到每个类与不同区域特征之间的相关性；

通过结合通道注意力分支和控制注意力分支的特征，得到重编码的有效分类特征。

所述诱导性多能干细胞的自动检测方法，其中，还包括步骤：

在所述多尺度深监督分类网络模型的中间层引出分支，将中间层的特征单独映射到一个新的全卷积层中，并接入Softmax函数中进行结果预测。

所述诱导性多能干细胞的自动检测方法，其中，所述构建基于注意力引导的多分支卷积神经网络模型的步骤包括：

以caffe为基础框架构建多分支卷积神经网络模型；

使用VGG16模型作为主干网络，并使用ImageNet与训练参数对所述多分支卷积神经网络模型进行初始化。

所述诱导性多能干细胞的自动检测方法，其中，还包括步骤：

将iPSCs显微镜图像有重叠的裁剪出800×600像素大小的切片；

对所述切片进行旋转、镜像和翻转的操作，制得检测训练数据集；

采用所述检测训练数据集对所述多分支卷积神经网络模型进行训练。

所述诱导性多能干细胞的自动检测方法，其中，所述构建基于注意力引导的多尺度深监督分类网络模型的步骤包括：

以TensorFlow和Keras为基础框架来构建多尺度深监督分类网络模型；

使用ResNet模型作为主干网络，并使用ImageNet预训练参数来对所述多尺度深监督分类网络模型进行初始化处理。

所述诱导性多能干细胞的自动检测方法，其中，还包括步骤：

根据iPSCs显微镜图像中的标注信息，提取出三类诱导性多能干细胞，分别为健康状况良好细胞图像，健康状况中等细胞图像以及健康状况一般细胞图像；

从所述iPSCs显微镜图像中裁剪出非诱导性多能干细胞图像，并将所述非诱导性多能干细胞图像重新缩放到224×224像素大小，得到缩放图像；

对所述缩放图像进行数据扩充，得到分类训练数据集；

采用所述分类训练数据集对所述多尺度深监督分类网络模型进行训练。

一种存储介质，其中，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现本发明所述诱导性多能干细胞的自动检测方法中的步骤。

一种诱导性多能干细胞的自动检测装置，其中，包括处理器，适于实现各指令；以及存储介质，适于存储多条指令，所述指令适于由处理器加载并执行本发明所述诱导性多能干细胞的自动检测方法中的步骤。

有益效果：本发明提出了一种诱导性多能干细胞的自动检测方法，通过构建多分支卷积神经网络模型实现自动检测iPSCs显微镜图像中iPSCs的位置信息；通过构建多尺度深监督分类网络模型识别出iPSCs显微镜图像中每个iPSCs的健康状况。与现有人工检测技术相比，本发明实现了自动从iPSCs的显微镜图像中检测出细胞的位置并识别出其健康状况，提高了检测效率和检测准确率。

附图说明

图1为本发明一种诱导性多能干细胞的自动检测方法较佳实施例的流程图。

图2为本发明基于注意力引导的多分支卷积神经网络模型的结构示意图。

图3为注意力模块示意图。

图4为RoIPooling层示意图。

图5为psRoIPooling层示意图。

图6为本发明构建的多尺度深监督分类网络模型的结构示意图。

图7为本发明从原始图像中有重叠的裁剪出800×600像素大小的切片图。

图8为本发明一种诱导性多能干细胞的自动检测装置的原理图。

具体实施方式

本发明提供一种诱导性多能干细胞的自动检测方法、存储介质及装置，为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。

下面结合附图，通过对实施例的描述，对发明内容作进一步说明。诱导性多能干细胞(induced Pluripotent Stem Cells，iPSCs)是体细胞经过诱导因子转化而成的多能干细胞，iPSCs在基因表达、蛋白质转录和分化能力等方面都与胚胎干细胞相似，因此在开发药物或治疗疾病等方面有巨大的潜力。未分化的iPSCs的健康质量是进一步实验和治疗的必要条件，但是目前研究人员基于协议来判别细胞的健康质量是耗时且主观的。

基于此，本发明提供了一种诱导性多能干细胞的自动检测方法，如图1所示，其包括步骤：

S10、构建基于注意力引导的多分支卷积神经网络模型，基于所述多分支卷积神经网络模型检测iPSCs显微镜图像中iPSCs的位置信息；

S20、构建基于注意力引导的多尺度深监督分类网络模型，所述多尺度深监督分类网络模型包括多尺度残差卷积模块以及注意力模块，所述对尺度残差卷积模块用于对iPSCs显微镜图像进行不同尺度的卷积操作，获得图像特征，所述注意力模块用于对不同通道的图像特征和不同区域的图像特征进行重编码，获得有效分类特征；

S30、基于所述有效分类特征识别出iPSCs显微镜图像中每个iPSCs的健康状况。

具体来讲，为了提高了检测效率和检测准确率并减轻医生的负担，本实施例提供的自动检测方法可以自动从iPSCs的显微镜图像中检测出细胞的位置并识别出其健康状况，本实施例方法包括两个子任务，其一是基于所述多分支卷积神经网络模型检测iPSCs显微镜图像中iPSCs的位置信息，其二是基于多尺度深监督分类网络模型识别出iPSCs显微镜图像中每个iPSCs的健康状况；最后结合两个子任务的结果，就可以获得每个iPSCs在显微镜图像中的位置信息以及对应的健康状况信息。本实施例提出的iPSCs的自动检测方法可以为研究人员判别iPSCs的质量提供快速和可靠的辅助。

在一些实施方式中，在检测任务中，本实施例需要从iPSCs的显微镜图像中检测出iPSCs的位置。由于制备条件的不同，在数据集中不同图片的清晰度会有所差异，同一张图像中也会存在光照不同的情况，而iPSCs在形状、大小等方面差异很大，这些都为检测任务增加了困难。为了解决这个问题，本实施例设计了一种基于注意力引导的多分支卷积神经网络模型。在检测过程中，主干网络可以自动提取iPSCs的细胞特征，然后，RPN在主干网络提取的特征基础上来获取一组iPSCs的候选者，最后，多分支分类子网可以从这些候选者中筛选出iPSCs并返回其位置信息。

具体来讲，如图2所示，本实施例中基于注意力引导的多分支卷积神经网络模型以具有50个卷积层的残差网络ResNet50作为主干网络对iSPCs图像进行特征提取；区域提案网络RPN用于在主干网络提取的特征中获取iPSCs的候选框；结合通道注意力和空间注意力的注意力模块用于提取更加具有判别性的特征；多分支分类子网由三个分支组成，分别为一个边界框回归分支和两个分类分支RoIPooling和psRoIPooling。边界框回归分支的目的是细化iPSCs候选框的坐标信息，两个分类分支的目的是使用不同的方法对iPSCs候选框进行分类，并获得iPSCs质量好中差的概率。

对于残差网络ResNet50，本实施例删除了后面的全连接层和SoftMax层，然后将剩下结构作为模型的主干网络，在主干网络提取了输入图像的特征之后，本实施例使用了注意力网络来优化骨干网络得到的特征，然后使用RPN子网来生成一组iSPCs区域候选框；RPN子网在主干网络提取的特征图上滑动一个小窗口，然后将其映射到低维特征。在滑动窗口的中心处，RPN子网使用设置好的边长和长宽比来生成k个iPSCs候选框的参考框，我们称这些参考框为锚。在默认情况下，网络中有3个边长和3个长宽比，总共生成9种不同大小的锚，即：(128,256,512)×(1:1,1:2,2:1)。对于尺寸为W×H的特征图，RPN子网一共会生成W×H×k个锚，其中W和H分别是特征图的宽度和长度。然后，低维特征被送入回归层和分类层中。回归层包含4k个输出，用于优化参考框的坐标，而分类层包含2k个输出，用于获取每个锚中iPSCs质量分类的概率。最后，RPN子网使用非最大抑制(Non-Maximum Suppression，NMS)算法删除重叠的锚，并选择概率最大的前N个锚作为RPN子网生成的iPSCs候选框，在网络中，这些锚所在的区域也被称为感兴趣区域(Regions of Interest，RoI)。在主干网络之后添加了一个如图3所示的注意力模块，目的是为了学习到判别性更强的特征。本实施例使用注意力操作在共享特征图中突出显示前景区域，这在反向传播期间增加了前景区域的权重，以增强特征编码能力。本实施例将主干网络最后一层的特征图设为

其中C,W,H分别表示特征图的通道数、特征图的宽度和高度，则对前景加权之后的概率图可以表示为：P′＝sigmoid(f(σ(f(P,w₁)),w₂)),其中sigmoid(·)表示Sigmoid函数，f(·)表示卷积函数，σ(·)表示ReLU激活函数，

表示对前景加权之后的特征图，w₁和w₂分别表示卷积层的参数。最后，将概率图与特征图相乘，得到最终的输出特征图

此过程可以表示为：

其中

表示逐元素相乘。

为了从RPN子网生成的iPSCs候选框中进行iPSCs的质量监控，我们提出了由一个边界框回归分支和两个分类分支组成的多分枝分类子网络。边界框回归分支的目的是iPSCs候选框的坐标信息，两个分类分支的目的是使用不同的方法对iPSCs候选框进行分类，并获得它们质量好中差的概率。在两个分类分支中，我们将包含池化层操作(RoIPooling层)的分类分支表示为B1，将包含对位置敏感的池化层操作(position-sensitive RoIPooling，psRoIPooling层)的分类分支表示为B2。

在B1中，我们根据iPSCs候选框的坐标信息从特征图中提取RoI区域，然后RoIPooling层使用最大池化操作将RoI区域映射到k×k大小的输出特征图中。具体来说，对于大小为H×W的RoI区域，RoIPooling层将RoI区域划分为大小为(H/k,W/k)的k×k个子区域，然后将每个子区域中的最大值映射到输出特征图中的对应位置。最后，我们对输出特征图进行分类以获得概率P1。

在B2中，我们首先基于特征图为每个类别生成k×k个对位置敏感的得分图，然后从得分图中提取RoI区域。最后，psRoIPooling层将RoI区域映射到k×k大小的输出特征图中。具体来说，像RoIPooling层一样，psRoIPooling层将RoI区域划分为k×k个大小为(H/k,W/k)的子区域。在第(i,j)个子区域内，其中0≤i,j≤k-1，psROIPooling层根据公式(1)将第(i,j)个子区域映射到输出特征图中：

其中r_c(i,j)是第c类别的目标在第(i,j)个子区域中的池化响应值，z_i,j,c是k²×(C+1)个得分图中的一个得分图，(x₀,y₀)表示ROI区域中左上角的子区域，n是子区域中的像素数，θ表示网络的所有参数。最后，我们使用投票机制根据k×k个部分的响应来获得概率P2。

图4和图5分别显示了RoIPooling层和psRoIPooling层的示意图。RoIPooling层为每个通道的特征分别生成一个k×k固定大小的输出特征图，其中保留了每个通道的特征图的全局信息。与RoIPooling层不同，psRoIPooling层首先从每个得分图提取RoI区域，然后将这些RoI区域的不同部分映射到输出特征图中，输出特征图中会保留iPSCs候选框不同部分的映射信息。我们相信，通过组合不同的方法，我们可以提取比单一方法更多的特征信息。最后，我们将概率值P1和P2相加以获得每个iPSCs质量分类的概率，从而输出分类的信息。

如图4所示，RoIPooling层将RoI区域映射到固定的输出矩阵中，从而获得RoI区域的整体信息；如图5所示，psRoIPooling层将不同通道RoI区域的不同部分映射到输出矩阵中，从而获得ROI区域不同通道的局部信息。边界框回归分支的设计我们参考了fasterrcnn中的设计，目的是为了进一步优化RPN网络中得到的ROI区域坐标信息，其优化方法和RPN中对坐标的优化方法类似。得到的坐标为最终的iPSCs克隆坐标信息

在一些实施方式中，在分类任务重，本实施例需要从iPSCs的显微镜图像中识别出每个iPSCs的健康状况。在数据集中，不同健康状况的细胞彼此之间差异很小，而健康状况相同的细胞之间在形状、大小等方面差异很小，并且由于光照、图像分辨率等原因，使得健康状况的分类任务变得更加困难。因此，实施例提出了一种基于注意力引导的多尺度深监督分类网络模型来进行干细胞的健康状况监测。在本实施例中，所述多尺度深监督分类网络模型以端到端的方式训练，根据自动提取的细胞特征来识别其健康状况。图6中显示了本实施例多尺度深监督分类网络模型的框架。本实施例多尺度深监督分类网络模型以传统的ResNet网络为基础框架，并在其基础上做了改进，从而可以提取多尺度特征。然后，使用注意力模块重编码提取的特征，从而达到更好的分类效果。最后，使用了深度监督机制来加速模型收敛。

具体来讲，相较于传统的基于卷积层堆叠的模型，残差网络在模型中加入了跳跃连接，通过将浅层的特征直接映射到更深层的网络，从而避免了在训练过程中出现的梯度爆炸或者梯度消失的问题，这也使得残差模型可以添加更多的卷积层。本实施例采用具有50个卷积层的残差网络即ResNet50模型，并在此基础上做进一步的修改作为主干网络。表1中展示了ResNet50模型的结构。

表1 ResNet50模型结构。

从表1可以看到，残差网络是由很多个残差模块组成的，每个残差模块都是由多个卷积层堆叠组成。残差模块通过一些层将浅层特征直接或者间接地映射到深层特征中，从而提取到更加丰富的特征。对于第l+1层的特征图P′，可以表示为：

P′＝σ(P′+f(P′,w))#(1)

其中σ(·)表示ReLU激活函数，f(·)表示卷积函数，w表示卷积层的参数。数据集中，iPSCs的大小差别很大，并且受到采集条件的限制，部分细胞所处区域的光线很差，因此图像中细胞所在的区域对比度很低，为了获取更具判别力的特征，本实施例在传统的残差模块基础上进行改进，提出了一种多尺度残差卷积模块，旨在通过不同尺度的卷积操作，提取更多的上下文信息，从而达到更高的分类性能。如图1中b所示，本实施例使用1×1，3×3，5×5三种不同大小的卷积核来提取图像特征，然后级联提取的特征作为输出。为了尽量减少模型的参数，降低计算量，本实施例使修改前后的模型特征通道数保持相同。

在一些实施方式中，通过可视化卷积层不同通道的特征发现，并不是所有通道的特征都会在目标区域产生积极的响应，因此，本实施例认为不同通道的特征对于模型的分类结果会产生不同程度的影响，而且在前面的实验中，发现空间注意力机制可以辅助模型提取优质的特征，因此，在此基础上，本实施例设计了一种结合通道注意力和空间注意力的注意力模块，希望借此提取到更具判别力的特征。

如图1中c所示为注意力模块的结构，所述注意力模块包括通道注意力和空间注意力两个分支，本实施例通过对不同通道特征和不同区域的特征进行重编码，从而获得更有效的特征。对于输入特征图

其中w，h，c分别表示特征图的宽度、高度和特征图的通道数，在通道注意力分支中，我们通过全局平均池化层获取每个通道特征图的信息，然后为每个通道的特征分配一个权重，通过将权重与对应通道的特征相乘，则可以使模型在训练过程中自动学习每个类与不同通道特征之间的相关性。整个过程可以表示为：

M₁＝Sigmoid(P(I))×I#(2)；

在空间注意力分支中，每个通道的特征经过一个1×1卷积层重新映射后，本实施例使用Sigmoid函数来获取不同区域特征的权重，通过将权重与特征图相乘，则可以使模型在训练过程中自动学习到每个类与不同区域特征之间的相关性。整个过程可以表示为：

M₂＝Sigmoid(σ(f(I,w)))×I#(3)；

最后，通过结合通道注意力分支和空间注意力分支的特征，就得到了重新编码后的输出特征O，即：

O＝M₁+M₂#(4)

在一些实施方式中，随着卷积层数的增加，网络会学习到更加抽象的特征，而同时正向传播过程中的梯度也会逐渐变小，从而会影响到中间层学习到的特征的效果。中间层的特征会被映射到更深层，从而学习到更加具有判别力、更加有效的特征，学习到的特征的优劣与整个分类器模型的效果息息相关。因此，本实施例通过在所述多尺度深监督分类网络模型的中间层引出分支，将中间层的特征单独映射到一个新的全卷积层中，并接入Softmax函数中预测结果。这些额外的预测分支可以对中间层的特征起到一个监督作用，从而约束中间层的特征映射，而预测分支的损失函数在反向传播的过程中可以进一步减轻梯度爆炸和梯度消失对于模型性能的影响，加快模型收敛。

下面通过具体实施例对本发明一种诱导性多能干细胞的自动检测方法做进一步的解释说明：

本实施例使用的是深圳大学基础医学部提供的iPSCs显微镜图像数据集，实验的目的是检测出显微镜图像中的iPSCs位置并识别出其健康状况。数据集总共包含86张iPSCs显微镜图像，图像尺寸为4000×3000像素。其中66张用于训练，20张用于测试，标签是研究人员标注的iPSCs坐标信息以及健康状况信息。在66张训练集图像中，总共包含3335个干细胞样本，其中健康状况良好的样本有1436个，健康状况一般的样本有1078个，健康状况较差的样本有821个。在20张测试集图像中，总共包含1042个干细胞样本。

本实施例的数据集仅包含86张图像，数据样本少并且图像尺寸过大，无法直接用于训练我们的模型，因此，本实施例需要对原始数据做预处理，从而获得更好的训练效果。由于本实施例的实验包含检测和分类两个子任务，因此本实施例会从原始数据中整理出两份数据集，分别用于两个子任务的训练。

对于检测任务，我们使用滑动窗口，从原始图像中有重叠的裁剪出800×600像素大小的切片，如图7所示。由于原始数据中，诱导性多能干细胞的大小差别很大，当跨界细胞区域的面积太小时会影响模型的训练，因此我们会手动筛选并过滤掉跨界细胞区域太小的切片，最终得到处理后的3342张切片。然后本实施例对这些切片做旋转、镜像和翻转的操作，就得到了检测训练数据集，采用所述检测训练数据集对所述多分支卷积神经网络模型进行训练。

对于分类任务，本实施例根据原始数据中研究人员的标注信息，从图像中提取出3类诱导性多能干细胞，分别是健康状况良好、中等和一般的细胞图像，然后从原始图像中裁剪出非诱导性多能干细胞的图像，并将这些图像重新缩放到224×224像素大小，一共得到3335个训练样本。最后，本实施例对这些细胞图像做数据扩充，就得到了分类训练数据集；采用所述分类训练数据集对所述多尺度深监督分类网络模型进行训练。

在一些具体的实施方式中，在检测任务中，本实施例以caffe为基础框架来构建多分支卷积神经网络模型，并结合Python2.7实现代码。在训练多分支卷积神经网络模型的过程中，本实施例设置动量为0.9，权重衰减为0.0005，模型一共被迭代训练了15万次，初始学习率为0.01，并在每5万次迭代后减少为原来的0.1倍。本实施例使用VGG16模型作为主干网络，并使用经过ImageNet预训练参数来初始化多分支卷积神经网络模型。

在一些具体的实施方式中，在分类任务中，本实施例以TensorFlow和Keras为基础框架来构建模型，并结合Python3.6实现代码。在实验中，我们设置批量训练大小为8，初始学习率为0.00001，整个模型一共被迭代训练50次。我们使用ResNet模型作为主干网络，并使用ImageNet预训练参数来初始化模型。

在一些具体的实施方式中，本实施例的实验分为iPSCs的检测和分类两个子任务，在检测任务中，本实施例需要在输入图像中检测出iPSCs的位置，因此本实施例采用基于质心的评估方式。在基于质心的测量方法中，由于图像的和细胞的尺寸比较大，因此，当检测到的目标质心与细胞标签的质心距离在50个像素距离以内时，则认为这是一个正确的检测结果。在分类任务中，主要关注于细胞健康状况的识别准确率，因此本实施例使用传统的图像分类任务中的评判标准来表示方法的有效性。作为举例，本实施例可使用精确率(precision，Pre)、召回率(recall，Rec)，F1-score作为模型性能的评价指标，其计算方法如下：

上式中TP(true positive)、TN(true negative)、FP(false positive)和FN(false negative)分别为真阳性、真阴性、假阳性和假阴性的样本个数。

在一些实施方式中，还提供一种存储介质，其中，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现本发明所述诱导性多能干细胞的自动检测方法中的步骤。

在一些实施方式中，还提供一种诱导性多能干细胞的自动检测装置，如图8所示，其包括至少一个处理器(processor)20；显示屏21；以及存储器(memory)22，还可以包括通信接口(Communications Interface)23和总线24。其中，处理器20、显示屏21、存储器22和通信接口23可以通过总线24完成相互间的通信。显示屏21设置为显示初始设置模式中预设的用户引导界面。通信接口23可以传输信息。处理器20可以调用存储器22中的逻辑指令，以执行上述实施例中的方法。

此外，上述的存储器22中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。

存储器22作为一种计算机可读存储介质，可设置为存储软件程序、计算机可执行程序，如本公开实施例中的方法对应的程序指令或模块。处理器20通过运行存储在存储器22中的软件程序、指令或模块，从而执行功能应用以及数据处理，即实现上述实施例中的方法。

存储器22可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储器22可以包括高速随机存取存储器，还可以包括非易失性存储器。例如，U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等多种可以存储程序代码的介质，也可以是暂态存储介质。

此外，上述存储介质以及终端设备中的多条指令处理器加载并执行的具体过程在上述方法中已经详细说明，在这里就不再一一陈述。

综上所述，本发明提出了一种诱导性多能干细胞的自动检测方法，通过构建多分支卷积神经网络模型实现自动检测iPSCs显微镜图像中iPSCs的位置信息；通过构建多尺度深监督分类网络模型识别出iPSCs显微镜图像中每个iPSCs的健康状况。与现有人工检测技术相比，本发明实现了自动从iPSCs的显微镜图像中检测出细胞的位置并识别出其健康状况，提高了检测效率和检测准确率。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (9)

1.一种诱导性多能干细胞的自动检测方法，其特征在于，包括步骤：

构建基于注意力引导的多分支卷积神经网络模型，基于所述多分支卷积神经网络模型检测iPSCs显微镜图像中iPSCs的位置信息；

构建基于注意力引导的多尺度深监督分类网络模型，所述多尺度深监督分类网络模型包括多尺度残差卷积模块以及注意力模块，所述多尺度残差卷积模块用于对iPSCs显微镜图像进行不同尺度的卷积操作，获得图像特征，所述注意力模块用于对不同通道的图像特征和不同区域的图像特征进行重编码，获得有效分类特征；

基于所述有效分类特征识别出iPSCs显微镜图像中每个iPSCs的健康状况；

所述多分支卷积神经网络模型检测iPSCs显微镜图像中iPSCs的位置信息的步骤包括：以残差网络作为主干网络对iSPCs图像进行特征提取；区域提案网络RPN在所述主干网络提取的特征中获取iSPCs的候选框；多分支分类子网从候选框中筛选出iSPCs并返回其位置信息；

所述注意力模块用于对不同通道的图像特征和不同区域的图像特征进行重编码，获得有效分类特征的步骤包括：对于输入特征图

其中w，h，c分别表示特征图的宽度、高度和特征图的通道数，在通道注意力分支中，通过全局平均池化层获取每个通道特征图的特征，然后为每个通道的特征分配一个权重，通过将权重与对应通道的特征相乘，使多尺度深监督分类网络模型在训练过程中自动学习每个类与不同通道特征之间的相关性；在空间注意力分支中，每个通道的特征经过一个1×1卷积层重新映射后，使用Sigmoid函数来获取不同区域特征的权重，通过将权重与特征图相乘，使多尺度深监督分类网络模型在训练过程中自动学习到每个类与不同区域特征之间的相关性；通过结合通道注意力分支和空间注意力分支的特征，得到重编码的有效分类特征。

2.根据权利要求1所述诱导性多能干细胞的自动检测方法，其特征在于，所述多尺度残差卷积模块包括1×1，3×3，5×5三种不同大小的卷积核。

3.根据权利要求1所述诱导性多能干细胞的自动检测方法，其特征在于，还包括步骤：

在所述多尺度深监督分类网络模型的中间层引出分支，将中间层的特征单独映射到一个新的全卷积层中，并接入Softmax函数中进行结果预测。

4.根据权利要求1所述诱导性多能干细胞的自动检测方法，其特征在于，所述构建基于注意力引导的多分支卷积神经网络模型的步骤包括：

以caffe为基础框架构建多分支卷积神经网络模型；

使用VGG16模型作为主干网络，并使用ImageNet与训练参数对所述多分支卷积神经网络模型进行初始化。

5.根据权利要求4所述诱导性多能干细胞的自动检测方法，其特征在于，还包括步骤：

将iPSCs显微镜图像有重叠的裁剪出800×600像素大小的切片；

对所述切片进行旋转、镜像和翻转的操作，制得检测训练数据集；

采用所述检测训练数据集对所述多分支卷积神经网络模型进行训练。

6.根据权利要求1所述诱导性多能干细胞的自动检测方法，其特征在于，所述构建基于注意力引导的多尺度深监督分类网络模型的步骤包括：

以TensorFlow和Keras为基础框架来构建多尺度深监督分类网络模型；

使用ResNet模型作为主干网络，并使用ImageNet预训练参数来对所述多尺度深监督分类网络模型进行初始化处理。

7.根据权利要求6所述诱导性多能干细胞的自动检测方法，其特征在于，还包括步骤：

根据iPSCs显微镜图像中的标注信息，提取出三类诱导性多能干细胞，分别为健康状况良好细胞图像，健康状况中等细胞图像以及健康状况一般细胞图像；

从所述iPSCs显微镜图像中裁剪出非诱导性多能干细胞图像，并将所述非诱导性多能干细胞图像重新缩放到224×224像素大小，得到缩放图像；

对所述缩放图像进行数据扩充，得到分类训练数据集；

采用所述分类训练数据集对所述多尺度深监督分类网络模型进行训练。

8.一种存储介质，其特征在于，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如权利要求1-7任意一项所述诱导性多能干细胞的自动检测方法中的步骤。

9.一种诱导性多能干细胞的自动检测装置，其特征在于，包括处理器，适于实现各指令；以及存储介质，适于存储多条指令，所述指令适于由处理器加载并执行权利要求1-7任意一项所述诱导性多能干细胞的自动检测方法中的步骤。

Images