CN113744195A - 一种基于深度学习的hRPE细胞微管自动检测方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的hRPE细胞微管自动检测方法，包括以下步骤：图像预拍摄：扫描拍摄，记录获取单张细胞微管图像的位置信息，将单张细胞微管图像进行拼接处理，获取多视野拼接图像，作为深度学习网络的输入图像；深度学习网络进行细胞检测：根据标注信息，自动提取特征，对输入检测图像进行细胞微管检测，获取细胞微管的位置信息、轮廓信息、类别信息；细胞微管拍摄路径规划：将细胞微管的位置信息、轮廓信息、类别信息作为输入信息，进行拍摄路径规划，控制显微镜移动到固定位置，完成拍摄。该方法避免人工寻找细胞，辨别细胞，实现hRPE细胞微管的自动检测功能，有效提高单次实验的优质样本检测的效率和质量，且具有较高的检测准确度。

Description

一种基于深度学习的hRPE细胞微管自动检测方法

技术领域

本发明涉及一种细胞检测方法，具体涉及一种基于深度学习的hRPE细胞微管自动检测方法。

背景技术

随着单细胞分析技术和超分辨成像技术的发展，生物领域的研究已经进入细胞层面，通过研究细胞组分数量及其空间分布、动态变化和相互作用，对细胞类型进行区分，对细胞行为进行解释。微管网络是真核细胞中蛋白质纤维网络结构，对于维持细胞形状、细胞内运动、细胞内的物质传输等方面有着重要作用。通过观察细胞微管结构，能够快速了解细胞状态，同时也能够以细胞微管作为参考坐标系，观察细胞各组分的空间分布。

现有hRPE细胞微管研究方法主要是通过荧光染液进行细胞染色，由人工通过移动载物台，肉眼观察每个样品孔中的所有细胞，寻找理想细胞进行拍摄，留存图像进行进一步的分析。由于显微镜视野优先，细胞在样品孔中分布不定，研究人员很难快速找到理想细胞进行拍摄，而荧光染液持续时间有限，单次实验往往只能进行几组细胞微管图像的拍摄。整个过程需要耗费大量时间与精力。为了降低科研人员的负担，亟需引入计算机技术进行细胞图像分析及自动识别。

目前已有大量方法应用于细胞检测中。公开号为CN201610231931的中国专利文献公开了一种基于深度学习的自适应椭圆拟合细胞自动检测分割方法，通过深度学习找出细胞，再通过椭圆拟合并检测重叠区域来获取细胞准确位置。其对有固定形状大小的细胞有较好效果，但hRPE细胞微管图像细胞大小差异性大，且边缘轮廓无固定形状，因此很难应用传统的图像处理的方法来进行微管检测。

公开号为CN20141055802的中国专利文献公开了一种基于滑动窗口和深度结构提取特征的细胞检测方法，以大幅切片图为研究对象，采用滑动窗口加检测器的方法，能进行快速的检测。但滑动窗口更多适用于小目标检测中，即细胞在一个视野中，且被视野分割概率小的细胞检测。而观察hRPE细胞微管多采用的是高分辨成像系统，其视野有限，往往只能容纳一个细胞，细胞被视野分割的可能性较大，因此采取滑动窗口方法可能只能观察到细胞微管部分结构，特征提取时会引入大量无效甚至负面特征，提高检测难度。

因此，针对hRPE细胞微管，亟需一种高效准确的细胞检测方法，能够提供精确的细胞位置信息用于构建细胞之间的拓扑关系特征、细胞轮廓信息用于描述细胞的形状特征、细胞微管的状态信息用于体现细胞内部状态，以供研究人员进行定量化分析。

发明内容

为了解决上述问题，本发明针对hRPE细胞微管图像，提供基于深度学习的自动检测方法，针对细胞微管进行分类，具有较高的准确率和精确度，并根据细胞位置，对目标细胞的观察拍摄路径进行规划，保证在单次实验中获取更多、更好的样本。本发明采用以下技术方案：

一种基于深度学习的hRPE细胞微管自动检测方法，包括以下步骤：

S1，图像预拍摄：对样品孔中的细胞进行扫描拍摄，记录获取单张细胞微管图像的位置信息，将单张细胞微管图像进行拼接处理，获取多视野拼接图像，作为深度学习网络的输入图像；

S2，深度学习网络进行细胞检测：通过深度学习模型，根据标注信息，自动提取特征，对输入检测图像进行细胞微管检测，获取细胞微管的位置信息、轮廓信息、类别信息；

S3，细胞微管拍摄路径规划：将所述细胞微管的位置信息、轮廓信息、类别信息作为输入信息，进行拍摄路径规划，控制显微镜移动到固定位置，完成拍摄。

进一步的，所述步骤S1，所述图像拼接处理具体包括以下步骤：

S11，设置图像拼接的视野数量和重叠量；

S12，根据视野数量和重叠量规划扫描拍摄路径，拍摄hRPE细胞微管图像，记录所述图像的中心位置信息，其中，所述图像原点的坐标为

设拍摄启动视野中心坐标为(x₁,y₁)，单视野范围大小为d×d，重叠量为overlap，则每一个视野的中心(x_n1,y_n2)的位置为：

(n₁＝1,2,3,…,n,n₂＝1,2,3,…,n)

根据所述图像的位置信息进行排列和粗配准；

S13，采取最小二乘法计算相邻图像重叠区域的灰度值的差异，通过选取灰度值差异最小的重叠区域进行精配准，得到拼接图像。

进一步的，具体包括以下步骤：

S21，建立训练数据集，将步骤S1所述的输入图像下采样；

S22，对数据集进行手动标注，将hRPE细胞分为三种类型：Unit细胞，即细胞伸展，具有很好观察价值的细胞；Part细胞，即只有部分具有观察价值的细胞；Bad细胞，不具有观察价值的细胞；

S23，将标注完成的数据集分为训练集、验证集、测试集；

S24，对训练集和验证集中的图像进行数据增强操作；

S25，构建Mask-RCNN卷积神经网络模型；

S26，模型训练，导入训练集、验证集，通过深度卷积神经网络从数据集自动获取图像特征信息，采用验证集来调整模型训练的超参数；

S27，将测试图像输入到深度学习网络中进行预测，得到细胞微管位置信息、轮廓信息、类别信息。

进一步的，所述步骤S25，所述构建Mask-RCNN卷积神经网络模型，具体为：

构建骨干网络，通过多层的卷积、池化操作进行图像特征提取，生成特征图，供后续网络使用；

特征金字塔网络，针对小尺寸目标检测，通过FPN特征金字塔网络对底层到高层的特征图进行特征融合，生成包含有不同尺寸的特征图集，针对尺寸不同的对象，采用不同特征图进行特征提取；

区域推荐网络，将特征金字塔网络提取的多层特征图输入到RPN区域推荐网络中；通过对锚的尺寸和形状的设置，生成候选框；同时对前景框和背景框采用非极大值抑制，当任意框重叠超过设定值，只保留其中经过Softmax处理后类置信度最高的框；其中Softmax函数为：

其中a_j表示类别j经过网络前向传播计算出来的得分；a_k表示类别k经网络前向传播计算出来的得分，k取值1～T，表示包含所有类别；S_j表示类别j经过Softmax函数后换算得到的概率；

RoIAlign目标区域对齐算法，经过RPN网络后，获取了不同大小、形状的候选框，RoIAlign算法通过双线性插值在像素点之间进行插值，对插值后的图像进行最大池化操作，得到最终的固定尺寸的特征图；

获取特征图后，对特征图进行处理，通过分类网络获取检测目标的类别信息和边界框信息，通过轮廓预测网络获取检测目标的轮廓信息；分类网络通过两层1*1*1024的卷积层，经过全连接层和Softmax处理得到类别概率矩阵，采取非极大值抑制操作，获取预测概率最高的类别作为预测类别；预测边界框操作一致，全连接层进行替换，改为对边界框的长宽和位置四个参数(w,h,x,y)进行预测；轮廓预测网络通过FCN全卷积网络进行，对每一个候选框进行语义分割，对每一个像素进行前景和背景的区分，获取准确的对象轮廓，实现分割操作。

进一步的，所述步骤S26，所述导入训练集、验证集，通过深度卷积神经网络从数据集自动获取图像特征信息，采用验证集来调整模型训练的超参数，具体为：

设置模型训练迭代次数epochs和每一代需要读取的图像数量STEP_PER_EPOCH，即每一代训练前，从数据增强过后的训练集中随机选取STEP_PER_EPOCH个训练对象，输入网络，训练完成后更新模型参数，计算损失函数Loss：

Loss＝L_{rpn_cls}+L_{rpn_bls}+L_{cnn_cls}+L_{cnn_bls}+L_mask

其中L_{rpn_cls}表示RPN网络分类损失，L_{rpn_bls}表示RPN网络边界框回归损失，L_{cnn_cls}表示Mask R-CNN网络分类损失，L_{cnn_bls}表示Mask R-CNN网络边界回归框损失，L_mask表示MaskR-CNN网络轮廓分割损失；每一种损失通过交叉熵损失函数来进行计算，其中交叉熵损失函数定义如下：

其中t_ki为样本k属于类别i的概率，y_ki是模型对样本k预测为属于类别i的概率，n为样本总数，C为类别总数；

获取损失后，通过SGD算法不断更新模型参数，即在数据集中随机选择一个点，进行梯度下降算法，直至收敛，完成模型的训练；其中梯度下降算法定义如下：

其中θ为网络参数，α为学习率，θ_j为更新选取的单个网络参数。

进一步的，所述步骤S3，具体包括以下步骤：

S31，取特定类型的hRPE细胞形成集合S，集合S中包含每个细胞的位置信息(x_s,y_s),由预测边界框信息(w，h，x，y)中得到(x₁，y₁)，其中(x₁，y₁)为边界框相对于图像原点的偏移量，所述图像原点坐标为(x₀，y₀)，则有每个细胞的位置信息为：

x_s＝x₀+x₁

y_s＝y₀+y₁

S32，获取当前显微镜位置，设为(x_m，y_m)，遍历集合S中的所有细胞，计算与当前显微镜位置的欧式距离的平方d²：

d²＝(x_s-x_m)²+(y_s-y_m)²

以d²作为距离的表示，每次找集合S中距离显微镜当前距离最近的细胞，即d²最小，以此来保证能尽快移动到下一个细胞位置进行拍摄，使得在有限的单次实验时间内能拍摄尽可能多的细胞，得到规划的细胞拍摄顺序；

S33，由细胞的轮廓信息，调节细胞拍摄的位置：固定拍摄视野大小(W，H)，若拍摄视野大小严格大于细胞边界框大小(w，h)，即W≥w且H≥h，则以边界框中心作为拍摄视野中心，拍摄视野能完整覆盖细胞；若拍摄视野并不能完全覆盖边界框，即W<w和/或H<h，则调整拍摄框位置，使其拍摄视野中包含尽量更多的细胞体部分；

其中轮廓信息，以大小为w*h的二维矩阵M存储，细胞存在部分矩阵M存储1，背景部分矩阵M存储0；对矩阵M作卷积核大小为W*H，全为1的一次卷积操作，取一次卷积结果中最大的数值，其对应的位置即为包含细胞胞体最多的位置，作为拍摄位置进行拍摄；其中卷积公式为：

(0≤j≤W+w-1,0≤k≤H+h-1)

其中M为轮廓信息，K为卷积核，C为卷积结果，卷积时边界部分用0补足；

S34，细胞拍摄结束或实验时间过长，药剂失效，结束拍摄。

与现有技术相比，本发明具有以下有益效果：

(1)本发明采用图像拼接的方式，由单视野图像拼接得到多视野图像，保证图像中能包含数十个细胞，减少细胞被视野分割的情况，提高细胞检测精度。通过高精度的图像精配准，保证拼接图像的质量，对图像进行下采样，在保证特征不损失的情况下，降低图像分辨率，提高网络训练速度。相比于滑动窗口检测，本发明对一定范围内的细胞进行拍摄检测时具有更高的效率。

(2)本发明通过对细胞微管进行检测，从而进行细胞分类，提高了检测精度，能很好实现hRPE细胞自动检测，可在一定程度上替代人工检测，为研究人员节省大量寻找细胞、判断细胞的时间。同时通过识别细胞微管进行细胞检测这一方法，也可以应用于其他真核细胞检测和分类中。

(3)本发明通过对细胞拍摄路径规划来提高细胞拍摄效率，减少不同细胞拍摄寻址切换时间，在时间有限的生物实验中，能有效提高单次实验的总体实验效率，提高单次实验优质样本的数量和质量。

(4)本发明采取深度卷积神经网络提取图像特征，不需要人工设定特征，通过神经网络自主学习，直接预测获取细胞的类别信息、位置信息和轮廓信息。

附图说明

图1为基于深度学习网络的hRPE细胞微管自动检测方法的流程图。

图2为hRPE细胞微管单视野图像及多视野拼接图像示意图。

图3为Mask-RCNN卷积神经网络模型的结构示意图。

图4为拍摄路径规划的流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。

本发明提供一种基于深度学习网络的hRPE细胞微管自动检测方法，如图1所示，包括以下步骤：

步骤1：图像预拍摄，对样品孔中的细胞进行扫描拍摄，记录获取单张细胞微管图像的位置信息，将单张细胞微管图像进行拼接处理，获取多视野图像，作为深度学习网络的输入图像，图像拼接过程如图2所示。具体步骤如下：

步骤1.1：设置拼接图像视野数量n，例如3×3，5×5，10×10，实施例中采取5×5视野图像，设置图像重叠参数overlap，例如3％，5％，10％等，实施例中采取10％。

步骤1.2：根据视野数量和重叠量，规划扫描拍摄路径，拍摄hRPE细胞微管图像，记录每张图像的中心位置信息。其中设拍摄启动视野中心坐标为(x₁,y₁)，单视野范围大小为d×d，则每一个视野的中心(x_n1,y_n2)的位置为：

(n₁＝1,2,3,…,n,n₂＝1,2,3,…,n)

另保存每张图像原点的坐标为

根据细胞图像的位置信息进行排列和粗配准。

步骤1.3：拍摄图像为灰度图，采取最小二乘法计算相邻图像重叠区域的灰度值的差异，通过选取灰度值差异最小的重叠区域进行精配准，由此得到拼接图像。实例中采取5×5视野，重叠参数为10％，最后输出图像大小约为8000×8000。

步骤2：深度学习网络进行细胞检测。首先建立训练数据集，观察细胞微管图像，手动标注。将数据集进行数据增强，再输入深度学习网络，自动提取特征，对输入检测图像进行细胞微管检测，获取细胞微管的位置信息，轮廓信息，类别信息。实例采用Mask-RCNN框架作为深度学习网络，其网络结构示意图如图3所示。具体步骤如下：

步骤2.1：建立训练数据集。将图像进行下采样，首先通过插值将图像大小扩大到8960×8960，然后对图像进行7倍下采样，得到大小为1280×1280的图像。其中下采样后每个像素的值为P_i,j，插值过后图像每个像素点的值为I_i,j，像素点P_i,j的值为：

(i＝0,1,2,…,1279，j＝0,1,2,…,1279)

步骤2.2：对数据集进行手动标注工作。实施例中，根据hRPE细胞微管的铺展程度、粘连情况、聚焦度、信噪比等条件，将hRPE细胞分为三种类型，分别是：(1)Unit细胞，即细胞伸展，具有很好观察价值的细胞；(2)Part细胞，即只有部分具有观察价值的细胞；(3)Bad细胞，不具有观察价值的细胞。

步骤2.3：将标记完成的数据集分为训练集、验证集、测试集。实施例中按照8：1：1的比例进行数据集合划分，其中训练集是用于模型拟合的数据样本，验证集是单独留出的样本集，用于初期对模型能力的评估和模型超参数的调整，测试集用来评估最终模型的泛化能力。

步骤2.4：对训练集、验证集中的样本进行数据增强，包括平移、翻转、旋转、镜像、明暗变化、HDR操作等。实施例中，对训练集和验证集构建了包括水平翻转、垂直翻转、-20°～20°随机旋转、0.8～1.2的亮度调整、0.9～1.1的裁剪填充的数据增强方法集，在每次训练前，对训练集和验证集中的样本进行随机一种或多种的数据增强。

采取数据增强的方法，通过一系列操作进行数据集的扩充，可以有效增强模型的鲁棒性，同时一定程度上缓解模型的过拟合问题。而通过对数据集中不同图像进行差异性的数据增强，例如对理想细胞微管占有比例较高的图像较其他图像进行更多的数据增强，在一定程度上能改善该类细胞微管数据量少而导致的欠拟合问题。

步骤2.5：构建深度学习网络模型。实施例中，构建了以Mask-RCNN框架为基础的深度学习网络模型。Mask-RCNN作为双阶段目标检测代表框架R-CNN的最新衍生，在Faster-RCNN的基础上，增加了轮廓预测分支，从而可以准确的获取被检测目标的轮廓信息。作为双阶段目标检测框架，首先需要生成大量不同尺寸的目标候选框，再对候选框中的图像进行特征提取和目标检测，针对小尺寸目标和密集分布的目标，较其他目标检测框架有更好的检测效果。模型具体包括以下部分：

选取了ResNet101作为模型的骨干网络。ResNet(深度残差网络)利用跨层连接的残差结构，使其在构建深度网络的时候，能很好的抑制网络退化。实例中输入的图像尺寸较大，采取ResNet101网络能有效地提取图像的深层特征，同时也保证最终输出的特征图不至于太小。

通过FPN(Feature Pyramid Network)特征金字塔网络进行特征图融合。在实例样本中，hRPE细胞个体大小差异较大，存在较多尺寸较小的对象，如果直接采取最后一层的特征图，对这类尺寸小的对象会存在大量的漏检测。采取FPN网络，能融合底层到高层的特征图，生成包含有不同尺寸的特征图集，针对尺寸不同的对象，采用不同的特征图进行特征提取，从而保证模型针对不同尺寸的对象都具有较好的检测效果。

将FPN网络提取的多层特征图输入到RPN(Region Proposal Network)区域推荐网络中。实施例中，将RPN网络中的锚的尺寸设为(32，64，128，256，512)五种大小和(0.5，1，2)三种形状，即每个锚生成15种候选框，再进行两层卷积，将前景与背景进行分类。同时对前景框和背景框采用非极大值抑制，当任意框重叠超过0.667，只保留其中经过Softmax处理后类置信度最高的框。其中Softmax函数为：

其中，a_j表示类别j经过网络前向传播计算出来的得分；a_k表示类别k经网络前向传播计算出来的得分，k取值1～T，表示包含所有类别；S_j表示类别j经过Softmax函数后换算得到的概率。

根据数据集图像中对象的数量大小来确认用于训练的每张图像取的锚数，实施例中，每张图片取300个候选框，其中最多包含100个前景框。

经过RPN网络后，获取了不同大小、形状的候选框，经过RoIAlign(Region ofInterest Align)，获取统一尺寸的特征图用于分割和检测。RoIAlign相对于RoIPooling(Region of Interest Pooling)，取消了直接取整的操作，通过双线性插值在像素点之间进行插值，对插值后的图像进行最大池化操作，得到最终的特征图。

特征图包含图像的高维信息，通过对特征图信息进行分类，获取目标的类别信息与边界框信息，用于检测细胞的类别预测和细胞定位；通过对轮廓信息进行预测，获取精确细胞轮廓，用于后续拍摄框的重新定位。其中，对特征图信息进行分类，包含物体检测的类别和边界框。通过两层1*1*1024的卷积层，经过全连接层，和Softmax处理，得到类别概率矩阵，采取非极大值抑制操作，获取预测概率最高的类别作为预测类别。预测边界框操作一致，全连接层进行了替换，改为对边界框的长宽和位置四个参数(w,h,x,y)进行预测。对轮廓信息的预测，通过FCN(Fully Convolution Network)进行，对每一个候选框进行语义分割，对每一个像素进行前景和背景的区分，获取准确的对象轮廓，实现分割操作。

步骤2.6：模型训练。设置模型训练迭代次数epochs和每一代需要读取的图像数量STEP_PER_EPOCH，即每一代训练前，从数据增强过后的训练集中随机选取STEP_PER_EPOCH个训练对象，输入网络，训练完成后更新模型参数，计算损失函数。

损失函数Loss定义为：

Loss＝L_{rpn_cls}+L_{rpn_bls}+L_{cnn_cls}+L_{cnn_bls}+L_mask

其中，L_{rpn_cls}表示RPN网络分类损失，L_{rpn_bls}表示RPN网络边界框回归损失，L_{cnn_cls}表示Mask R-CNN网络分类损失，L_{cnn_bls}表示Mask R-CNN网络边界回归框损失，L_mask表示MaskR-CNN网络轮廓分割损失。而每一种损失通过交叉熵损失函数来进行计算，其中交叉熵损失函数定义如下：

其中，t_ki为样本k属于类别i的概率，y_ki是模型对样本k预测为属于类别i的概率，n为样本总数，C为类别总数。

获取损失后，通过SGD算法不断更新模型参数，即在数据集中随机选择一个点，进行梯度下降算法，直至收敛，完成模型的训练。其中梯度下降算法定义如下：

其中θ为网络参数，α为学习率，θ_j为更新选取的单个网络参数。

当完成一代训练后，获得模型，通过验证集输入模型进行检测，获得检测结果。根据模型的收敛速度，单项损失大小等方面来判断网络性能，调整网络的学习率、迭代次数、每代读取图像数量等模型超参数，加快模型训练速度和增加模型训练稳定性。

步骤2.7：hRPE细胞微管图像检测。将测试集图像输入网络，模型网络对图像进行检测，得到图像中hRPE细胞的预测位置、对应的细胞类型及轮廓信息。取置信度为0.9以上的预测作为最终预测结果。

步骤3：在获取了hRPE细胞的位置信息、类别信息、和轮廓信息后，对特定细胞进行拓扑分析，根据特定规则进行观察路径分析，实现自动寻样和拍摄轨迹的自动规划。实施例中由于单次实验有时间限制，规划细胞拍摄顺序来保证能尽快找到最接近的细胞，流程如图4所示。具体步骤如下：

步骤3.1：取特定类型的hRPE细胞形成集合S，集合S中包含每个细胞的位置信息(x_s,y_s),由预测边界框信息(w，h，x，y)中得到(x₁，y₁)，其中(x₁，y₁)为边界框相对于图像原点的偏移量，步骤1中每张图像的的原点坐标为(x₀，y₀)。则有每个细胞的位置信息为：

x_s＝x₀+x₁

y_s＝y₀+y₁

步骤3.2：获取当前显微镜位置，设为(x_m，y_m)，遍历集合S中的所有细胞，计算与当前显微镜位置的欧式距离的平方d²，其公式为：

d²＝(x_s-x_m)²+(y_s-y_m)²

以d²作为距离的表示，每次找集合S中距离显微镜当前距离最近的细胞，即d²最小，以此来保证能尽快移动到下一个细胞位置进行拍摄，使得在有限的单次实验时间内能拍摄尽可能多的细胞，得到规划的细胞拍摄顺序。

步骤3.3：针对每个细胞，由细胞的轮廓信息，具体调节每个细胞拍摄的具体位置。固定拍摄视野大小(W，H)，如果拍摄视野大小严格大于细胞边界框大小(w，h)，即W≥w且H≥h，则以边界框中心作为拍摄视野中心，此时拍摄视野能完整覆盖细胞。如果拍摄视野并不能完全覆盖边界框，即W<w和/或H<h，则调整拍摄框位置，使其拍摄视野中包含尽量更多的细胞体部分。

其中轮廓信息，以大小为w*h的二维矩阵M存储，细胞存在部分矩阵M存储1，背景部分矩阵M存储0。对矩阵M作卷积核大小为W*H，全为1的一次卷积操作，取一次卷积结果中最大的数值，其对应的位置即为包含细胞胞体最多的位置，作为拍摄位置进行拍摄。其中卷积公式为：

(0≤j≤W+w-1,0≤k≤H+h-1)

其中M为轮廓信息，K为卷积核，C为卷积结果，卷积时边界部分用0补足。

步骤3.4：细胞拍摄结束或实验时间过长，药剂失效，结束拍摄。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于深度学习的hRPE细胞微管自动检测方法，其特征在于，包括以下步骤：

S1，图像预拍摄：对样品孔中的细胞进行扫描拍摄，记录获取单张细胞微管图像的位置信息，将单张细胞微管图像进行拼接处理，获取多视野拼接图像，作为深度学习网络的输入图像；

S2，深度学习网络进行细胞检测：通过深度学习模型，根据标注信息，自动提取特征，对输入检测图像进行细胞微管检测，获取细胞微管的位置信息、轮廓信息、类别信息；

S3，细胞微管拍摄路径规划：将所述细胞微管的位置信息、轮廓信息、类别信息作为输入信息，进行拍摄路径规划，控制显微镜移动到固定位置，完成拍摄。

2.根据权利要求1所述的方法，其特征在于，所述步骤S1，所述图像拼接处理具体包括以下步骤：

S11，设置图像拼接的视野数量和重叠量；

S12，根据视野数量和重叠量规划扫描拍摄路径，拍摄hRPE细胞微管图像，记录所述图像的中心位置信息，其中，所述图像原点的坐标为

设拍摄启动视野中心坐标为(x₁，y₁)，单视野范围大小为d×d，重叠量为overlap，则每一个视野的中心(x_n1，y_n2)的位置为：

(n₁＝1，2，3，...，n，n₂＝1，2，3，...，n)

根据所述图像的位置信息进行排列和粗配准；

S13，采取最小二乘法计算相邻图像重叠区域的灰度值的差异，通过选取灰度值差异最小的重叠区域进行精配准，得到拼接图像。

3.根据权利要求1所述的方法，其特征在于，所述步骤S2，具体包括以下步骤：

S21，建立训练数据集，将步骤S1所述的输入图像下采样；

S22，对数据集进行手动标注，将hRPE细胞分为三种类型：Unit细胞，即细胞伸展，具有很好观察价值的细胞；Part细胞，即只有部分具有观察价值的细胞；Bad细胞，不具有观察价值的细胞；

S23，将标注完成的数据集分为训练集、验证集、测试集；

S24，对训练集和验证集中的图像进行数据增强操作；

S25，构建Mask-RCNN卷积神经网络模型；

S26，模型训练，导入训练集、验证集，通过深度卷积神经网络从数据集自动获取图像特征信息，采用验证集来调整模型训练的超参数；

S27，将测试图像输入到深度学习网络中进行预测，得到细胞微管位置信息、轮廓信息、类别信息。

4.根据权利要求3所述的方法，其特征在于，所述步骤S25，所述构建Mask-RCNN卷积神经网络模型，具体为：

构建骨干网络，通过多层的卷积、池化操作进行图像特征提取，生成特征图，供后续网络使用；

特征金字塔网络，针对小尺寸目标检测，通过FPN特征金字塔网络对底层到高层的特征图进行特征融合，生成包含有不同尺寸的特征图集，针对尺寸不同的对象，采用不同特征图进行特征提取；

区域推荐网络，将特征金字塔网络提取的多层特征图输入到RPN区域推荐网络中；通过对锚的尺寸和形状的设置，生成候选框；同时对前景框和背景框采用非极大值抑制，当任意框重叠超过设定值，只保留其中经过Softmax处理后类置信度最高的框；其中Softmax函数为：

其中a_j表示类别j经过网络前向传播计算出来的得分；a_k表示类别k经网络前向传播计算出来的得分，k取值1～T，表示包含所有类别；S_j表示类别j经过Softmax函数后换算得到的概率；

RoIAlign目标区域对齐算法，经过RPN网络后，获取了不同大小、形状的候选框，RoIAlign算法通过双线性插值在像素点之间进行插值，对插值后的图像进行最大池化操作，得到最终的固定尺寸的特征图；

获取特征图后，对特征图进行处理，通过分类网络获取检测目标的类别信息和边界框信息，通过轮廓预测网络获取检测目标的轮廓信息；分类网络通过两层1*1*1024的卷积层，经过全连接层和Softmax处理得到类别概率矩阵，采取非极大值抑制操作，获取预测概率最高的类别作为预测类别；预测边界框操作一致，全连接层进行替换，改为对边界框的长宽和位置四个参数(w，h，x，y)进行预测；轮廓预测网络通过FCN全卷积网络，对每一个候选框进行语义分割，对每一个像素进行前景和背景的区分，获取准确的对象轮廓，实现分割操作。

5.根据权利要求3所述的方法，其特征在于，所述步骤S26，所述导入训练集、验证集，通过深度卷积神经网络从数据集自动获取图像特征信息，采用验证集来调整模型训练的超参数，具体为：

设置模型训练迭代次数epochs和每一代需要读取的图像数量STEP_PER_EPOCH，即每一代训练前，从数据增强过后的训练集中随机选取STEP_PER_EPOCH个训练对象，输入网络，训练完成后更新模型参数，计算损失函数Loss：

Loss＝L_{rpn_cls}+L_{rpn_bls}+L_{cnn_cls}+L_{cnn_bls}+L_mask

其中L_{rpn_cls}表示RPN网络分类损失，L_{rpn_bls}表示RPN网络边界框回归损失，L_{cnn_cls}表示Mask R-CNN网络分类损失，L_{cnn_bls}表示Mask R-CNN网络边界回归框损失，L_mask表示MaskR-CNN网络轮廓分割损失；每一种损失通过交叉熵损失函数来进行计算，其中交叉熵损失函数定义如下：

其中t_ki为样本k属于类别i的概率，y_ki是模型对样本k预测为属于类别i的概率，n为样本总数，C为类别总数；

获取损失后，通过SGD算法不断更新模型参数，即在数据集中随机选择一个点，进行梯度下降算法，直至收敛，完成模型的训练；其中梯度下降算法定义如下：

其中θ为网络参数，α为学习率，θ_j为更新选取的单个网络参数。

6.根据权利要求1所述的方法，其特征在于，所述步骤S3，具体包括以下步骤：

S31，取特定类型的hRPE细胞形成集合S，集合S中包含每个细胞的位置信息(x_s，y_s)，由预测边界框信息(w，h，x，y)中得到(x₁，y₁)，其中(x₁，y₁)为边界框相对于图像原点的偏移量，所述图像原点坐标为(x₀，y₀)，则有每个细胞的位置信息为：

x_s＝x₀+x₁

y_s＝y₀+y₁

S32，获取当前显微镜位置，设为(x_m，y_m)，遍历集合S中的所有细胞，计算与当前显微镜位置的欧式距离的平方d²：

d²＝(x_s-x_m)²+(y_s-y_m)²

以d²作为距离的表示，每次找集合S中距离显微镜当前距离最近的细胞，即d²最小，以此来保证能尽快移动到下一个细胞位置进行拍摄，使得在有限的单次实验时间内能拍摄尽可能多的细胞，得到规划的细胞拍摄顺序；

S33，由细胞的轮廓信息，调节细胞拍摄的位置：固定拍摄视野大小(W，H)，若拍摄视野大小严格大于细胞边界框大小(w，h)，即W≥w且H≥h，则以边界框中心作为拍摄视野中心，拍摄视野能完整覆盖细胞；若拍摄视野并不能完全覆盖边界框，即W＜w和/或H＜h，则调整拍摄框位置，使其拍摄视野中包含尽量更多的细胞体部分；

其中轮廓信息，以大小为w*h的二维矩阵M存储，细胞存在部分矩阵M存储1，背景部分矩阵M存储0；对矩阵M作卷积核大小为W*H，全为1的一次卷积操作，取一次卷积结果中最大的数值，其对应的位置即为包含细胞胞体最多的位置，作为拍摄位置进行拍摄；其中卷积公式为：

(0≤j≤W+w-1，0≤k≤H+h-1)

其中M为轮廓信息，K为卷积核，C为卷积结果，卷积时边界部分用0补足；

S34，细胞拍摄结束或实验时间过长，药剂失效，结束拍摄。

Images