CN115984202A - 一种斑马鱼心血管功能智能识别与评价方法 - Google Patents

Abstract

本发明公开了一种斑马鱼心血管功能智能识别与评价方法，所述方法通过拍摄斑马鱼显微镜下图像，预处理后输入训练好的斑马鱼识别分类模型，过滤掉不利于观测的斑马鱼图像，再通过斑马鱼细胞、组织分割模型得到细胞或组织的分割结果，经过细胞追踪算法与波形分析得到血细胞流速、心率、射血分数的信息数据，以评估心血管功能并将其可视化。所述方法能够提升斑马鱼实验数据分析处理的效率，自动从实验获取的大量图像中筛选合适的图像数据并分析得到具有研究价值的评估心血管功能的信息数据，减少人工操作，处理流程简单，需要调整的参数相对较少，为斑马鱼相关研究以及复杂心血管疾病药物的研发提供有力的技术支持。

Description

一种斑马鱼心血管功能智能识别与评价方法

技术领域

本发明涉及图像处理领域，具体为一种斑马鱼心血管功能智能识别与评价方法。

背景技术

斑马鱼作为小型模式生物，其具有体积小、基因组成与人类相近、幼鱼身体光学透明便于观察、快速生长繁殖优点，被广泛应用于生物医学研究实验。显微镜技术进步使研究人员能够获得大量斑马鱼显微图像，通过分析这些显微图像，可以获取心率、射血分数与血流细胞流速的信息数据以用于评估心血管功能，从而评估药物效果、进行基因遗传学分析或心血管疾病研究。

然而，由于在录制活体斑马鱼图像过程中，往往会出现图像中斑马鱼位姿扭曲畸形、斑马鱼所处位姿无法清晰地观察到指定器官组织、斑马鱼被杂物遮挡等情况，人工整理筛选出便于分析的斑马鱼图像相当繁琐费时。计算血流细胞流速时，人工地追踪连续多帧上多个细胞，效率低。现有的多目标自动追踪方法大多可以分成三个步骤，获取检测结果，提取检测目标外观特征或运动特征，根据特征匹配前后两帧检测到的目标。检测的效果对追踪结果影响很大，现有的检测方案大多基于诸如YOLO、Fast R-CNN等深度学习目标检测模型或是传统的二值化方法，然而由于获取的斑马鱼图像存在细胞粘连、分辨率低、背景噪声，明暗变化的现象，检测往往存在较大误差。YOLO、Fast R-CNN深度学习目标检测模型训练还需要大量的标注好的图像数据，实验成本较大。计算心率、射血分数时，现有的方法通常是对斑马鱼心脏荧光图像设定动态或静态阈值二值化处理提取分割心脏区域，获取心脏面积，通过每一帧与初始帧的差值查找波峰波谷，这种方法在图片分辨率低、明暗变化、其他组织部位微弱荧光干扰的情况下效果相对较差。而且在计算心率和射血分数时，由于心脏面积波形存在毛刺以及噪声，帧差法查找波峰波谷准确性相对较差。

因此，亟待开发一种智能化、自动化的斑马鱼心血管功能识别与评价方法，用于斑马鱼的相关实验研究。

发明内容

本发明的目的在于提升从斑马鱼图像中分析计算斑马鱼心率、射血分数、血流细胞流速的数据处理流程的自动化、智能化程度，以更好地评估斑马鱼心血管功能，为斑马鱼相关研究以及复杂心血管疾病药物的研发提供有力的技术支持。

为了实现上述目的，本发明采用的技术方案为：

一种斑马鱼心血管功能智能识别与评价方法，包括：对红细胞荧光斑马鱼视频、心脏荧光斑马鱼视频的每一帧图像进行预处理，然后分别利用构建的斑马鱼图像识别分类模型筛选出适合姿态的细胞荧光时序图像和心脏荧光时序图像；将筛选的时序图像进行预处理，利用构建的斑马鱼图像细胞/心脏分割模型分别对细胞荧光时序图像中的细胞、心脏荧光时序图像的心脏进行分割；然后：对分割出的细胞进行细胞跟踪，统计每个细胞的轨迹信息后计算细胞在血液中的流速；对分割出的心脏计算心脏区域的面积，绘制心脏面积随时间变化波形图，获取射血分数，心率数据；最后输出细胞流速、心率、射血分数的信息数据，以评估心血管功能。

作为优选，构建所述斑马鱼图像识别分类模型时，包括如下步骤：

(A-1)分别采集细胞荧光斑马鱼图像/心脏荧光斑马鱼图像，对图像进行调整尺寸和数据增强，完成图像的预处理；

(A-2)对预处理后的图像，进行人工分类，以带有分类信息的图像作为数据集对斑马鱼图像识别分类模型进行训练，获得斑马鱼图像识别分类模型以对细胞荧光斑马鱼图像、心脏荧光斑马鱼图像进行分类。

作为优选，进行分类时，按照侧向位姿、腹向位姿、背向位姿、视野没有斑马鱼、斑马鱼位姿扭曲畸形分类。也可以根据需要增加或者删除分类。以满足各种计算和评估的需要。

作为优选，所述斑马鱼图像识别分类模型采用resnet50神经网络模型；训练过程中，使用随机梯度下降法作为模型训练的优化器，采用交叉熵损失函数作为损失函数；由imagenet数据集上训练好的模型初始化模型参数作为resnet50神经网络模型的初始化模型参数。

作为优选，构建所述斑马鱼图像细胞/心脏分割模型时，包括如下步骤：

(B-1)对利用斑马鱼图像识别分类模型筛选出来的细胞荧光时序图像/心脏荧光时序图像，分别进行调整大小和数据增强，完成图像的预处理；

(B-2)对预处理后的图像中的感兴趣区域进行标注，得到掩膜，以图像和对应的掩模作为数据集，对分割模型进行训练，分别获得用于细胞荧光斑马鱼图像、心脏荧光斑马鱼图像进行细胞分割和心脏分割的斑马鱼图像细胞分割模型和斑马鱼图像心脏分割模型。

作为优选，所述分割模型采用unet分割模型；训练时使用Adam优化器优化模型参数，采用dice损失函数作为损失函数。

实际识别与评价时，可以利用相机录制斑马鱼显微图像，传输至计算机中并存储；然后转化为多帧图像，进一步预处理后进行所述的斑马鱼心血管功能智能识别与评价。

作为优选，对分割出的细胞进行细胞跟踪，统计每个细胞的轨迹信息后计算细胞流速的具体步骤如下：

(C-1)对所述斑马鱼图像细胞/心脏分割模型输出的图像进行形态学开运算和形态学腐蚀操作，得相互分离的细胞区域；

(C-2)提取细胞区域的轮廓，计算轮廓的包围盒，作为各帧图像中细胞的包围盒；

(C-3)利用卡尔曼滤波器和匈牙利匹配算法完成每个细胞的匹配跟踪，获得每个细胞的运动轨迹；

(C-4)根据细胞运动轨迹，计算每个被追踪的细胞在被追踪期间的平均移动速度，进而获得细胞流速。

作为优选，步骤(C-3)中：

(I)针对某一目标细胞，根据该细胞上一帧的状态，利用卡尔曼滤波器预估获取该目标细胞在当前帧的预测包围盒；

(II)计算预测包围盒和当前帧实际检测到的包围盒的交并比，构建分配代价矩阵，将分配代价矩阵输入匈牙利匹配算法，获取匹配结果，更新轨迹：(i)若存在实际检测到的包围盒与预测包围盒相匹配，则以该实际检测到的包围盒信息更新目标细胞的状态；(ii)若在设定时间内都没有检测到细胞包围盒与预测包围盒匹配，则不再追踪；(iii)如果某个检测得到的细胞包围盒和所有现有的目标的交并比都小于设定值，建立一个新的追踪目标。

作为优选，对分割出的心脏区域计算心脏区域的面积，绘制心脏面积随时间变化波形图，获取射血分数，心率数据时，包括如下步骤：

(D-1)针对分割出的心脏区域，提取斑马鱼心脏轮廓，计算每一帧斑马鱼心脏区域的面积；

(D-2)绘制心脏面积随时间变化的折线图；

(D-3)使用自动多尺度峰值查找算法查找折线图上波峰和波谷；

(D-4)根据波峰和波谷的个数计算得到心率；根据波峰值与波谷值计算射血分数。

作为优选，所述适合姿态的细胞荧光图像和心脏荧光图像为斑马鱼侧向位姿的图像。

作为另一种实施方案，一种斑马鱼心血管功能智能识别与评价方法，该方法包括如下步骤：

(1)相机录制斑马鱼显微图像，传输至计算机并存储。

(2)对采集到的图像进行图像预处理，构建斑马鱼图像识别分类数据集，训练resnet50斑马鱼图像识别分类卷积神经网络。

(3)使用步骤(2)训练好的斑马鱼图像识别分类模型从实验获取到的大量斑马鱼图像中筛选出便于后续分割处理的斑马鱼时序图像(包括细胞荧光时序图像和心脏荧光时序图像)。

(4)对步骤(3)中筛选得到的斑马鱼时序图像进行图像预处理，构建斑马鱼细胞分割数据集与心脏分割数据集，分别训练对应的unet语义分割卷积神经网络(unet分割模型)。

(5)对斑马鱼的血流中细胞荧光视频数据(细胞荧光时序图像)的每一帧，使用步骤(4)中训练好的unet模型分割图像中的细胞区域，并计算每个细胞的检测包围盒。将每一帧检测到的细胞包围盒信息输入细胞追踪器，进行细胞追踪，统计每个细胞的轨迹信息后计算细胞流速。

(6)对斑马鱼心脏荧光视频(心脏荧光时序图像)的每一帧，使用(4)中训练好的unet分割模型分割图像中的心脏区域，并计算心脏区域的面积，绘制心脏面积随时间变化波形图。通过自动多尺度峰值查找算法统计心脏面积的波峰波谷，分析得到射血分数，心率数据。

(7)输出血细胞流速、心率、射血分数的信息数据，以评估心血管功能。

进一步地，步骤(1)中由显微镜相机拍摄斑马鱼的荧光图像，通过usb传输图像数据。作为原始的斑马鱼图像数据被存储到数据库中。拍摄的斑马鱼品系根据所需要获取的评估心血管功能的数据类型决定，如果需要获取心率和射血分数，则选择心脏特异性荧光斑马鱼，如果需要获取血流细胞的流速，则选择血液中细胞带荧光的斑马鱼(一般选择红细胞特异性荧光斑马鱼)。

进一步地，步骤2由以下具体步骤组成：

(21)将采集到的图像尺寸调整为224×224×3，对图像添加随机裁剪、随机旋转、随机翻转、随机明暗度调节、标准化等变换来对图像数据集进行数据增强；

(22)将预处理好的斑马鱼显微图像按照侧向位姿、腹向位姿、背向位姿、视野没有斑马鱼、斑马鱼位姿扭曲畸形分类，采取5折交叉验证(可以根据训练结果调整比例)划分测试集与训练集，每次迭代按顺序选取一份作为测试集，剩下作为训练集。另外随机抽取数张斑马鱼图像作为验证集测试模型的准确性；

(23)对模型进行迁移学习。设置模型优化器为SGD(随机梯度下降法)，batch size为4(可以根据训练结果调整)，迭代次数为25次(可以根据训练结果调整)，损失函数为交叉熵损失函数，其计算公式为：

其中M代表类别的数量，y_ic代表符号函数，如果样本i的真实类别等于c取1，否则取0，p_ic代表样本i属于类别c的预测概率。模型训练时，会对模型迁移学习，使用大规模的数据集imagenet上训练好的模型参数作为特征提取器，冻结除全连接层以外的模型权重，对全连接层参数进行训练。根据模型训练的结果，也可以选择不冻结除全连接层以外的模型权重，对所有参数进行优化训练。

进一步地，步骤(2)中训练的resnet50斑马鱼图像识别分类卷积神经网络，其网络结构由7个部分组成。第1个部分有卷积层(卷积核尺寸7×7)、批量归一化层、relu激活函数层、最大池化层(卷积核尺寸3×3)组成，第2、3、4、5个部分由残差块组成，分别包含3、4、6、3个残差块，残差块是一种将几层网络(在这里几层网络指2个1×1卷积层、2个批量归一化层、2个Relu激活函数层、1个3×3卷积层)前的输入与几层网络后的输出结果相加再通过Relu激活函数输出的神经网络结构，可以防止梯度消失与模型退化，每个残差块根据输入与输出的尺寸结构略有变化，如果输入输出的第三个维度相等，那么将几层网络前输入与几层网络后的输出直接相加，否则将几层网络前的原输入做卷积(卷积核尺寸为1×1)、批量归一化后与几层网络后的结果相加。经过前五部分的计算，输出尺寸为7×7×2048，第6部分平均池化层将其转化成一个特征向量，最后的第7部分为全连接层与softmax层，输出得到各个图像分类的概率。

进一步地，步骤(3)中使用斑马鱼图像识别分类模型筛选便于分割的斑马鱼图像时，将原始的采集图像输入训练好的分类模型，得到图像分类的概率分布，选择概率最大的分类作为图像的分类，斑马鱼的图像分类包括侧向位姿、腹向位姿、背向位姿、视野内无斑马鱼、斑马鱼位姿扭曲畸形等情况。根据后续要分割的组织部位，选择对应的位姿图像。评估心血管功能时，选取侧向位姿斑马鱼图像，这个位姿斑马鱼的心脏与血管相对清晰易见，便于分割处理。

进一步地，步骤(4)由以下具体步骤组成：

(41)对要分割的斑马鱼图像，将图像转换为灰度图像，调整图像尺寸为512×512。需要用于训练斑马鱼心脏分割或者血细胞分割模型的图像数据，还需要添加随机明暗度调整、随机噪点等变换来增强数据提升模型泛化能力。训练集、测试集、验证集的划分与训练斑马鱼检测分类模型时处理方法相同。

(42)通过标注软件将感兴趣的区域(细胞或者心脏)标注其轮廓得到掩膜(一种图像，像素属于分割区域则像素值为1，反之为0)。按照4:1:1比例划分训练集、测试集与验证集(可根据训练效果调整)。

(43)训练斑马鱼细胞分割模型和心脏分割模型。选取dice损失函数作为损失函数，其计算公式为：

其中pred为预测值的集合，true为真实值的集合。训练时设置batch size为2(可以根据训练结果调整)，迭代次数为30次(可以根据训练结果调整)，模型优化器为adam(可以根据训练结果调整)，模型参数初始化方法为随机初始化或者使用现有的unet分割模型参数做初始化。

进一步地，步骤(4)中训练的unet语义分割卷积神经网络，输入经过筛选、预处理后的斑马鱼图像，输出斑马鱼细胞、组织或器官的分割结果。所述unet神经网络为编码器-解码器的对称结构，网络的左侧为编码器，由4个下采样操作组成，下采样操作由2次卷积(卷积核尺寸3×3，每次卷积后会通过批量归一化层与Relu激活函数层)、最大池化(卷积核尺寸2×2)操作组成，网络右侧部分为解码器，由4个上采样操作组成，上采样由2次卷积(卷积核尺寸3×3)、上卷积(卷积核尺寸2×2)操作组成，图像经过编码器得到1024维的特征向量，在解码器阶段每次上采样还会将对称的下采样阶段生成的特征图跨级拼接到生成的特征图上。

进一步地，步骤(5)包括以下具体步骤：

(51)对被分割过的斑马鱼血流红细胞荧光视频的每帧图像进行形态学开运算(先腐蚀运算，再膨胀运算)，以减少背景噪点被错误分割为细胞被追踪的情况；再对图像进行形态学腐蚀操作，分离粘连的细胞。

(52)提取分割细胞的轮廓，计算轮廓的包围盒，作为目标检测结果输入预测模块，预测模块基于卡尔曼滤波器，其状态向量为一个7维向量：

其中u和v分别代表目标中心的水平和垂直像素位置，而s和r分别代表目标细胞包围盒的尺寸和长宽比(长宽比为常数)

(53)用卡尔曼滤波器预测每个目标在当前帧中的新位置，估计其边界框形状，然后进行数据关联。由每个当前实际检测到的包围盒与现有目标的预测包围盒之间的交并比(IoU)计算分配代价矩阵(计算方式为1-IoU)，通过匈牙利匹配算法匹配目标与当前实际检测到的包围盒。如果目标与检测到的细胞包围盒相匹配，更新该目标在卡尔曼滤波器中的观测状态以及对应的轨迹信息。如果某个检测得到的细胞包围盒和所有现有的目标的IoU都很小(也就是小于IoU_min)，那么会基于它建立一个新的追踪目标。如果一个被跟踪的目标在一定时间内都没有检测到细胞包围盒与其匹配，则将其视作从视野中消失，不再追踪。在图像上绘制记录的细胞运动轨迹。

(54)根据追踪轨迹，计算每个被追踪的细胞在被追踪期间的平均移动速度。其计算公式为：

其中s为追踪细胞的起始帧到终帧的移动距离，fps为视频录制帧率，N为追踪帧数。

进一步地，步骤6包括以下具体步骤：

(61)二值化分割结果，提取分割得到的斑马鱼心脏轮廓，计算每一帧斑马鱼心脏区域的面积，存储到本地。

(62)绘制心脏面积随时间变化的折线图。

(63)通过自动多尺度峰值查找算法(AMPD)计算波峰，将波形乘以-1，同样使用自动多尺度峰值查找算法计算波谷。

(64)计算1分钟内的波谷个数得到心率。计算射血分数EF时，根据以下公式：

其中，EDV为心室舒张末期容积，ESV为心室心缩末期容积，由于二维视频不能测量心室容积，研究人员通常使用面积作为估计值(也就是步骤3中计算得到波峰值与波谷值)。

本发明的有益效果是：针对采集到的斑马鱼图像中有大量的不适合分割的图像的情况，训练斑马鱼图像分类卷积神经网络用于自动图像筛选，提升了实验数据处理的效率，减少了人工操作，处理流程简单；在计算斑马鱼血液中细胞流速过程中，现有的细胞追踪方案中往往会选择YOLO、Fast R-CNN一类的目标检测卷积神经网络或者二值化算法来检测细胞，在斑马鱼图像细胞粘连、分辨率低、背景噪声，明暗变化的情况下检测精度相对较差，目标检测神经网络还需要大量的数据样本以供训练。本发明通过Unet语义分割网络对图像分割后，经过形态学操作进一步分离粘连细胞，消除微粒干扰，提取细胞轮廓从而获取细胞检测的包围盒，Unet网络可以在小数据集上训练，减少了前期收集训练用的斑马鱼图像数据的工作量，也能在低质量图像上保持相对良好的检测精度；在计算心率、射血分数时，通过Unet语义分割网络分割心脏区域求面积，相比于传统的设定阈值二值化图像求心脏面积的方法，分割更精准。通过自动多尺度峰值查找算法查找心脏面积波峰波谷计算心率与射血分数，避免波形毛刺噪声对精度造成影响。本发明提出的方法通过深度学习分类分割模型结合以细胞追踪算法与波形分析算法得到血细胞流速、心率、射血分数的信息数据，以自动化、智能化地评估心血管功能，为斑马鱼相关研究以及复杂心血管疾病药物的研发提供有力的技术支持。

附图说明

图1为本发明所述斑马鱼心血管功能智能识别与评价方法流程图；

图2为本发明所述斑马鱼检测分类卷积神经网络的结构图；

图3为本发明所述斑马鱼图像分割卷积神经网络的结构图。

具体实施方式

为了使本发明目的、技术方案及其技术效果更加清晰，以下结合具体实施例，对本发明进行进一步详细说明。应当理解的是，本说明书中描述的具体实施例仅仅是为了解释本发明，而非为了限定本发明。

本发明斑马鱼心血管功能智能识别与评价方法，通过拍摄斑马鱼显微镜下图像，预处理后输入训练好的斑马鱼识别分类深度学习模型，过滤掉不利于观测的斑马鱼图像(模糊、杂物干扰、畸形与不合适位姿等情况)，再通过斑马鱼细胞、组织分割模型得到细胞或组织的分割结果，经过细胞追踪算法与波形分析得到血细胞流速、心率、射血分数的信息数据，以评估心血管功能并将其可视化。所述方法能够提升斑马鱼实验数据分析处理的效率，自动从实验获取的大量图像中筛选合适的图像数据并分析得到具有研究价值的评估心血管功能的信息数据，减少人工操作，处理流程简单，需要调整的参数相对较少，为斑马鱼相关研究以及复杂心血管疾病药物的研发提供有力的技术支持。

本发明所述斑马鱼心血管功能智能识别与评价方法的流程图如附图1所示，在本实施例中，该方法具体的步骤为：

(1)所述系统的图像采集模块通过显微镜相机拍摄斑马鱼荧光图像(斑马鱼品系为Tg(LCR:EGFP)或TgBAC(-36nkx2.5:ZsYellow)，前者为红细胞荧光斑马鱼用于计算细胞在血液中流速，后者为心脏前体细胞荧光斑马鱼用于计算心脏面积)，传输图像数据到计算机以png格式存储到数据库。

(2)对步骤(1)中得到的图像数据进行预处理，并构建斑马鱼图像分类数据集，训练斑马鱼图像识别分类模型。在本实施例中，步骤(1)得到的图像为RGB三通道，分辨率为2048×1536。将图像尺寸调整为224×224×3。对图像添加随机旋转(0-10度)、随机翻转、随机明暗度调节(0-0.1)、标准化等变换来对图像数据集进行数据增强。选择约200张处理后的图像，将图像按照侧向位姿、腹向位姿、背向位姿、视野没有斑马鱼、斑马鱼位姿扭曲畸形分类。在pytorch框架中搭建resnet50斑马鱼图像分类卷积神经网络(斑马鱼图像识别分类模型)，训练时设置模型优化器为SGD(随机梯度下降法)，batch size为4，迭代次数为25次，学习率为0.001，损失函数为交叉熵损失函数，其计算公式为：

其中M代表类别的数量，N代表样本数，y_ic代表符号函数，如果样本i的真实类别等于c取1，否则取0，p_ic代表样本i属于类别c的预测概率。

(3)用训练好的斑马鱼图像识别分类模型判断图像是否合适，分析斑马鱼血流细胞或者心脏时，选择侧向位姿的斑马鱼图像存入数据库进行分割处理。

(4)用筛选后的图像训练斑马鱼图像分割unet分割模型。选取60张左右侧向位姿的斑马鱼图像，将图像调整为灰度图像，将图像尺寸调整为512×512×1，对图像添加随机明暗度调整(0-0.1)、随机对比度(0-0.1)的变换来增强数据提升模型泛化能力。在labelme标注软件上将感兴趣的区域(细胞或者心脏)标注其轮廓得到掩膜(一种图像，像素属于分割区域则像素值为1，反之为0)。按照4:1:1比例划分训练集、测试集与验证集。训练时设置模型优化器为Adam优化器，batch size为2，迭代次数为30次，学习率为0.001，损失函数为dice损失函数，其计算公式为：

其中pred为预测值的集合，true为真实值的集合。训练时设置batch size为2(可以根据训练结果调整)，模型参数初始化方法为随机初始化。

通过步骤(4)可以分别得到用于细胞分割的斑马鱼图像细胞分割模型(unet细胞分割模型)；已经用于心脏分割的斑马鱼图像心脏分割模型(unet心脏分割模型)。

(5)使用步骤(4)训练好的细胞分割模型，对于红细胞荧光斑马鱼视频中的每一帧进行分割，分割后再跟踪细胞，统计红细胞在血流中的流速。其具体步骤为：

(51)按照模型训练阶段相同的方法对图像进行灰度处理和尺寸调整，将处理后的图像输入训练好的unet细胞分割模型，对输出结果进行开运算(操作框尺寸3×3)，消去微小颗粒噪点，再进行腐蚀操作(卷积核尺寸3×3)，防止细胞粘连。

(52)提取分割细胞的轮廓，得到轮廓的包围盒，作为目标检测结果输入卡尔曼滤波器，其状态向量为一个7维向量：

其中u和v分别代表目标中心的水平和垂直像素位置，而s和r分别代表目标细胞包围盒的尺寸和长宽比(长宽比为常数)。

(53)用卡尔曼滤波器预测每个目标在当前帧中的新位置，估计其边界框形状，然后进行数据关联。由每个当前实际检测到的包围盒与现有目标细胞的预测包围盒之间的交并比(IoU)计算分配代价矩阵(计算方式为1-IoU)，通过匈牙利匹配算法匹配目标包围盒与当前实际检测到的包围盒。如果目标包围盒与检测到的细胞包围盒相匹配，更新该目标在卡尔曼滤波器中目标细胞的观测状态以及对应的轨迹信息。如果某个检测得到的细胞包围盒和所有现有的目标细胞包围盒的IoU都很小(也就是小于IoU_min，本实施例设定IoU_min＝0.2)，那么会基于它建立一个新的追踪目标。如果一个被跟踪的目标细胞在一定时间内(本实施例为2帧)都没有检测到细胞包围盒与其匹配，则将其视作从视野中消失，不再追踪。将记录的细胞运动轨迹在图像上绘制。

(54)根据追踪轨迹，计算每个被追踪的细胞在被追踪期间的平均移动速度。其计算公式为：

其中s为追踪细胞的起始帧到终帧的移动距离，fps为视频录制帧率，N为追踪帧数。

(6)使用步骤(4)训练好的unet心脏分割模型，对于心脏荧光斑马鱼视频中的每一帧进行分割，得到心脏面积波形，对波形分析得到心率与射血分数以评估心血管功能。其具体步骤为：

(61)提取unet模型分割得到的斑马鱼心脏轮廓，计算每一帧斑马鱼心脏区域的面积，存储到本地的csv文件中。

(62)读取csv数据，绘制心脏面积随时间变化的波形图。通过自动多尺度峰值查找算法(AMPD)计算波峰，将波形乘以-1，同样使用自动多尺度峰值查找算法计算波谷。

(63)计算1分钟内的波谷个数得到心率。计算射血分数时，根据以下公式：

其中，EDV为心室舒张末期容积，ESV为心室心缩末期容积，由于二维视频不能测量心室容积，研究人员通常使用面积作为估计值(也就是步骤3中计算得到波峰值与波谷值)

(7)输出计算得到血流红细胞流速、射血分数、心率数据。

在本实施例中，斑马鱼图像分类resnet50模型结构如附图2所示，由7个部分组成：第1个部分由卷积层(卷积核尺寸7×7)、批量归一化层、relu激活函数层、最大池化层(卷积核尺寸3×3)组成，第2、3、4、5个部分由残差块组成，分别包含3、4、6、3个残差块，残差块是一种将几层网络(在这里几层网络指2个1×1卷积层、2个批量归一化层、2个Relu激活函数层、1个3×3卷积层)前的输入与几层网络后的输出结果相加再通过Relu激活函数输出的神经网络结构，可以防止梯度消失与模型退化，每个残差块根据输入与输出的尺寸结构略有变化，如果输入输出的第三个维度相等，那么将几层网络前输入与几层网络后的输出直接相加，否则将几层网络前的原输入做卷积(卷积核尺寸为1×1)、批量归一化后与几层网络后的结果相加。经过前五部分的计算，输出尺寸为7×7×2048，第6部分平均池化层将其转化成一个特征向量，最后的第7部分为全连接层与softmax层，输出得到各个图像分类的概率。

在本实施例中，用于斑马鱼图像分割的unet语义分割卷积神经网络，其结构如附图3所示。在本实施例中，给该网络输入预处理后的斑马鱼图像为512×512的灰度图像，最终得到分割掩膜图像(要分割的区域像素值为1，反之为0的图像)。unet神经网络为编码器-解码器的对称结构，网络的左侧为编码器，由4个下采样操作组成，下采样操作由2次卷积(卷积核尺寸3×3，每次卷积后会通过批量归一化层与Relu激活函数层)、最大池化(卷积核尺寸2×2)操作组成，网络右侧部分为解码器，由4个上采样操作组成，上采样由2次卷积(卷积核尺寸3×3)、上卷积(卷积核尺寸2×2)操作组成，图像经过编码器得到1024维的特征向量，在解码器阶段每次上采样还会将对称的下采样阶段生成的特征图跨级拼接到生成的特征图上。

上述实施例为本发明的较佳实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (10)

1.一种斑马鱼心血管功能智能识别与评价方法，其特征在于，包括：对细胞荧光斑马鱼视频、心脏荧光斑马鱼视频的每一帧图像进行预处理，然后分别利用构建的斑马鱼图像识别分类模型筛选出适合姿态的细胞荧光时序图像和心脏荧光时序图像；将筛选的时序图像进行预处理，利用构建的斑马鱼图像细胞/心脏分割模型分别对细胞荧光时序图像中的细胞、心脏荧光时序图像的心脏进行分割；然后：对分割出的细胞进行细胞跟踪，统计每个细胞的轨迹信息后计算细胞在血液中的流速；对分割出的心脏计算心脏区域的面积，绘制心脏面积随时间变化波形图，获取射血分数，心率数据；最后输出细胞流速、心率、射血分数的信息数据，以评估心血管功能。

2.根据权利要求1所述的斑马鱼心血管功能智能识别与评价方法，其特征在于，构建所述斑马鱼图像识别分类模型时，包括如下步骤：

(A-1)分别采集细胞荧光斑马鱼图像/心脏荧光斑马鱼图像，对图像进行调整尺寸和数据增强，完成图像的预处理；

(A-2)对预处理后的图像，进行人工分类，以带有分类信息的图像作为数据集对分类模型进行训练，分别获得用于细胞荧光斑马鱼图像、心脏荧光斑马鱼图像进行分类的斑马鱼图像识别分类模型。

3.根据权利要求2所述的斑马鱼心血管功能智能识别与评价方法，其特征在于，所述斑马鱼图像识别分类模型采用resnet50神经网络模型；训练过程中，使用随机梯度下降法作为模型训练的优化器，采用交叉熵损失函数作为损失函数；由imagenet数据集上训练好的模型初始化模型参数作为resnet50神经网络模型的初始化模型参数。

4.根据权利要求1所述的斑马鱼心血管功能智能识别与评价方法，其特征在于，构建所述斑马鱼图像细胞/心脏分割模型时，包括如下步骤：

(B-1)对利用斑马鱼图像识别分类模型筛选出来的细胞荧光时序图像/心脏荧光时序图像，分别进行调整大小和数据增强，完成图像的预处理；

(B-2)对预处理后的图像中的感兴趣区域进行标注，得到掩膜，以图像和对应的掩模作为数据集，对分割模型进行训练，分别获得用于细胞荧光斑马鱼图像、心脏荧光斑马鱼图像进行细胞分割和心脏分割的斑马鱼图像细胞分割模型和斑马鱼图像心脏分割模型。

5.根据权利要求4所述的斑马鱼心血管功能智能识别与评价方法，其特征在于，所述斑马鱼图像细胞/心脏分割模型采用unet分割模型；训练时使用Adam优化器优化模型参数，采用dice损失函数作为损失函数。

6.根据权利要求1所述的斑马鱼心血管功能智能识别与评价方法，其特征在于，对分割出的细胞进行细胞跟踪，统计每个细胞的轨迹信息后计算细胞在血液中的流速的具体步骤如下：

(C-1)对所述斑马鱼图像细胞分割模型输出的图像进行形态学开运算和形态学腐蚀操作，消除图像上微小噪点，分离粘连的细胞；

(C-2)提取细胞区域的轮廓，计算轮廓的包围盒，作为各帧图像中细胞的包围盒；

(C-3)基于卡尔曼滤波器和匈牙利匹配算法完成每个细胞的匹配跟踪，获得每个细胞的运动轨迹；

(C-4)根据运动轨迹，计算每个被追踪的细胞在被追踪期间的平均移动速度，进而获得细胞流速。

7.根据权利要求6所述的斑马鱼心血管功能智能识别与评价方法，其特征在于，步骤(C-3)中：

(I)针对某一目标细胞，根据该细胞上一帧的状态，利用卡尔曼滤波器预估获取该目标细胞在当前帧的预测包围盒；

(II)计算预测包围盒和当前帧实际检测到的包围盒的交并比，构建分配代价矩阵，将分配代价矩阵输入匈牙利匹配算法，获取匹配结果，更新轨迹：(i)若存在实际检测到的包围盒与预测包围盒相匹配，则以该实际检测到的包围盒信息更新目标细胞的状态；(ii)若在设定时间内都没有检测到细胞包围盒与预测包围盒匹配，则不再追踪；(iii)如果某个检测得到的细胞包围盒和所有现有的目标的交并比都小于设定值，建立一个新的追踪目标。

8.根据权利要求1所述的斑马鱼心血管功能智能识别与评价方法，其特征在于，对分割出的心脏区域计算心脏区域的面积，绘制心脏面积随时间变化波形图，获取射血分数，心率数据时，包括如下步骤：

(D-1)针对分割出的心脏区域，提取斑马鱼心脏轮廓，计算每一帧斑马鱼心脏区域的面积；

(D-2)绘制心脏面积随时间变化的折线图；

(D-3)使用自动多尺度峰值查找算法查找折线图上波峰和波谷；

(D-4)根据波峰和波谷的个数计算得到心率；根据波峰值与波谷值计算射血分数。

9.根据权利要求1或2所述的斑马鱼心血管功能智能识别与评价方法，其特征在于，所述适合姿态的细胞荧光图像和心脏荧光图像为斑马鱼侧向位姿的图像。

10.根据权利要求1所述的斑马鱼心血管功能智能识别与评价方法，其特征在于，包括如下步骤：

(1)相机录制斑马鱼显微图像，传输至计算机并存储；

(2)对采集到的图像进行图像预处理；

(3)使用训练好的斑马鱼图像识别分类模型从预处理后的大量斑马鱼图像中筛选出侧向位姿的细胞荧光时序图像和心脏荧光时序图像；

(4)细胞荧光时序图像和心脏荧光时序图像进行图像预处理；

(5)对斑马鱼的细胞荧光时序图像的每一帧，使用训练好的unet分割模型分割图像中的细胞区域，获得每个细胞的检测包围盒；将每一帧检测到的细胞包围盒信息输入由卡尔曼滤波器和匈牙利匹配算法组成的细胞追踪器，进行细胞追踪，统计每个细胞的轨迹信息后计算细胞流速；

(6)对心脏荧光时序图像的每一帧，使用训练好的unet分割模型分割图像中的心脏区域，并计算心脏区域的面积，绘制心脏面积随时间变化波形图，通过自动多尺度峰值查找算法统计心脏面积的波峰波谷，分析得到射血分数，心率数据；

(7)输出血细胞流速、心率、射血分数的信息数据，以评估心血管功能。

Images