CN112150415A

CN112150415A - 基于深度学习的多目标精子实时监测方法

Info

Publication number: CN112150415A
Application number: CN202010921807.4A
Authority: CN
Inventors: 刘冉; 闫一默; 王卓然; 张博翾; 肖剑
Original assignee: Tsinghua University
Current assignee: Tsinghua University
Priority date: 2020-09-04
Filing date: 2020-09-04
Publication date: 2020-12-29

Abstract

基于深度学习的多目标精子实时监测方法，属于精子检测技术领域。包括以下步骤：(1)获取精子样本的实时图像数据；(2)通过SSD网络模型采样多层精子样本图像的特征图，使用CNN提取特征，分类与回归；(3)将数据传输至KCF跟踪器；(4)对于SSD监测精子目标丢失的部分，使用KCF跟踪器监测处于运动状态的目标，并更新结果；(5)使用卡尔曼滤波器分配跟踪器；(6)根据SSD监测到的位置与卡尔曼滤波器估算目标之间的距离，将该位置与KCF跟踪器匹配，得到多目标精子的实时监测数据。本发明实现了对多个精子的实时监测和跟踪，可用于解决计算机辅助精子分析的“黑匣子”问题及应用于精子包浆注射环节中的精子跟踪提取。

Description

基于深度学习的多目标精子实时监测方法

技术领域

本发明属于精子监测技术领域，涉及一种基于深度学习的多目标精子实时监测方法。

背景技术

人类精液样本携带了各种程度的可及性信息，从传统的计数和运动性视觉测量到需要更多计算方法的信息。人类精液样本中包含了大量有关生殖潜力和总体健康的信息。在显微镜的辅助之下，可以观察到快速移动的精子，除了可以观察到其运动特征外，精子形态学上也时时刻刻会发生微小的变化，从总体特征到对分子染色体的分子损伤。期望通过简单的视觉评估来整合这种复杂性完全是不合理的。尽管计算机辅助精子分析(ComputerAssisted Sperm Analysis，CASA)在辅助生殖实验室使用的越来越普遍，但临床精液分析的金标准要求训练有素的实验室工作人员。并且目前计算机辅助精子分析(CASA)集成到临床诊断领域的方法仍然十分有限，甚至在许多情况下还不存在。主要原因就是围绕“黑匣子”精液分析系统的使用已经引起了人们对其监测精准性的怀疑，但是不将CASA集成到临床分析中，又会丢弃大量潜在生殖健康信息，这些信息均具有广泛诊断影响。

通过CASA系统可实现对精子的相关活力参数的计算，但是准确的活力参数计算依赖于精准的对目标进行监测，目前仍然没有相关技术可以实现精子的实时目标跟踪监测，这也是导致医生不信赖检测数据的主要因素。

公开号为CN104297152A的中国发明申请，公开了一种家用精子检测仪及其检测方法，检测方法具体步骤为：(1)将精子放入检测终端的精子容器中；(2)用移动终端控制检测终端内的视频传感器录制精子的活动状态，制成视频文件，并将其反馈给移动终端；(3)移动终端将视频文件传输给服务器；(4)服务器处理视频文件，得出精子的活力值，并将其反馈给移动终端；(5)移动终端显示出活力值。这样的检测方法属于典型的“黑匣子”分析方法。

公开号为CN109064469A的中国发明申请，公开了一种精子质量检测仪及精子质量检测系统。该精子质量检测仪包括：图像放大装置，图像采集装置、图像处理装置，图像放大装置用于将待检测精液样本放大；图像采集装置用于对放大后的精液样本进行图像采集，生成图像信息并发送至图像处理装置；图像处理装置用于对图像信息进行分析计算，生成计算结果，计算结果包括精子浓度和/或精子活跃度。这样的检测装置也属于典型的“黑匣子”分析装置。

公开号为CN111563550A的中国发明申请，公开了一种基于图像技术的精子形态检测方法和装置。检测方法涉及计算机视觉，具体为：识别待测精液图像中的任意一个独立精子；获取独立精子的关键部位的轮廓；由独立精子的关键部位的轮廓确定独立精子的关键部位的中心坐标；基于待测精液图像与独立精子的关键部位的中心坐标，提取独立精子的轮廓；根据独立精子的轮廓，对独立精子进行形态监测。

整体而言，现有技术主要存在以下缺陷：

(1)目前常规的计算机辅助精子分析系统(CASA)都是通过拍摄精子运动视频后台进行活力参数运算，系统将进行一段时间的计算，输出对应的参数，医生无法直接介入，只能读取结果，这种“黑匣子”式的分析方式，造成医学界对结果的存疑态度。因此急需一种方法可以将监测结果实时呈现给医生，让医生更清晰直观的观测到精子的实际运动状态，并与分析结果对比，使得分析结果更具可信性。

(2)目前主要的精子监测方法都是基于传统的图像处理方式，监测精度较低，监测速度慢，不利于精子多目标实时追踪。

发明内容

本发明的目的是克服上述现有技术的缺陷，提供一种基于深度学习的多目标精子实时监测方法：首次提出精子实时跟踪监测概念，在今后可以整合进入计算机辅助精子分析，更好地得出优质的生殖健康数据；提供了精子多目标监测算法框架。本发明的目的通过以下技术方案实现。

基于深度学习的多目标精子实时监测方法，包括以下步骤：

(1)获取精子样本的实时图像数据。

(2)通过SSD(Single Shot MultiBox Detector)网络模型均匀密集地采样多层精子样本图像的特征图，并使用卷积神经网络(Convolutional Neural Networks,CNN)提取特征，然后进行分类与回归。SSD网络模型是一种基于深度学习的可实现多目标并行检查的目标检测方法，并在小目标检查方面有较好的效果，这种方法可以通过深度学习模型直接获得不同目标的位置。这种方法在使用前需要大量样本来训练深度网络模型，在网络模型经过足够样本的训练后，目标检测会具有较高的准确性并且网络模型对不同环境的具有较好适应性。

(3)SSD网络模型监测到精子后，将数据传输至KCF(Kernelized CorrelationFilters)跟踪器。KCF是一种鉴别式追踪方法，这类方法一般都是在追踪过程中训练一个目标监测器，使用目标监测器去监测下一帧预测位置是否是目标，然后再使用新监测结果去更新训练进而更新目标监测器。而在训练目标监测器时一般选取目标区域为正样本，目标的周围区域为负样本，当然越靠近目标的区域为正样本的可能性越大。KCF算法通过核函数将线性空间的脊回归映射到非线性空间。在非线性空间中，通过解决对偶问题和一些共同的约束，可以通过循环矩阵傅立叶空间的对角化来简化计算，将单通道灰度特征改进为多通道hog特征或其它特征。

(4)对于SSD网络模型监测精子目标丢失的部分，使用KCF跟踪器监测处于运动状态的目标，使监测结果进行跟踪器的自身更新。

(5)使用卡尔曼滤波器(Kalman Filter)基于过去的位置信息估计当前图像帧中的被跟踪目标的位置，并为实现跟踪器的分配提供参考数据。

(6)根据SSD网络模型监测到的位置与卡尔曼滤波器估算目标之间的距离，将该位置与KCF跟踪器进行匹配，得到多目标精子的实时监测数据。

本发明提供的基于深度学习的多目标精子实时监测方法，基于SSD网络模型和KCF跟踪器实现对精子的实时监测及跟踪。SSD用于监测精子，KCF用于跟踪精子。为了提高精子跟踪的跟踪效果，可以使用SSD监测视频的每一帧，并根据监测结果更新KCF跟踪器。由于SSD的误检率非常低，但是依然会存在漏检的问题，对于SSD精子监测中的目标丢失问题，本发明使用KCF跟踪器监测运动目标并使用结果更新自身。另外，为了使SSD监测目标与KCF跟踪器匹配并正确分配跟踪器，本发明使用卡尔曼滤波器(Kalman Filter)基于过去的位置信息估计当前图像帧中跟踪目标的位置，并实现跟踪器的分配。根据SSD监测位置与卡尔曼滤波器估算的目标位置之间的距离，可以将该位置与KCF跟踪器进行匹配。

进一步地，还包括步骤(7)，根据多目标精子的实时监测数据，进行精子活力参数计算。

进一步地，所述精子活力参数包括：平均曲线运动速度、平均直线运动速度、平均路径速度、线性度、摆动度、直线度、头部侧向位移幅度及平均角位移。这些运动参数对男性不育的诊断和生育能力的评估具有实用意义。

进一步地，步骤(1)中获取精子样本实时图像数据的方法为：用高速摄影机在显微镜下记录精子的运动，得到精子样本的视频。

进一步地，步骤(1)获取精子样本的实时图像数据以后，将图像进行分类，部分样本为训练集与验证集用于训练SSD网络模型，部分样本为测试集，使用训练后的SSD网络模型测试。

本发明提供的基于深度学习的多目标精子实时监测方法，实现了对多个精子的实时监测和跟踪，一方面可以用于包浆注射过程中的精子实时跟踪选择及提取，另一方面可以用于进一步解决计算机辅助精子分析的“黑匣子”问题，便于更加直观展示活力分析结果。

附图说明

图1是本发明的流程示意图。

图2是KCF跟踪流程图。

具体实施方式

以下结合附图对本发明做详尽说明。

(一)获取精子样本的实时图像数据

获取精液样本，并在37℃下孵育30分钟以使精液液化。在获能前，精液样本通过两层密度离心(300×g，20分钟)用

和

(Nidacon，瑞典)进行纯化。去除上清液，将精子颗粒重新悬浮并在4.5ml

洗涤液(瑞典Nidacon)中再次离心38次(500×g，10分钟)。

用高速摄影机在显微镜下记录精子的运动，得到几组50FPS的样本视频。然后从6组不同的视频中提取1000幅图像，得到6000个样本。利用LabelImagine软件对样本进行标注，得到与图像对应的XML文件。文件记录了精子盒四个角在图像中的位置，根据XML得到SSD模型需要的文件，即TFRECORD示例文件，由XML生成。

本发明对6000幅样本图像进行了分类，81％的样本被归类为训练样本，9％的样本被归类为验证样本，10％的样本是测试样本。

(二)使用SSD进行多精子监测

SSD网络模型的主要思想是对图像的多层特征图进行均匀密集的采样。利用不同的尺度和长宽比进行采样，然后利用CNN提取特征，然后直接进行分类和回归。整个过程只需要一个步骤，所以它的优点是速度快。

在一些具体实施方案中，视频流中的图像被整形成300×300的图像。在特征提取部分，采用vgg16的卷积层，将vgg16的两个全连接层替换为两个普通的卷积层，然后连接多个卷积(conv8_1，conv8_2，conv9_1，conv9_2，conv10_1，conv10_2)。最后，使用全局平均池来更改1×1(conv11_2)的输出。conv7、conv8_2、conv9_2、conv10_2、conv11_2层连接到最终的分类层与回归层。分类层最终得到目标种类，回归层得到目标框的位置与尺寸，即监测结果。

(三)使用KCF进行多精子追踪

在得到基于SSD网络模型的精子目标框后，利用KCF跟踪器对精子目标框进行跟踪。

KCF算法通过核函数将线性空间的脊回归映射到非线性空间。在非线性空间中，通过求解一个对偶问题和一些常见的约束条件，可以通过循环矩阵傅里叶空间对角化来简化计算。将单通道灰度特征改进为多通道hog特征或其它特征。

本发明用HOG特征表示当前图像的样本。通过对当前样本的循环移位，可以生成其他样本，并形成样本矩阵X。X的循环移位可由排列矩阵P和Q来实现，并可由以下公式计算。

X＝PxQ (1)

KCF跟踪器的参数α可以从SSD监测到的当前图像中获得。本发明用上标^来表示变量的傅里叶变换，本发明用这种方法来表示α的傅里叶变换，具体可以通过以下公式计算。

其中K^xx是矩阵K的一行，K是核空间矩阵；(g)*是共轭运算；y是回归目标，它的形状是二维高斯型。

对于高斯核，K中的元素K^xx'表示x'和x之间的高斯核相关性。可以用下式表示K^xx'

其中σ是高斯核函数的参数，F^-1(g)是傅里叶逆变换运算，e是同类型矩阵对应元素的乘法。

获取

后，跟踪器可以在下面的测试框中跟踪精子。此时，相应的试样可按下式计算：

其中K^xz是测试样本z和训练样本x之间的高斯核相关，可以通过以下公式计算。

K^xz＝φ(X)φ(z) (5)

这里φ(z)是高斯核函数。

K^xz构成核矩阵K^z.K^z中的元素可以用以下公式计算。

根据式(6)，在测试样本中选取值最大对应样本，即可得到目标在当前图像帧中的位置。

(四)使用卡尔曼滤波器匹配SSD和KCF

卡尔曼滤波是利用线性系统的状态方程和系统的观测数据对系统状态进行最优估计的一种算法。由于观测数据受系统中噪声和干扰的影响，系统状态估计过程也可以看作是一个滤波过程。

标准卡尔曼滤波系统方程如下：

θ_k＝Aθ_k-1+Bu_k-1+s_k (7)

ξ_k＝Cθ_k+v_k (8)

方程(7)是状态方程，其中θ_k是k时刻的状态向量，s_k是均值为零的转移高斯白噪声，协方差矩阵为Q，A，B是系统矩阵，A是状态转移矩阵。

方程(8)是观测方程，其中C为观测矩阵，ξ_k为观测向量，v_k为观测高斯白噪声，均值为零，协方差矩阵为R。

卡尔曼滤波分为两步：预测和更新。预测如下：

θ_k ^-＝A＜θ_k-1＞+Bu_k-1

P_k ^-＝AP_k-1A^T+Q (9)

其中θ_k ^-为k时刻的状态预测，＜θ_k-1＞为k-1时刻卡尔曼滤波器的最优估计。P_k ^-是Kalman增益的预测矩阵。P_k-1是k-1时刻卡尔曼滤波器的估计矩阵。

卡尔曼滤波更新如下：

K_k＝P_k ^-C^T(CP_k ^-C^T+R)^-1

＜θ_k＞＝θ_k ^-+K_k[ξ_k-Cθ_k ^-]

P_k＝P_k ^--K_kCP_k ^- (10)

由于SSD的误检率很低，而且SSD的问题是漏检，所以本发明用KCF来监测图像来补偿SSD的漏检。同时，KCF跟踪器也能追踪精子目标。为了提高KCF的监测效果，采用Kalman滤波对KCF的跟踪数据进行滤波，以提高跟踪效果。

为每个精子目标建立一个跟踪器，并根据上面的公式对目标精子进行实时跟踪。在每个跟踪过程中，利用SSD的精子监测结果对跟踪器进行再训练，以准确更新响应y。

首先使用SSD对每帧视频中的精子进行监测，并为每一个监测到的精子创建一个跟踪器，并使用公式(4)的对目标进行实时跟踪。在每一个跟踪过程中，SSD监测到的精子位置与之前生成的跟踪器匹配，并根据新的位置对跟踪器进行再次训练，从而精确更新响应y。匹配方法是通过计算卡尔曼滤波器估计的下一帧目标位置与SSD监测到的位置之间的距离来确定SSD监测值对应于哪个跟踪器。当确定跟踪器是真实的跟踪器时，将在视频中显示跟踪。

设定卡尔曼滤波器的参数，以精子在图像上的位置和速度作为Kalman状态量θ_k。参数A、B、C、s、v设置如下。

由于卡尔曼滤波器没有输入，所以参数矩阵B为0。(x_k，y_k)是精子的位置。分别表示相邻帧时间内精子在x、y方向运动的像素级，令Δt＝1。

在基于SSD监测数据更新KCF跟踪器的过程中，由于SSD监测缺失以及视频中精子运动引起的精子数量变化，KCF跟踪器的数量可能不等于监测到的数量。当跟踪器的数量大于SSD的数量时，可能是精子运动出了摄像机的视野，或者SSD没有被监测到。在跟踪器没有分配到SSD监测到的目标位置时，如果直接删除跟踪器，会对跟踪效果产生不良影响。

为了减少这个影响，此时利用KCF跟踪器对被跟踪目标进行检测，并利用KCF检测的数据对响应y进行更新。当某个跟踪器在连续N_ud次未能与SSD检测到的精子匹配时，此时表明该跟踪器的目标已丢失，删除该跟踪器。当新的精子运动到摄像机的视野时，此时SSD检测的数量会大于跟踪器的数量，此时创建新的KCF跟踪器，并对该目标进行跟踪，当该目标连续N_D次被检测到时，此时，认为该目标为真实目标，此时在视频中进行显示。在一些具体实施方案中，将N_ud设置为10，N_D设置为5。

(五)精子活力分析

根据多目标精子的实时监测数据，计算了八个标准的运动参数(哺乳动物精子运动的生理重要性和分析)：1)平均曲线运动速度(VCL)是通过求出轨迹的第一点和最后一点之间的直线距离并对时间进行修正来确定的。2)平均直线运动速度(VSL)是通过计算沿轨迹的距离之和，然后对时间进行修正来计算的。3)平均路径速度(VAP)是精子在观察期内沿平均运动方向移动的距离。4)线性度(LIN＝VSL/VCL)表示曲线路径的线性度，5)摆动度(WOB＝VAP/VCL)是实际路径围绕平均路径的振荡的度量，6)直线度(STR＝VSL/VAP)是平均路径线性度的度量。7)头部侧向位移幅度(ALH)是精子头部与精子平均游动路径的平均距离，平均路径使用5点移动平均值计算。8)平均角位移(MAD)是轨迹曲率的量度。

根据监测和跟踪结果，使用与整个轨迹历史相关联的一组坐标位置计算运动参数，并将其作为数据库文件用于后处理和聚类分析。当绘制单个参数与时间的关系时，使用四点移动平均值对噪声信号进行低通滤波。

Claims

1.基于深度学习的多目标精子实时监测方法，其特征在于，包括以下步骤：

(1)获取精子样本的实时图像数据；

(2)通过SSD网络模型均匀密集地采样多层精子样本图像的特征图，并使用卷积神经网络提取特征，然后进行分类与回归；

(3)SSD网络模型监测到精子后，将数据传输至KCF跟踪器；

(4)对于SSD网络模型监测精子目标丢失的部分，使用KCF跟踪器监测处于运动状态的目标，使结果进行自身更新；

(5)使用卡尔曼滤波器基于过去的位置信息估计当前图帧中精子目标跟踪位置，并实现跟踪器的分配；

2.根据权利要求1所述的多目标精子实时监测方法，其特征在于，还包括步骤(7)，根据多目标精子的实时监测数据，进行精子活力参数计算。

3.根据权利要求2所述的多目标精子实时监测方法，其特征在于，所述精子活力参数包括：平均曲线运动速度、平均直线运动速度、平均路径速度、线性度、摆动度、直线度、头部侧向位移幅度及平均角位移。

4.根据权利要求1所述的多目标精子实时监测方法，其特征在于，步骤(1)中获取精子样本实时图像数据的方法为：用高速摄影机在显微镜下记录精子的运动，得到精子样本的视频。

5.根据权利要求1所述的多目标精子实时监测方法，其特征在于，步骤(1)获取精子样本的实时图像数据以后，将图像样本集进行分类，部分样本为训练集与验证集训练SSD网络模型；部分样本为测试集，使用训练后的SSD网络模型测试。