CN112580476B - 一种精子识别与多目标轨迹跟踪方法 - Google Patents

Abstract

本发明公开了一种精子识别与多目标轨迹跟踪方法，所述方法包括：在第一帧精子图像中选择一目标精子并获取其坐标，将所述坐标作为该目标精子的轨迹链的起始坐标点；使用轨迹预测算法计算该目标精子在第i帧精子图像中的预测坐标点；在第i帧精子图像中以所述预测坐标点设定搜索区域进行搜索，如该区域内搜到得到的多个精子则以距离最近原则算法或匹配因子最大原则算法进行关联匹配，得到一最佳匹配精子，并该将最佳匹配精子的坐标点加入该目标精子的轨迹链；如该区域内没有搜到精子则以所述预测坐标点加入该目标精子的轨迹链。本发明提高了精子运动轨迹的跟踪效率，适应精子时隐时现短暂丢失的场景，同时提高了匹配精度，减少错配率。

Description

一种精子识别与多目标轨迹跟踪方法

技术领域

本发明涉及精子样本计算机分析技术领域，尤其涉及一种精子识别与多目标轨迹跟踪方法。

背景技术

计算机辅助精液分析系统能够在一定程度上克服手工精液检测方法存在的主观性、低效性、误差性等弊端，能检测到人眼不易观测到的细微形态特征和运动特征，通过分析连续的精子图像序列可以获得更客观、更精确、更全面的精子分析结果。

在对精子图像序列分析的过程中，需要对多个精子进行帧间目标跟踪，搜索图像序列中精子在下一帧的位置并进行关联，从而获得精子的运动轨迹，尤其是在多目标匹配的过程中，匹配结果的好坏直接影响精子运动参数的计算。

而现有技术在对精子的跟踪过程中，存在以下缺陷：

1、直接在图像中一固定的大范围内进行搜索，候选目标多，跟踪效率低。

2、若在下一帧无法找到相应的匹配目标，就终止搜索，不再跟踪。在精子碰撞、精子粘连、精子被杂质遮挡等情况下，有可能造成同一精子在不同图像中的目标识别结果短暂丢失。这样，导致该精子并未得到最终的分析而影响精子质量分析结果准确率。

3、将距离精子预测位置最近的精子作为匹配目标进行关联。但由于精子外观的相似、运动无规则等因素，基于这种匹配原则的方法错配率较高，尤其是当精子密度较大时，错配率更是难以接受，计算得到的运动参数也难以衡量精子质量的高低。

因此，现有技术还有待改进。

发明内容

鉴于上述现有技术的不足之处，本发明的目的在于提供一种精子识别与多目标轨迹跟踪方法，旨在提高精子运动轨迹的跟踪效率，适应精子时隐时现短暂丢失的场景，同时提高了匹配精度，减少错配率。

为实现上述目的，本发明采取了以下技术方案：

第一方面，本发明提出了一种精子识别与多目标轨迹跟踪方法，其中，包括下述步骤：

S10，在第一帧精子图像中选择一目标精子并获取其坐标，将所述坐标作为该目标精子的轨迹链的起始坐标点；

S20，使用轨迹预测算法计算该目标精子在第i帧精子图像中的预测坐标点,其中，i∈[2,N],N为精子图像总帧数；

S30，在第i帧精子图像中以所述预测坐标点设定搜索区域进行搜索，如该区域内搜到得到的多个精子则以距离最近原则算法或匹配因子最大原则算法进行关联匹配，得到一最佳匹配精子，并该将最佳匹配精子的坐标点加入该目标精子的轨迹链；如该区域内没有搜到精子则以所述预测坐标点加入该目标精子的轨迹链；

S40，重复步骤S20至S30，直至该目标精子在所有帧精子图像中都得到了轨迹而完成轨迹链；

S50，另选一目标精子重复上述步骤，直至所有精子都完成了轨迹链。

本发明的精子识别与多目标轨迹跟踪方法，通过轨迹预测的方法得到精子在下一帧图像中的预测坐标，并在该预测坐标的设定区域内进行搜索，缩小了搜索范围，减少了候选目标，提高跟踪效率，同时在关联匹配过程中采用距离最近原则算法或匹配因子最大原则算法进行关联匹配，提高了匹配精度，减少错配率。再次，当搜索区域内没有搜到精子则以预测坐标点加入该目标精子的轨迹链，这样，使得本发明的方法可以适应于精子时隐时现短暂丢失的场景，从而能得到该精子的完整轨迹链而能参数到后续的精子质量分析，以提高精子质量分析的准确率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。

图1为本发明精子识别与多目标轨迹跟踪方法第一实施例的流程示意图；

图2为本发明精子的轨迹链示意图；

图3为本发明轨迹预测后的搜索区域示意图；

图4为本发明精子图像前置处理流程示意图；

图5为本发明对原拍摄图进行掩膜处理过程示意图；

图6为本发明对精子进行识别的流程示意图；

图7为本发明对精子进行识别的处理过程示意图；

图8为本发明轨迹预测算法的流程示意图；

图9为本发明轨迹预测处理过程示意图；

图10为本发明选用距离最近原则算法或匹配因子最大原则算法流程示意图；

图11为本发明选用距离最近原则算法或匹配因子最大原则算法匹配处理过程示意图；

图12为本发明距离最近原则算法匹配过程示意图；

图13为本发明匹配因子计算流程示意图；

图14为本发明存在连续两个历史坐标点时速度/方向因子计算示意图；

图15为本发明存在连续三个历史坐标点时速度/方向因子计算示意图；

图16为本发明匹配因子最大原则匹配过程示意图；

图17为本发明轨迹预测及关联匹配得到轨迹链的整体流程示意图；

图18为本发明轨迹链中的阈值TH1阈值TH1示意图；

图19为本发明轨迹链补充算法流程示意图；

图20为本发明轨迹链补充处理过程示意图；

图21为本发明轨迹链计算精子参数示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，为本发明一种精子识别与多目标轨迹跟踪方法的流程,应用于精子质量的检测，包括下述步骤：

S10，在第一帧精子图像中选择一目标精子并获取其坐标，将所述坐标作为该目标精子的轨迹链的起始坐标点。

如图2所示为精子1的轨迹链。

S20，使用轨迹预测算法计算该目标精子在第i帧精子图像中的预测坐标点,其中，i∈[2,N],N为精子图像总帧数。

轨迹预测算法用于预测目标精子在第i帧精子图像中的位置。

S30，在第i帧精子图像中以所述预测坐标点设定搜索区域进行搜索，如该区域内搜到得到的多个精子则以距离最近原则算法或匹配因子最大原则算法进行关联匹配，得到一最佳匹配精子，并该将最佳匹配精子的坐标点加入该目标精子的轨迹链；如该区域内没有搜到精子则以所述预测坐标点加入该目标精子的轨迹链。

使用轨迹预测算法得到预测坐标点后，以预测坐标点设定搜索区域进行搜索，缩小了搜索范围，能减少待搜索的候选精子数量，提高跟踪效率。搜索区域范围的设定可根据实验进行确定。

优选地，作为一种方式，如图3所示，本发明方法在第i帧精子图像中以所述预测坐标点设定搜索区域进行搜索，具体包括：

以预测坐标点P为中心，以2r为搜索边长的正方形区域进行搜索，搜索到的精子坐标称为候选精子坐标点T。其中，设相邻两帧精子图像中目标精子的最大运动距离为r1，则r取值为略大于最大运动距离r1。

r的取值取决于精子的运动速度，因为相邻两帧图像的时间间隔是一致的，这段时间内精子的最大运动距离r1是r的取值依据，为了保证追踪准确，r值一般都略大于运动最大距离r1。

S40，重复步骤S20至S30，直至该目标精子在所有帧精子图像中都得到了轨迹而完成轨迹链。

S50，另选一目标精子重复上述步骤，直至所有精子都完成了轨迹链。

由于本发明方法在轨迹预测后进行关联匹配的过程中采用了距离最近原则算法、匹配因子最大原则算法进行关联匹配，故其相对于现有技术中只采用最近距离进行匹配方式，可以极大地提高匹配精度，而减少了精子的错配率，而便于后续精子质量的准确分析。再次，本发明方法在关联匹配过程中，当搜索区域内没有搜到精子时，则以预测坐标点加入该目标精子的轨迹链，这样，使得本发明的方法可以适应于精子时隐时现短暂丢失的场景，从而能得到该精子的完整轨迹链而能参数到后续的精子质量分析过程中，以提高精子质量分析的准确率。

优选地，如图4所示，本发明的跟踪方法在对精子进行轨迹跟踪之前还包括对精子图像的前置处理，具体为：

S01，在原拍摄图像中提取气泡/污渍区域并生成掩膜图像，将掩膜图像与原拍摄图像叠加得到待分析图像。

在精液样本加入到细胞计数板或生物载玻片等样本载体的过程中，因操作失误或样本载体本身缺陷等原因，采集到的图像序列可能会出现气泡或污渍，气泡或污迹对该区域内的对精子的识别及后续轨迹分析产生干扰，增加了后续精子分析的难度。由于气泡/污渍的特征与精子特征有一定差异，图像算法识别出气泡/污渍区域，并以此生成掩膜图像对原始图像序列进行掩膜操作得到待分析图像。

对于有需要做精子浓度分析的场景，将浓度计算所依托的统计视野减去掩膜对应的视野，再进行浓度计算，这一方法对应的浓度结果将更为准确。

如图5所示，该前置处理操作为：将识别出的气泡/污渍区域提取出来，并根据气泡/污渍的特征进行适当的区域扩展，对区域内的像素灰度置为0(图中阴影区域表示)，对区域外的像素灰度置为1，生成掩膜图像。掩膜图像与原拍摄图像各像素坐标的灰度值分别相乘，得到待分析图像。该操作可将原拍摄图像中气泡/污渍区域内的像素灰度值置零，同时保留气泡/污渍区域外的有效部分，便于后续分析处理。

S02，对待分析图像中的精子进行识别，得到去除背景及杂质的精子图像。

由于亮度和成像条件等因素影响，拍摄得到的精子图像中部分精子灰度可能跟背景接近，对后续分析存在干扰，同时，精子图片中还有一些不是精子的杂质，对后续分析也会产生干扰，故需要将拍摄图片中的精子进行识别提取。

具体地，本发明方法对待分析图像中的精子进行识别具体包括下述步骤：

S021，均值滤波，选取两种不同规格的卷积核，分别对原待分析图进行均值滤波，得到图a和图b。

S022，图像相减，将图a和图b相减得到图c，使得图c中背景区域的灰度值接近为0，同时使得精子所在像素位置的灰度值处于特定范围。

S023，阈值分割，设定一个固定的灰度阈值，将图c中的精子与其背景区分开。

S024，形态处理及目标提取，对分割后的精子采用形态学处理后提取精子得到精子图像。

为兼顾可清晰观察精子和相应精子统计量的要求，计算机辅助精液分析系统的图像放大倍数一般会处在一个偏低的水平，造成拍摄得到的精子区域面积较小(像素面积介于20～50)。

根据这一特征，如图6所示，本发明方法在精子识别过程中选取两种不同规格(m*m，n*n)的卷积核，分别对原待分析图像进行均值滤波，得到图a和图b。根据实际应用场景，m可取3,5,7或者更大，n可取9,11,13或者更大，但无论取何值，都应该保证卷积核大小m和n均为奇数，且m<n。

图a和图b相减得到图c，图c中背景区域的灰度值接近为0，同时精子所在像素位置的灰度值处于特定范围。设定一个固定的灰度阈值，即可将图c中的精子与其背景区分开，再辅助形态学的处理过程，提取出精子。如7所示，对待分析的精子图像进行滤波，相减，分割、形成处理后提取得到白色的精子。

可以理解，在本发明的其他实施例中，还可以采用分块阈值分割的方法，将原图像分割成N个区域，设置N个阈值，分别对N个区域进行图像分割，也能在一定程度上解决图像亮度不均匀的问题，提高精子目标识别的准确率。

如图8所示，本发明方法的轨迹预测算法采用直线运动模型预测精子在下一帧的坐标位置，具体包括下述步骤：

S21，检索目标精子在其轨迹链中的历史坐标点A，B，C是否存在，其中坐标点A为目标精子在第i-1帧的精子图像中的轨迹链坐标，坐标点B为目标精子在第i-2帧的精子图像中的轨迹链坐标，坐标点C为目标精子在第i-3帧的精子图像中的轨迹链坐标，P为目标精子在第i帧精子图像中的预测坐标点。

S22，当只存在A点时，预测坐标点P与点A重合，P＝A。

S23，当存在A,B两点时，预测坐标点P的位置满足：

S24，当存在A,B,C三点时，预测坐标点P的位置满足：

本发明的轨迹预测算法根据精子目标在每一帧的坐标位置绘制轨迹链，假设精子图像序列的总数为N，图像帧所在图像序列的序号为i，则图像按照帧数序号1,2,3，…，i-1，i，i+1,…,N排列。为了求出精子目标在第i帧(当前帧)的坐标点位置，设精子目标轨迹链中第i-1帧的坐标点为A,第i-2帧的坐标点为B,第i-3帧的坐标点为C，将第i帧之前(不包括i)的坐标点称为历史坐标点。首先检索历史坐标点B，C是否存在。(A点是轨迹链存在的前提，必然存在)，根据A，B，C点按照直线运动模型计算出精子目标在第i帧的预测坐标点P。如图9所示，

1、当只存在A点时，预测点P与点A重合，P＝A。

2、当存在A，B两点时，预测点P的位置满足：

3、当存在A,B,C三点时，预测点P的位置满足：

当预测点P在当前帧(第i帧)的位置确定后，即可以预测坐标点P为中心，以2r为搜索边长的正方形区域进行搜索，该搜索区域相对于整图搜索，大大缩小了搜索范围，提高了搜索效率。如图3所示，该搜索区域内搜索到的精子坐标称为候选精子坐标T。候选精子坐标T可以有多个，也可能没有。可以理解，也可以r为半径的圆形区域进行搜索。

优选地，本发明方法中的轨迹预测算法还可以采用马尔科夫模型或卡尔曼滤波模型预测精子在下一帧的坐标位置。

本发明实施例方法中，所述匹配因子最大原则算法由距离、运动、几何特征三因素相结合进行计算。

具体地，如图10和图11所示，本发明的以距离最近原则算法或匹配因子最大原则算法进行关联匹配具体包括下述步骤：

S31，检索目标精子在其轨迹链中的历史坐标点。

S32，如只存在A点则采用距离最近原则算法进行匹配：将在搜索区域内搜索到多个候选精子坐标点T与前一帧坐标A点比较，取距离最近的候选精子坐标点T作为最佳匹配精子坐标点。如图12所示，为距离最近原则算法匹配示意图。

S33，如至少存在A，B点则采用匹配因子最大原则算法进行匹配：计算搜索到的多个候选精子坐标点T的距离因子、运动因子、几何特征因子，根据所述三个因子计算匹配因子，取匹配因子最大的候选精子坐标点T作为最佳匹配精子坐标点。

具体地，如图13所示，所述匹配因子的计算步骤具体包括：

S331，距离因子计算：以搜索区域内搜索到每一候选精子坐标T与前一帧目标精子的历史坐标点的距离计算得到的距离因子d。

S332，运动因子计算：以搜索区域内搜索到每一候选精子坐标T与目标精子的历史坐标点的运动速度及运动方向计算得到的运动因子v。

S333，几何特征因子计算：以搜索区域内搜索到每一候选精子的形态参数与前一帧目标精子的形态参数计算得到的几何特征因子s。

S334，匹配因子计算：将上述三种因子按照一定的权重系数α、β、γ计算所有候选精子的匹配因子m：

m＝α*d+β*v+γ*s；

其中，α+β+γ＝1。

本发明方法在预测、匹配过程中，如果在搜索区域内搜索到多个候选精子目标，将候选精子坐标T与前一帧坐标比较，距离越近，计算得到的距离因子d越大。根据候选精子的坐标与历史坐标的相对位置关系，得到运动因子v，运动速度、运动方向越接近，得到速运动因子v越大。比较候选精子与目标精子的几何特征参数，几何特征参数(包括面积、离心率、方向角)越接近，得到几何特征因子s越大。将三种因子按照一定的权重系数α、β、γ计算候选精子的匹配因子m：

m＝α*d+β*v+γ*s。

根据实际情况设置权重系数α、β、γ的值，应满足关系式α+β+γ＝1。将匹配因子最大的候选精子作为匹配点，将匹配点坐标M加入轨迹链中。

各个因子的计算过程如下：为方便理解，假设搜索区域内有3个候选精子。

1、距离因子计算过程：

1)、求出搜索区域内的候选精子坐标与目标精子上一帧坐标之间的距离：d1,d2,d3。

2)、求出距离最大值dmax。

3)、计算每个候选目标的距离因子d。

2、速度因子计算过程：

1)、求出搜索区域内的候选精子与精子上一帧坐标之间的距离：d1,d2,d3。计算距离参考值L，参考距离L由历史坐标点信息得出。

若存在连续两个历史坐标点A，B，则L为A,B两点坐标之间的距离。

若存在连续三个历史坐标点A,B,C，则L为坐标点A，C之间距离的一半。

2)、由于图像序列的采样频率是固定的，即相邻两帧精子运动的时间是相等的，则可以用运动距离代替运动速度。则速度因子可以表示为：

即：候选精子的速度(运动距离)与目标精子的速度(运动距离)越接近，速度因子越大。

3、方向因子计算过程：

1)、计算距离参考值L，水平方向参考值Δx，竖直方向参考值Δy。参考值由历史坐标点信息得出。

若存在连续两个历史坐标点A，B，则L为A,B两点坐标之间的距离，Δx为两点之间的水平方向距离，Δy为A,B两点之间的竖直方向距离。

若存在连续三个历史坐标点A,B,C，则L为坐标点A，C之间的距离，Δx为A，C之间的水平方向距离，Δy为A，C之间的竖直方向距离。

2)、计算候选精子坐标T＝(x2,y2)与精子上一帧坐标A＝(x1,y1)之间的直线距离d_i,水平方向距离(x2-x1)，以及竖直方向距离(y2-y1)。

3)、根据三角函数关系，精子运动方向的偏移角度θ的余弦值可以表示为：

当偏移角度θ越小时，cosθ越大，将偏移角度的余弦值作为方向因子。

如图14和图15所示，图14为存在连续两个历史坐标点时的速度/方向因子计算示意图,图15为存在连续三个历史坐标点时的速度/方向因子计算示意图。

4)、综合考虑速度因子和方向因子的权重系数ρ，δ，ρ+δ＝1，计算出最终的运动因子v，表达式为：

3、几何特征因子计算过程：

精子目标的几何特征可以用面积、离心率、方向角等参数来衡量，精子目标的形态参数可以是面积、离心率、方向角这三个参数的任意组合加权。

1)计算精子目标在上一帧的形态参数a。

2)计算候选精子的形态参数a_i,i＝1,2,3。

3)几何特征因子s可表示为：

候选精子与目标精子越相似，几何特征因子越大。

将三种因子按照一定的权重系数α、β、γ，计算候选精子的匹配因子m：

m＝α*d+β*v+γ*s。

取值应满足关系式α+β+γ＝1。可根据实际情况设置权重系数α、β、γ，的值，例如，α＝0.4，β＝0.3，γ＝0.3。选出最大m值对应的候选精子进行关联匹配。

如图16所示，以存在A、B两点为例的匹配因子最大原则匹配示意图。

结合上述的轨迹预测及关联匹配步骤形成得出轨迹链的整个流程，结合图2和图17所示，以第一帧图像中的某一个精子目标的轨迹分析为例：

1)、对于第一帧的图像，取目标精子的坐标点G1，这个坐标点就是轨迹链的起始点，目标精子在第一帧的轨迹分析结束。此时轨迹链中只有一个点。

2)、按照本发明所述方法，搜索该目标精子在第二帧的坐标G2，将G2的坐标加入轨迹链，目标精子在第二帧的轨迹分析结束。此时轨迹链中有两个点。

3)、下面准备分析第三帧，则上述的i值为3(i＝3)，A点代表第i-1帧(第2帧)的坐标点G2，B点代表第i-2帧(第1帧)的坐标点G1，但是C点第i-3(第0帧)并不存在，很容易能够知道A，B两点是存在的，C点不存在。

4)、继续往后分析，分析到第i帧(当前帧)，按3)中的方法进行。

5)、不断循环上述步骤，分析图像中的每一个目标精子的轨迹信息。

本发明提出的轨迹链由真实轨迹点与预测轨迹点两部分组成。根据目标精子轨迹链中的历史坐标信息，按照直线运动模型预测精子在下一帧的位置坐标。以预测的坐标点为中心，2r为搜索边长的搜索区域内的精子作为候选目标，根据距离最近原则算法、匹配因子最大原则算法选取搜索区域内最适合的精子作为匹配点进行关联匹配，将匹配点坐标M放入轨迹链中(真实轨迹点，黑色实心圆表示)；如果搜索区域内找不到匹配精子，则将预测的坐标点P放入轨迹链中(预测轨迹点，黑色空心圆表示)，同时设置一个标识符k记录该轨迹链中预测点的个数。

本发明方法的轨迹链生成过程采用了轨迹的预测的方法，特别是在目标暂时丢失时采用预测轨迹点加入到轨迹链中，能较好解决精子目标跟丢的问题，获得更准确的精子运动轨迹，提升计算机辅助精液分析系统的性能。

优选地，本发明方法生成轨迹链过程中，如果轨迹链中总的预测轨迹点数k大于设定的阈值Th1，表明轨迹异常，则删除该条轨迹；如果轨迹链中连续出现的预测轨迹点数大于设定的阈值Th2，则结束该轨迹跟踪，并保留该轨迹链的历史轨迹点。

精子的运动是复杂的，当追踪的精子目标丢失后，我们只能按照精子目标之前的运动特征进行预测，但预测的结果并不一定完全准确。

如图18中所示，对于精子1的轨迹来说，在偶发性的干扰下(精子碰撞、精子粘连)，精子未被识别到，预测轨迹点可能是间断性出现的，但是如果轨迹链中预测轨迹点的个数k过多，表明在轨迹跟踪过程中精子目标不断丢失，丢失的次数越多，轨迹的真实性越差，因此设定一个阈值TH1，当k≥TH1时，轨迹异常，该轨迹分析极有可能偏离实际情况，因此选择删除该轨迹。

对于精子2的轨迹来说，预测轨迹点连续出现，代表精子目标在连续多帧的图像都没有找到匹配的精子，表明该精子可能运动到了气泡或杂质区域(如前述：该区域已被掩膜图像覆盖，不对区域内的情况进行分析)。由于精子不会无故消失或突然丧失运动能力，因此，保留精子的原有的运动能力，假设精子目标仍然在某区域运动，设定一个阈值TH2，如果连续出现的预测轨迹点数大于或等于设定的阈值Th2，仍然找不到目标进行关联匹配，此时才判定目标的轨迹跟踪过程结束。如果在设定的阈值Th2内，该精子再次出现，则表明该精子游出了遮挡区域。这种策略能在一定程度上反映出真实的精子运动情况，以提高精子分析的准确率。

进一步地，如图19所述，本发明的方法还包括轨迹链补充算法，具体包括如下步骤：

S61，对第i-1帧的目标精子关联匹配结束后，检测第i帧识别出的目标精子是否全部与第i-1帧的精子关联。

精子的关联检测可以采用轨迹链前后坐标是否有关联而进行判断。

S62，若第i帧存在未关联的精子，则将未关联的精子作为新精子轨迹链的起始坐标点。

S63，在第i+1帧对新精子的轨迹进行预测及关联匹配得到新精子在第i+1帧精子图像中的轨迹链坐标并加入到该新精子的轨迹链。

因为精子样本图像的视野范围是固定的，在图像采集过程中，会存在部分精子游出视野范围，或者有新精子游进视野范围。

对于游进视野的新目标精子，它并不存在于第一帧或者前面几帧，所以在对应帧数的图像中并不存在坐标。

如图20所示，假设现在已经分析到第十帧，i＝10,对于精子1来说，它从第一帧就一直存在，从图中也可以直接看出，A,B,C三点都存在。

但是对于精子2来说，它在第八帧首次出现，所以，当分析到第10帧时，其仅存在A,B两点，可以按照本发明的方法进行后续分析。

本发明方法对于游进视野范围的新精子加以判定，并将符合条件的精子目标加入轨迹链，进行后续的轨迹跟踪过程，能得到图像视野内更客观的精子运动信息。

根据本发明的跟踪方法得到精子的轨迹链后，根据轨迹链中的坐标信息，可以计算出计算机辅助精液分析系统常见的参数。如图21所示，常见参数包括：

1，VCL＝曲线速度(μm/s)。精子头沿其实际的曲线，即在显微镜下见到的二维方式运动轨迹的平均速度。用于检测细胞活力。

2，VSL＝直线速度(μm/s)。根据精子头在开始检测时的位置与最后所处位置之间的直线运动的时间平均速度。

3，VAP＝平均路径速度(μm/s)。精子头沿其空间平均轨迹移动的时间平均速度。

本发明实施例的精子识别与多目标轨迹跟踪方法，通过轨迹预测的方法得到精子在下一帧图像中的预测坐标，并在该预测坐标的设定区域内进行搜索，缩小了搜索范围，减少了候选目标，提高跟踪效率，同时在关联匹配过程中采用距离最近原则算法、匹配因子最大原则算法进行关联匹配，提高了匹配精度，减少错配率。再次，当搜索区域内没有搜到精子则以预测坐标点加入该目标精子的轨迹链，这样，使得本发明的方法可以适应于精子时隐时现短暂丢失的场景，从而能得到该精子的完整轨迹链而能参数到后续的精子质量分析，以提高精子质量分析的准确率。

以上所述仅为清楚地说明本发明所作的举例，并非因此限制本发明的专利范围，这里无法对所有的实施方式予以穷举，凡是在本发明的构思下，利用本发明技术方案中的内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。

Claims (10)

1.一种精子识别与多目标轨迹跟踪方法，其特征在于，包括下述步骤：

S10，在第一帧精子图像中选择一目标精子并获取其坐标，将所述坐标作为该目标精子的轨迹链的起始坐标点；

S20，使用轨迹预测算法计算该目标精子在第i帧精子图像中的预测坐标点,其中，i∈[2,N],N为精子图像总帧数；

S30，在第i帧精子图像中以所述预测坐标点设定搜索区域进行搜索，如该区域内搜到得到的多个精子则以距离最近原则算法或匹配因子最大原则算法进行关联匹配，得到一最佳匹配精子，并该将最佳匹配精子的坐标点加入该目标精子的轨迹链；如该区域内没有搜到精子则以所述预测坐标点加入该目标精子的轨迹链；

S40，重复步骤S20至S30，直至该目标精子在所有帧精子图像中都得到了轨迹而完成轨迹链；

S50，另选一目标精子重复上述步骤，直至所有精子都完成了轨迹链。

2.根据权利要求1所述的方法，其特征在于，所述匹配因子最大原则算法由距离、运动、几何特征三因素相结合进行计算。

3.根据权利要求1所述的方法，其特征在于，还包括轨迹链补充算法，具体包括如下步骤：

S61，对第i-1帧的目标精子关联匹配结束后，检测第i帧识别出的目标精子是否全部与第i-1帧的精子关联；

S62，若第i帧存在未关联的精子，则将未关联的精子作为新精子轨迹链的起始坐标点，

S63，在第i+1帧对新精子的轨迹进行预测及关联匹配得到新精子在第i+1帧精子图像中的轨迹链坐标并加入到该新精子的轨迹链。

4.根据权利要求1所述的方法，其特征在于，所述轨迹预测算法采用直线运动模型预测精子在下一帧的坐标位置，具体包括下述步骤：

S21，检索目标精子在其轨迹链中的历史坐标点A，B，C是否存在，其中坐标点A为目标精子在第i-1帧的精子图像中的轨迹链坐标，坐标点B为目标精子在第i-2帧的精子图像中的轨迹链坐标，坐标点C为目标精子在第i-3帧的精子图像中的轨迹链坐标，P为目标精子在第i帧精子图像中的预测坐标点；

S22，当只存在A点时，预测坐标点P与点A重合，P＝A；

S23，当存在A,B两点时，预测坐标点P的位置满足：

S24，当存在A,B,C三点时，预测坐标点P的位置满足：

5.根据权利要求1所述的方法，其特征在于，所述在第i帧精子图像中以所述预测坐标点设定搜索区域进行搜索，具体包括：

以预测坐标点P为中心，以2r为搜索边长的正方形区域进行搜索，搜索到的精子坐标称为候选精子坐标点T；

其中，设相邻两帧精子图像中目标精子的最大运动距离为r1，则r取值为略大于最大运动距离r1。

6.根据权利要求1所述的方法，其特征在于，所述以距离最近原则算法或匹配因子最大原则算法进行关联匹配具体包括下述步骤：

S31，检索目标精子在其轨迹链中的历史坐标点；

S32，如只存在前一帧的历史坐标点A则采用距离最近原则算法进行匹配：将在搜索区域内搜索到多个候选精子坐标点T与坐标点A比较，取距离最近的候选精子坐标点T作为最佳匹配精子坐标点；

S33，如至少存在前一帧的历史坐标点A及前二帧的历史坐标点B则采用匹配因子最大原则算法进行匹配：计算搜索到的多个候选精子坐标点T的距离因子、运动因子、几何特征因子，根据所述三个因子计算匹配因子，取匹配因子最大的候选精子坐标点T作为最佳匹配精子坐标点。

7.根据权利要求6所述的方法，其特征在于，所述匹配因子的计算步骤具体包括：

S331，距离因子计算：以搜索区域内搜索到每一候选精子坐标T与前一帧目标精子的历史坐标点的距离计算得到的距离因子d；

S332，运动因子计算：以搜索区域内搜索到每一候选精子坐标T与目标精子的历史坐标点的运动速度及运动方向计算得到的运动因子v；

S333，几何特征因子计算：以搜索区域内搜索到每一候选精子的形态参数与前一帧目标精子的形态参数计算得到的几何特征因子s；

S334，匹配因子计算：将上述三种因子按照一定的权重系数α、β、γ计算所有候选精子的匹配因子m：

m＝α*d+β*v+γ*s；

其中，α+β+γ＝1。

8.根据权利要求1所述的方法，其特征在于，所述轨迹预测算法还可以采用马尔科夫模型或卡尔曼滤波模型预测精子在下一帧的坐标位置。

9.根据权利要求1所述的方法，其特征在于，在对精子进行轨迹跟踪之前还包括对精子图像的前置处理，具体为：

S01，在原拍摄图像中提取气泡/污渍区域并生成掩膜图像，将掩膜图像与原拍摄图像叠加得到待分析图像；

S02，对待分析图像中的精子进行识别，得到去除背景及杂质的精子图像。

10.根据权利要求9所述的方法，其特征在于，所述对待分析图像中的精子进行识别具体包括下述步骤：

S021，均值滤波，选取两种不同规格的卷积核，分别对原待分析图进行均值滤波，得到图a和图b；

S022，图像相减，将图a和图b相减得到图c，使得图c中背景区域的灰度值接近为0，同时使得精子所在像素位置的灰度值处于特定范围；

S023，阈值分割，设定一个固定的灰度阈值，将图c中的精子与其背景区分开；

S024，形态处理及目标提取，对分割后的精子采用形态学处理后提取精子得到精子图像。