CN115298692A

CN115298692A - 自动候选精子标识

Info

Publication number: CN115298692A
Application number: CN202180019500.8A
Authority: CN
Inventors: N·G·卡苏托; G·戈洛夫
Original assignee: Babis Fertility Co ltd
Current assignee: Babis Fertility Co ltd
Priority date: 2020-01-16
Filing date: 2021-01-14
Publication date: 2022-11-04
Also published as: WO2021144800A1; EP4091173A4; US20230061402A1; EP4091173A1

Abstract

一种方法，其包括：接收与多个精液样本相关联的图像数据；在训练阶段，在训练集上训练机器学习模型，该训练集包括：(i)所述图像数据，和(ii)与所述精液样本中的一个或多个个体精子中的每一个的定性评估相关联的标记；以及将经训练的机器学习模型应用于与目标精液样本相关联的目标图像数据，以将所述目标样本中的一个或多个精子标识为用于ART程序的候选。

Description

自动候选精子标识

相关申请的交叉参考

本申请要求于2020年1月16日提交的标题为“自动候选精子标识(AUTOMATEDSPERMATOZOA CANDIDATE IDENTIFICATION)”的美国临时专利申请号62/961,844的优先权，其内容通过引用整体并入本文。

技术领域

本发明总体上涉及机器学习领域。

背景技术

不孕症是具有深远社会和人口影响的主要全球健康问题。许多目前的男性生殖技术在治疗男性不育症方面具有温和的效果。可以改善精液分析和选择的技术对于提高治疗男性不育症的有效性至关重要。

在自然和/或辅助生殖技术(ART)中，精子形态已被认为是成功结果(例如，导致成功受精和/或成功怀孕)的可能性的强预测因子。然而，在许多情况下，注射的精子是随机选择的，并且它们的选择是基于粗略的形态和运动能力。精子质量无疑是决定发育中胚胎质量的最重要因素。例如，据报道父系效应会影响囊胚率。在将精子注入卵母细胞后，已经在胚胎中发现了若干负面影响，包括遗传和表观遗传。此外，表现有理想特征的候选精子的选择和检索过程仍然是一个高度专业化的手动过程，其中输出数据的准确性和精度可能会受到技术人员培训、主观技能水平、样本制备、光照强度以及仪器设置、规格和质量的影响。

相关技术的前述示例和与其相关的限制旨在是说明性的而不是排他性的。在阅读说明书和研究附图后，相关技术的其他限制对于本领域技术人员将变得显而易见。

发明内容

结合系统、工具和方法来描述和说明以下实施例及其方面，这些系统、工具和方法旨在是示例性和说明性的，而不是限制范围。

在一个实施例中，提供了一种系统，包括：至少一个硬件处理器；非暂时性计算机可读存储介质，其上存储有程序指令，该程序指令可由至少一个硬件处理器执行以：接收与多个精液样本相关联的图像数据，在训练阶段，在训练集上训练机器学习模型，该训练集包括：(i)所述图像数据，和(ii)与对所述精液样本中的一个或多个个体精子中的每一个的定性评估相关联的标记，并将经训练的机器学习模型应用于与目标精液样本相关联的目标图像数据，以标识所述目标样本中的一个或多个精子作为用于授精程序的候选。

在一个实施例中，还提供了一种方法，该方法包括以下方法：接收与多个精液样本相关联的图像数据；在训练阶段，在训练集上训练机器学习模型，该训练集包括：(i)所述图像数据，和(ii)与所述精液样本中的一个或多个个体精子中的每一个的定性评估相关联的标记；并将经训练的机器学习模型应用于与目标精液样本相关联的目标图像数据，以标识所述目标样本中的一个或多个精子作为用于授精程序的候选。

在一个实施例中，进一步提供了一种计算机程序产品，其包括具有嵌入其中的程序指令的非暂时性计算机可读存储介质，该程序指令可由至少一个硬件处理器执行以：接收与多个精液样本相关联的图像数据；在训练阶段，在训练集上训练机器学习模型，该训练集包括：(i)所述图像数据，和(ii)与对所述精液样本中的一个或多个个体精子中的每一个的定性评估相关联的标记；并将经训练的机器学习模型应用于与目标精液样本相关联的目标图像数据，以标识所述目标样本中的一个或多个精子作为用于授精程序的候选。

在一些实施例中，所述定性评估包括估计涉及所述个体精子的授精程序成功的可能性的估计。

在一些实施例中，所述定性评估至少部分地基于选自由以下组成的组的一个或多个定性参数：检测到的运动性、渐进运动性、线性运动性、形态、基部形态、头部形态和一个或多个液泡的存在和位置。

在一些实施例中，指令进一步可执行以实行，并且所述方法进一步包括实行图像处理阶段，其中所述图像处理包括以下中的至少一项：图像数据清洗、图像数据标准化、检测所述图像数据中的个体精子，标识所述图像数据中的个体精子，以及跟踪所述图像数据中的个体精子。

在一些实施例中，所述跟踪包括标识用于所述目标样本中的所述一个或多个精子中的至少一个的坐标。

在一些实施例中，所述跟踪还包括操作取回设备以取回所述目标样本中的所述一个或多个精子中的至少一个，其中所述取回基于所述标识的坐标。

在一些实施例中，指令进一步可执行以实行，并且所述方法还包括实行特征选择阶段，其中所述特征选择包括选择图像数据内的一个或多个数据点子集。

在一些实施例中，关于每个所述精液样本，所述图像数据包括以下中的至少一个：单个图像、一系列图像、视频片段、流式视频片段和实时视频片段。

在一些实施例中，所述标识包括分配给所述目标样本中的所述一个或多个精子的置信度分数。

除了上述示例性方面和实施例之外，通过参考附图并通过研究以下详细描述，其他方面和实施例将变得显而易见。

附图说明

示例性实施例在参考图中示出。图中所示的组件和特征的尺寸通常是为了方便和清晰的呈现而选择的，不一定按比例显示。下面列出了这些图。

图1是根据本发明的实施例的示例性系统的框图；

图2是根据本发明的一些实施例的用于训练机器学习分类器以标识获得的数据中的候选精子的过程中的功能步骤的流程图；

图3A和图3B是根据本发明的一些实施例的示例性数据选择；并且

图4A、图4B、图4C、图4D、图4E、图4F、图4G、图4H和图4I是根据本发明的一些实施例的精子标识的示例性特征的示意图。

具体实施方式

结合旨在示例性和说明性而非限制范围的系统、工具和方法来描述和说明以下实施例及其方面。

本文公开了一种方法、系统和计算机程序产品，用于基于在人工授精中和/或相对于辅助生殖技术的成功结果的可能性的定性评估，自动检测精液样本中的候选精子。在一些实施例中，本公开因此在受精程序的背景下特别有用，诸如辅助生殖技术(ART)、体外受精(IVF)、子宫内授精(IUI)和卵胞浆内单精子显微注射法(ICSI)，并且在一些实施例中，用于评估此类程序的精子质量。在一些实施例中，本公开进一步提供了在探索男性不育症中对精子质量的评估。

在一些实施例中，基于例如关于生育力状态和使用特定精子的一种或多种受精程序的成功结果的可能性的确定，本公开提供了来确定精液样本的图像中描绘的一个或多个精子是否是用于受精程序的潜在候选。

例如，为了确定精液样本中的哪些精子是用于受精程序的候选，可以获得反映例如单个图像、一系列图像和/或精液样本的视频片段的图像数据。

在一些实施例中，图像数据可以由成像设备(例如摄像机)产生，其指向放置在例如培养皿中的精液样本。在一些实施例中，单色摄像机可以耦合到显微镜以获得图像。在一些实施例中，所获得的图像数据反映了高放大率，例如超过1000倍。在一些实施例中，图像数据反映1000倍-6000倍之间的放大率，例如至少4000倍。在一些实施例中，摄像机是高分辨率摄像机。

在一些实施例中，放大率反映了高放大率。在一些实施例中，放大率反映微分干涉对比(DIC)显微镜。在一些实施例中，高倍放大率由具有例如1500倍放大率和/或至少6100倍变焦的倒置光学显微镜提供。在一些实施例中，用于计算最终放大率的公式如下：物镜在浸油下的放大率(例如，100倍)乘以目镜(例如，10倍)、视频适配器(例如，1倍)，以及监视器对角线，并除以显微镜上带有放大选择器的电荷耦合设备(例如，1.6倍)。

如本文所述的这种高放大率(超过1000倍)的潜在优势在于精子的一些特征仅在更高放大率下才明显。

在一些实施例中，使用RGB成像技术、单色成像、近红外(NIR)、分波红外(SWIR)、红外(IR)、紫外(UV)、多光谱、高光谱和/或任何其他和/或类似的成像技术中的一种或多种来获得图像数据。

在一些实施例中，可以使用不同的成像技术、成像装备、从不同的距离和角度、使用不同的背景和设置、和/或在不同的照明和环境条件下获取图像数据。

在一些实施例中，所获得的图像经历包括以下至少一些的图像处理分析：预处理、数据清理、数据标准化和/或类似的和/或附加的图像预处理步骤。在一些实施例中，图像预处理可以包括检测、标识和/或跟踪图像中的个体精子的步骤。因此，在一些实施例中，数据预处理阶段可以包括关于图像数据的数据导出、数据清理、数据标准化和/或附加的类似操作中的至少一些。

在一些实施例中，进一步的数据处理阶段提供相对于图像数据应用降维和/或特征提取和/或特征选择阶段。

在一些实施例中，在图像数据内检测候选精子的位置。在一些实施例中，可以在样本内跟踪候选精子的位置。在一些实施例中，检测和/或跟踪样本内的候选精子的位置，从而可以(例如通过合适的设备，例如用于抽吸所述选定的个体精子的显微操作针)取回个体候选精子以用于授精程序。在一些实施例中，以二维(2D)或三维(3D)检测候选精子的位置。例如，可以在平面上和/或深度维度中检测样本中候选精子的位置。

根据本发明的一些实施例的方面，提供了机器学习模型，该模型被训练以标识与精液样本相关联的图像数据中的候选精子。在一些实施例中，本公开提供了通过将经过训练的机器学习模型应用于精液样本图像数据来评估精液样本数据中的候选精子的方法。

在一些实施例中，在训练阶段，在包括与多个精液样本相关联的图像数据的训练集上训练本公开的机器学习模型。在一些实施例中，训练集图像数据用与其中包括的一个或多个个体精子的定性评估相关联的标记来注释和/或标记。

在一些实施例中，训练阶段允许机器学习模型检测精液样本数据内的特征并自主学习特征和生育状态之间的关联。在一些实施例中，经过训练的机器学习模型可以被训练以将检测到的精子分类为例如两个或更多个类别，例如基于精子的受精程序中的生育力状态和/或成功结果的可能性。

在一些实施例中，可以通过获得多个精液样本的图像数据来构建本公开的训练集。在一些实施例中，训练集包括(a)从一个或多个精液样本获得的图像数据；(b)与相对于样本中的个体精子的两个或更多个类别相关联的标记。在一些实施例中，训练包括注释图像数据中描绘的个体精子。

在一些实施例中，训练集图像数据可以包括原始图像数据和/或所获得的图像数据的提取和/或选择的特征。因此，在一些实施例中，可以使用训练集来训练本公开的机器学习模型和/或分类器，该训练集包括从多个图像、图像帧的序列、视频流片段和/或实时视频中提取的特征，其中数据与精液样本中个体精子检测到的精子相关联。

在一些实施例中，与训练集相关联的注释和/或标记至少部分地基于与受精程序中的个体精子的估计的生育成功率相关的定性参数和/或定性评估。在一些实施例中，个体精子标记被分类为两个或更多个类别。在一些实施例中，精子被分类为用于受精程序的“候选”和“非候选”。

在一些实施例中，定性参数可以包括但不限于运动性(诸如运动性等级)、形态、精子浓度、总精子数、MOT(运动总数)和DNA和/或染色质损伤。在一些实施例中，检测和/或评估特定精子样本的异常，诸如精子不足、精子过多、少精子症、弱精子症、畸胎精子症、坏死精子症、附睾和睾丸精子。

在一些实施例中，数据用精子属性注释，诸如但不限于运动性、渐进运动性、线性运动性、形态(例如，尾部形态和中段形态)、基部形态、头部形态和一个或多个液泡的存在和位置。在一些实施例中，训练集可以被注释以指示例如个体精子是否是受精程序的候选。在一些实施例中，精子由专家例如男科医师手动注释。

在一些实施例中，在推理阶段，本公开的经过训练的机器学习模型可以被配置为接收与目标精液样本相关联的图像数据，其中图像数据可以从单个图像、一系列图像和/或视频片段中获取。在一些实施例中，视频片段可以是流式视频片段和/或实时视频片段。在一些实施例中，经过训练的机器学习模型可以应用于目标样本图像数据，以基于精子的受精程序中的生育力状态和/或成功结果的可能性对样本中的一个或多个个体精子进行分类。

在一些实施例中，本公开可以进一步提供关于目标样本中的一个或多个精子的位置坐标，该目标样本被经过训练的机器学习模型分类为潜在候选。在一些实施例中，基于此种位置坐标，本公开进一步提供用于提供操作指令和/或操作合适的设备以物理地取回如此分类的一个或多个精子，因为模型被配置为跟踪候选精子的位置。在一些实施例中，该模型被配置为将位置发送到机器，例如用于抽吸所述选定的个体候选精子的显微操作针。

因此，本公开的潜在优势在于它提供了自动化的、准确的和可重复的方法来标识受精程序的候选精子，使用广泛可用且廉价的成像技术和计算机分析工具来定位和/或跟踪样本内标识的候选精子，并提取所标识的精子。

参考图1，图1是根据本发明实施例的示例性系统100的框图。如本文所述的系统100仅是本发明的示例性实施例，并且实际上可以具有比所示更多或更少的组件，可以组合两个或更多组件，或者可以具有组件的不同配置或布置。系统100的各种组件可以用硬件、软件或硬件和软件的组合来实现。在各种实施例中，系统100可以包括专用硬件设备，或者可以形成对现有设备的添加/或扩展。

系统100可以在存储设备104中存储被配置为操作硬件处理器102的软件指令或组件，该硬件处理器包括诸如硬件处理器(也称为“硬件处理器”、“CPU”或简称为“处理器”)。在一些实施例中，软件组件可以包括操作系统，其包括用于控制和管理一般系统任务(例如，存储器管理、存储设备控制、电源管理等)和促进各种硬件和软件组件之间的通信的各种软件组件和/或驱动程序。

在一些实施例中，系统100可以包括硬件处理器102、通信模块112、用户接口114、成像设备106、图像处理模块110和机器学习模块108。

在一些实施例中，成像设备106可以包括捕获图像流并将它们表示为数据的任何一个或多个设备。成像设备106可以是基于光学的，但也可以包括深度传感器、红外成像传感器等。在一些实施例中，成像设备106可以耦合到显微镜和/或与显微镜集成。在一些实施例中，成像设备106可以被配置为检测RGB(红-绿-蓝)光谱带。在其他实施例中，成像设备106可以被配置为检测单色、紫外(UV)、近红外(NIR)、短波红外(SWIR)、多光谱带和/或高光谱成像中的至少一种。在一些实施例中，成像设备106被配置为收集2D和/或3D中的数据。在一些实施例中，成像设备106包括两个或更多单独的设备，其被配置为收集2D和/或3D的图像数据。例如，在一些实施例中，成像设备106被配置为获取精液样本的图像数据和深度图像数据中的一个或多个。

在一些情况下，所产生的表示图像流的数据可以是计算机设备可操作用于多种目的的数据格式，诸如显示数据、存储图像数据、编辑数据等。在一些实施例中，可以在视频序列的分析过程中使用数据。在一些实施例中，此类数据可用于导出各种信息方面，其可用于诸如检测感兴趣区域、分割、特征计算等的多个过程中。在一些实施例中，此类信息可以指颜色通道，例如红色、绿色和蓝色。在一些实施例中，获得的图像可以光学和/或数字放大。在一些实施例中，产生的数据可以高倍放大。在一些实施例中，放大率可以是至少100倍、1000倍、2000倍、4000倍、5000倍、6000倍或7000倍。

在一些实施例中，用户接口114包括用于控制系统100的控制面板、按钮、显示监视器和/或用于提供音频命令的扬声器中的一个或多个。在一些实施例中，系统100包括一个或多个用户输入控制设备，诸如物理或虚拟操纵杆、鼠标和/或点击轮。在其他变体中，系统100包括外围接口、RF电路系统、音频电路系统、麦克风、输入/输出(I/O)子系统、其他输入或控制设备、光学或其他传感器以及外部端口中的一个或多个。上面标识的模块和应用程序中的每一个对应于用于实行上述一个或多个功能的指令集。这些模块(即，指令集)不需要被实现为单独的软件程序、过程或模块，因此这些模块的各种子集可以在各种实施例中组合或以其他方式重新布置。

在一些实施例中，通信模块112可以被配置用于将系统100连接到网络，诸如互联网、局域网、广域网和/或无线网络。在一些实施例中，通信模块112促进通过一个或多个外部端口与其他设备的通信，并且还包括用于处理由系统100接收的数据的各种软件组件。在一些实施例中，通信模块112可以被配置为实现机器学习模块108与计算机化进程和/或可通过网络到达的数据库之间的通信。

在一些实施例中，图像处理模块110可以被配置为接收图像数据，诸如视频流数据，并处理该数据以提取和/或计算从数据中导出的多个值和/或特征。在一些实施例中，图像处理模块110可以被配置为基于一种或多种图像处理技术实行对象检测、图像分割和/或对象跟踪中的至少一些。在一些实施例中，本公开可以组合对象检测、跟踪和机器学习分类以用于跟踪视频流中的对象并对对象的片段进行分类以判断它们是否描绘了个体精子。

在一些实施例中，图像处理模块110还可以被配置为从视频流数据计算多个频率和/或时间相关的特征。在一些实施例中，特征可以表示从视频流数据导出的各种度量，诸如时域、频域和/或其他或类似特征。

在一些实施例中，由图像处理模块110提取和/或计算的视频流数据、值和/或特征可用于构建用于本公开的机器学习分类器的训练过程的训练集。在一些实施例中，图像处理模块110可以被配置为标记和/或允许标记与图像和/或视频流相关联的计算特征。在一些实施例中，标记特征的过程可以涉及可以由用户接口114处理的用户干预。在一些实施例中，图像处理模块110可以被配置为与机器学习模块108通信以构建所需的训练集来训练分类器。

在一些实施例中，机器学习模块108可以被配置为训练机器学习模型和/或分类器以检测图像和/或视频序列中的个体精子。在一些实施例中，机器学习模块108可以被配置为训练机器学习分类器以标识图像和/或视频序列中的候选精子。在一些实施例中，图像和/或视频序列可以与从图像处理模块110产生的数据计算的特征相关联。在一些实施例中，机器学习模块108可以被配置为将经过训练的机器学习分类器应用于一组计算的目标特征，以确定与计算的特征相关联的图像和/或视频流是否描绘了用于受精程序的候选精子。

参考图2，其是根据本发明的一些实施例的用于训练机器学习分类器以标识图像数据中的候选精子的过程中的功能步骤的流程图。

在一些实施例中，在步骤200处，多个精液样本中的精子的图像数据可以由系统接收，诸如图1中的系统100。在一些实施例中，图像数据可以通过成像设备(诸如成像设备106)来获得。在一些实施例中，图像数据可以作为输入从外部源接收，例如，图像数据可以作为输入从存储设备发送，该存储设备设计用于管理包括图像和/或视频流的数字存储。

在一些实施例中，图像数据包括图像、一系列图像、视频片段和/或描绘一个或多个精液样本的实时视频。在一些实施例中，图像数据被光学和/或数字放大。在一些实施例中，图像数据反映1000倍-6000倍之间的放大率，例如至少4000倍。在一些实施例中，图像数据包括放大的移动精子的实时视频流。在一些实施例中，图像数据被存储在存储设备上，诸如存储设备104。

例如，在一些实施例中，从耦合到显微镜的摄像机接收图像数据。在一些实施例中，经过训练的胚胎学家调整显微镜以获得优化的聚焦图像，例如，个体精子在培养皿内的不同采样位点上的优化聚焦图像。在一些实施例中，图像焦点被自动优化。

在一些实施例中，将增稠剂添加到精液样本中以增加可用于调整显微镜的时间，从而产生优化的聚焦图像。在一些实施例中，增稠剂包括例如聚乙烯吡咯烷酮(PVP)。在一些实施例中，图像数据包括视频片段和/或实况视频流，其包括图像焦点的优化。在一些实施例中，图像数据包括视频片段和/或实况视频流，其包括不同采样位点之间的导航。在一些实施例中，图像数据包括通过遵循个体精子的行进模式在不同采样位点之间的导航。

在一些实施例中，随机选择采样位点。在一些实施例中，采样位点由专家手动选择。在一些实施例中，通过涉及样本内的位置的用户输入坐标和/或保存在存储设备104上的坐标来选择采样位点。在一些实施例中，手动标识样本位点使得在图像数据内的一个或多个数据点子集描绘了个体精子。

在一些实施例中，精液样本被压缩，例如，在药筒内。在一些实施例中，精液样本的深度被压缩。压缩精液样本的潜在优势在于减少了由于不同精子高度不同而导致的焦点差异。

在步骤202处，图像处理模块110可以将一个或多个预处理和/或处理步骤应用于接收和/或获得的图像数据。在一些实施例中，图像处理模块110可以将视频流划分为时间窗口，例如，通过定义具有例如指定持续时间(诸如五秒持续时间)的多个视频序列。在一些实施例中，可以从一个视频流中选择一个以上的帧序列。

在一些实施例中，在步骤202处，图像处理模块110可以被配置为检测视频序列中的一些或所有帧中的一个或多个感兴趣区域(ROI)，其中这些ROI潜在地与个体精子相关联。在一些实施例中，在步骤202处，图像处理模块110可以被配置为实行精子对象检测。在一些实施例中，检测至少部分基于对精子头部、基部、精核、形态和/或运动性的检测。在一些实施例中，可以通过使用任何适当的图像处理算法和/或方法来实行ROI检测。

在步骤202处，可以实行图像数据处理步骤，例如，通过采用图1中的图像处理模块110，以导出关于ROI中的至少一些片段的相关数据。在一些实施例中，处理阶段可以包括关于数据的数据导出、数据清理、数据规范化和/或附加和/或类似操作。

在一些实施例中，在步骤202处，可以在图像数据中检测一个或多个个体精子。在一些实施例中，ROI可以被分割成，例如被认为可能与精子相关的区域。在一些实施例中，可以在整个图像数据、视频片段和/或实况流视频中跟踪ROI片段。

参考图3A和图3B，其是根据本发明的一些实施例的示例性数据选择。在一些实施例中，在步骤202处，图像数据处理包括数据选择。在一些实施例中，诸如图3A和3B所描绘的，图像数据选择包括选择图像数据内的一个或多个数据点子集的选择，其中描绘了个体精子。在一些实施例中，在步骤202处，图像数据处理可以包括边缘检测、角检测、斑点检测和/或提取、脊检测、尺度不变特征变换、改变强度、自相关、阈值处理、模板匹配、广义霍夫变换、可变形和参数化形状以及活动轮廓中的一种或多种。在一些实施例中，在步骤202处，图像数据处理可以包括基于形状和/或灵活的光学字符识别方法。在步骤202处，在一些实施例中，如此处理的图像数据可以进一步用于计算一组图像数据特征。

在一些实施例中，在步骤202处，可以从在步骤200处接收的图像数据中提取多个特征。在一些实施例中，由图像处理模块110计算的特征可以表示精子的物理特征。例如，在一些实施例中，在非限制性示例中，计算的特征可以包括一种或多种形态(例如，头部和/或底部形态)、细胞大小、细胞体积、运动性和其他属性，诸如，细胞的精核中存在的液泡。例如，在一些实施例中，精子头部的形状被标记为“H”。例如，在一些实施例中，精子的精核中存在的液泡的形状被标记为“V”。例如，在一些实施例中，精子头部基部的形状被标记为“B”。

在一些实施例中，在步骤202处，可以为个体精子分配图像数据内的位置，然后可以将其与通用坐标系相关联。通用坐标系允许在来自不同制造商、不同设计或在其上具有不同自动化平台的不同显微镜系统上复制位置。通用坐标系根据精液样本上的固定和/或移动物理特征测量个体精子的位置。例如，在一些实施例中，通用坐标系为个体精子分配每个位置x、y值。例如，在一些实施例中，通用坐标系为个体精子分配每个位置x、y、z值。在一些实施例中，在整个精液样本的视频片段和/或实况视频流中跟踪个体精子的指定位置。在一些实施例中，以2D和/或3D跟踪个体精子的指定位置。在一些实施例中，个体精子的指定位置作为时间的函数和/或实时地被跟踪。

如本领域技术人员可以理解的，在现实生活中的对象观察情况下，出现了与对象移动、光照条件、系统延迟、检测算法限制、所获得视频的质量等相关的若干挑战。例如，观察到的细胞在观察期间可能不包括相同的形态。因此，可以训练本发明的预测模型以适应各种情况和输入变量。

在一些实施例中，在步骤204处，系统100可以被配置为接收图像数据以用于生成用于预测算法的训练集。图像数据可以包括在训练过程中使用的视频序列，其可以从具有不同类型的分辨率、成像传感器、帧速率等的不同成像设备捕获。

在一些实施例中，训练集可以包括从接收和/或存储的图像数据中提取的多个特征集。在一些实施例中，训练集可以被标记以指示例如每个个体精子是否是用于受精程序的候选。在一些实施例中，不同的受精程序可以包括不同的训练集标记。

在一些实施例中，在步骤204处，可以构建训练集，包括(a)在步骤202处提取的特征集，和(b)指示相应图像和/或视频片段是否描绘了用于受精程序的候选精子的标记。在一些实施例中，标记特征的过程可以是手动的和/或由专家例如男科医师执行。

在一些实施例中，标记至少部分地基于对每个个体精子的视觉观察的评估。在一些实施例中，视觉评估用于确定个体精子是否是用于受精程序的候选。在一些实施例中，评估是形态相关属性、运动相关属性和视觉相关属性中的至少一种。在一些实施例中，评估是对精子浓度、总精子数、颜色、粘度和MOT(运动总数)中的一项或多项。在一些实施例中，评估基于运动性、渐进运动性、线性运动性、形态、基部形态、头部形态以及每个个体精子的一个或多个液泡的存在和位置中的一种或多种。

在一些实施例中，在步骤204处，专家(例如男科医师)可以将一个或多个个体精子标记为“候选”或“非候选”。在一些实施例中，标记基于精子的各个部分。在一些实施例中，个体部分包括个体精子的头部、个体精子的基部和个体精子的尾部中的一个或多个。在一些实施例中，标记基于个体精子的视觉属性。在一些实施例中，标记反映了潜在的精子异常。

参考图4A-图4I(在本文中统称为图4)，它们是根据本发明的一些实施例的精子识别的示例性特征的示意图。在一些实施例中，标记特征的过程可以包括标记个体精子的头部的形状、个体精子的基部的形状和个体精子的精核中的液泡的存在中的一种或多种，如图4所示。

例如，图4A所描绘的个体精子包括示例性的正常形态。例如，图4B和图4G描绘的个体精子包括个体精子的头部的正常形态和个体精子的基部的异常形态。例如，图4C和图4H描绘的个体精子包括个体精子的基部的正常形态和个体精子的头部的异常形态。例如，图4F和图4I描绘的个体精子包括个体精子的头部和基部的异常形态。例如，图4D、图4E、图4G、图4H和图4I所描绘的个体精子包含存在于个体精子的头部和/或基部内的一个或多个液泡。

在一些实施例中，潜在的精子异常(诸如但不限于图4描绘的的异常)可能表明个体精子不是用于受精程序的候选。在一些实施例中，潜在异常量化可以被给出置信度分数，例如在1和100之间。在一些实施例中，可以定量地标记个体精子，使得排名最高的精子是用于受精程序的候选。在一些实施例中，标记可以包括针对不同潜在异常的单独置信度分数。

在一些实施例中，在步骤206处，使用在步骤204中构建的训练集来训练机器学习模型。在一些实施例中，在步骤206处，可以训练机器学习分类器来(例如，基于置信度分数)预测和/或分类从图像数据中检测到的片段中提取的一组特征，如描绘个体精子。

在一些实施例中，在步骤208处，在推理阶段，本公开的经过训练的机器学习模型可以应用于来自目标样本的图像数据。在一些实施例中，可以基于步骤200和202中的至少一些来获得、提取、选择预处理和/或处理目标样本图像数据。在一些实施例中，机器学习模型确定在图像数据中跟踪的个体精子是否是用于受精程序的候选。

在一些实施例中，本公开提供训练机器学习模型以预测哪些个体精子是用于受精程序的最佳候选。在一些实施例中，用于机器学习模型的训练集可以包括从多个精液样本中提取的精子特征和/或潜在异常集，其中每个特征集和/或异常集都与受精程序中估计的生育成功率相关联。在一些实施例中，可以通过采用以上步骤200-206中详述的过程来获得特征集和/或异常。

在一些实施例中，可以训练机器学习模型以预测个体精子在受精程序中的成功水平。在一些实施例中，可以进一步训练机器学习模型以比较个体精子的预测成功水平。

在一些实施例中，实时跟踪在步骤208处检测到的最佳候选的位置。在一些实施例中，个体精子的指定位置存储在系统100的存储设备104中。

在一些实施例中，在步骤202处，还可以在整个序列的后续帧中跟踪在序列的第一帧中标识的片段。在一些实施例中，可以通过例如检查序列中的连续帧之间的质心调整和/或多边形形状调整来实行贯穿视频序列的跟踪片段。

在一些实施例中，通用坐标系测量个体精子的位置并输出精液样本内的个体精子位置的实时更新。

在一些实施例中，实时精子位置坐标可以被配置为提供操作指令和/或操作用于取回一个或多个个体精子的合适器件。例如，在一些实施例中，该设备可以是用于抽吸所述选定的个体精子的显微操作针。例如，在一些实施例中，显微操纵器的毛细管针被配置为使用坐标系与精子位置对齐。在一些实施例中，从精液样本中泵出个体精子，例如，放入专用容器中。在一些实施例中，检索过程可以通过自动化方式来完成。

如本领域技术人员将理解的，本发明的方面可以体现为系统、方法或计算机程序产品。因此，本发明的方面可以采取完全硬件实施例、完全软件实施例(包括固件、常驻软件、微代码等)或结合软件和硬件方面的实施例的形式，这些实施例都可以被统称为在此称为“电路”、“模块”或“系统”。此外，本发明的方面可以采取体现在一个或多个计算机可读介质中的计算机程序产品的形式，该计算机可读介质具有体现在其上的计算机可读程序代码。

可以使用一种或多种计算机可读介质的任何组合。计算机可读介质可以是计算机可读信号介质或计算机可读存储介质。计算机可读存储介质可以是，例如但不限于电子的、磁性的、光学的、电磁的、红外线的或半导体系统、器件或设备，或前述的任何合适的组合。计算机可读存储介质的更具体示例(非详尽列表)将包括以下内容：具有一根或多根电线的电连接、便携式计算机软盘、硬盘、随机存取存储器(RAM)、读取只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪存)、光纤、便携式光盘只读存储器(CD-ROM)、光存储设备、磁存储设备或任何前述的适当组合。在本文档的上下文中，计算机可读存储介质可以是可以包含或存储程序以供指令执行系统、器件或设备使用或与其结合使用的任何有形介质。

计算机可读信号介质可以包括例如在基带中或作为载波的一部分而体现在其中的计算机可读程序代码的传播数据信号。这种传播信号可以采用多种形式中的任何一种，包括但不限于电磁、光或其任何合适的组合。计算机可读信号介质可以为不是计算机可读存储介质并且可以传送、传播或传输程序以供指令执行系统、器件或设备使用或与其结合使用的任何计算机可读介质。

体现在计算机可读介质上的程序代码可以使用任何适当的介质来传输，包括但不限于无线、有线、光纤电缆、RF等，或前述的任何合适的组合。

用于执行本发明方面的操作的计算机程序代码可以用一种或多种编程语言的任何组合来编写，包括诸如Java、Smalltalk、C++等的面向对象的编程语言和传统的过程编程语言，诸如“C”编程语言或类似的编程语言。程序代码可以完全在用户计算机上、部分在用户计算机上、作为独立软件包、部分在用户计算机上和部分在远程计算机上或完全在远程计算机或服务器上执行。在后一种情况下，远程计算机可以通过任何类型的网络连接到用户的计算机，包括局域网(LAN)或广域网(WAN)，或者可以连接到外部计算机(例如，通过Internet使用Internet服务提供商)。

在此参考根据本发明实施例的方法、器件(系统)和计算机程序产品的流程图和/或框图来描述本发明的各方面。应当理解，流程图和/或框图的每个块，以及流程图和/或框图中的块的组合，可以通过计算机程序指令来实现。可以将这些计算机程序指令提供给通用计算机、专用计算机或其他可编程数据处理器件的硬件处理器以生产机器，使得经由计算机的处理器或其他可编程数据执行的指令处理器件、创建用于实现流程图和/或框图一个或多个块中指定的功能/动作的装置。

这些计算机程序指令还可以存储在计算机可读介质中，该计算机可读介质可以引导计算机、其他可编程数据处理器件或其他设备以特定方式运行，使得存储在计算机可读介质中的指令产生包括实现流程图和/或框图一个或多个块中指定的功能/动作的指令的制品。

计算机程序指令还可以加载到计算机、其他可编程数据处理器件或其他设备上，以使一系列操作步骤在计算机、其他可编程器件或其他设备上实行以产生计算机实现的过程，使得在计算机或其他可编程器件上执行的指令提供用于实现流程图和/或框图一个或多个块中指定的功能/动作的过程。

在一些实施例中，精子的分离、标识和/或成像还包括微流体系统。在一些实施例中，成像或图像分析系统和/或计算机程序连接到微流体系统。在一些实施例中，微流体系统包括微流体芯片。

在一些实施例中，提供了一种系统，包括：(a)微流体通道；以及(b)光电探测器、光电倍增管(PMT)、放射性探测器、摄像机或它们的任何组合。在一些实施例中，光电检测器、光电倍增管(PMT)或摄像机连接到计算机，该计算机包括用于自动检测精液样本中的候选精子的方法、系统和计算机程序产品。在一些实施例中，光电检测器、光电倍增管(PMT)或摄像机连接到计算机，该计算机包括用于自动检测精液样本中的候选精子的方法、系统或计算机程序产品。在一些实施例中，光电检测器、光电倍增管(PMT)或摄像机连接到系统或计算机程序产品，用于自动检测精液样本中的候选精子。在一些实施例中，用于自动检测精液样本中的候选精子的方法或系统包括光电检测器、光电倍增管(PMT)或摄像机。在一些实施例中，用于自动检测精液样本中候选精子的方法或系统与高速成像配对，已经解析了诸如精液样本中的散装(bulk)流体中精子的完整3D游泳模式。

在一些实施例中，如本文所述的系统和方法还包括微流体系统，包括：微流体设备、流体泵或电极、摄像机和用于照亮摄像机视野内的精子细胞的照明源。

在一些实施例中，精液在微流体通道或设备内的分离通道中与缓冲液混合。在一些实施例中，精液在分离通道中与缓冲液混合以降低其粘度。在一些实施例中，精液在分离通道中与缓冲液混合以呈现牛顿流体的条件。

在一些实施例中，微流体设备用于基于精子细胞的运动性对精子细胞进行初始分选。在一些实施例中，微流体设备用于选择活动精子。还探索了不需要精子运动性的技术。在一些实施例中，微流体设备用于基于细胞的大小、形状、电荷或其任何组合来选择精子细胞。涉及将拉曼光谱与微流体精子分选系统结合使用。在一些实施例中，微流体设备包括用于单细胞分析的拉曼光谱。在一些实施例中，微流体设备通过本领域已知的方式(诸如但不限于CaF2包被的孔(CaF2 coated wells))瞬时固定活动精子细胞。在一些实施例中，通过如本文所述的拉曼光谱和/或摄像机分析每个固定的精子细胞。在一些实施例中，每个固定的精子细胞由如本文所述的照明源照明。

图中的流程图和框图说明了根据本发明的各种实施例的系统、方法和计算机程序产品的可能实施方式的架构、功能和操作。在这点上，流程图或框图中的每个块可以表示模块、片段或代码的一部分，其包括用于实现指定的(一个或多个)逻辑功能的一个或多个可执行指令。还应注意，在一些替代实施方式中，方框中标注的功能可能不按图中标注的顺序出现。例如，连续显示的两个块实际上可以基本上同时执行，或者这些块有时可以以相反的顺序执行，这取决于所涉及的功能。还应注意，框图和/或流程图说明的每个块，以及框图和/或流程图说明中的块的组合，可以由实行指定功能或动作的基于硬件的专用系统或专用硬件和计算机指令的组合来实现。

本发明的各种实施例的描述是为了说明的目的而呈现的，但并不旨在穷举或限制于所公开的实施例。在不脱离所描述实施例的范围和精神的情况下，许多修改和变化对于本领域的普通技术人员将是显而易见的。选择本文使用的术语是为了最好地解释实施例的原理、实际应用或对市场中发现的技术的技术改进，或者使本领域的其他普通技术人员能够理解本文公开的实施例。

在本申请的说明书和权利要求中，词语“包括”、“包含”和“具有”中的每一个及其形式不一定限于词语可能与之相关联的列表中的成员。此外，在本申请与通过引用并入的任何文件之间存在不一致之处时，在此旨在以本申请为准。

在整个申请中，本发明的各种实施例可以按范围格式呈现。应当理解，范围格式的描述仅仅是为了方便和简洁，不应理解为对本发明范围的硬性限制。因此，范围的描述应该被认为已经具体公开了所有可能的子范围以及该范围内的各个数值。例如，对诸如1到6的范围的描述应该被认为具有具体公开的子范围，诸如从1到3、从1到4、从1到5、从2到4、从2到6、从3到6等，以及该范围内的个体数字，例如1、2、3、4、5和6。无论范围的宽度如何，这都适用。

无论何时在本文中指示数字范围，其意在包括在指示范围内的任何引用的数字(分数或整数)。短语“在”第一指示数字和第二指示数字之间的范围(和“范围从”第一指示数字“到”第二指示数字在本文中可互换使用，并且意在包括第一指示数字和第二指示数字以及它们之间的所有小数和整数。

已经出于说明的目的呈现了本发明的各种实施例的描述，但不旨在穷举或限制于所公开的实施例。在不脱离所描述实施例的范围和精神的情况下，许多修改和变化对于本领域的普通技术人员将是显而易见的。选择本文使用的术语是为了最好地解释实施例的原理、实际应用或对市场中发现的技术的技术改进，或者使本领域的其他普通技术人员能够理解本文公开的实施例。

Claims

1.一种系统，其包括：

至少一个硬件处理器；以及

非暂时性计算机可读存储介质，其上存储有程序指令，所述程序指令可由所述至少一个硬件处理器执行以：

接收与多个精液样本相关联的图像数据，

在训练阶段，在训练集上训练机器学习模型，所述训练集包括：

(i)所述图像数据，以及

(ii)与对所述精液样本中的一个或多个个体精子中的每一个的定性评估相关联的标记，并且

将经训练的机器学习模型应用于与目标精液样本相关联的目标图像数据，以标识所述目标样本中的一个或多个精子作为用于授精程序的候选。

2.根据权利要求1所述的系统，其中所述定性评估包括估计涉及所述个体精子的授精程序的成功的可能性。

3.根据权利要求1-2中任一项所述的系统，其中所述定性评估至少部分地基于选自由以下组成的组的一个或多个定性参数：检测到的运动性、渐进运动性、线性运动性、形态、基部形态、头部形态以及一个或多个液泡的存在和位置。

4.根据权利要求1-3中任一项所述的系统，其中所述指令进一步可执行以实行图像处理阶段，并且其中所述图像处理包括以下各项中的至少一项：图像数据清理、图像数据标准化、检测所述图像数据中的个体精子、识别所述图像数据中的个体精子，以及跟踪所述图像数据中的个体精子。

5.根据权利要求4所述的系统，其中所述跟踪包括标识所述目标样本中的所述一个或多个精子中的至少一个的坐标。

6.根据权利要求5所述的系统，其中所述跟踪还包括操作取回设备以取回所述目标样本中的所述一个或多个精子中的至少一个，并且其中所述取回基于所述标识坐标。

7.根据权利要求1-6中任一项所述的系统，其中所述指令进一步可执行以实行特征选择阶段，并且其中所述特征选择包括选择所述图像数据内的一个或多个数据点子集。

8.根据权利要求1-7中任一项所述的系统，其中关于每个所述精液样本，所述图像数据包括以下各项中的至少一个：单个图像、一系列图像、视频片段、流式视频片段和实时视频片段。

9.根据权利要求1-8中任一项所述的系统，其中所述识别包括分配给所述目标样本中的所述一个或多个精子的置信度分数。

10.一种方法，其包括：

接收与多个精液样本相关联的图像数据；

(i)所述图像数据，以及

(ii)与所述精液样本中的一个或多个个体精子中的每一个的定性评估相关联的标记；并且

11.根据权利要求10所述的方法，其中所述定性评估包括估计涉及所述个体精子的授精程序的成功的可能性。

12.根据权利要求10-11中任一项所述的方法，其中所述定性评估至少部分地基于选自由以下组成的组的一个或多个定性参数：检测到的运动性、渐进运动性、线性运动性、形态、基部形态、头部形态以及一个或多个液泡的存在和位置。

13.根据权利要求10-12中任一项所述的方法，还包括实行图像处理阶段，并且其中所述图像处理包括以下至少一项：图像数据清洗、图像数据标准化、检测所述图像数据中的个体精子、识别跟踪所述图像数据中的个体精子，以及跟踪所述图像数据中的个体精子。

14.根据权利要求13所述的方法，其中所述跟踪包括标识所述目标样本中的所述一个或多个精子中的至少一个的坐标。

15.根据权利要求14所述的方法，其中所述跟踪还包括操作取回设备以取回所述目标样本中的所述一个或多个精子中的至少一个，并且其中所述取回基于所述标识的坐标。

16.根据权利要求10-15中任一项所述的方法，还包括实行特征选择阶段，其中所述特征选择包括选择所述图像数据内的一个或多个数据点子集。

17.根据权利要求10-16中任一项所述的方法，其中对于每个所述精液样本，所述图像数据包括以下各项中的至少一个：单个图像、一系列图像、视频片段、流式视频片段和实时视频片段。

18.根据权利要求10-17中任一项所述的方法，其中所述标识包括将置信度分数分配给所述目标样本中的所述一个或多个精子。

19.一种计算机程序产品，其包括具有体现其中的程序指令的非暂时性计算机可读存储介质，所述程序指令可由至少一个硬件处理器执行以：

接收与多个精液样本相关联的图像数据；

(i)所述图像数据，以及

20.根据权利要求19所述的计算机程序产品，其中所述定性评估包括估计涉及所述个体精子的授精程序的成功的可能性。

21.根据权利要求19-20中任一项所述的计算机程序产品，其中所述定性评估至少部分地基于选自由以下组成的组的一个或多个定性参数：检测到的运动性、渐进运动性、线性运动性、形态、基部形态、头部形态以及一个或多个液泡的存在和位置。

22.根据权利要求19-21中任一项所述的计算机程序产品，其中所述指令进一步可执行以实行图像处理阶段，并且其中所述图像处理包括以下至少一项：图像数据清理、图像数据标准化、检测所述图像数据中的个体精子、识别所述图像数据中的个体精子，以及跟踪所述图像数据中的个体精子。

23.根据权利要求22所述的计算机程序产品，其中所述跟踪包括标识所述目标样本中的所述一个或多个精子中的至少一个的坐标。

24.根据权利要求23所述的计算机程序产品，其中所述跟踪还包括操作取回设备以取回所述目标样品中的所述一个或多个精子中的至少一个，并且其中所述取回基于所述标识坐标。

25.根据权利要求19-24中任一项所述的计算机程序产品，其中所述指令进一步可执行以实行特征选择阶段，并且其中所述特征选择包括选择所述图像数据内的一个或多个数据点子集。

26.根据权利要求19-25中任一项所述的计算机程序产品，其中关于每个所述精液样本，所述图像数据包括以下各项中的至少一个：单个图像、一系列图像、视频片段、流式视频片段和实时视频片段。

27.根据权利要求19-26中任一项所述的计算机程序产品，其中所述识别包括分配给所述目标样品中的所述一个或多个精子的置信度分数。