CN114467112A - 用于辅助生殖程序的质量保证度量的自动评估 - Google Patents

Abstract

提供了用于为生殖细胞结构分配质量参数的系统和方法。获得生殖细胞结构的图像。生殖细胞结构的图像被提供给神经网络，以生成表示生殖细胞结构的形态的值。将该值与预定标准进行比较，以提供表示医学人员、机构、生长培养基和生殖细胞结构的身份中的一个的质量保证度量。

Description

用于辅助生殖程序的质量保证度量的自动评估

相关申请的交叉引用

本申请要求于2019年9月6日提交的、名称为“用于IVF实践中的误差最小化的支持深度神经网络的胚胎跟踪和样本标识系统(DEEP NEURAL NETWORK-ENABLED EMBRYOTRACKING AND SPECIMEN IDENTIFICATION SYSTEM FOR ERROR MINIMIZATION IN IVFPRACTICES)”的美国临时专利申请序列号62/897,043、于2019年9月6日提交的、名称为“使用支持深度学习的受精和胚胎分级技术进行ICSI的个体胚胎学家的自动质量评估(AUTOMATED QUALITY ASSESSMENT OF INDIVIDUAL EMBRYOLOGISTS PERFORMING ICSIUSING DEEP LEARNING-ENABLED FERTILIZATION AND EMBRYO GRADING TECHNOLOGY)”的美国临时专利申请序列号62/897,045、于2019年9月6日提交的、名称为“使用深度学习导出的关键性能指标(KPI)监控人类胚胎培养条件(MONITORING OF HUMAN EMBRYO CULTURECONDITIONS USING A DEEP LEARNING-DERIVED KEY PERFORMANCE INDICATOR(KPI))”的美国临时专利申请序列号62/897,049、于2019年9月6日提交的、名称为“基于卵母细胞形态质量的支持深度学习的受精预测(DEEP LEARNING-ENABLED PREDICTION OF FERTILIZATIONBASED ON OOCYTE MORPHOLOGICAL QUALITY)”的美国临时专利申请序列号62/897,053中的每一个的优先权。这些申请中的每一个的全部内容通过引用整体结合于此。

技术领域

本发明总体上涉及医疗决策支持领域，并且具体而言，涉及用于辅助生殖程序的质量保证度量的自动评估。

背景技术

不孕症是被低估的医疗保健问题，其在全球影响着超过4800万对夫妇并且是痛苦、抑郁和歧视的原因。尽管辅助生殖技术(assisted reproductive technologies，ART)(诸如体外受精(IVF))在一定程度上减轻了不孕症的负担，但其效率很低，2015年美国报道的平均成功率为26％。IVF仍然作为昂贵的解决方案，在美国每个ART周期7000美元到20000美元之间的费用，这通常不在保险范围内。而且，许多患者要求多个IVF周期来实现妊娠。

数据分析是用于辅助生殖程序的有效质量评估(QA)程序的关键部分。对所标识的关键绩效指标(key performance indicator，KPI)进行常规审查对于确保实验室正常运行非常重要并且或许更重要的是发现潜在问题从而及时纠正。受精评估是用于衡量卵胞浆内单精子注射(ICSI)胚胎学工作人员效率的主要结果。然而，跟踪ICSI获得的胚胎的发育命运可以提供这个程序是如何进行的更完整的描述。

发明内容

根据本发明的一方面，提供了一种用于为生殖细胞结构分配质量参数的方法。获得生殖细胞结构的图像。生殖细胞结构的图像被提供给神经网络，以生成表示生殖细胞结构的形态的值。将该值与预定标准进行比较，以提供表示医学人员、机构、生长培养基和生殖细胞结构的身份中的一个的质量保证度量。

根据本发明的另一方面，一种系统包括处理器、输出设备和存储用于将质量保证度量分配给胚胎的机器可执行指令的非暂时性计算机可读介质。机器可执行指令包括：成像器接口，该成像器接口从相关联的成像器接收胚胎的图像；以及卷积神经网络，该卷积神经网络根据胚胎的图像确定表示胚胎成功的结果的可能性的值。质量分析组件计算表示医学专业人员、机构和生长培养基中的一个在多个胚胎上的表现的值，并将该值与阈值进行比较以生成质量保证度量。在输出设备处向用户显示质量保证度量的用户界面。

根据本发明的又一方面，一种系统包括处理器、输出设备和存储用于分配表示卵母细胞的质量的值的机器可执行指令的非暂时性计算机可读介质。机器可执行指令包括：成像器接口，该成像器接口从相关联的成像器接收卵母细胞的图像；以及卷积神经网络，该卷积神经网络根据卵母细胞的图像确定表示卵母细胞的成功受精的可能性和卵母细胞的极体的位置中的一个的值。用户界面在输出设备处向用户显示表示卵母细胞的成功受精的可能性的值。

根据本发明的另一方面，一种系统包括处理器、输出设备和存储用于确认生殖细胞结构的身份的机器可执行指令的非暂时性计算机可读介质。机器可执行指令包括成像器接口，该成像器接口从相关联的成像器接收在第一时间拍摄的生殖细胞结构的第一图像和在第二时间拍摄的生殖细胞结构的第二图像。神经网络根据生殖细胞结构的第一图像生成标识符关键字，并根据第二图像生成表示生殖细胞结构的形态的值。身份验证组件将表示生殖细胞结构的形态的值与标识符关键字进行比较，以确定生殖细胞结构是否属于与标识符关键字相关联的患者。用户界面在输出设备处向用户显示生殖细胞结构是否属于与标识符关键字相关联的患者的确定。

附图说明

通过阅读参考附图进行的以下描述，本发明的前述和其他特征对于本发明所涉及的领域的技术人员来说是显而易见的，在附图中：

图1示出了用于将质量保证度量分配给生殖细胞结构的系统；

图2提供了用于向胚胎分配质量保证度量的系统的示例实施方式；

图3提供了用于向卵母细胞分配质量度量的系统的示例实施方式；

图4示出了用于验证生殖细胞结构的身份的系统的示例实施方式；

图5示出了用于向生殖细胞结构分配质量保证度量的方法；

图6示出了用于向胚胎分配质量保证度量的方法；

图7示出了用于分配表示卵母细胞的质量的值的方法；

图8示出了用于验证生殖细胞结构身份的方法；以及

图9是示出能够实施本文中公开的系统和方法的示例的硬件部件的示例性系统的示意性框图。

具体实施方式

本文所用的“生殖细胞结构”是指受精前或受精后的卵母细胞。因此，该术语旨在涵括在植入到患者或受试者体内之前的任何发育阶段的卵母细胞和胚胎两者。

本文所用的“质量保证度量”是指在辅助生殖过程期间与已建立的一组实践的依从性的连续的、有序的或分类的值。

目前用于胚胎和卵母细胞评估的计算机视觉方法是半自动的、限于测量特定参数，其提供需要由胚胎学家进行的进一步分析并且需要严格受控的成像系统的度量。先前在辅助生殖中使用机器学习方法开发系统的尝试需要密集的图像预处理，随后是人工指导的特征分割以便进行分类。由于机器学习方法对图像处理和分割的依赖性，这种方法受到与计算机视觉技术相同的限制的影响。

在此，我们通过采用利用较大的一组图像进行预训练的深度神经网络，用于在临床相关的发育阶段转移学习生殖细胞结构的分类来克服这个挑战。与用于评估生殖细胞结构的现有计算机辅助算法不同，本文提供的系统和方法允许在像素水平下进行自动特征选择和分析，而无需由胚胎学家进行的任何协助。在一个示例中，应用卷积神经网络来标识形态复杂的生殖细胞结构之间的形状、结构和纹理变化。由于使用多种仪器进行数据采集，该系统对图像照明和质量方面的变化具有弹性。

图1示出了用于将质量保证度量分配给生殖细胞结构的系统100。系统100包括获取生殖细胞结构的图像的成像器102。例如，成像器102可以包括能够产生可见光或红外范围内的图像、与适当的光学器件配对以提供生殖细胞结构的图像的一个或多个相机。在实践中，成像器102可以被实施为作为时延卵母细胞/胚胎成像系统的一部分，在发育的多天捕获生殖细胞结构的图像。在一个实施方式中，成像器102包括用于移动设备的附件，该附件与移动设备的相机一起操作，以提供生殖细胞结构的图像。用于附件的外壳可以使用具有82×34×48mm的尺寸的聚乳酸进行3D打印。外壳中可以包括丙烯酸透镜，以提供图像的适当放大。

在另一实施方式中，成像器102可以被实施为具有由聚乳酸3D打印的光学外壳和62×92×175mm的总尺寸的独立系统。该外壳包含具有白光发光二极管的电子电路、三伏电池和单刀双掷开关。生殖细胞结构是透照的，具有用于图像放大的10x平面消色差物镜和用于图像数据采集的互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)图像传感器。CMOS传感器可以连接到单板计算机来处理所捕获的图像。成像器102可以通过无线连接(例如，Wi-Fi、蓝牙或类似连接)连接到移动设备，以便进行数据处理和可视化。

在成像器102处获得的一个或多个图像被提供给神经网络104，该神经网络根据生殖细胞结构的图像计算表示生殖细胞结构形态的至少一个输出值。例如，输出值可以表示基于生殖细胞结构的形态的生殖细胞结构的质量、或者基于其形态学特征标识胚胎的关键字。应当理解的是，神经网络可以被实施为存储在非暂时性计算机可读介质上并由相关联的处理器执行的软件指令。在一个示例中，神经网络104可以在云计算系统上实施。

在一个实施方式中，神经网络104可以是卷积神经网络，该卷积神经网络是包括卷积层的前馈人工神经网络，其有效地将卷积应用于网络的前一层处的值，以强调图像内的各组特征。在卷积层中，每个神经元仅连接到前一层中神经元的适当子集，称为神经元的感受野。在所示的示例中，卷积神经网络使用Xception架构来实施。在一个实施方式中，与每个像素相关联的至少一个色度值(例如，RGB颜色通道、YCrCb颜色通道或灰度亮度的值)被提供作为到卷积神经网络的初始输入。

在另一实施方式中，神经网络104可以被实施为递归神经网络。在递归神经网络中，网络中的节点之间的连接被选择以沿着序列形成有向图，从而允许它展示动态时间行为。在另一实施方式中，神经网络104被实施和训练为生成式对抗模型中的判别网络，其中生成式神经网络和判别网络彼此提供彼此的反馈，使得生成式神经网络为判别网络产生越来越复杂的样本以尝试进行分类。

在另一应用中，可以使用图形神经网络。图形神经网络是连接模型，这些连接模型通过在图形的节点之间传递的消息来捕获图形的依赖性。与标准神经网络不同，图形神经网络保留可以利用任意深度表示来自其邻域的信息的状态。图形神经网络能够模拟图形中的节点之间的关系，并产生数字表示。在又一实施方式中，可以使用基于自动编码器的神经网络。自动编码器是训练神经网络从而以有用的形式表示输入数据的无监督的生成式模型。在一个实施方式中，可以训练自动编码器在输出层处重建输入层，其中在网络的隐藏层中生成数据的替代性表示。

发明人已经发现，通过将神经网络104与另一专家系统(未示出)结合使用，可以增强神经网络104的预测能力。在实践中，各种专家系统中的任何一种可以与卷积或递归神经网络结合使用，包括支持向量机、随机森林、自组织映射、模糊逻辑系统、数据融合过程、集成方法、基于规则的系统、遗传算法和人工神经网络。应当理解的是，附加专家系统可以根据来自胚胎发育的多个阶段的特征以及图像外部的特征(诸如卵子供体、精子供体或胚胎的受体的生物特征参数)进行训练。

来自神经网络104的输出值可以被提供给质量保证组件106，该质量保证组件将输出值与预定标准进行比较，以提供质量保证度量。质量保证度量可以表示例如医学人员、机构和生长培养基中的一个在提取卵母细胞并使其受精以及将胚胎孵育至着床点方面的表现，其中预定标准表示生殖细胞结构的质量。当以这种方式使用时，质量保证度量可以用作替代可能需要大量附加时间来确认的所测量的结果，诸如成功受精或妊娠。应当理解的是，在这种情况下，可以从多个所评估的生殖细胞结构中生成描述性统计数据，以提供给定医学人员、机构或生长培养基的质量保证度量。

在一个实施方式中，神经网络104在受精前拍摄的卵母细胞的多个图像或图像组上进行训练，这些图像或图像组被分类为表示胚胎的正常受精的第一类或表示胚胎异常受精的第二类。出于本申请的目的，正常受精的胚胎是包含两个原核的胚胎，异常受精的胚胎是具有任何其他数量原核的胚胎。神经网络的输出可以是表示胚胎的质量的连续值，可以将该连续值与阈值进行比较，以将受精指定为“成功”或“不成功”。因此，在这个实施方式中，执行卵母细胞提取程序的胚胎学家或机构的表现可以被评估为预期导致成功受精的所提取的卵母细胞的百分比。替代性地，神经网络的输出可以用于为胚胎学家或机构生成在执行受精程序(诸如卵胞质内精子注射(ICSI))时的预期成功受精的百分比，并且质量保证度量可通过将这个预期值与胚胎学家或机构的实际成功率进行比较来确定。

在另一实施方式中，神经网络104在胚胎发育的所选择的一个或多个阶段拍摄的多个胚胎图像或图像组上进行训练，这些图像或图像组被分类为表示成功妊娠或表示未成功妊娠。在一个示例中，每个胚胎由在胚胎第三发育日(例如在受精后70小时)拍摄的图像表示。神经网络的输出可以是表示胚胎的质量的连续值，可以将该连续值与阈值进行比较，以将受精指定为“成功”或“不成功”。因此，在这种实施方式中，进行受精程序的胚胎学家或机构或用于孵育胚胎的生长培养基的表现可以被评估为预期产生成功妊娠的受精卵母细胞的百分比。替代性地，神经网络的输出可以用于产生胚胎学家、机构或培养基在进行胚胎植入时成功植入的预期百分比，并且质量度量可以通过将这个预期值与胚胎学家、机构或培养基的实际成功率进行比较来确定。

在又一实施方式中，神经网络104的输出基于表示生殖细胞结构的形态的特征，将生殖细胞结构的身份表示为标识符关键字。在这个实施方式中，可以将在第一时间拍摄的生殖细胞结构的图像提供给神经网络，以产生第一标识符关键字，此时可以利用所提供的标识符关键字标记含有生殖细胞结构的皿。当期望确认皿中的胚胎的身份时，例如，就在转移到受体子宫之前，可以采集另一图像并将其提供给神经网络以生成第二标识符关键字。可以比较这两个关键字来确定胚胎是否被正确标记，并且这个信息可以作为质量保证度量被提供给用户。在一个示例中，第一时间可以是授精后113小时，并且第二次可以是授精后115小时。

可以在相关联的用户界面108处向用户提供质量保证度量以及在保证辅助生殖过程中所涉及的机构、医学专业人员或培养基的质量时可能感兴趣的任何相关联的值。例如，用户界面108可以包括至少一个输出设备(诸如显示器)以及存储在非暂时性介质上并由相关联的处理器执行用于接收神经网络104的输出并将其呈现在输出设备处的适当软件。在一个实施方式中，用户界面108可以包括与神经网络无线通信的移动设备。

图2提供了用于向胚胎分配质量保证度量的系统200的示例实施方式。辅助生殖技术的重要方面是实验室胚胎培养的条件。体外受精(IVF)周期的临床结果可能是系统效率的最佳指标，同时持续妊娠率提供了胚胎质量的最有力的标记。几种早期发育阶段标记被广泛用于监控培养条件；然而，它们与临床结果的关联性是不清楚的。类似地，数据分析是IVF质量评估(QA)项目的关键部分。对所标识的关键绩效指标(KPI)进行常规审查对于确保实验室正常运行非常重要，并且或许更重要的是，对于标识潜在问题以便及时纠正。受精评估是用于测量卵胞浆内单精子注射(ICSI)胚胎学人员效率的主要结果。然而，跟踪ICSI获得的胚胎的发育命运可以提供这个程序是如何进行的更完整的描述。目前的质量评估需要人工检查和记录受精状态和胚胎发育评分。这些过程是劳动密集型的，并且本质上是高度主观的。进一步，某些发育指标(诸如妊娠结局结果)只有在显著延迟后才可用。

所示的系统200可以用于监控IVF实验室中的设施、人员和生长培养基的KPI的替代性方法，而不需要人工协助。这个系统也可以用于检测发育中胚胎的植入潜力方面的差异。准确预测胚胎植入的能力允许进行比依赖妊娠结果那些快几周检测和校正培养条件和技术熟练程度方面的变化的实践。在所示的示例中，质量保证度量是表示给定其形态特征的情况下的胚胎植入的预期成功的分类参数。多个胚胎的质量保证度量可以用于评估给定的医学专业人员、生长培养基或机构对胚胎的质量的影响，并允许补救这些因素中任何一个中的缺陷。例如，在生长培养基提供低于阈值的高质量胚胎百分比的情况下，可以更换生长培养基。在胚胎学家或执行受精程序的机构(诸如ICSI)提供低于阈值的高质量胚胎百分比的情况下，胚胎学家或机构处的人员可以被再训练或经受附加监督。

在这个示例中，系统200包括成像器202，该成像器获取每个胚胎在第三发育日的图像。然而，应当理解的是，捕获胚胎的图像的具体时间可以基于期望的应用而变化，并且在一些实施方式中，在发育的不同阶段处捕获多个图像，以提供每个胚胎的一组图像。例如，在一个实施方式中，在第一发育日捕获的图像可以用于评估胚胎，特别是在评价医学人员或机构在受精过程中的表现的情况下。成像器202可以以类似于图1中描述的成像器102的方式实施。在成像器202处捕获的图像可以提供给胚胎分析系统210。

胚胎分析系统210包括处理器212、诸如显示器的输出设备214、以及存储用于提供表示医学专业人员、机构或生长培养基的表现的质量保证度量的可执行指令的非暂时性计算机可读介质220。可执行指令包括成像器接口222，该成像器接口从成像器202接收图像，并以适当的形式将它们提供给卷积神经网络224以便进行分析。

在一个实施方式中，训练组胚胎图像可以从表示每个胚胎和胚胎的植入的已知结果的图像或图像组生成，并用于训练卷积神经网络224，使得每个图像的输出是表示胚胎的植入将导致成功结果的可能性的关键表现指标值。在所示的实施方式中，成功结果是成功妊娠，但是在一些实施方式中，成功结果可以是胚胎发育成胚泡或者在所选择的发育点(诸如发育的第五天)达到胚胎的所选择的等级。应当理解的是，每个胚胎的特征可以包括图像外部的值，诸如患者的生物特征参数，以及提供给卷积神经网络224的图像。在一个示例中，由卷积神经网络224输出的值可以是表示成功妊娠的可能性的连续值，或者是表示一个或多个可能性范围的分类值。例如，关键表现指标可以被表示为分类参数，该分类参数可以采用指示在植入后可能成功妊娠的第一值和指示不可能成功妊娠的第二值。

卷积神经网络224的输出被提供给质量分析组件226，该质量分析组件评估医学专业人员、机构或生长培养基的表现。在所示的示例中，质量分析组件226维护所限定的窗口上的运行平均值，该运行平均值表示所限定的窗口中胚胎上的关键表现指标值的平均值或者已经被卷积神经网络指示为可能产生成功妊娠的胚胎的百分比。例如，可以在所限定的时间段或所限定的数量的所生成的胚胎上保持运行平均值。质量分析组件226可以监控这个运行平均值，并确定它是否满足预定阈值，以提供质量保证度量。例如，成功怀孕的预定阈值可以是百分之五十。

在一个示例中，质量保证度量是分类值，该分类值在移动平均值超过阈值时采用第一值，并且在移动平均值低于阈值时采用第二值。在另一示例中，质量保证值保持第一值，直到运行平均值在预定的时间量或注入次数内下降到阈值以下。质量保证度量和任何其他感兴趣的值(诸如运行平均值)可以经由相关联的用户接口228在输出设备214处提供给用户。在一个示例中，每当质量保证值从第一值变为第二值时，警报可以通过局域网或广域网连接作为电子邮件、SMS消息或类似的通信提供给用户。

图3提供了用于向卵母细胞分配质量度量的系统300的示例实施方式。使卵母细胞受精失败可能与男性和女性因素两者相关联。然而，对于某些女性，尤其患有卵巢早衰、卵巢储备减少或遗传性疾病的女性，捐赠卵子可能是生下健康孩子方面的唯一选择。将供体卵子添加到周期中显著增加患者的自付费用。获得具有较高成功几率的优质卵子可能有助于减少患者方面的不确定性，同时潜在地提高妊娠率。目前，没有可以评估卵母细胞质量并预测其发育潜力的客观系统。所示的系统300可以用于准确预测卵母细胞的受精潜力，并且因此允许选择最高质量的卵母细胞以便进行受精和植入。它还可以用于通过将机构或胚胎学家的表现与给定所使用的卵母细胞的预测受精潜力的情况下的预期成功率进行比较来评估机构或胚胎学家在受精过程中的表现。在所示的示例中，系统300可以产生表示给定其形态特征的情况下的卵母细胞受精的预期成功的连续参数。

系统300包括成像器302，该成像器在受精前获取每个卵母细胞的图像。成像器302可以以类似于图1中描述的成像器102的方式实施。成像器302处捕获的图像可以被提供给卵母细胞分析系统310，该卵母细胞分析系统包括处理器312、输出设备314(诸如显示器)和存储用于提供表示卵母细胞的受精潜力的值的可执行指令的非暂时性计算机可读介质320。可执行指令包括成像器接口322，该成像器接口从成像器302接收图像，并以适当的形式将它们提供给卷积神经网络324以便进行分析。

在一个实施方式中，可以根据表示每个卵母细胞和该卵母细胞的已知受精结果的一个或多个图像生成训练组卵母细胞图像，并将其用于训练卷积神经网络324，使得每个图像的输出是表示卵母细胞的受精将导致成功结果的可能性的值。在所示的实施方式中，每个训练图像的受精结果在授精后18小时确定。应当理解的是，每个胚胎的特征可以包括图像外部的值(诸如卵母细胞的供体的生物计量参数)，以及从卷积神经网络324所提取的特征。应当理解的是，由卷积神经网络324输出的值可以是表示成功受精可能性的连续值，或者是表示一个或多个可能性范围的分类值。在一个示例中，由卷积神经网络324输出的值是分类参数，该分类参数可以采用指示成功受精是可能的第一值和指示成功受精是不可能的的第二值。卷积神经网络324的输出通过相关联的用户接口326在输出设备314处提供给用户。

在另一实施方式中，卷积神经网络324的输出可以表示极体在卵母细胞上的位置。卵胞浆内单精子注射是包括中期(MII)卵母细胞排列、精子的选择和固定以及在不干扰有丝分裂纺锤体的精确位置注射精子的程序。纺锤体位于所挤出的极体附近，并且使用明视野显微镜无法可视化。因此，标准的实践是基于极体的位置排列卵母细胞，并以距这个可见的结构九十度注射精子。在这个实施方式中，卷积神经网络在具有极体的已知位置的、标记有表示所成像的卵母细胞的离散区段的类别的多个卵母细胞图像上进行训练。在一个示例中，使用了12个类别，其中每个类别表示所成像的卵母细胞的30度区段。新图像的卷积神经网络的输出是表示极体位于其中的区段的类别。

图4示出了用于验证胚胎的身份的系统400的示例实施方式。在IVF实验室中使用电子见证系统是用于提高可追溯性并减少不正确的胚胎被植入患者体内的事件的所推荐的实践。这种错误难以检测到，并且通常主要在夫妇生下与他们自己明显不同的基因组成的婴儿时变得明显。因此，错误的实际数量难以估计，并且这种种类的生物样本错误标识对于诊所、诊所工作人员、以及尤其是患者来说可能是灾难性的。IVF实验室关心法律责任，并且见证系统可以在最小化标识错误方面发挥至关重要作用。

所示的系统400利用多级可追溯系统，该系统采用结合基于软件的深度卷积神经网络的基于硬件的射频识别(RFID)标签，该深度卷积神经网络识别患者卵母细胞和胚胎中的独特形态特征。为此，系统400包括成像器402，该成像器获取特定发育阶段处的生殖细胞结构的图像。应当理解的是，捕获生殖细胞结构的图像的具体时间可以基于所期望的应用而变化，并且在一些实施方式中，在发育的不同阶段处捕获多个图像，以为每个生殖细胞结构提供一组图像。成像器402可以以类似于图1中描述的成像器102的方式实施。在成像器402处捕获的图像可以被提供给数字见证系统410。

数字见证系统410包括处理器412、诸如显示器的输出设备414以及存储用于验证胚胎或卵母细胞的身份的可执行指令的非暂时性计算机可读介质420。可执行指令包括成像器接口422，该成像器接口从成像器402接收图像，并以适当的形式将它们提供给神经网络424以便进行分析。神经网络可以被实施为例如卷积神经网络、图形神经网络和基于自动编码器的神经网络、或者生成式对抗神经网络。在一个实施方式中，可以在一组图像上预先训练神经网络424，以根据所提供的图像提供形态学特征，使得与胚胎或卵母细胞的给定图像相关联的输出是表示胚胎或卵母细胞的形态的标识符关键字。胚胎或卵母细胞的形态在不同的发育时段内可以是稳定的，使得预期从在第一时间拍摄的图像产生的标识符关键字与从在第二次拍摄的图像产生的标识符关键字相匹配。在一个示例中，可以在第一时间为给定的生殖细胞结构产生标识符关键字，并将其附着到包含生殖细胞结构的皿上，例如通过在附接到皿上的RFID标签中编码标识符关键字。

身份验证组件426比较两个标识符关键字，以确定它们是否表示相同的生殖细胞结构。在一个示例中，可以在辅助生殖过程中的关键点处生成第二标识符密钥，诸如紧接在卵母细胞的受精之前或紧接在将胚胎转移到患者体内之前。身份验证组件426可以产生表示第二标识符关键字表示与第一标识符关键字相同的生殖细胞结构的可能性，并且因此表示与第一标识符关键字相关联的患者的可能性的质量保证度量。在一个示例中，质量保证度量是分类的，其中第一值表示第一标识符关键字和第二标识符关键字之间的匹配，并且第二值表示第一标识符关键字与第二标识符关键字匹配失败。替代性地，质量保证度量可以是表示两个密钥表示相同胚胎的可能性的连续值。质量保证度量可以经由相关联的用户接口428在输出设备414处被提供给用户。在一个示例中，每当质量保证值假定采用表示将生殖细胞结构被错误标识为属于错误的患者的值时，警报可以通过局域网或广域网连接作为电子邮件、SMS消息或类似的通信提供给用户。

鉴于以上描述的结构和功能特征，参照图5至图8将更好地理解根据本发明各个方面的方法。虽然为了简化说明，图5至图8的方法被示出和描述为顺序执行，但是应该理解和明白的是，本发明不限于所示的顺序，因为根据本发明，一些方面可以以不同的顺序发生和/或与来自本文示出和描述的其他方面同时发生。而且，实施根据本发明的一方面的方法并非需要所有示出的特征。

图5示出了用于向生殖细胞结构分配质量保证度量的方法500。在502，获得生殖细胞结构的图像。实际上，每个生殖细胞结构可以由在生殖细胞结构的发育期间的不同时间处拍摄的一组一个或多个图像来表示，包括例如受精前、胚胎第一发育日期间、胚胎第三发育日期间、胚胎发育的第五天期间以及紧接在胚胎的植入前。一般而言，图像是通过可见光显微镜获得的，尽管根据应用也可以采用其他形式的成像。

在504，生殖细胞结构的图像被提供给神经网络，以生成表示生殖细胞结构的形态的值。在一个实施方式中，神经网络是卷积神经网络。在其他实施方式中，神经网络可以是生成式对抗神经网络、图形神经网络或基于自动编码器的神经网络。在一些示例中，可以重复502和504处的步骤，以提供表示多个生殖细胞结构的形态的相应值。进一步，在一些实施例中，可以为每个生殖细胞结构获取一组多个图像并将其提供给神经网络，其中该组多个图像中的每一个图像表示处于不同发育阶段的生殖细胞结构。

在506，将表示多个生殖细胞结构的形态的值与预定标准进行比较，以提供表示医学人员、机构、生长培养基和生殖细胞结构的身份中的一个的质量保证度量。在一个示例中，通过在506处获取图像的时间获得生殖细胞结构的第二图像并将第二图像提供给神经网络以提供预定标准作为生殖细胞结构的标识符关键字，来确定预定标准。然后，可以在射频识别(RFID)标签上对该标识符密钥进行编码，并将其附着到在其中存储生殖细胞结构的皿上。在一个实施方式中，质量保证度量是具有当唯一关键字匹配预定标准时指示第一图像和第二图像表示相同的生殖细胞结构的第一值和当唯一关键字不匹配预定标准时指示第一图像和第二图像表示不同的生殖细胞结构的第二值的分类值。

在另一示例中，可以根据表示多个生殖细胞结构的形态的多个值生成代表值，并且将这个代表值与预定标准进行比较。在一个示例中，多个生殖细胞结构中的每一个可以是胚胎，其是由给定胚胎学家进行的或在给定机构处进行的受精过程的结果，并且表示给定生殖细胞结构的形态的每个值表示胚胎的植入将产生成功妊娠的可能性。代表值可以表示已经被指示为可能产生成功妊娠的多个胚胎的百分比，并且质量保证度量可以是当百分比高于阈值时采用第一值并且当百分比低于阈值时采用第二值的分类值。在一个示例中，当质量保证度量从第一值转变到第二值时，可以改变用户。

类似地，多个生殖细胞结构中的每一个可以是在给定生长培养基中培养的胚胎，并且表示给定生殖细胞结构的形态的每个值表示胚胎的植入将产生成功妊娠的可能性。代表值可以表示已经被指示为可能产生成功妊娠的多个胚胎的百分比，并且质量保证度量可以是当百分比高于阈值时采用第一值并且当百分比低于阈值时采用第二值的分类值。在一个示例中，当质量保证度量从第一值转变到第二值时，可以改变用户。在508，可以向用户显示质量保证度量。

图6示出了用于向胚胎分配质量保证度量的方法600。在602，获得与医学专业人员、机构或生长培养基相关联的相应多个胚胎的多个图像。例如，多个胚胎可以全部由给定的胚胎学家或在给定的机构处受精、或者在相同的生长培养基中培养。每个胚胎可以由在胚胎的发育期间的不同时间(包括例如胚胎第一发育日和胚胎的第三天)处拍摄的一组一个或多个图像来表示。一般而言，图像是通过可见光显微镜获得的，尽管根据应用也可以采用其他形式的成像。在604，将多个图像中的每一个提供给卷积神经网络，以生成表示胚胎成功的结果(例如发育成胚泡、在发育的第五天达到特定等级、或在植入时成功妊娠)的可能性的相应的多个值。在一些实施例中，可以为每个生殖细胞结构获取一组多个图像并将其提供给神经网络，其中该组多个图像中的每一个图像表示处于不同发育阶段的生殖细胞结构。

在606，从表示胚胎成功的结果的可能性的多个值中，在多个胚胎上确定表示医学专业人员、机构和生长培养基中的一个的表现的值。在一个示例中，多个值中的每一个是表示成功结果的可能性范围的分类参数，并且表示给定类别的值的百分比被生成为代表值。在另一示例中，多个值中的每一个是连续的参数，并且代表值是多个值上的平均值(例如，平均值或中值)。在608，将该值与阈值进行比较，以生成质量保证度量。例如，当代表值超过阈值时质量保证度量可以采用第一值，并且当代表值不超过阈值时质量保证度量采用第二值。在610，在输出设备处向用户显示质量保证度量。

图7示出了用于分配表示卵母细胞的质量的值的方法700。在702，从相关联的成像器获取卵母细胞的图像。一般而言，图像是通过可见光显微镜获得的，尽管根据应用也可以采用其他形式的成像。在704，图像被提供给卷积神经网络，该卷积神经网络根据卵母细胞的图像确定表示卵母细胞的成功受精的可能性的值。在一个示例中，卷积神经网络在具有已知结果并且标记有由胚胎由授精后18小时的卵母细胞的受精导致的胚胎的受精状态的卵母细胞的图像上进行训练。在706，在输出设备处向用户显示表示卵母细胞的成功受精的可能性的值。

图8示出了用于验证生殖细胞结构身份的方法800。在802，在第一时间获得生殖细胞结构的第一图像。实际上，每个生殖细胞结构可以由在生殖细胞结构的发育期间的不同时间除拍摄的一组一个或多个图像来表示，包括例如受精前、胚胎第一发育日期间、胚胎第三发育日期间、胚胎发育的第五天期间以及紧接在胚胎的植入前。在804，将第一图像提供给神经网络，以提供表示生殖细胞结构的形态的标识符关键字K。在一个示例中，神经网络是卷积神经网络。在另一示例中，神经网络是生成时对抗神经网络、图形神经网络或基于自动编码器的神经网络。

在806，在第二时间获得生殖细胞结构的第二图像。在808，将第二图像提供给神经网络，以提供表示生殖细胞结构形态的值V。在810，确定值是否匹配标识符关键字。如果是(Y)，则在812确定生殖细胞结构属于与标识符关键字相关联的患者。如果不是(N)，则在814确定生殖细胞结构不属于与标识符关键字相关联的患者，并且可能已经出错。

图9是示出能够实施图1至图8中公开的系统和方法的示例的硬件组件的示例系统900(诸如图1中示出的用于向生殖细胞结构分配质量保证度量的系统)的示意性框图。系统900可以包括各种系统和子系统。系统900可以是个人计算机、膝上型计算机、工作站、计算机系统、器具、专用集成电路(application-specific integrated circuit，ASIC)、服务器、服务器刀片中心、服务器群等。

系统900可以包括系统总线902、处理单元904、系统存储器906、存储器设备908和910、通信接口912(例如网络接口)、通信链路914、显示器916(例如视频屏幕)和输入设备918(例如键盘和/或鼠标)。系统总线902可以与处理单元904和系统存储器906通信。诸如硬盘驱动器、服务器、独立数据库或其他非易失性存储器的附加存储设备908和910也可以与系统总线902通信。系统总线902互连处理单元904、存储器设备906-910、通信接口912、显示器916和输入设备918。在一些示例中，系统总线902还互连附加端口(未示出)，诸如通用串行总线(universal serial bus，USB)端口。

系统900可以被实施在计算云中。在这种情况下，系统900的特征(诸如处理单元904、通信接口912以及存储器设备908和910)可以表示单个硬件实例或多个硬件实例，其中应用在多个(即，分布式)硬件实例(例如，计算机、路由器、存储器、处理器或其组合)上执行。替代性地，系统900可以被实施在单个专用服务器上。

处理单元904可以是计算设备，并且可以包括专用集成电路(ASIC)。处理单元904执行一组指令来实施本文公开的示例的操作。处理单元可以包括处理核心。

附加存储设备器906、908和910可以存储数据、程序、指令、文本或编译形式的数据库查询以及操作计算机可能需要的任何其他信息。存储器906、908和910可以被实施为计算机可读介质(集成的或可移动的)，诸如存储卡、磁盘驱动器(CD)、光盘或可通过网络访问的服务器。在某些示例中，存储器906、908和910可以包括其部分可以以人类可理解的格式可用的文本、图像、视频和/或音频。

附加地或替代性地，系统900可以通过通信接口912访问外部数据源或查询源，该通信接口912可以与系统总线902和通信链路914通信。

在操作中，系统900可以用于实施根据本发明的用于向生殖细胞结构分配质量保证度量的系统的一个或多个部分。根据某些示例，用于实施该质量保证系统的计算机可执行逻辑驻留在系统存储器906以及存储器设备908和910中的一个或多个上。处理单元904执行源自系统存储器906以及存储设备908和910的一个或多个计算机可执行指令。应当理解的是，计算机可读介质可以包括各自可操作地连接到处理单元的多个计算机可读介质。

在以上描述中给出了具体细节，以提供对实施例的透彻理解。然而，应当理解的是，实施例可以在没有这些具体细节的情况下实践。例如，为了不在不必要的细节上模糊实施例，可以在框图中示出电路。在其他情况下，公知的电路、过程、算法、结构和技术可以在没有不必要的细节的情况下示出，以避免模糊实施例。

上述技术、块、步骤和手段的实施方式可以以各种方式完成。例如，这些技术、块、步骤和装置可以以硬件、软件或其组合的方式来实施。对于硬件实现方式，处理单元可以在一个或多个专用集成电路(ASIC)、数字信号处理器(digital signal processor，DSP)、数字信号处理设备(digital signal processing device，DSPD)、可编程逻辑器件(programmable logic device，PLD)、现场可编程门阵列(field programmable gatearray，FPGA)、处理器、控制器、微控制器、微处理器、被设计成执行上述功能的其他电子单元和/或其组合内实施。

而且，注意，实施例可以被描述为被描绘为程序框图、流程图、数据流图、结构图或框图的过程。尽管程序框图可以将操作描述为顺序过程，但是许多操作可以并行或并发地执行。此外，操作的顺序可以重新布置。当过程的操作完成时，该过程被终止，但是可能具有图中没有包括的附加步骤。过程可以对应方法、函数、程序、子例程、子程序等。当过程对应于函数时，它的终止对应于该函数返回到调用函数或主函数。

另外，实施例可以通过硬件、软件、脚本语言、固件、中间件、微码、硬件描述语言和/或其任意组合来实施。当以软件、固件、中间件、脚本语言和/或微代码实施，执行必要任务的程序代码或代码段可以存储在诸如存储介质的机器可读介质中。代码段或机器可执行指令可以表示程序(procedure)、函数、子程序、程序(program)、例程、子例程、模块、软件包、脚本、类或指令、数据结构和/或程序语句的任意组合。通过传递和/或接收信息、数据、自变量、参数和/或存储器内容，代码段可以耦合到另一代码段或硬件电路。信息、自变量、参数、数据等可以通过任何合适的方式传递、转发或传输，包括存储器共享、消息传递、票证传递、网络传输等。

对于固件和/或软件实现方式，方法可以利用执行本文描述的功能的模块(例如，程序、功能等)来实施。实现指令的任何有形机器可读介质都可以用于实施本文描述的方法。例如，软件代码可以存储在存储器中。存储器可以在处理器内部或处理器外部实施。如本文所用，术语“存储器”指的是任何类型的长期、短期、以及易失性、非易失性或其他存储介质，并且不限于任何特定类型的存储器或数量的存储器、或者存储存储器的介质的类型。

而且，如本文所公开的那样，术语“存储介质”可以表示用于存储数据的一个或多个存储器，包括只读存储器(read only memory，ROM)、随机存取存储器(random accessmemory，RAM)、磁RAM、核心存储器、磁盘存储介质、光存储介质、闪存设备和/或用于存储信息的其他机器可读介质。术语“计算机可读介质”和“机器可读介质”包括但不限于便携式或固定存储设备、光存储设备、无线信道和/或能够存储包含或携带(多个)指令和/或数据的各种其他存储介质。应当理解的是，“计算机可读介质”或“机器可读介质”可以包括各自可操作地连接到处理单元的多个介质。

上面描述的内容是示例。当然，不可能描述部件或方法的每一个可想到的组合，但是本领域的普通技术人员可以认识到许多进一步的组合和置换是可能的。因此，本公开旨在包括落入包括所附权利要求在内的本申请范围内的所有这样的变更、修改和变化。如本文所用，术语“包括(includes)”意味着包括但不限于，术语“包括(including)”意味着包括但不限于。术语“基于”是指至少部分地基于。附加地，在本公开或权利要求叙述“一”、“一个”、“第一”或“另一”元件或其等同物的情况下，它应该被解释为包括一个或多于一个这样的元件，既不要求也不排除两个或更多这样的元件。

Claims (28)

1.一种用于将质量参数分配给生殖细胞结构的方法，其包括：

获得所述生殖细胞结构的图像；

将所述生殖细胞结构的图像提供给神经网络，以生成表示所述生殖细胞结构的形态的值；

将所述值与预定标准进行比较，以提供表示医学人员、机构、生长培养基和所述生殖细胞结构的身份中的一个的质量保证度量。

2.根据权利要求1所述的方法，其中，所述生殖细胞结构的图像是在第一时间捕获的所述生殖细胞结构的第一图像，所述方法还包括：

在所述第一时间之前的第二时间获得所述生殖细胞结构的第二图像；以及

向所述神经网络提供所述生殖细胞结构的第二图像，以生成所述预定标准。

3.根据权利要求2所述的方法，其中，所述质量保证度量是具有第一值和第二值的分类值，其中，当唯一关键字匹配所述预定标准时，所述第一值指示所述第一图像和所述第二图像表示相同的生殖细胞结构，并且当唯一关键字不匹配所述预定标准时，所述第二值指示所述第一图像和所述第二图像表示不同的生殖细胞结构。

4.根据权利要求2所述的方法，其还包括：

在射频识别(RFID)标签上编码所述预定标准；以及

将所述RFID标签附着到储存所述生殖细胞结构的皿上。

5.根据权利要求1所述的方法，其中，获得所述生殖细胞结构的图像包括获得表示所述生殖细胞结构的多个图像，并且将所述生殖细胞结构的图像提供给所述神经网络包括将所述多个图像中的每一个提供给所述神经网络以生成表示所述多个生殖细胞结构的形态的多个值。

6.根据权利要求5所述的方法，其还包括根据表示所述多个生殖细胞结构的形态的多个值产生代表值，并且将所述代表值与所述预定标准进行比较。

7.根据权利要求6所述的方法，其中，所述生殖细胞结构是胚胎，并且所述代表值表示所述胚胎的植入将产生成功妊娠的可能性。

8.根据权利要求5所述的方法，其中，所述生殖细胞结构是胚胎，并且所述多个图像中的每一个表示在不同的发育日的胚胎。

9.根据权利要求1所述的方法，其中，获得所述生殖细胞结构的图像包括获得表示相应多个生殖细胞结构的多个图像，并且将所述生殖细胞结构的图像提供给所述神经网络包括将所述多个图像中的每一个提供给所述神经网络以生成表示所述多个生殖细胞结构的形态的多个值。

10.根据权利要求9所述的方法，其中，所述多个生殖细胞结构中的每一个是胚胎，并且表示所述多个生殖细胞结构的形态的所述多个值各自表示其相应胚胎的植入将产生成功妊娠的可能性。

11.根据权利要求10所述的方法，其中，所述多个胚胎在给定的生长培养基中培养，所述代表值表示预期所述胚胎的植入将产生成功妊娠的所述多个胚胎的百分比，并且所述预定标准是阈值百分比，所述方法还包括当所述代表值下降到低于所述阈值百分比时警告用户。

12.根据权利要求10所述的方法，其中，所述多个胚胎全部由给定的胚胎学家受精，所述代表值表示预期所述胚胎的植入将产生成功妊娠的所述多个胚胎的百分比，并且所述预定标准是阈值百分比，所述方法还包括当所述代表值下降到低于所述阈值百分比时警告用户。

13.根据权利要求1所述的方法，其中，向所述神经网络提供所述胚胎的图像包括向卷积神经网络提供所述胚胎的图像。

14.一种系统，其包括：

处理器；

输出设备；以及

存储用于将质量保证度量分配给胚胎的机器可执行指令的非暂时性计算机可读介质，所述机器可执行指令包括：

成像器接口，所述成像器接口从相关联的成像器接收所述胚胎的图像；

卷积神经网络，所述卷积神经网络根据所述胚胎的图像确定表示所述胚胎成功的结果的可能性的值；

质量分析组件，所述质量分析组件计算表示医学专业人员、机构和生长培养基中的一个在多个胚胎上的表现的值，并将所述值与阈值进行比较以生成所述质量保证度量；以及

用户界面，所述用户界面在所述输出设备处向用户显示所述质量保证度量。

15.根据权利要求14所述的系统，其中，所述卷积神经网络将表示所述胚胎成功的结果的可能性的值确定为分类参数，所述质量分析组件将表示所述医学专业人员、所述机构和所述生长培养基中的一个的表现的值确定为所述多个胚胎中的所述卷积神经网络将第一值分配为表示所述胚胎成功的结果的可能性的值的胚胎的百分比。

16.根据权利要求14所述的系统，其中，所述卷积神经网络确定表示在所述胚胎的植入后成功妊娠的可能性的值。

17.根据权利要求14所述的系统，其中，所述卷积神经网络在第一发育日拍摄的胚胎的多个图像上进行训练，并且所述质量分析组件计算表示所述生长培养基的表现的值。

18.根据权利要求14所述的系统，其中，所述卷积神经网络在第三发育日拍摄的胚胎的多个图像上进行训练，并且所述质量分析组件计算表示所述医学专业人员和所述机构中的一个的表现的值。

19.一种系统，其包括：

处理器；

输出设备；以及

存储用于分配表示卵母细胞的质量的值的机器可执行指令的非暂时性计算机可读介质，所述机器可执行指令包括：

成像器接口，所述成像器接口从相关联的成像器接收所述卵母细胞的图像；

卷积神经网络，所述卷积神经网络根据所述卵母细胞的图像来确定表示所述卵母细胞的成功受精的可能性和所述卵母细胞的极体的位置中的一个的值；以及

用户界面，所述用户界面在所述输出设备处向用户显示表示所述卵母细胞的成功受精的可能性和所述卵母细胞的极体的位置中的一个的值。

20.根据权利要求19所述的系统，其中，所述值表示所述卵母细胞的成功受精的可能性，并且所述卷积神经网络在所拍摄的卵母细胞的、各自标记有授精后18小时确定的受精类别的多个图像上进行训练。

21.根据权利要求19所述的系统，其还包括质量分析组件，所述质量分析组件根据表示多个卵母细胞上成功受精的可能性的多个值来生成预期的受精成功率，并且在给定预期的受精成功率的情况下，计算表示医学专业人员和机构中的一个在所述多个卵母细胞上的表现的值。

22.根据权利要求19所述的系统，其中，所述值表示所述卵母细胞的极体的位置，并且所述卷积神经网络在所拍摄的卵母细胞的、各自标记有表示所述卵母细胞的所述极体位于其中的区段的类别的多个图像上进行训练。

23.一种系统，其包括：

处理器；

输出设备；以及

存储用于确认生殖细胞结构的身份的机器可执行指令的非暂时性计算机可读介质，所述机器可执行指令包括：

成像器接口，所述成像器接口从相关联的成像器接收在第一时间拍摄的所述生殖细胞结构的第一图像和在第二时间拍摄的所述生殖细胞结构的第二图像；

神经网络，所述神经网络根据所述生殖细胞结构的第一图像来生成标识符关键字，并根据所述第二图像来生成表示所述生殖细胞结构的形态的值；

身份验证组件，所述身份验证组件将表示所述生殖细胞结构的形态的值与所述标识符关键字进行比较，以确定所述生殖细胞结构是否属于与所述标识符关键字相关联的患者；以及

用户界面，所述用户界面在所述输出设备处向用户显示所述生殖细胞结构是否属于与所述标识符关键字相关联的患者的确定。

24.根据权利要求23所述的系统，其中，所述神经网络是卷积神经网络。

25.根据权利要求23所述的系统，其中，所述神经网络是生成式对抗神经网络。

26.根据权利要求23所述的系统，其中，所述神经网络是图形神经网络。

27.根据权利要求23所述的系统，其中，所述神经网络是基于自动编码器的神经网络。

28.根据权利要求23所述的系统，其中，所述生殖细胞结构的第二图像是刚好在所述胚胎的植入之前拍摄的胚胎的图像。

Images