CN111279421B - 人类胚胎的自动评价 - Google Patents

人类胚胎的自动评价 Download PDF

Info

Publication number
CN111279421B
CN111279421B CN201880069858.XA CN201880069858A CN111279421B CN 111279421 B CN111279421 B CN 111279421B CN 201880069858 A CN201880069858 A CN 201880069858A CN 111279421 B CN111279421 B CN 111279421B
Authority
CN
China
Prior art keywords
embryo
neural network
representing
patient
implantation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880069858.XA
Other languages
English (en)
Other versions
CN111279421A (zh
Inventor
哈迪·沙弗
查尔斯·鲍曼
马努基·库马·卡纳卡沙巴帕蒂
普吕德韦·蒂鲁马拉朱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Brigham and Womens Hospital Inc
General Hospital Corp
Original Assignee
Brigham and Womens Hospital Inc
General Hospital Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Brigham and Womens Hospital Inc, General Hospital Corp filed Critical Brigham and Womens Hospital Inc
Publication of CN111279421A publication Critical patent/CN111279421A/zh
Application granted granted Critical
Publication of CN111279421B publication Critical patent/CN111279421B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20036Morphological image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30044Fetus; Embryo

Abstract

提供了用于自动评价人类胚胎的系统和方法。获得胚胎的图像并将其提供给神经网络以生成表示胚胎形态的多个值。在专家系统处评价表示胚胎形态的该多个值,以提供表示胚胎的当前质量、胚胎的未来质量、胚胎的着床将会成功的可能性以及胚胎的着床将得到活产的可能性中的一项的输出类。

Description

人类胚胎的自动评价
相关申请
本申请要求2017年9月29日提交的序列号为62/565,237、标题为“基于人工智能的胚胎学系统(ARTIFICIAL INTELLIGENCE-BASED SYSTEM FOR EMBRYOLOGY)”的美国临时专利申请和2018年4月2日提交的序列号为62/651,658、标题为“自动预测人类胚胎发育的命运(AUTOMATED PREDICTION OF HUMAN EMBRYO DEVELOPMENTALFATE)”的美国临时专利申请的优先权,出于所有目的将该每个美国临时专利申请通过引用以其全文并入本文。
技术领域
本发明总体上涉及医学决策支持领域,并且更具体地涉及人类胚胎的自动化临床评价。
背景技术
不育症是被低估的医疗保健问题,其在全球影响超过四千八百万对夫妇,并且是痛苦、沮丧和歧视的原因。尽管辅助生殖技术(ART)(例如体外受精(IVF))已经在一定程度上减轻了不孕症的负担,但其效率低下,2015年在美国报告的平均成功率约为26%。IVF仍然是一种昂贵的解决方案,在美国,每个ART周期的费用在7000美元到20,000美元之间,这通常不包括在保险范围内。此外,许多患者需要多个IVF周期才能实现怀孕。无创性选择高质量胚胎进行移植是取得成功的ART结果的最重要因素之一,但是这一关键步骤仍然是重大挑战。
胚胎通常在发育的卵裂期或胚泡期被移植至患者的子宫。胚胎被描述为受精后两三天处于卵裂期。通常基于细胞数量、细胞分裂程度和卵裂球的整体对称性来选择卵裂期的胚胎进行移植。胚胎在受精后五六天达到胚泡期。胚泡具有充满液体的腔和两种不同的细胞类型,滋养外胚层和内部细胞团(ICM)。通常根据卵裂腔的扩张以及滋养外胚层和ICM的质量来选择胚泡进行移植。传统的胚胎选择方法依赖于视觉胚胎形态学评价,并且高度依赖实践和主观性。此外,在人工评价期间,胚胎经受从严格控制的培养环境中移出,这对胚胎有负面影响。延时成像(TLI)技术的进步已实现了在受控环境下对胚胎发育进行定期和自动的数据获取,以及确定客观的形态动力学参数。
发明内容
根据本发明的一方面,提供了一种用于自动评价人类胚胎的方法。获得胚胎的图像并将其提供给神经网络以生成表示胚胎形态的多个值。在专家系统处评价表示胚胎形态的该多个值,以提供表示以下中的一项的输出类:胚胎的当前质量、胚胎的未来质量、胚胎的着床将会成功的可能性以及胚胎的着床将得到活产的可能性。
根据本发明的另一方面,提供一种用于自动评价人类胚胎的系统。成像器获取胚胎在发育的特定日期的图像。卷积神经网络从胚胎的图像计算表示以下中的一项的至少一个输出值:胚胎的当前质量、胚胎的未来质量、胚胎的着床将会成功的可能性以及胚胎的着床将得到活产的可能性。
根据本发明的另一方面,提供了一种用于自动评价人类胚胎的系统。成像器获取胚胎在发育的特定日期的图像。卷积神经网络从胚胎的图像生成表示胚胎的形态的多个值。专家系统评价表示胚胎的形态的该多个值,以提供表示以下中的一项的输出类:胚胎的当前质量、胚胎的未来质量、胚胎的着床将会成功的可能性以及胚胎的着床将得到活产的可能性。
附图说明
在参考附图阅读以下描述时,本发明的前述和其他特征对本发明所属领域的技术人员将变得显而易见,其中:
图1示出了用于自动评价人类胚胎的系统;
图2提供了其中将卷积神经网络与另一专家系统结合使用的系统的一个示例;
图3示出了用于为有障碍的患者选择和施加治疗干预的另一方法;
图4示出了用于自动评价人类胚胎的方法;和
图5是示出了能够实施本文公开的系统和方法的示例的硬件部件的示例性系统的示意框图。
具体实施方式
在过去的十年中,人们对研究延时成像、将形态运动学(morphokinetic)变量与重要结果(例如胚泡形成,着床和怀孕可能性)联系起来的兴趣越来越大。延时成像的这些进步和胚胎发育数据的新维度已经使得形成了多个胚胎选择算法(ESA),但这些算法提供了差的预测价值。研究表明,在常规的人工胚胎测试中增加延时成像系统不仅没有改善临床结果,而且增加胚胎评价的时间。
在完全自动化的系统中,模拟训练有素的胚胎学家在有效的胚胎评价中的技能是在胚胎计算机辅助评价中所做的所有先前工作中的主要未被解决的挑战。当前用于胚胎评价的计算机视觉方法是半自动化的,限于测量提供需要由胚胎学家进一步分析的指标的特定参数,且需要严格控制的成像系统。先前使用机器学习方法开发系统的尝试需要进行密集的图像预处理,然后进行对胚胎特征的人为定向分割以进行分类。由于机器学习方法对图像处理和分割的依赖性,这些方法经受与计算机视觉技术相同的局限性。同样,先前的机器学习尝试集中在使用小鼠和牛胚胎图像的有限数据集进行训练和测试来在胚泡期对胚胎进行分类,这使得他们研究人类胚胎的方法的普遍性有问题。
在此,通过采用以大量图像进行预先训练的深度神经网络克服了这一挑战,以在胚胎发育的临床相关阶段学习人类胚胎分类进行移植。与用于胚胎评价的先前计算机辅助算法不同,本文提供的系统和方法允许以像素级别自动进行胚胎特征选择和分析,而无需胚胎学家的任何协助。在一个示例中,卷积神经网络被用于识别形态复杂的胚胎之间的形状、结构和纹理变化。由于使用多个仪器进行数据获取,该系统可适应(resilient)图像照明和质量上的变化。
图1示出了用于自动评价人类胚胎的系统100。系统100包括成像器102,其获取胚胎在至少一天的发育中的图像。例如,成像器102可以包括一个或更多个照相机,该照相机能够产生在可见或红外范围内的图像,并与适当的光学器件配对以提供胚胎的图像。实际上,成像器102可以被实施成作为延时胚胎成像系统的一部分来捕获胚胎发育多天的图像。在一个实施方式中,成像器102包括用于移动设备的附件,该附件与移动设备的相机一起操作以提供胚胎图像。附件的外壳可以使用聚乳酸(polylactic acid)3-D打印成82×34×48mm的尺寸。外壳中可以包括丙烯酸透镜(acrylic lens),以对胚胎图像提供适当的放大倍率。
在另一个实施方式中,成像器102可以被实施为具有光学外壳的独立系统,该光学外壳由聚乳酸3-D打印而成并且整体尺寸为62×92×175mm。外壳包含带有白色发光二极管的电子电路、三伏电池和单刀双掷开关。胚胎样品使用用于图像放大的10x平场消色差物镜和用于胚胎图像数据获取的互补金属氧化物半导体(CMOS)图像传感器来进行透照。CMOS传感器可以连接到单板计算机以处理捕获的图像。成像器102可以通过无线连接(例如,Wi-Fi、蓝牙或类似的连接)连接到移动设备,以进行数据处理和可视化。
在成像器102处获得的一个或多个图像被提供给神经网络104,该神经网络104从胚胎的图像计算表示胚胎的当前等级、胚胎的未来等级中的任一个的至少一个输出值。可以理解,神经网络可以被实施为存储在非暂时性计算机可读介质上并由相关联的处理器执行的软件指令。在一个示例中,神经网络104可以在云计算系统上实施。在一个实施方式中,神经网络104可以是卷积神经网络,卷积神经网络是包括卷积层的前馈人工神经网络,卷积层有效地对网络的前一层处的值应用卷积以强调图像内的各个特征集。在卷积层中,每个神经元仅连接到前一层中神经元的真子集,其称为神经元的感受域(receptive field)。在所示示例中,使用Xception架构来实施卷积神经网络。在一个实施方式中,与每个像素相关联的至少一个色度值(例如,用于RGB颜色通道、YCrCb颜色通道或灰度亮度的值)被提供为卷积神经网络的初始输入。
在另一个实施方式中,神经网络104可以被实施为递归神经网络。在递归神经网络中,选择网络中节点之间的连接以沿着序列形成有向图,从而使其表现出动态的时间行为。在另一个实施方式中,神经网络104被实施和训练为在生成对抗模型中的判别网络(discriminative network),其中,生成神经网络和判别网络对彼此提供相互反馈,使得生成神经网络产生越来越复杂的样本以供判别网络尝试分类。
在相关联的用户接口106处可以将神经网络104的结果提供给用户。例如,用户接口106可以至少包括输出设备(例如显示器)和存储在非暂时性介质并由关联的处理器执行的适当的软件,以用于接收卷积神经网络104的输出并将其呈现在输出设备处。在一个实施方式中,用户接口106可以包括与神经网络无线通信的移动设备。
在一个实施方式中,在胚胎发育的第一天(例如在受精后的18小时)拍摄的多个胚胎图像上训练神经网络104,该多个胚胎图像被分类为表示胚胎正常受精的第一类或表示胚胎异常受精的第二类。为了本申请的目的,正常受精的胚胎是包含两个原核的胚胎,而异常受精的胚胎是具有任何其他数量的原核的胚胎。因此,在该实施方式中,可以在早期检测到异常胚胎而无需受训练的胚胎学家的干预。
在另一个实施方式中,在胚胎发育的第三天(例如在受精后的70小时)拍摄的多个胚胎图像上训练卷积神经网络104,以选择胚胎的当前等级。出于本申请的目的,胚胎可被分类为表示分裂程度和胚胎中细胞间的尺寸差异的五个等级中的一个,其中第一等级表示相等尺寸的细胞且无可见分裂,第二等级表示相等尺寸的细胞和最小分裂,第三等级表示几乎相等尺寸的细胞和中等分裂,第四等级表示细胞具有不相等的尺寸且没有到中等分裂,第五阶段表示重度分裂而不考虑细胞尺寸间的差异。
在又一实施方式中,在胚胎发育的第五天(例如在受精后的113小时)拍摄的多个胚胎图像上训练卷积神经网络104,以选择胚胎的当前等级。在发育的第五天期间,正常发育的胚胎将已发育成胚泡。在第五天,通常基于卵裂腔扩张程度、内部细胞团质量和滋养外胚层质量以及非胚泡的多个类的组合对胚胎进行分级。在一个示例中,分类是二元的,以简单地确定胚胎是胚泡还是不是胚泡。在另一个示例中,将胚胎分类为五个等级之一,其中第一等级表示不能发育到桑椹胚期的胚胎,第二等级表示不能发育超过桑椹胚期的胚胎,第三等级表示早期胚泡,第四阶段表示不符合低温保存标准的胚泡,并且第五阶段表示符合低温保存标准的胚泡,并且分类器被训练以区分这五个等级。
在另一实施方式中,在胚胎发育的第一天拍摄的多个胚胎图像上训练卷积神经网络104,以以预测以后某天的胚胎的当前等级。例如,在第一天拍摄的图像可用于预测第三天的等级或第五天的等级。类似地,在第三天拍摄的图像可用于预测第五天的等级,包括对胚胎是否达到胚泡期的二元确定或以上列出的五个等级中的确定。并且在又一个实施方式中,卷积神经网络可以在来自一天或多天发育的图像上进行训练,并被训练以预测胚胎着床是否成功(即导致怀孕)或胚胎着床是否得到活产。
发明人发现,通过结合另一个专家系统(未示出)来使用卷积神经网络104,可以增强卷积神经网络104的预测能力。实际上,多个专家系统中的任何一个可以与卷积神经网络结合使用,其包括支持向量机、随机森林、自组织图、模糊逻辑系统、数据融合过程、集成方法、基于规则的系统、遗传算法和人工神经网络。应该理解,在来自胚胎发育的多个阶段的特征上以及以图像外部的特征(例如卵子供体、精子供体或胚胎受体的生物特征参数)可以训练另外的专家系统。
图2提供了系统200的一个示例,其中卷积神经网络202与另一专家系统204结合使用。在这种情况下,另一专家系统是遗传算法204,其接收卷积神经网络202的输出并生成表示待评价的胚胎质量的指标。卷积神经网络202和遗传算法204中的每一个都可以实施为存储在非暂时性计算机可读介质上并由相关联的处理器执行的软件指令。胚胎的质量可以是二元类别变量(binary categorical variable),其表示着床的成功或失败或胚胎的数字等级。除了卷积神经网络的输出之外,遗传算法204在确定胚胎的质量时还可以使用表示以下中的一项的生物特征参数:接收胚胎的患者、提供用于产生胚胎的精子的精子供体、用于产生人类胚胎的卵子以及提供卵子的卵子供体。此外,遗传算法204在确定胚胎质量时可以利用多个神经网络的输出,该多个神经网络可以包括其他的卷积神经网络(例如,其接收与卷积神经网络202不同的发育日期的胚胎图像作为输入)、递归神经网络、胶囊网络和生成对抗网络。
系统200包括成像器206,其获取每个胚胎在发育的至少第五天的图像。然后胚胎图像的第一训练集合可以由第五天的胚胎的已知等级和一组图像生成,并用于训练卷积神经网络,使得每个图像的输出是五个值的集合,每个表示胚胎在发育的第五天处于上述定义的五个等级之一的可能性。可以理解,每个胚胎的特征可以包括图像外部的值以及从卷积神经网络202提取的特征。
表示已知质量的胚胎的图像的第二训练集合可以在成像器206处生成并被提供给训练的卷积神经网络202以生成卷积神经网络输出和已知的胚胎质量的集合。例如,已知质量可以是着床的结果或由不同机构的一组胚胎学家通过人工评价所提供的数字等级的平均值(例如,算术平均值或中位数)。该输出和胚胎质量的集合可以作为训练数据被提供给遗传算法。在所示实施方式中,遗传算法的染色体是卷积神经网络输出的五个权重的集合,并且适应度函数是卷积神经网络的加权输出与他们表示的已知胚胎质量之间的绝对误差或平方误差的总和。遗传算法204是一种迭代算法,该迭代算法从由适应度函数所确定的初始候选解群体中的最佳候选解生成新的解,并根据定义的适应度函数消除低执行的候选解,以形成新一代的候选解。重复该过程,直到发生终止事件,例如经过预定时间段,执行预定数量的迭代或满足阈值的适应度值。通过遗传算子生成新的候选解,遗传算子包括突变(其中现有解的值改变了一随机量)和交叉(crossover)(其中两个或更多个“父”解(“parent”solutions)的集合与从父解中的一个选择的“子”解(“child”solution)的每个染色体的值结合)。在一些实施方式中,跨代保留了来自每一代的一个或多个高执行的候选解,以确保现有的良好解不会经由遗传操作而丢失。
遗传算法204的输出是权重的集合,这些权重从卷积神经网络202的输出中最佳地预测胚胎的质量。该输出可以在相关联的用户接口208处被提供给用户。发明人已经发现,卷积神经网络202与以这种方式训练的遗传算法204的结合可以提供对着床结果的预测,其达到或超过有经验的胚胎学家对着床结果的预测。结果,用于移植的胚胎可以自动选择,而不会显著降低准确性。
图3提供了系统300的另一示例,其中卷积神经网络302与另一专家系统304结合使用。在这种情况下,另一专家系统304接收卷积神经网络的输出以及另外的特征的集合,并提供表示胚胎的着床可能是成功的可能性的输出。在所示的实施方式中,卷积神经网络302与其他专家系统304被分开训练。
系统300包括成像器306,该成像器306在发育的至少一个选择的日期获取每个胚胎的图像。然后将该图像提供给卷积神经网络302。然而,应该理解,可以在一个或多个卷积神经网络处使用于不同日期拍摄的多个图像。卷积神经网络302由提供的一个或多个图像生成表示胚胎的形态的多个值。该多个值以及表示接收胚胎的患者、提供用于产生胚胎的精子的精子供体、用于产生人类胚胎的卵子以及将卵子提供给专家系统的卵子供体中的一项的生物特征参数的多个特征被提供给专家系统304。生物特征参数可以包括例如卵子的年龄、患者的体重指数、患者的年龄、卵子成熟状态、胚胎的受精方法、患者的治疗方案、患者的激素概况以及卵子供体的年龄、患者状况的既往诊断、精子供体状况的既往诊断以及患者的子宫内膜厚度。在所示的实施方式中,从电子健康记录(EHR)数据库308中检索生物特征参数。
专家系统304从由所提供的一个或多个图像和多个生物特征表示的胚胎形态的多个值提供表示以下中的一项的输出类:胚胎的当前质量、胚胎的未来质量、胚胎的着床将会成功的可能性以及胚胎的着床将得到活产的可能性。然后,在用户接口310处将输出类提供给用户。
在一个实施方式中,专家系统304被实施为前馈神经网络。在该方法中,卷积神经网络302在训练图像上被预先训练,并且网络中的权重被冻结。前馈神经网络在输入层处接收生物特征参数,卷积神经网络的输出被注入到前馈神经网络的隐藏层中。前馈神经网络的最后一层可以被实施为柔性最大激活函数(softmax)层,以提供分类结果。前馈神经网络在胚胎图像和每个训练图像的已知质量上被训练,以提供所示的系统。
鉴于前述结构和上述功能特征,将参照图4更好地理解根据本发明各个方面的方法。为了简化说明的目的,尽管图4的方法被示出并描述为连续执行,但是应该理解和领会,本发明不受所示顺序的限制,因为根据本发明,一些方面可以以与本文示出和描述的不同顺序发生和/或与本文示出和描述的其他方面同时发生。此外,不需要所有示出的特征来实施根据本发明的一个方面的方法。
图4示出了用于自动评价人类胚胎的方法400。在402处,获得胚胎的图像。在404处,将胚胎的图像提供给神经网络以生成表示胚胎的形态的多个值。例如,神经网络可以包括递归神经网络、卷积神经网络和作为生成对抗网络的一部分被训练的判别分类器中的任一种。在406处,在专家系统处评价表示胚胎的形态的多个值,以提供表示以下中的一项的输出类:胚胎的当前质量、胚胎的未来质量、胚胎的着床将会成功的可能性以及胚胎的着床将得到活产的可能性。
在一个实施方式中,除了神经网络提供的形态特征外,表示接收胚胎的患者、用于产生人类胚胎的卵子、提供用于产生胚胎的精子的精子供体以及提供卵子的卵子供体中的一项的生物特征参数的多个特征可以被提供给专家系统以用于确定输出类。这些生物特征参数可以包括以下中的至少一个:卵子的年龄、患者的体重指数、患者的年龄、卵子成熟状态、胚胎的受精方法、患者的治疗方案、患者的激素概况以及卵子供体的年龄、患者状况的既往诊断、精子供体状况的既往诊断以及患者的子宫内膜厚度。例如,专家系统可以被实施为前馈神经网络。在另一个实施方式中,专家系统包括遗传算法,该遗传算法计算与该多个值相对应的多个权重,使得将输出确定为多个值的加权线性组合。
图5是示出了能够实施图1-图4中公开的系统和方法的示例(例如图1所示的自动胚胎评价系统)的硬件部件的示例性系统500的示意框图。系统500可以包括各种系统和子系统。系统500可以是个人计算机、笔记本电脑、工作站、计算机系统、器具、专用集成电路(ASIC)、服务器、服务器刀片中心(serverblade center)或服务器机群中的任何一种。
系统500可以包括系统总线502、处理单元504、系统存储器506、存储设备508和510、通信接口512(例如,网络接口)、通信链路514、显示器516(例如视频屏幕)和输入设备518(例如键盘和/或鼠标)。系统总线502可以与处理单元504和系统存储器506通信。另外的存储设备508和510(例如硬盘驱动器、服务器、独立数据库或其他非易失性存储器)也可以与系统总线502通信。系统总线502与处理单元504、存储设备506-510、通信接口512、显示器516和输入设备518互连。在一些示例中,系统总线502还与另外的端口(未示出)(例如通用串行总线(USB)端口)互连。
系统500可以在计算云中实施。在这种情况下,系统500的特征(例如处理单元504、通信接口512以及存储设备508和510)可以表示硬件的单个实例或硬件的多个实例,其中应用程序在硬件(例如,计算机、路由器、存储器、处理器或其组合)的多个实例上(即分布式的)执行。替代地,系统500可以在单个专用服务器上实施。
处理单元504可以是计算设备,并且可以包括专用集成电路(ASIC)。处理单元504执行一组指令以实施本文公开的示例的操作。处理单元可以包括处理核心。
另外的存储设备506、508和510可以存储文本或编译形式的数据、程序、指令、数据库查询以及操作计算机可能需要的任何其他信息。存储器506、508和510可以被实施为计算机可读介质(集成的或可移除的),例如存储卡、磁盘驱动器、压缩盘(CD)或可通过网络访问的服务器。在某些示例中,存储器506、508和510可以包括文本、图像、视频和/或音频,它们的一部分可以以人类可理解的格式来使用。
另外地或替代地,系统500可以通过通信接口512访问外部数据源或查询源,通信接口512可以与系统总线502和通信链路514通信。
在操作中,系统500可用于实施根据本发明的胚胎评价系统的一个或多个部分。根据某些示例,用于实施复合应用测试系统的计算机可执行逻辑驻留在系统存储器506以及存储器设备508、510中的一个或多个上。处理单元504执行源自系统存储器506以及存储设备508和510的一个或多个计算机可执行指令。可以理解,计算机可读介质可以包括各自可操作地连接至处理单元的多个计算机可读介质。
在以上描述中给出了具体细节以提供对实施方式的透彻理解。然而,应该理解,实施方式可以在没有这些具体细节的情况下实施。例如,电路可以在框图中示出,以免在不必要的细节上使实施方式模糊。在其他情况下,可以示出公知的电路、过程、算法、结构和技术而没有不必要的细节,以避免使实施方式模糊。
上面描述的技术、框、步骤和装置的实施可以以各种方式来完成。例如,这些技术、框、步骤和装置可以以硬件、软件或其组合来实施。对于硬件实施,处理单元可以在一个或多个专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑设备(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器、设计为执行上述功能的其他电子单元和/或其组合内实施。
另外,应指出,实施方式可被描述为以流程图表、流程图、数据流程图、结构图或框图描绘的过程。尽管流程图表可以将操作描述为顺序过程,但是许多操作可以并行或同时执行。另外,可以重新安排操作顺序。当其操作完成时,该过程终止,但是可具有图中未包括的其他步骤。过程可以对应于方法、函数、步骤、子例程、子程序等。当过程对应于函数时,其终止对应于函数返回到调用函数或主函数。
此外,实施方式可以通过硬件、软件、脚本语言、固件、中间件、微代码、硬件描述语言和/或其任何组合来实施。当以软件、固件、中间件、脚本语言和/或微代码实施时,可以将执行必要任务的程序代码或代码段存储在机器可读介质(例如,存储介质)中。代码段或机器可执行指令可以表示把步骤、函数、子程序、程序、例程、子例程、模块、软件包、脚本、类、或指令、数据结构和/或程序语句的任何组合。通过传递和/或接收信息、数据、自变量、参数和/或存储内容,代码段可以耦接到另一个代码段或硬件电路。信息、自变量、参数、数据等可以通过任何适当的方式(包括存储共享、消息传递、票证传递、网络传送等)进行传递、转发或传送。
对于固件和/或软件实施,可以用执行本文描述的功能的模块(例如,步骤、函数等)来实施方法。有形地体现指令的任何机器可读介质都可以用于实施本文所述的方法。例如,软件代码可以存储在存储器中。存储器可以在处理器内部或处理器外部来实施。如本文所使用的术语“存储器”是指任何类型的长期、短期、易失性、非易失性或其他存储介质,并且不限制任何特定类型或数目的存储器,或存储器存储时的介质的类型。
此外,如本文所公开的术语“存储介质”可以表示一个或多个用于存储数据的存储器,其包括只读存储器(ROM)、随机存取存储器(RAM)、磁RAM、磁芯存储器、磁盘存储介质、光学存储介质、闪存设备和/或用于存储信息的其他机器可读介质。术语“计算机可读介质”和“机器可读介质”包括但不限于便携式或固定的存储设备、光学存储设备、无线信道和/或能够存储包含或携带指令和/或数据的各种其他存储介质。可以理解,“计算机可读介质”或“机器可读介质”可包括各自可操作地连接到处理单元的多种介质。
尽管以上已经结合具体的装置和方法描述了本发明的原理,但是应该清楚地理解,该描述仅是通过示例的方式进行的,并且不作为对本发明范围的限制。

Claims (20)

1.一种用于自动评价人类胚胎的方法,包括:
获得表示所述胚胎的发育中的特定天数的多个所述胚胎的图像并将其用于训练卷积神经网络,以选择所述胚胎的当前等级;
在表示所述特定天数的一组胚胎图像上训练的神经网络处,从所述胚胎的图像生成表示所述胚胎的形态的多个值,所述一组胚胎图像中的每一个图像用五个输出值中的一个输出值来标记,所述五个输出值对应五个等级;以及
在专家系统中评价表示所述胚胎的形态的所述多个值,以提供所述多个输出类中的一个输出类,所述多个输出类中的每一个输出类表示以下中的一个:所述胚胎的当前质量、所述胚胎的未来质量、所述胚胎的着床将会成功的可能性、以及所述胚胎的着床将得到活产的可能性。
2.根据权利要求1所述的方法,其中,所述神经网络是递归神经网络。
3.根据权利要求1所述的方法,其中,所述神经网络包括:被训练为生成对抗网络的一部分的判别分类器。
4.根据权利要求1所述的方法,其中,所述神经网络包括卷积神经网络。
5.根据权利要求1所述的方法,所述方法还包括:提供多个特征,每个特征表示以下中的一项的生物特征参数:接收所述胚胎的患者、用于产生所述人类胚胎的卵子、提供用于产生所述胚胎的精子的精子供体以及将所述卵子提供给所述专家系统的卵子供体,所述专家系统基于所述多个值和所述多个特征来提供所述输出类。
6.根据权利要求5所述的方法,其中,所述专家系统是前馈神经网络。
7.根据权利要求5所述的方法,其中,由所述多个特征表示的所述生物特征参数包括以下中的至少一个:所述卵子的年龄、所述患者的体重指数、所述患者的年龄、卵子成熟状态、所述胚胎的受精方法、所述患者的治疗方案、所述患者的激素概况以及所述卵子供体的年龄、所述患者状况的既往诊断,所述精子供体状况的既往诊断以及所述患者的子宫内膜厚度。
8.根据权利要求1所述的方法,其中,所述专家系统包括遗传算法,所述遗传算法计算与所述多个值相对应的多个权重,使得输出被确定为所述多个值的加权线性组合。
9.一种用于全自动评价人类胚胎的系统,包括:
成像器,所述成像器获取所述胚胎在所述胚胎的发育中的特定天数处的图像并将其用于训练卷积神经网络,以选择所述胚胎的当前等级;
卷积神经网络,所述卷积神经网络从所述胚胎的图像计算表示以下中的一项的至少一个输出值:所述胚胎的当前质量、所述胚胎的未来质量、所述胚胎的着床将会成功的可能性以及所述胚胎的着床将得到活产的可能性,其中,在表示所述特定天数的一组胚胎图像上训练所述卷积神经网络,所述一组胚胎图像中的每一个图像用五个输出值中的一个输出值来标记,所述五个输出值对应五个等级,所述输出值表示以下中的一个:所述训练胚胎的当前质量、所述训练胚胎的未来质量、所述训练胚胎的着床将会成功的可能性、以及所述训练胚胎的着床将得到活产的可能性。
10.根据权利要求9所述的系统,其中,所述成像器获取所述胚胎在发育的第一天的图像,并且所述至少一个输出值包括表示所述胚胎当前具有两个原核的可能性的值。
11.根据权利要求9所述的系统,其中,所述成像器获取所述胚胎在发育的第三天的图像,并且所述至少一个输出值表示所述胚胎在发育的第五天的预期等级。
12.根据权利要求9所述的系统,其中,所述成像器获取所述胚胎在发育的第五天的图像,并且所述至少一个输出值表示所述胚胎的当前等级。
13.根据权利要求12所述的系统,其中,所述胚胎是多个胚胎中的第一胚胎,并且所述至少一个输出值是多个输出值,每个输出值表示所述胚胎在发育的第五天的多个可能等级中的一个等级,所述系统还包括胚胎选择器,所述胚胎选择器为每个胚胎分配分数,所述分数作为由对应的多个权重加权的所述多个输出值的加权线性组合。
14.根据权利要求13所述的系统,其中,所述多个权重是通过在训练集合上训练的遗传算法而生成的,所述训练集合包括一组胚胎的输出值的集合以及在所述一组胚胎在患者中着床后对应的所述一组胚胎的结果的集合。
15.根据权利要求9所述的系统,其中,所述成像器包括:
白色发光二极管;
互补金属氧化物半导体(CMOS)图像传感器;和
连接到所述CMOS图像传感器的物镜。
16.根据权利要求9所述的系统,其中,所述成像器包括塑料外壳,所述塑料外壳包含丙烯酸透镜并且被配置为固定到移动设备,使得所述丙烯酸透镜与所述移动设备的相机对准。
17.根据权利要求9所述的系统,还包括:专家系统,所述专家系统接收所述至少一个输出值和表示以下中的一项的生物特征参数的值的集合:接收所述胚胎的患者、用于产生所述人类胚胎的卵子、提供用于产生所述胚胎的精子的精子供体以及提供所述卵子的卵子供体,并产生表示以下中的一项的输出:所述胚胎的着床将会成功的可能性以及所述胚胎的着床将得到活产的可能性。
18.根据权利要求17所述的系统,其中,由所述值的集合表示的所述生物特征参数包括以下中的至少一个:所述卵子的年龄、所述患者的体重指数、所述患者的年龄、卵子成熟状态、所述胚胎的受精方法、所述患者的治疗方案、所述患者的激素概况以及所述卵子供体的年龄、所述患者状况的既往诊断、所述精子供体状况的既往诊断以及所述患者的子宫内膜厚度。
19.一种用于全自动评价人类胚胎的系统,包括:
成像器,所述成像器获取所述胚胎在所述胚胎的发育中的特定天数的多个所述胚胎的图像并将其用于训练卷积神经网络,以选择所述胚胎的当前等级;
卷积神经网络,所述卷积神经网络从所述胚胎的图像生成表示所述胚胎的形态的多个值,其中,在表示所述特定天数的一组胚胎图像上训练所述卷积神经网络,所述一组胚胎图像中的每一个图像用五个输出值中的一个输出值来标记,所述五个输出值对应五个等级,所述输出值表示以下中的一个:所述训练胚胎的当前质量、所述训练胚胎的未来质量、所述训练胚胎的着床将会成功的可能性、以及所述训练胚胎的着床将得到活产的可能性;和
专家系统,所述专家系统评价表示所述胚胎的形态的多个值,以提供表示以下中的一项的输出值:所述胚胎的当前质量、所述胚胎的未来质量、所述胚胎的着床将会成功的可能性以及所述胚胎的着床将得到活产的可能性。
20.根据权利要求19所述的系统,其中,所述专家系统还接收表示以下中的一项的生物特征参数的值的集合:接收所述胚胎的患者、用于产生所述人类胚胎的卵子、提供用于产生所述胚胎的精子的精子供体以及提供所述卵子的卵子供体。
CN201880069858.XA 2017-09-29 2018-10-01 人类胚胎的自动评价 Active CN111279421B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201762565237P 2017-09-29 2017-09-29
US62/565,237 2017-09-29
US201862651658P 2018-04-02 2018-04-02
US62/651,658 2018-04-02
PCT/US2018/053710 WO2019068073A1 (en) 2017-09-29 2018-10-01 AUTOMATED EVALUATION OF HUMAN EMBRYOS

Publications (2)

Publication Number Publication Date
CN111279421A CN111279421A (zh) 2020-06-12
CN111279421B true CN111279421B (zh) 2024-04-09

Family

ID=65902163

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880069858.XA Active CN111279421B (zh) 2017-09-29 2018-10-01 人类胚胎的自动评价

Country Status (4)

Country Link
US (3) US11321831B2 (zh)
EP (1) EP3688553A4 (zh)
CN (1) CN111279421B (zh)
WO (1) WO2019068073A1 (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111787877A (zh) * 2017-12-15 2020-10-16 维特罗莱夫公司 用于估计胚胎活力的系统和方法
WO2020033391A1 (en) * 2018-08-07 2020-02-13 Cornell University System and method for selecting artificially fertilized embryos
CN114467112A (zh) * 2019-09-06 2022-05-10 布里格姆妇女医院 用于辅助生殖程序的质量保证度量的自动评估
EP4080412A4 (en) * 2019-12-20 2023-08-23 Chavez Badiola, Alejandro METHOD BASED ON IMAGE CONDITIONING AND PRE-PROCESSING FOR THE CLASSIFICATION OF HUMAN EMBRYO
US20230018456A1 (en) * 2020-01-21 2023-01-19 Fairtility Ltd. Methods and systems for determining optimal decision time related to embryonic implantation
CN111401183A (zh) * 2020-03-10 2020-07-10 腾讯科技(深圳)有限公司 基于人工智能的细胞体监控方法、系统、装置和电子设备
US20220012873A1 (en) * 2020-07-10 2022-01-13 Embryonics LTD Predicting Embryo Implantation Probability
EP3951793A1 (en) 2020-08-07 2022-02-09 Imvitro Devices and processes for machine learning prediction of in-vitro fertilization
CN111899844B (zh) * 2020-09-28 2021-11-23 平安科技(深圳)有限公司 一种样本生成方法、装置、服务器及存储介质
TWI762015B (zh) * 2020-11-04 2022-04-21 緯創資通股份有限公司 挑選任務網路的方法、基於感測資料決定動作的系統及方法
CN112401994A (zh) * 2020-11-18 2021-02-26 南京鼓楼医院 一种基于手术机器人的胚胎自动拣选及移植的一体化装置
US20220293219A1 (en) 2021-03-09 2022-09-15 Thread Robotics Inc. System and method for dfi-based gamete selection
WO2022259028A1 (en) * 2021-06-11 2022-12-15 Fairtility Ltd. Methods and systems for embryo classification
WO2023283321A1 (en) * 2021-07-07 2023-01-12 California Institute Of Technology Stain-free detection of embryo polarization using deep learning
WO2023081446A1 (en) 2021-11-05 2023-05-11 Thread Robotics Inc. System and method for automated cell positioning
WO2023121575A1 (en) * 2021-12-23 2023-06-29 Kodmed Saglik Ve Bilisim Teknolojileri A.S Determining the age and arrest status of embryos using a single deep learning model
CN116433652B (zh) * 2023-05-11 2024-02-23 中南大学 用于确定胚胎移植的妊娠结果的方法、处理器及装置
CN116524545B (zh) * 2023-06-30 2023-09-15 暨南大学 一种基于人工智能的胚胎分级方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104718298A (zh) * 2014-06-19 2015-06-17 湖南光琇高新生命科技有限公司 一种根据分裂行为对体外受精治疗胚胎进行评估的等级分类方法
CN105408746A (zh) * 2013-02-28 2016-03-16 普罗吉涅股份有限公司 基于图像的人胚胎细胞分类的装置、方法和系统
WO2017132674A1 (en) * 2016-01-28 2017-08-03 Letterie Gerard Automated image analysis to assess reproductive potential of human oocytes and pronuclear embryos

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2492416A1 (en) * 2002-07-15 2004-01-22 Baylor College Of Medicine Computer user interface facilitating acquiring and analyzing of biological specimen traits
US7907769B2 (en) 2004-05-13 2011-03-15 The Charles Stark Draper Laboratory, Inc. Image-based methods for measuring global nuclear patterns as epigenetic markers of cell differentiation
JP5451073B2 (ja) 2005-10-14 2014-03-26 ユニセンス・ファーティリテック・アクティーゼルスカブ 細胞集団における変化の決定
JP2009524829A (ja) * 2006-01-27 2009-07-02 イースタン バージニア メディカル スクール ヒトivf由来胚のプロテオームフィンガープリンティング:発生能のバイオマーカーの同定法
CN104293646A (zh) * 2009-08-22 2015-01-21 里兰斯坦福初级大学理事会 成像并评估胚胎、卵母细胞和干细胞
US20120257008A1 (en) * 2011-04-07 2012-10-11 Andrew David Taylor Mobile Device Case Having an Integrated Wide-Angle Lens
EP2811016B1 (en) * 2011-05-31 2017-10-04 Unisense Fertilitech A/S Embryo quality assessment based on blastomere cleavage and morphology
US20130183707A1 (en) 2012-01-13 2013-07-18 University Of Pittsburgh - Of The Commonwealth System Of Higher Education Stem cell bioinformatics
BR102012031953B1 (pt) * 2012-12-14 2020-04-07 Univ Estadual Paulista Julio De Mesquita Filho Unesp método para determinação da viabilidade e qualidade de embriões
US9619881B2 (en) 2013-09-26 2017-04-11 Cellogy, Inc. Method and system for characterizing cell populations
US10181185B2 (en) * 2016-01-11 2019-01-15 Kla-Tencor Corp. Image based specimen process control
US10043261B2 (en) 2016-01-11 2018-08-07 Kla-Tencor Corp. Generating simulated output for a specimen
JP6977293B2 (ja) * 2017-03-31 2021-12-08 ソニーグループ株式会社 情報処理装置、情報処理方法、プログラム及び観察システム
JP7030423B2 (ja) 2017-04-27 2022-03-07 シスメックス株式会社 画像解析方法、装置、プログラムおよび深層学習アルゴリズムの製造方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105408746A (zh) * 2013-02-28 2016-03-16 普罗吉涅股份有限公司 基于图像的人胚胎细胞分类的装置、方法和系统
CN104718298A (zh) * 2014-06-19 2015-06-17 湖南光琇高新生命科技有限公司 一种根据分裂行为对体外受精治疗胚胎进行评估的等级分类方法
WO2017132674A1 (en) * 2016-01-28 2017-08-03 Letterie Gerard Automated image analysis to assess reproductive potential of human oocytes and pronuclear embryos

Also Published As

Publication number Publication date
US20240078675A1 (en) 2024-03-07
WO2019068073A1 (en) 2019-04-04
US20200226750A1 (en) 2020-07-16
EP3688553A1 (en) 2020-08-05
CN111279421A (zh) 2020-06-12
EP3688553A4 (en) 2021-07-07
US20220237791A1 (en) 2022-07-28
US11816753B2 (en) 2023-11-14
US11321831B2 (en) 2022-05-03

Similar Documents

Publication Publication Date Title
CN111279421B (zh) 人类胚胎的自动评价
Khosravi et al. Robust automated assessment of human blastocyst quality using deep learning
AU2024200572A1 (en) Automated evaluation of quality assurance metrics for assisted reproduction procedures
US10748288B2 (en) Methods and systems for determining quality of an oocyte
US20220012873A1 (en) Predicting Embryo Implantation Probability
RU2810125C1 (ru) Автоматизированная оценка показателей обеспечения качества для процедур вспомогательной репродукции
US20230326014A1 (en) Automated aneuploidy screening using arbitrated ensembles
CN116456892A (zh) 确定生殖细胞结构中的位置
Eswaran et al. Deep Learning Algorithms for Timelapse Image Sequence-Based Automated Blastocyst Quality Detection
RU2800079C2 (ru) Системы и способы оценки жизнеспособности эмбрионов
US20240037743A1 (en) Systems and methods for evaluating embryo viability using artificial intelligence
WO2022150914A1 (en) Systems and methods for non-invasive preimplantation embryo genetic screening

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20220321

Address after: Massachusetts

Applicant after: THE BRIGHAM AND WOMEN'S Hospital Inc.

Applicant after: Massachusetts General Hospital

Address before: Massachusetts

Applicant before: THE BRIGHAM AND WOMEN'S Hospital Inc.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant