CN117836820A - 用于人ivf衍生胚胎的结果评价的系统和方法 - Google Patents

用于人ivf衍生胚胎的结果评价的系统和方法 Download PDF

Info

Publication number
CN117836820A
CN117836820A CN202280048300.XA CN202280048300A CN117836820A CN 117836820 A CN117836820 A CN 117836820A CN 202280048300 A CN202280048300 A CN 202280048300A CN 117836820 A CN117836820 A CN 117836820A
Authority
CN
China
Prior art keywords
embryo
embryos
day
image data
human
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280048300.XA
Other languages
English (en)
Inventor
张康
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Publication of CN117836820A publication Critical patent/CN117836820A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/68—Analysis of geometric attributes of symmetry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30044—Fetus; Embryo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Urology & Nephrology (AREA)
  • Surgery (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种用于人IVF衍生胚胎的结果评价的系统和方法，用于体外受精(IVF)中胚胎形态定级、胚泡胚胎选择、非整倍性预测和最终活产结果预测。该方法和系统可采用基于一个或多个人胚胎的图像数据的深度学习模型，其中该图像数据包括该一个或多个人胚胎在该一个或多个胚胎形成之后的前几天内的不同时间点的多个图像。

Description

用于人IVF衍生胚胎的结果评价的系统和方法
相关申请的交叉引用
本申请要求2021年5月10日提交的美国临时申请号63/186,179的优先权，其公开内容以引用方式全文并入本文。
背景技术
超过8千万对夫妇患有不孕不育。体外受精(IVF)已经彻底改革了不孕不育的治疗，已有超过5百万婴儿通过IVF出生。然而，实现有利的活产结果仍然具有挑战性。胚胎选择的常规方法取决于胚胎形态学的视觉检查，并且具有经验依赖性和高度可变性1-3。执行熟练的胚胎学家的复杂任务并结合评估诸如卵透明带厚度变化、卵裂球数量、细胞对称和细胞质碎片程度、非整倍性状态和母体状况以预测活产的最终结果的自动化系统是非常期望的4,5。
人工智能具有彻底改革健康护理和改善所有领域结果6,9的潜力，诸如基于图像的诊断10、语音识别和自然语言处理11。特别地，使用具有迁移学习的卷积神经网络促进了高效且准确的图像诊断10,12。
深度学习在IVF中的应用已被探索用于基于形态质量或和移植结果对胚胎进行分类，尽管它们的精确度和普遍适用性仍然是主要挑战4,5,13-16。此外，基于常规人表现的次任选结果预测严重限制了IVF技术的影响，尤其是在资源和访问贫乏的区域17,18。能够评估胚胎并对胚胎进行分级以便植入，并且结合母体度量来预测活产结果的Ai算法具有很大的实用性。
用于检测非整倍性的植入前遗传测试(PGT)改善了胚胎移植的成功率和妊娠结果。然而，它具有若干局限性，包括侵入性、测序成本、镶嵌性、滋养外胚层活检中的经验。
发明内容
在一个方面，本公开提供了一种计算机实现的方法，该计算机实现的方法包括以下步骤：接收一个或多个人胚胎的图像数据，该图像数据包括该一个或多个人胚胎在该一个或多个胚胎形成的前6天内的不同时间点的多个图像；基于以下中的一项或多项来确定该一个或多个人胚胎的生存力指标，其中该生存力指标表示选择植入该一个或多个胚胎将产生存活胚胎的可能性：通过使用至少一个计算机处理器，基于该图像数据使用第一神经网络来确定该一个或多个胚胎的胚胎形态定级；通过使用至少一个计算机处理器，至少部分地基于该图像数据使用第二深度学习模型来确定该一个或多个胚胎的非整倍性；通过使用至少一个计算机处理器，至少部分地基于该图像数据使用第三深度学习模型来预测用于植入的该一个或多个胚胎的移植的活产发生；以及输出该生存力指标。
在一些实施方案中，其中确定胚胎形态定级包括基于该图像数据，基于以下三个任务使用多任务机器学习模型：(1)胚胎的细胞质碎片率的回归任务，(2)胚胎的细胞数量的二元分类任务，和(3)所确定的胚胎的卵裂球不对称的二元分类任务。在一些实施方案中，通过在最小化联合损失中使用同方差不确定性方法来组合三个任务的损失函数，从而联合训练多任务机器学习模型。在一些实施方案中，用于胚胎形态定级的输出参数包括第1天的原核类型，第3天的卵裂球数量、不对称和卵裂球碎片。
在一些实施方案中，确定生存力指标包括至少部分地基于图像数据使用第二深度学习模型来确定该一个或多个胚胎的非整倍性。在一些实施方案中，确定生存力指标包括至少部分地基于图像数据使用第三深度学习模型来预测用于植入的该一个或多个胚胎的移植的活产发生。
在一些实施方案中，确定人胚胎的生存力指标进一步包括使用来自胚胎发育的卵的供体的临床元数据，该元数据包括母体年龄、月经状况、子宫状况和子宫颈状况、先前妊娠和生育史中的至少一者。
在一些实施方案中，非整倍性确定中的第二深度学习模型包括通过时滞图像视频和通过活检评估的基于PGT-A的倍性结果训练的3D CNN模型。
在一些实施方案中，该方法进一步包括：基于第1天和第3天的胚胎图像数据来确定胚泡形成。
在一些实施方案中，第三深度学习模型包括CNN模型。在一些实施方案中，第三深度学习模型可进一步包括RNN模型和两层感知器分类器。
在一些实施方案中，该方法进一步包括：基于多个人胚胎的生存力指标来确定该多个人胚胎的分级。
在一些实施方案中，该方法进一步包括：基于分级来选择该多个人胚胎中的一个人胚胎以用于单个胚胎移植或多个胚胎应被移植的顺序。
在一些实施方案中，该方法进一步包括基于所确定的生存力指标来选择用于移植和植入的胚胎。用于移植和植入的选择可在第3天、第5/6天进行。
在另一个方面，本公开提供了一种在IVF/ICSI周期中选择人胚胎的方法，该方法包括使用本文所述的计算机实现的预测方法确定生存力指标，以及基于预测的生存力指标来选择用于移植和植入的人胚胎。
在另一个方面，本公开提供了一种系统，该系统包括至少一个处理器，该至少一个处理器被配置为：接收一个或多个人胚胎的图像数据，该图像数据包括该一个或多个人胚胎在该一个或多个胚胎形成之后的前6天内的不同时间点的多个图像；将至少一个三维(3D)人工神经网络应用于该图像数据以确定该一个或多个人胚胎的生存力指标；以及输出生存力评分。
附图说明
图1是所公开的用于在整个IVF循环期间进行胚胎评估和活产发生预测的AI平台的实施方案的示意图。
图2示出了根据所公开的主题的实施方案评价胚胎的形态动力学特征的表现。
图3示出了根据所公开的主题的实施方案预测胚泡期发育的表现。
图4示出了所公开的主题的某些实施方案在鉴定胚泡倍性(整倍性/非整倍性)方面的表现。
图5示出了所公开的主题的某些实施方案在预测所公开的AI模型的活产发生方面的表现。
图6示出了根据所公开的主题的实施方案的对胚胎形态评估的证据的可视化。
图7是所公开的具有模型实例的集合体的AI平台的实施方案的流程图。
图8是描述所公开的主题的实施方案的数据集的流程图。
图9示出了根据所公开的主题的实施方案的胚胎的形态动力学特征的测量的表现。
图10示出了根据所公开的主题的实施方案预测胚泡期发育的表现。
图11示出了所公开的主题的某些实施方案的活产发生的表现研究。
图12示意性地示出了被编程或以其他方式配置为实现本文所提供的方法的计算机控制系统或平台。
本发明的某些实施方案的描述
根据一些方面，本文公开了诊断系统、计算装置和计算机实现的方法，以通过使用机器学习框架而不使用活检来评价由IVF规程生成的胚胎，诸如胚胎倍性和活产发生概率。在一些实施方案中，机器学习框架利用深度学习模型诸如神经网络。
在一个方面，本公开提供了一种基于深度学习方法使用存储在时滞图像中的空间和时间信息选择整倍性胚胎的方法。这些具有对应参数的图像可存储与正确胚胎发育的遗传信息对应的信息，因此可修正为对胚胎倍性(整倍性与非整倍性)进行基于AI的预测而无需活检。
本发明的实施方案提供了一种用于估计胚胎生存力的方法。生存力指标是或者可包括概率，从而提供胚胎在植入子宫之后导致成功妊娠的可能性的预测。具有较高生存力指标值的胚胎具有较高的妊娠和活产概率。如果要移植多个胚胎，则可使用生存力评分来决定胚胎将被移植到子宫中的顺序。
在一个方面，本公开提供了一种计算机实现的方法，该计算机实现的方法包括以下步骤：接收一个或多个人胚胎的图像数据，该图像数据包括该一个或多个人胚胎在该一个或多个胚胎形成的前6天内的不同时间点的多个图像；基于以下中的一项或多项来确定该一个或多个人胚胎的生存力指标，其中该生存力指标表示选择植入该一个或多个胚胎将产生存活胚胎的可能性：基于该图像数据使用第一神经网络来确定该一个或多个胚胎的胚胎形态定级；至少部分地基于该图像数据使用第二深度学习模型来确定该一个或多个胚胎的非整倍性；至少部分地基于该图像数据使用第三深度学习模型来预测用于植入的该一个或多个胚胎的移植的活产发生；以及输出该生存力指标。
在一些实施方案中，其中确定胚胎形态定级包括基于该图像数据，基于以下三个任务使用多任务机器学习模型：(1)胚胎的细胞质碎片率的回归任务，(2)胚胎的细胞数量的二元分类任务，和(3)所确定的胚胎的卵裂球不对称的二元分类任务。
在一些实施方案中，通过在最小化联合损失中使用同方差不确定性方法来组合三个任务的损失函数，从而联合训练多任务机器学习模型。
在一些实施方案中，用于胚胎形态定级的输出参数包括第1天的原核类型，第3天的卵裂球数量、不对称和卵裂球碎片。
在一些实施方案中，确定人胚胎的生存力指标进一步包括使用来自胚胎发育的卵的供体的临床元数据，该元数据包括母体年龄、月经状况、子宫状况和子宫颈状况、先前妊娠和生育史中的至少一者。
在一些实施方案中，非整倍性确定中的第二深度学习模型包括通过时滞图像视频和通过活检评估的基于PGT-A的倍性结果训练的3D CNN模型。
在一些实施方案中，该方法进一步包括：基于第1天和第3天的胚胎图像数据来确定胚泡形成。
在一些实施方案中，第三深度学习模型包括CNN模型。在一些实施方案中，第三深度学习模型进一步包括RNN模型和两层感知器分类器。
在一些实施方案中，该方法进一步包括：基于多个人胚胎的生存力指标来确定该多个人胚胎的分级。
在一些实施方案中，该方法进一步包括：基于分级来选择该多个人胚胎中的一个人胚胎以用于单个胚胎移植或多个胚胎应被移植的顺序。
在一些实施方案中，该方法进一步包括基于所确定的生存力指标来选择用于移植和植入的胚胎。用于移植和植入的选择可在第3天、第5/6天进行。
在另一个方面，本公开提供了一种在IVF/ICSI周期中选择人胚胎的方法，该方法包括使用本文所述的计算机实现的预测方法确定一个或多个IVF衍生胚胎的生存力指标，以及基于所预测的生存力指标来选择用于移植和植入的人胚胎。
在另一个方面，本公开提供了一种系统或装置，该系统或装置包括至少一个处理器、存储器和用程序编码的非瞬态计算机可读存储介质，该程序包括可由该至少一个处理器执行的指令并且使得该至少一个处理器：接收一个或多个人胚胎的图像数据，该图像数据包括该一个或多个人胚胎在该一个或多个胚胎形成之后的前6天内的不同时间点的多个图像；将至少一个三维(3D)人工神经网络应用于该图像数据以确定该一个或多个人胚胎的生存力指标；以及输出生存力评分。
在一些实施方案中，本文所述的系统、装置、介质、方法和应用包括数字处理装置。例如，在一些实施方案中，数字处理装置是集成了本文所述的诊断软件的护理点装置的一部分。在一些实施方案中，医学诊断装置包括用于捕获医学数据(例如，医学图像)的成像设备，诸如成像硬件(例如，相机)。该设备可包括光学透镜和/或传感器，以便以数百或数千的放大率获取图像。在一些实施方案中，医学成像装置包括被配置为执行本文所述的方法的数字处理装置。在进一步的实施方案中，数字处理装置包括执行装置功能的一个或多个处理器或硬件中央处理单元(CPU)。在更进一步的实施方案中，数字处理装置进一步包括被配置为执行可执行指令的操作系统。在一些实施方案中，数字处理装置任选地连接到计算机网络。在进一步的实施方案中，数字处理装置任选地连接到因特网，使得其访问万维网。在更进一步的实施方案中，数字处理装置任选地连接到云计算基础设施。在其他实施方案中，数字处理装置任选地连接到内联网。在其他实施方案中，数字处理装置任选地连接到数据存储装置。根据本文的描述，作为非限制性示例，合适的数字处理装置包括服务器计算机、台式计算机、膝上型计算机、笔记本计算机、子笔记本计算机、上网本计算机、机顶盒计算机、手持式计算机、因特网电器、移动智能电话、平板计算机、个人数字助理、视频游戏控制台和车辆。本领域技术人员将认识到，许多智能电话适用于本文所述的系统。
在一些实施方案中，本文所述的系统、介质、方法和应用包括用程序编码的一个或多个非暂态计算机可读存储介质，该程序包括可由任选地联网的数字处理装置的操作系统执行的指令。在进一步的实施方案中，计算机可读存储介质是数字处理装置的有形部件。在更进一步的实施方案中，计算机可读存储介质任选地可从数字处理装置移除。在一些实施方案中，作为非限制性示例，计算机可读存储介质包括CD-ROM、DVD、闪存装置、固态存储器、磁盘驱动器、磁带驱动器、光盘驱动器、云计算系统和服务等。在一些情况下，程序和指令被永久地、基本上永久地、半永久地或非暂态地编码在介质上。
在一些实施方案中，本文所述的系统、介质、方法和应用包括至少一个计算机程序或其使用。计算机程序包括可在数字处理装置的CPU中执行的、被编写为执行指定任务的指令序列。计算机可读指令可被实现为执行特定任务或实现特定抽象数据类型的程序模块，诸如函数、对象、应用编程接口(API)、数据结构等。根据本文所提供的公开内容，本领域技术人员将认识到，计算机程序可以各种语言的各种版本编写。
计算机可读指令的功能可根据需要在各种环境中组合或分布。在一些实施方案中，计算机程序包括一个指令序列。在一些实施方案中，计算机程序包括多个指令序列。在一些实施方案中，从一个位置提供计算机程序。在其他实施方案中，从多个位置提供计算机程序。在各种实施方案中，计算机程序包括一个或多个软件模块。在各种实施方案中，计算机程序部分地或全部地包括一个或多个web应用、一个或多个移动应用、一个或多个独立应用、一个或多个web浏览器外挂程序、扩展、插件或附件、或它们的组合。在一些实施方案中，计算机程序包括web应用。根据本文所提供的公开内容，本领域技术人员将认识到，在各种实施方案中，web应用利用一个或多个软件框架和一个或多个数据库系统。
在一些实施方案中，本文所述的系统、装置、介质、方法和应用包括软件、服务器和/或数据库模块，或它们的使用。鉴于本文所提供的公开内容，通过本领域技术人员已知的技术使用本领域已知的机器、软件和语言来创建软件模块。本文所公开的软件模块以多种方式实现。在各种实施方案中，软件模块包括文件、代码段、编程对象、编程结构或它们的组合。在进一步的各种实施方案中，软件模块包括多个文件、多个代码段、多个编程对象、多个编程结构或它们的组合。在各种实施方案中，作为非限制性示例，该一个或多个软件模块包括web应用、移动应用和独立应用。在一些实施方案中，软件模块在一个计算机程序或应用中。在其他实施方案中，软件模块在多于一个计算机程序或应用中。在一些实施方案中，软件模块被托管在一个机器上。在其他实施方案中，软件模块被托管在多于一个机器上。在进一步的实施方案中，软件模块被托管在云计算平台上。在一些实施方案中，软件模块被托管在一个位置的一个或多个机器上。在其他实施方案中，软件模块被托管在多于一个位置的一个或多个机器上。
附图详细说明
图1.所公开的用于在整个IVF循环期间进行胚胎评估和活产发生预测的AI平台的示意图。
左图：AI模型利用在授精后17±1小时(第1天)或授精后68±1小时(第3天)捕获的人胚胎的图像。还包括临床元数据(例如，母体年龄、BMI)。
中间图和右图：用于在整个IVF循环期间进行胚胎评估的可说明的深度学习系统的图示。该系统由四个模块组成。中间图：用于使用多任务学习对胚胎形态特征进行定级的模块；使用具有噪声或推断的第1天/第3天图像进行胚泡形成预测的模块。
右图：使用胚胎图像或时滞视频预测胚胎倍性(整倍性与非整倍性)的模块；使用图像和临床元数据进行活产发生预测的最终模块。在独立的群组中测试模型以确保普遍性。我们还研究了AI与胚胎学家的比较表现。
图2.使用所公开的AI系统评价胚胎形态动力学特征的表现。
a，示出检测第1天胚胎的异常原核类型的表现的ROC曲线，b至d，D3胚胎的形态评估，b，示出检测卵裂球不对称的表现的ROC曲线。橙色线表示从正常(-)检测到不对称(++或+)。蓝色线表示从良好(-)检测到严重不对称(++)。c，所预测的胚胎碎片率与实际的胚胎碎片率的相关性分析，d，所预测的卵裂球细胞数量与实际的卵裂球细胞数量的相关性分析。MAE，平均绝对误差；R2，测定系数；PCC，皮尔逊相关系数。
图3.使用所公开的AI系统预测胚泡期发育的表现。
a，示出选择发育至胚泡期的胚胎的表现的ROC曲线。蓝色、橙色和绿色线分别表示使用第1天、第3天和组合的第1天和第3天的图像。
b至d，胚胎的形态与胚泡发育正相关，包括：b，胚胎碎片率，和c，卵裂球不对称。箱线图示出中值、上四分位数和下四分位数(通过箱)以及上相邻值和下相邻值(通过须)。d，发育至胚泡期或未发育至胚泡期的胚胎形态动力学特性的可视化。
图4.所公开的AI系统在鉴定胚泡倍性(整倍性/非整倍性)中的表现
a，使用仅临床元数据模型、仅胚胎图像模型和组合模型的二元分类的ROC曲线。PGT-A测试结果是可获得的。
b，使用仅临床元数据模型、仅胚胎视频模型和组合模型的二元分类的ROC曲线。使用时滞来捕获胚胎发育的视频。
c,通过SHAP值有助于整倍性胚泡发展的特征的图示。风险解释栏右侧的特征将风险推得更高，并且左侧的特征将风险推得更低。
d和e，我们的AI模型和八个实践胚胎学家在胚胎的整倍性分级中的表现比较，d，用于检测非整倍性的ROC曲线。胚胎学家个体表现由红色十字指示，并且胚胎学家平均表现由绿色圆点指示。e，AI与胚胎学家平均在不同滤波率方面选择用于PGT-A测试的胚泡的整倍性率。基线整倍性率为46.1％
图5.预测所公开的AI模型的活产发生的表现。
a和b，示出对a内部测试集、b外部验证群组的活产发生预测的表现的ROC曲线。橙色、绿色和蓝色ROC曲线表示使用仅元数据模型、仅胚胎图像模型和组合模型。
c，通过SHAP值有助于进展到活产发生的特征的图示。
d和e，我们的AI系统与PGT-A辅助方法用于活产发生的比较。d，AI系统的活产率与选择用于移植的胚胎的比例相关联。橙色线表示第3天的植入。蓝色线代表第5/6天的植入。e，Kamath等人的基线率、我们的外部验证集2的基线率、PGT-A辅助的活产率和AI辅助的活产率的图示。PGT-A仅进行第5/6天植入。
图6.使用集成梯度方法对胚胎形态评估的证据的可视化。
左：原始胚胎图像；右：解释方法生成显著热图。a，第1天的正常原核类型(良好的)；b，第3天的卵裂球对称(良好的)；c，第3天胚胎的碎片率(正常)；d，第3天卵裂球细胞数量(正常)；e，第1天胚胎未能发育到胚泡期；f，第3天胚胎未能发育到胚泡期。
图7.具有模型实例的集合体的AI平台的流程图。
我们首先开发了使用颜色归一化和对比度受限的自适应直方图均衡化(CLAHE)技术的图像增强模型。应用颜色归一化和CLAHE图像增强之后的四种类型的胚胎图像：原始图像、仅应用CLAHE变换之后的图像、仅应用颜色归一化变换之后的图像和应用CLAHE和颜色归一化变换两者之后的图像。每个图像实例单独地进行预测，并且通过对结果求平均来组合这些图像实例以产生鲁棒AI模型。
图8.描述用于所公开的AI系统的数据集的流程图，包括4个主要模块：形态定级、胚泡预测、PGT-A分级和活产发生预测。还考虑了患者入选和排除标准。
图9.使用所公开的AI系统测量胚胎形态动力学特征的表现。涉及图2。
a和b，示出检测到第3天胚胎的异常形态的表现的ROC曲线。a，示出检测到碎片的表现的ROC曲线。b，示出异常细胞数量(我们将编号7至9定义为正常，否则为异常)的鉴定的表现的ROC曲线
图10.使用AI系统预测胚泡期发育的表现。
示出选择发育至胚泡期的胚胎的表现的ROC曲线。蓝色线表示使用由医师给出的形态评分；橙色线表示使用我们的AI系统给出的形态评分。
图11.AI模型的活产发生的表现研究。
我们的AI系统与PGT-A辅助方法用于活产发生的比较。a和b，AI系统的活产率与选择用于移植的胚胎的比例相关联。橙色线表示第3天的植入。蓝色线代表第5/6天的植入。a，母体年龄(≤32，中位年龄)；b，母体年龄(＞32，中位年龄)；c，Kamath等人的基线率、我们的外部验证集2的基线率、PGT-A辅助的活产率和AI辅助的活产率的图示。PGT-A仅进行第5/6天植入。
图12示意性地示出了被编程或以其他方式配置为实现本文所提供的方法的计算机控制系统或平台。在一些实施方案中，系统包括计算机系统2101，该计算机系统被编程或以其他方式被配置为执行可执行指令，诸如用于执行图像分析。计算机系统包括至少一个CPU或处理器2105。计算机系统包括至少一个存储器或存储器位置2110和/或至少一个电子存储单元2115。在一些实施方案中，计算机系统包括通信接口2120(例如，网络适配器)。在一些实施方案中，计算机系统2101可在通信接口2120的帮助下可操作地联接到计算机网络(“网络”)2130。在一些实施方案中，终端用户装置2135用于上传图像数据，诸如胚胎图像、数据库2145的通用浏览或其他任务的表现。在一些实施方案中，数据库2145是与计算机系统2101分离的一个或多个数据库。
实施例
开发了基于AI的系统以覆盖整个IVF/ICSI周期，其由四个主要部分组成：胚胎形态定级模块、胚泡形成评估模块、非整倍性检测模块和最终活产发生预测模块。基于多任务学习，提供AI模型用于胚胎形态评估，包括第1天的原核类型，以及第3天的卵裂球数量、卵裂球不对称和碎片。IVF中的几个关键问题被解决，包括胚胎形态定级、胚泡胚胎选择、非整倍性预测和最终活产结果预测。移植学习用于用1千万ImageNet图像预训练CNN，并将该模型应用于D1/D3人胚胎图像，以用于覆盖整个IVF/ICSI周期的进一步AI系统开发。上述两种方法使我们能够评估植入潜力。对活产结果的预测还取决于许多因素，包括母体年龄，涉及月经、子宫和宫颈状态的因素，以前的妊娠和生育史，这些因素也并入本文的AI模型中。通过在集合体AI模型中与胚胎和母体度量相结合，我们在前瞻性试验中评价了活产结果(参见图1)。
方法
数据集特性
数据(胚胎图像和医疗记录)是在2010年至2019年之间在广州市妇女儿童医院和江门市中心医院收集的。
本研究经广州市妇女儿童医院生殖医学伦理委员会批准。
所有规程作为患者标准护理的一部分进行。所有地点都获得了机构审查委员会(IRB)/道德委员会的批准，并且所有参与的受试者都签署了同意书。
IVF-ET周期的概述
根据取回之后的精子参数，用常规的IVF或ICSI对卵母细胞进行授精。然后，在受精检查之后单独培养所有的双前核胚胎，并且它们在细胞分裂之后变成卵裂期胚胎。每天观察胚胎，直到第5/6天，每个胚胎具有至少两张照片：在受精检查时(授精之后16小时至18小时)和第3天的胚胎评估(授精之后66小时)(扩展数据表1和2)。
扩展数据表1.基于伊斯坦布尔共识，在每个时间点观察受精的卵母细胞、胚胎和预期的发育期。
扩展数据表2.胚胎的形态评估
对于第1天(16小时至18小时后)的胚胎形态评估，胚胎学家根据原核和前核的数量、大小和位置对合子进行评分。Scott等人28根据原核形态将合子分为四组Z1至Z4，原核形态标记有与其质量对应的定级，包括核大小、核排列、核仁排列和分布以及核在合子中的位置。
根据伊斯坦布尔共识(共识2011)29，通过细胞数量、碎片的相对程度和卵裂球不对称评价卵裂期胚胎。
如果胚胎被培养成胚泡，也保存第5天或第6天的照片用于分析。仅选择可用的胚泡(定义为≥3期，并且内细胞团或滋养外胚层的至少一个评分≥B)用于移植或冷冻以备将来使用。
如果胚胎被安排为PGT，则根据胚泡定级在第5天或第6天进行活检，并招募NGS用于整倍性评估。在PGT周期中，所有胚胎都进行胚泡培养，对可获得的胚泡进行活检并进行NGS用于整倍性评估。
根据形态评分在第3天或胚泡期移植大多数胚胎，而在PGT周期中，根据PGT诊断报告选择胚胎。
所有患者都严格地随访，并且活产被定义为≥28周妊娠的活婴儿的出生。
也在部分患者中进行时滞视频，并且也用于分析。我们使用来自Primo Vision时滞系统的图像，该系统在9个焦平面上每10分钟以10μm的增量拍摄胚胎的图像。
胚胎评分
来自两个中心的九名高级胚胎学家根据内部评分规则对胚胎进行评分。
对于具有明确结果的胚胎，包括本研究。回顾性研究中的整倍性胚胎包括单个胚胎移植结果一个活产，或两个胚胎移植结果双胞胎婴儿。
根据加德纳评分，生存力胚泡被定义为胚泡期≥3，并且内细胞团或滋养外胚层的至少一个评分≥B。
冷冻的胚胎或移植的胚胎未导致妊娠被排除在外。PGT组是具有NGS的CNV结果的胚胎。医疗记录是IVF治疗中的那些特征。
活产被定义为≥28周妊娠的活婴儿的出生。每次胚胎移植的活产率被定义为分娩的数量除以胚胎移植的数量。
根据这些标准，总共3469个胚胎的静态图像和154个时滞视频收集自543个患者，并且也分析了这些患者的记录特征。
图像质量控制
在图像定级过程期间，首先去识别所有图像以移除任何患者相关信息。由于差的照相质量/不可读的图像，约9％的研究参与者被排除在外，包括：照明不足，使得结构清晰可见；卵透明带和滋养外胚层的锐聚焦；每个显微照片一个胚胎，在视野中没有可见仪器和很少或没有碎片；在图像范围内示出的整个胚胎(包括卵透明带)；以及图像中不妨碍胚胎可见性的文本或符号。
临床诊断缺失也被排除在外。在建立一致性诊断之后，将图像转移到AI团队以开发用于基于图像的分类的深度学习算法。
胚胎图像预处理
胚胎图像的预处理包括图像分割和图像增强两个步骤。
首先，我们从每个图像中裁剪胚胎。我们在胚胎图像上训练胚胎分割UNet30以产生胚胎分割掩膜，其中胚胎的像素由阳性标记(前景)指定，并且其他为阴性(背景)。这些掩模用于定位每个图像中的胚胎边界框的中心。通过沿所计算的胚胎边界框裁剪来对准所有胚胎图像。这种对准和裁剪方法可帮助模型集中在每个图像中的胚胎上，并且减少在数据收集阶段中引入的偏差。
为了捕获胚胎图像上的非特定特征并改善AI模型的表现，使用两种图像增强方法，包括对比度限制自适应直方图均衡化(CLAHE)31和颜色归一化32。通过将图像划分为局部区域并对所有相邻像素应用直方图均衡化来执行CLAHE增强，而不是全局地执行直方图均衡化。与原始图像相比，CLAHE增强了图像的细节。图像归一化方法如下进行：x'＝αx—α高斯(x,μ,Σ,s×s)。其中x是输入图像，x'是归一化图像，μ和β是参数，并且高斯(x,μ,Σ,s×s)是具有大小为s×s的高斯核(μ,Σ)的高斯滤波器。我们使用α＝4以及β＝128、Σ＝I和s＝10，遵循文献32。通过图像归一化，我们可减小在不同采集条件下拍摄的图像之间的亮度偏差。
深度学习和移植学习方法
在本研究中使用卷积神经网络(CNN)分析胚胎图像。使用移植学习技术，其中用ImageNet数据集34预训练的ResNet-50模型33被初始化为主干，并且对于所展示的所有深度学习模型进行微调。ResNet-50是具有残差设计块的五级网络，其利用残差连接来克服深度学习模型的降级问题并实现非常深的网络。
对于“回归”任务，具有一个标量作为输出的完全连接层被用作ResNet-50模型中的最终层。最终输出被舍入为整数以用于序数回归。对于分类任务，除了完全连接层之外，将附加的softmax层附加到模型。
均方差(MSE)损失用作“回归”任务的目标函数，并且交叉熵损失用于“分类”任务。调整胚胎图像的大小至224×224。利用Adam优化器35、学习率10-3、权重衰减10-6、批量大小32，通过错误的反向传播来训练模型达50次。在训练期间，随机水平翻转、垂直翻转、旋转和亮度的变换被添加到每个批次作为数据扩充，以便改善模型的泛化能力。模型用PyTorch36实现。我们将发育数据集随机地划分成训练集(开发集的7/8)和调整集(开发集的1/8)以开发我们的模型。当训练完成时，选择具有最佳验证损失的模型用于验证集的评价。
我们应用模型集合体来改善AI的整体表现。对于每个任务，我们用不同的处理过的胚胎图像作为输入训练四个模型实例，其中通过仅应用CLAHE、仅应用归一化、应用CLAHE和归一化两者以及身份变换将每个输入图像预处理成四个图像。然后，对于每个任务，我们用在相同开发集上并行训练的相同架构训练四个模型，但是每个模型使用不同的预处理图像。给定输入图像，通过对四个模型的输出求平均来获得预测。
AI系统概述
所公开的AI系统是覆盖整个IVF/ICSI周期的通用胚胎评估平台，其包括四个主要部分：胚胎形态定级模块、胚泡形成评估模块、非整倍性检测模块和最终活产发生预测模块。
AI模型首先使用多任务学习开发用于胚胎形态评估，包括第1天的原核类型，以及第3天的卵裂球数量、卵裂球不对称和碎片。
胚胎形态定级和多任务学习
我们建立了第1天和第3天的胚胎形态定级模块，包括评价卵透明带厚度变化、卵裂球数量、细胞对称和细胞质碎片程度。我们应用多任务学习进行卵裂期胚胎的形态定级，因为显示了卵裂期胚胎的形态定级之间的相关性。例如，示出具有严重碎片的卵裂期胚胎可能由几个不对称卵裂球组成。因此，我们对卵裂期胚胎的形态定级的三个任务应用多任务学习以增强AI的表现。将碎片率和细胞数量公式化成回归任务，并将鉴定卵裂球不对称公式化成二元分类任务，其损失函数分别表示为Lf、Ln和La。通过组合它们的损失函数，联合训练用于这三个不同任务的单个模型，这不仅可利用相关性，而且可通过共享模型参数来执行正则化，从而产生更准确和鲁棒的表现。我们执行了同方差不确定性方法37以组合这三个损失并最小化联合损失。在假设同方差不确定性的情况下，任务的损失被加权并因式分解成用于回归任务的或用于分类任务的/>其中σ是可训练的参数。因此，用于形态定级多任务学习模型的组合损失函数可被公式化为/>
胚泡形成评估和噪声或推断
在第五天，胚胎形成“胚泡”，其由包围较小团(内细胞团)的细胞外层(滋养外胚层)组成。在胚泡形成评估模块中，我们使用第1天/第3天的胚胎图像来预测胚泡形成。我们分别使用第1天或第3天的胚胎训练了两种模型用于胚泡形成评估。我们通过噪声或推断进一步组合来自这两个模型的预测结果，假定发生的发育成胚泡可由在第1天或第3天观察到的两种胚胎因素引起，并且这两种因素中的任一种的发生可导致胚泡形成以独立概率发生。因此，胚泡形成的概率由p＝1-Πi∈{1，3}(1-pi)合成，其中pi是第i天图像的预测概率。
我们建立了一种自动评价系统，以基于胚胎静止图像和时滞视频检测胚胎染色体倍性和活产结果。胚胎染色体倍性(整倍性与非整倍性)是指存在或不存在染色体的任何错误复制或缺失，并且活产结果是指胚胎是否可发育成健康胎儿并在妊娠期满正常分娩。
使用时滞图像和视频预测染色体倍性
在倍性检测模块中，我们采用3D神经网络，基于胚胎发育的时滞视频，即以相同时间间隔连续拍摄的胚胎图像，检测胚胎倍性(整倍性与非整倍性)。具体地，我们每小时均匀地采样128帧以捕获胚胎的动态和静态特征。然后我们使用另一个神经网络定位胚胎的位置，以在所有采样的时滞帧内对每个胚胎进行对准和定大小，从而每个胚胎图像在大小和像素上是一致的。我们使用预训练的3D ResNet基于对准的胚胎帧进行倍性检测任务并给出最终的预测。
在示例中，三维CNN被采用以预测给定胚胎时滞视频的胚胎的倍性状态(整倍性与非整倍性)，其呈现胚胎的形态和时间信息38。对于每个时滞视频，首先，我们通过利用截断或填充每小时均匀采样来对视频的帧进行下采样，从而产生总共128个帧，以便在胚胎发育的整个过程中捕获胚胎的形态特征和发育动力学。然后，用胚胎分割模型裁剪采样图像并调整大小至128×128以便对准。然后，沿时间轴堆叠预处理的图像，以生成用于下游预测任务的128×128×128 3D张量。我们使用利用Kinetics-400数据集40预训练的ResNet-1839模型的三维版本初始化主干，并利用胚胎时滞视频微调分类头，用于倍性状态预测。主干由3×3×3和3×7×7个卷积构成，并且分类头由两个完全连接的层构成。我们使用五倍交叉验证方案用于非整倍性预测。
活产预测
在活产预测模块中，我们使用胚胎图像来预测在IVF植入中用单个或多个胚胎进行移植的活产概率。因此，为了改善单次移植的成功率、妊娠期满[妊娠]的高概率，在实践中，通常在单次移植中移植多个胚胎。为了解决输入数据的可变长度，我们建立了具有CNN-RNN架构的神经网络。(CNN是卷积神经网络的缩写，其适合于图像特征提取，并且RNN是循环神经网络的缩写，其被设计用于具有可变长度的输入数据)。通过共享的CNN在单次转移中从每个胚胎提取胚胎的图像特征，然后在RNN中进一步融合以产生移植水平特征，并且最后聚集以给出总体活产概率。具体地，我们对每个胚胎使用了从第1天和第3天的两个视图。输入序列是逐个胚胎堆叠的，具有沿胚胎发育时间的有序视图。我们还整合了临床元数据包括母体年龄、子宫内膜厚度等，以使用方法诸如逻辑回归进一步改善预测。
在示例中，活产发生预测模块将具有单个或多个胚胎的移植T映射成活产发生的概率，其中T是具有m个观察图像的n个胚胎中的n×m个图像的序列。为了解决在每次移植中具有可变数量的胚胎图像的输入，我们基于可行的CNN-RNN架构41构建了模型M，因为CNN在从胚胎图像提取形态特征方面是有效的，并且循环神经网络(RNN)适合于在胚胎图像之间整合信息。模型M由三部分组成：CNN模型Fv、RNN模型Ft和两层感知器分类器Fc。CNN模型Fv为每个图像xi提取图像级特征ei＝Fv(xi)。我们使用由Fv的主干产生的最后的平坦化特征图作为下一个RNN模型的输入。然后，在时间轴上具有图像特征T＝[x1,x2,---,xnm]和附加最大池化层的RNN模型Ft将把RNN的输出积分成用于下一分类头的具有固定维度的移植水平特征f＝Ft(T)。在时间轴上附加最大池化层将把RNN的输出集成到具有固定尺寸的移植水平特征，以用于随后的分类头。RNN模型使用单层双向LSTM结构42实现。最后，两层感知器分类器Fc将移植水平特征映射成概率y＝Fc(f)。我们对每个胚胎使用了从第1天和第3天的两个视图。输入序列是逐个胚胎堆叠的，具有沿胚胎发育时间的有序视图。我们还使用方法诸如逻辑回归来组合/集成临床元数据以进一步改善预测。
AI预测的解释
SHAP方法用于显示相关危险因素对非整倍性检测和活产预测的影响。SHAP是用于基于树的模型的值可解释工具，其可高效且准确地计算局部解释和全局解释。还研究了用于具有可解释性的预测的SHAP的局部解释的表现。
为了解释我们的模型提出的预测，我们使用积分梯度43(IG)(一种基于梯度的方法)来生成视觉解释，该视觉解释突出显示了对模型预测有贡献的区域。给定用于类别c的经训练的模型f、输入图像x和输出评分yc＝f(x)，基于基本梯度的可视化方法44生成显著性图，其中通过下式导出每个像素的重要性权重IG方法通过路径积分梯度改善基本方法，其量化了每个像素的重要性如下：/>其中x'是基线图像。这克服了当到正确类的模型输出饱和时缺少对重要特征的灵敏度的基本方法的缺点。在本研究中，基线图像使用具有相同大小的输入图像的黑色图像。通过σ＝8的高斯核对所生成的热图进行滤波以求平滑。
AI系统的表现研究
为了评估倍性预测，将AI系统与偶然性(随机分配的倍性预测)和八个胚胎学家进行比较。
我们进行了两个实验来研究AI系统与胚胎学家在倍性评价中的表现。给定胚胎，我们向胚胎学家提供第1天、第3天的图像和对应的临床元数据。八个胚胎学家的组分别给出数据的二元分类和分级评价。
在二元分类评价实验中，要求胚胎学家通过查看图片并考虑为母体信息提供的信息来评价胚胎是否是整倍性。对于AI的表现，我们使用了基于所生成概率的ROC评价和基于操作点的二元分类。
对于分级实验，胚胎学家分配1至10的评分，其中较高的评分指示较大的整倍性可能性。对每个胚胎进行两次评分(在初始读数之后两周)，并计算平均值作为最终评分。此外，我们使用所产生的AI概率计算胚胎评价的分级评分，并滤波进一步的PGT-A测试。在不同滤波率下计算胚胎的整倍性率。
统计分析
为了评价本研究中连续值预测的回归模型的表现，我们应用了平均绝对误差(MAE)、R平方(R2)和皮尔逊相关系数(PCC)。我们应用了Bland-Altman曲线45，其显示样品的测量值和预测值之间的差值相对于二者的平均值。并且我们通过95％的一致性极限和组内相关系数(ICC)来评价预测值和实际值的一致性。通过灵敏度对1—特异性的接受者操作特性(ROC)曲线评价二元分类的模型。ROC曲线的曲线下面积(AUC)以95％置信区间(CI)报道。用非参数自举方法(1,000次随机重采样并替换)估计AUC的95％CI。AI系统的操作点可被不同地设置以平衡真阳性率(TPR)和假阳性率(FPR)。使用图像水平预测的平均输出生成胚胎水平模型。使用scikit-learn的Python包(0.22.1版)计算AUC。
结果
图像数据集和患者特性
在卵母细胞取回之后，根据精子参数用常规IVF授精。所有的双前核胚胎在受精检查之后单独培养，并每天观察，直到第6天。每个胚胎具有至少两张照片：一张用于第1天的受精检查，并且一张用于第3天的胚胎形态评估。该研究共招募了来自7,167名患者的总共39,784个胚胎，这些胚胎在2010年3月至2018年12月31日之间从IVF/ICSI周期培养。群组参与者的人口统计学和临床信息总结在表1和图8中。其中，将来自6,453名患者的36,013个胚胎用作发育数据集。来自发育集的所有受试者被随机地分成互斥集，用于以70％:10％:20％的比例进行AI算法的训练、调整和“内部验证集”。
表1.发育数据集和用于疾病检测的外部验证群组中的患者的基本特性。在每个群组中示出了用于识别全身性状况的胚胎图像的数量。AMH，抗穆勒氏管荷尔蒙；FSH，促卵泡激素。
在本公开的一个实施方案中，AI系统提供了覆盖整个IVF/ICSI周期的通用胚胎评估平台，并且包括四个模块：胚胎形态定级模块、胚泡形成评估模块、非整倍性检测模块和最终活产发生预测模块。
AI模型首先使用多任务学习开发用于胚胎形态评估，包括第1天的原核类型，以及第3天的卵裂球数量、卵裂球不对称和碎片率。在第五天，胚胎形成“胚泡”，其由包围较小团(内细胞团)的细胞外层(滋养外胚层)组成。我们进一步使用第1天/第3天的胚胎图像，用噪声或推断预测胚泡形成(胚泡形成评估模块)。
非整倍性检测模块使用胚胎图像和临床元数据预测胚胎倍性(整倍性与非整倍性)。我们还使用时滞图像视频构建了3D CNN模型，并且使用来自400名患者的视频在独立群组中进行了进一步测试以确保普遍性。
对于活产发生预测模块，来自4,537名患者的胚胎图像和临床元数据用于训练AI模型。为了评价AI模型的表现，进行了独立的前瞻性研究。该前瞻性群组由来自广东省江门医院的2,410名患者组成(表1，参见方法的更多细节)。
用于胚胎形态评估的可解释的AI系统
在临床实践中，根据伊斯坦布尔共识标准，根据形态评分系统，在三个期，包括前核期、卵裂期和胚泡期，选择IVF胚胎用于植入。
通常，在选择良好质量胚胎时使用以下参数：原核形态、在培养的特定天数的卵裂球数量；卵裂球特性包括大小、对称和碎片。
在前核阶段，合子(原核)形态与发展成胚泡期的生长能力以及植入和妊娠的结果有关。Z评分系统用于将每个胚胎的原核定级为Z1至Z4，其中考虑了核大小和排列、核仁数量和分布。AI模型能够检测异常原核形态，其中曲线下面积(AUC)为0.800(95％CI：0.783-0.814)(图2a)。
在卵裂期，我们评价了AI模型确定卵裂球不对称、碎片和数量的能力。卵裂球对称如先前Prados20所报道的定义：直径差异＜25％的卵裂球的胚胎被认为是对称的(-)；直径差异≥75％的胚胎被认为是严重不对称的(++)，并且介于25％至75％之间的值被认为是轻度对称的(+)。这通过将最小卵裂球的直径除以最大卵裂球的直径来计算(参见方法中的更多细节)。AI系统的AUC为0.817(95％CI：0.785-0.842)，用于检测来自对称卵裂球的严重不对称(++)，以及AUC为0.870(95％CI：0.847-0.893)，用于检测来自测试集的对称卵裂球(-)的不对称(++或+)(图2b)。
我们进一步在AI预测的碎片评分系统和实际的碎片评分系统之间进行比较(图2c和图9a)。预测的和实际的卵裂球碎片具有强的线性关系，其中皮尔逊相关系数(PCC)为0.86，测定系数(R2)为0.73，并且平均绝对误差(MAE)为3.335％(图2c)。然后，我们训练AI模型以执行二元分类任务(碎片模式与正常模式)。检测碎片的AUC为0.971(95％CI：0.968-0.975)(图9a)。
最后，我们研究了AI模型的表现以预测细胞数量。图2d示出了通过AI算法预测的细胞数量实现了与卵裂球实际数量的极佳相关(PCC＝0.863，R2＝0.744，MAE＝0.627)。
使用胚胎图像预测胚泡发育
我们接着测试了我们的AI模型预测分裂期胚胎的命运的能力。对于D1和D3时间点，确定了预测D5胚胎发育期的准确性。
首先，我们通过使用端到端深度学习方法合并来自不同时间点的信息，包括第1天/第3天胚胎图像，研究了表现(图3a)。AI模型能够预测仅使用第1天的胚胎，在AUC为0.847(95％CI：0.838-0.856)时胚胎是否能发育至胚泡期。AI模型使用第3天的胚胎以0.900的AUC(95％CI：0.894-0.906)实现了改善的预测准确度。当组合第1天和第3天图像时，我们的模型示出了AUC为0.913(95％CI：0.908-0.918)的更好表现。
我们接着通过使用来自先前研究的胚胎形态评分系统作为输入评价胚胎生存力的能力，该评分系统由原核形态、不对称、碎片和卵裂球数量组成。
这些研究证明，与胚胎学家的常规形态动力学定级方法相比，具有改善的评价胚胎生存力的预测能力(图10)。此外，胚胎的碎片率随着失败的胚泡形成而显著增加(图3b)。类似地，胚胎的不对称随着失败的胚泡形成而显著增加(图3c)。图3d的示例示出，包括胚胎碎片和不对称的人胚泡形态与胚泡发育结果相关，并且是总体AI评估的主要驱动因素。
使用基于胚胎图像的AI系统检测胚泡倍性
根据形态评分在第3天或第5天选择大多数胚胎进行移植，其他胚胎根据非整倍性的植入前遗传测试(PGT-A)诊断报告来进行移植。根据先前的研究，影响超过一半IVF胚胎并随着母体年龄增长而增加的胚胎非整倍性是植入失败的主要原因21。
假设基因组非整倍性可影响胚胎发育期间的细胞形态和迁移模式，因此可修改成通过AI算法检测。尝试了三种模型用于非整倍性检测：使用第1天/第3天胚胎图像的深度学习模型；使用临床元数据的基线随机森林模型；以及使用这两种输入模态的组合AI模型。对于所有任务，组合模型和仅胚胎图像模型比仅元数据模型执行得更好(图4a)。用于检测胚胎非整倍性的AUC对于仅元数据的模型为0.669(95％CI：0.641-0.702)，对于仅胚胎图像的模型为0.719(95％CI：0.692-0.740)，以及对于组合模型为0.785(95％CI：0.762-0.805)(图4a)。
接下来，我们首先使用时滞图像视频训练3D CNN模型以预测胚胎的倍性状态(整倍性与非整倍性)，其呈现了胚胎发育的形态和时间信息。在来自145个胚胎的一系列时滞视频上进一步验证该算法。当使用静止胚胎图像在外部测试集上测试时，使用临床元数据模型用于预测胚胎非整倍性存在的AUC为0.648(95％CI：0.593-0.703)，用于胚胎图像模型的AUC为0.740(95％CI：0.690-0.785)，以及用于组合模型的AUC为0.806(95％CI：0.760-0.837)(图4b)。
为了解释胚胎特征和临床参数对胚胎非整倍性预测的影响和相对贡献，我们实施了explainer SHAP(Shapley Additive exPlanation)22。结果示出胚胎图像特征和临床参数，包括年龄、卵裂球不对称、第3天卵裂球细胞数量，有助于预测非整倍性胚胎(图4c)。
我们比较了我们的AI系统和来自两个不同生育诊所的八个胚胎学家对非整倍性预测的表现。在整倍性筛选设置中，胚胎学家对所有胚胎进行整倍性概率分级。将进一步选择最佳候选胚胎以进行PGT-A测试。测试数据集由来自110名患者的560个图像组成，其中46.1％是整倍性胚胎。在该测试集中，我们的AI系统表现获得了0.724的AUC，其总体上优于胚胎学家，包括四个初级胚胎学家和四个高级胚胎学家(图4d)。
然后我们研究了我们的AI系统是否能帮助胚胎学家改善他们的非整倍性预测的表现。还要求胚胎学家通过查看来自胚胎的图片并考虑为母体年龄提供的信息和其他临床信息(参见方法中的更多细节)来对胚胎进行分级。
我们计算了不同选择率的整倍性率，以用于进一步的PGT-A测试，并比较了我们的AI系统和胚胎学家之间的表现(图4e)。群体的基线整倍性率为46.1％。通过定制潜在的非整倍性，胚胎学家的整倍性率得到改善，并且与胚胎学家相比，基于AI的表现得到显著改善。此外，通过我们的AI模型选择的胚胎的整倍性率将随着胚胎去除的增加而改善。
使用胚胎图像和临床元数据预测活产
为了进一步扩展我们的AI系统在预测活产发生中的范围，我们开发了三种模型：使用临床元数据的基线随机森林模型；使用胚胎图像的深度学习模型和使用两种输入模态的组合AI模型。将发育数据集分成训练集、调整集和内部验证集(比例为7:1:2)以评估模型的表现(数据表1)
此处，在第3天或第5/6天移植胚胎，并且根据美国生殖医学学会(ASRM)在2004年9月公布的最近指南23，移植的胚胎数量限于两个或更少的胚胎。在内部验证集上进行测试，仅临床元数据给出0.722的AUC(95％CI：0.666-0.784)，并且使用仅胚胎图像训练的AI模型产生0.700的AUC(95％CI：0.636-0.751)。当使用组合的临床元数据和胚胎图像训练时，组合的AI模型实现了AUC为0.803(95％CI：0.758-0.849)的优良表现(图5a)。我们使用另一个独立的外部群组(外部验证集1)进一步验证了这些AI模型，以证明它们的普遍性(图8)。AUC对于仅临床元数据的模型为0.727(95％CI：0.657-0.798)，对于胚胎图像的模型为0.692(95％CI：0.604-0.759)，以及对于组合模型为0.762(95％CI：0.705-0.838)(图5b)。
由于AI系统测量IVF中使用的许多关键胚胎和关键临床特征，因此我们进一步证明它具有减少胚胎定级时间而不牺牲可解释性的潜力。此处，我们使用SHAP方法来证明由AI系统做出的解释预测的价值，并且洞察影响活产发生的因素。我们的发现表明，母体年龄被鉴定为临床预后估计中最显著的贡献者。母体年龄、子宫内膜厚度、FSH、BMI、AMH与每次移植的活产率显著相关(图5c)。总之，这些发现不仅证明了AI模型的有效性，而且证明了基于AI的平台的潜在现实可行性和实用性。
AI辅助的活产预测表现研究
根据基于非整倍性的植入前遗传测试(PGT-A)诊断报告的第3天或第5/6天的形态评分选择胚胎用于植入。为了验证AI系统的临床效用，我们进一步研究了在外部验证集2上的AI表现，该外部验证集包括2,410名参与者的6,315个胚胎图像，用于单个胚胎移植的情况。
AI在第3天在活产率方面针对胚胎学家的表现，或在第5/6天针对PGT-A辅助的活产结果的表现已经总结在图5d和图5e中。对于不同的临床应用，AI系统的操作点可被不同地设置，以在移植率和活产率结果之间进行折衷(图5d)。我们的基线活产率在第3天为30.8％或在第5天为40.9％，类似于先前文献24中报道的29.3％或45.0％。当在第3天移植时进行评价时，我们的AI模型实现了优于基线的表现，其中活产为46.0％。此外，对于第5天的植入，仅通过我们的AI模型的个别胚胎的成功率为54.9％，其优于PGT-A辅助的表现(图5e)。结果证明AI-辅助评价可帮助优化胚胎选择并使妊娠可能性最大化，其准确性与PGT-A测试相当。
由于活产发生与年龄相关，因此我们进一步分析了通过中值年龄(年龄＝32)分层的活产发生中的我们的AI表现。如图11所示，与年长组(年龄＞32)的基线相比，AI模型具有显著的13.4％和13.5％的改善，这优于年轻组(年龄≤32)。
对AI预测的证据的可视化
最后，为了改善AI模型的可解释性并阐明其预测机制，使用集成梯度(IG)来生成显著性图，这些显著性图帮助突出显示在确定AI模型的预测中重要的图像区域。来自解释技术的显著性图暗示该模型倾向于集中在原核上，以用于评价原核类型的DI胚胎形态(图6a)。
至于卵裂球数量和细胞对称程度的预测，该模型倾向于集中在D3胚胎中心周围的空间特征(图6b和6d)。
从显著性图获得的知识似乎表明，AI模型集中在D3胚胎细胞周围的碎片，用于细胞质碎片和卵裂期胚胎(失败的胚胎)的命运。
在图6e中，突出显示的“感兴趣的点”图似乎更分散地遍布D1胚胎，其未能发育至卵裂期。
讨论
胚胎选择的新进展旨在最大化IVF成功率，减少受孕时间，同时最小化多胎妊娠的风险。目前的形态定级方法依赖于描述性参数来对卵裂期胚胎进行分级以用于移植。然而，先前的研究已经研究了AI辅助的形态定级25或鉴定将发育成胚泡的卵裂期胚胎26。与先前研究相比，本研究具有几个要考虑的差异。
在本研究中，我们开发了一个关于整个IVF周期的胚胎评价和活产发生预测的通用AI平台，包括胚胎形态定级模块、胚泡形成评估模块、非整倍性检测模块和最终活产预测模块。结果提高了基于AI选择表现超出临床医生观察能力的胚胎的可能性。这些发现可能提供非侵入性、高通量和低成本的筛选工具，以极大地促进胚胎选择和最佳结果表现。它还可潜在地帮助在多个临床环境中对胚胎选择方法进行标准化。
影响超过一半的所产生胚胎并随着母体年龄增长而增加的卵母细胞27和胚胎非整倍性是IVF周期中植入失败和流产的主要原因，IVF PGT-A试验的成功应用解决了这一点。然而，这种规程是侵入性的，并且由于活检和玻璃化可能导致胚胎损伤；PGT-A中的误诊或镶嵌性可能导致胚胎浪费；通过NGS或SNP阵列的整倍性评估也意味着IVF测序中的更高成本。
最近，对人胚胎应用非侵入性的时滞显微术(TLM)策略，并报道了分析形态动力学的可能预后效果的大量数据。时滞显微术通过细胞分裂(细胞质分裂)的精确发生和持续时间、细胞周期的持续时间(卵裂之间的时间间隔)来评价胚胎质量。整倍性和非整倍性胚胎之间的形态动力学模式可能存在显著差异，但临床意义缺失至人观察者不能检测到的适度。
此处，我们的基于AI的方法示出了提取形态动力学参数的潜力，并被用作PGS的替代物以确定植入前胚胎的染色体状态。
此外，本研究已经使用D1/D3胚胎图像和临床元数据评估了自动化AI算法在活产率中的作用。并针对单个胚胎移植(SET)和两个胚胎移植(DET)的情况评估选择准确性。我们的AI模型与基线活产率相比示出显著的改善。尽管PGT-A获得了与我们的AI辅助方法相当的表现，但其具有仅能用于胚泡在第5天移植的局限性。此外，我们的AI模型可产生表示胚胎质量的连续评分，并且可使用此类评分确定给定胚胎集的客观移植顺序。对于现实世界的临床应用，AI系统的操作点可设置成不同，以平衡胚泡的移植率和活产率，这与PGT-A方法相比更灵活。
参考文献
1.Baxter Bendus,A.E.,Mayer,J.F.,Shipley,S.K.&Catherino,W.H.Interobserver and intraobserver variation in day 3embryo grading.FertilSteril 86,1608-1615(2006).
2.Paternot,G.,Devroe,J.,Debrock,S.,D'Hooghe,T.M.&Spiessens,C.Intra-and inter-observer analysis in the morphological assessment of early-stageembryos.Reprod Biol Endocrinol 7,105(2009).
3.Storr,A.,Venetis,C.A.,Cooke,S.,Kilani,S.&Ledger,W.Inter-observerand intra-observer agreement between embryologists during selection of asingle Day 5 embryo for transfer:a multicenter study.Hum Reprod 32,307-314(2017).
4.Rocha,J.C.,et al.Automatized image processing of bovine blastocystsproduced in vitro for quantitative variabledetermination.Sci Data 4,170192(2017).
5.Rocha,J.C.,et al.A Method Based on Artificial Intelligence To FullyAutomatize The Evaluation of Bovine Blastocyst Images.Sci Rep 7,7659(2017).
6.Topol,E.J.High-performance medicine:the convergence of human andartificial intelligence.Nat Med 25,44-56(2019).
7.Ravizza,S.,et al.Predicting the early risk of chronic kidneydisease in patients with diabetes using real-world data.Nat Med 25,57-59(2019).
8.Norgeot,B.,Glicksberg,B.S.&Butte,A.J.Acall for deep-learninghealthcare.Nat Med 25,14-15(2019).
9.Esteva,A.,et al.Aguide to deep learning in healthcare.Nat Med 25,24-29(2019).
10.Kermany,D.S.,et al.Identifying Medical Diagnoses and TreatableDiseases by Image-Based Deep Learning.Cell 172,1122-1131 el 129(2018).
11.Liang,H.,et al.Evaluation and accurate diagnoses of pediatricdiseases using artificial intelligence.Nat Med 25,433-438(2019).
12.Wang,C.,Elazab,A.,Wu,J.&Hu,Q.Lung nodule classification using deepfeature fusion in chest radiography.Comput Med Imaging Graph 57,10-18(2017).
13.Khosravi,P.,et al.Deep learning enables robust assessment andselection of human blastocysts after in vitro fertilization.NPJ Digit Med 2,21(2019).
14.Kanakasabapathy,M.K.,et al.Development and evaluation ofinexpensive automated deep learning-based imaging systems for embryology.LabChip 19,4139-4145(2019).
15.Dimitriadis,I.,et al.Automated smartphone-based system formeasuring sperm viability,DNA fragmentation,and hyaluronic binding assayscore.PLoS One 14,e0212562(2019).
16.Bormann,C.L.,et al.Performance of a deep learning based neuralnetwork in the selection of human blastocysts for implantation.Elife 9(2020).
17.Wahl,B.,Cossy-Gantner,A.,Germann,S.&Schwalbe,N.R.Artificialintelligence(AI)and global health:how can AI contribute to health inresource-poor settings？BMJ Glob Health 3,e000798(2018).
18.Hosny,A.&Aerts,H.Artificial intelligence for global health.Science366,955-956(2019).
19.Goyal,A.,Kuchana,M.&Ayyagari,K.P.R.Machine learning predicts live-birth occurrence before in-vitro fertilization treatment.Scientific reports10,1-12(2020).
20.Prados,F.J.,Debrock,S.,Lemmen,J.G.&Agerholm,I.The cleavage stageembryo.Human Reproduction 27,i50-i71(2012).
21.Fragouli,E.,et al.The origin and impact of embryonicaneuploidy.Human genetics 132,1001-1013(2013).
22.Lundberg,S.M.,Erion,G.G.&Lee,S.-I.Consistent individualizedfeature attribution for tree ensembles.arXiv preprint arXiv:1802.03888(2018).
23.Technology,P.C.o.t.S.f.A.R.Guidelines on the number of embryostransferred.Fertility and sterility 82,1-2(2004).
24.Kamath,M.S.,Mascarenhas,M.,Kirubakaran,R.&Bhattacharya,S.Number ofembryos for transfer following in vitro fertilisation or intra-cytoplasmicsperm injection.Cochrane Database of Systematic Reviews(2020).
25.Leahy,B.D.,et al.Automated Measurements of Key MorphologicalFeatures of Human Embryos for IVF.in International Conference on MedicalImage Computing and Computer-Assisted Intervention 25-35(Springer,2020).
26.Thirumalaraju,P.,et al.Deep learning-enabled blastocyst predictionsystem for cleavage stage embryo selection.Fertility and sterility 111,e29(2019).
27.Minasi,M.G.,et al.Correlation between aneuploidy,standardmorphology evaluation and morphokinetic development in 1730 biopsiedblastocysts:a consecutive case series study.Human Reproduction 31,2245-2254(2016).
28.Scott,L.,Alvero,R.,Leondires,M.&Miller,B.The morphology of humanpronuclear embryos is positively related to blastocyst development andimplantation.Human reproduction 15,2394-2403(2000).
29.The Istanbul consensus workshop on embryo assessment:proceedingsof an expert meeting.Human reproduction 26,1270-1283(2011).
30.Ronneberger,O.,Fischer,P.&Brox,T.U-net:Convolutional networks forbiomedical image segmentation.in International Conference on Medical imagecomputing and computer-assisted intervention 234-241(Springer,2015).
31.Pisano,E.D.,et al.Contrast limited adaptive histogram equalizationimage processing to improve the detection of simulated spiculations in densemammograms.Journal of Digital imaging 11,193(1998).
32.Graham,B.Kaggle diabetic retinopathy detection competitionreport.University of Warwick(2015).
33.He,K,Zhang,X.,Ren,S.&Sun,J.Deep residual learning for imagerecognition.in Proceedings of the IEEE conference on computer vision andpattern recognition 770-778(2016).
34.Deng,J.,et al.Imagenet:Alarge-scale hierarchical image database.in2009 IEEE conference on computer vision and pattern recognition 248-255(Ieee,2009).
35.Kingma,D.P.&Ba,J.Adam:Amethod for stochastic optimization.arXivpreprint arXiv:1412.6980(2014).
36.Paszke,A.,et al.Pytorch:An imperative style,high-performance deeplearning library.arXiv preprint arXiv:1912.01703(2019).
37.Kendall,A.,Gal,Y.&Cipolla,R.Multi-task learning using uncertaintyto weigh losses for scene geometry and semantics.in Proceedings of the IEEEconference on computer vision and pattern recognition 7482-7491(2018).
38.Gardner,D.K.,Meseguer,M.,Rubio,C.&Treff,N.R.Diagnosis of humanpreimplantation embryo viability.Human reproduction update 21,727-747(2015).
39.Tran,D.,et al.A closer look at spatiotemporal convolutions foraction recognition.in Proceedings of the IEEE conference on Computer Visionand Pattern Recognition 6450-6459(2018).
40.Kay,W.,et al.The kinetics human action video dataset.arXivpreprint arXiv:1705.06950(2017).
41.Yue-Hei Ng,J.,et al.Beyond short snippets:Deep networks for videoclassification.in Proceedings of the IEEE conference on computer vision andpattern recognition 4694-4702(2015).
42.Hochreiter,S.&Schmidhuber,J.Long short-term memory.Neuralcomputation 9,1735-1780(1997).
43.Sundararajan,M.,Taly,A.&Yan,Q.Axiomatic attribution for deepnetworks,in International Conference on Machine Learning 3319-3328(PMLR,2017).
44.Simonyan,K.,Vedaldi,A.&Zisserman,A.Deep inside convolutionalnetworks:Visualising image classification models and saliency maps.arXivpreprint arXiv:1312.6034(2013).
45.Giavarina,D.Understanding bland altman analysis.Biochemia medica25,141-151(2015).
本说明书中提及的所有出版物、专利和专利申请以引用方式并入本文，其程度如同每个单独的出版物、专利或专利申请被具体地且单独地指示以引用方式并入。

Claims (24)

1.一种计算机实现的方法，所述计算机实现的方法包括以下步骤：
接收一个或多个人胚胎的图像数据，所述图像数据包括所述一个或多个人胚胎在所述一个或多个胚胎形成之后的前6天内的不同时间点的多个图像；
基于以下中的一项或多项来确定所述一个或多个人胚胎的生存力指标，其中所述生存力指标表示选择植入所述一个或多个胚胎将产生存活胚胎的可能性：
基于所述图像数据使用第一神经网络来确定所述一个或多个胚胎的胚胎形态定级；
至少部分地基于所述图像数据使用第二深度学习模型来确定所述一个或多个胚胎的非整倍性；
至少部分地基于所述图像数据使用第三深度学习模型来预测用于植入的所述一个或多个胚胎的移植的活产发生；以及输出所述生存力指标。
2.根据权利要求1所述的方法，其中确定所述胚胎形态定级包括基于所述图像数据，基于以下三个任务使用多任务机器学习模型：(1)所述胚胎的细胞质碎片率的回归任务，(2)所述胚胎的细胞数量的二元分类任务，和(3)所确定的所述胚胎的卵裂球不对称的二元分类任务。
3.根据权利要求2所述的方法，其中通过在最小化联合损失中使用同方差不确定性方法来组合所述三个任务的损失函数，从而联合训练所述多任务机器学习模型。
4.根据权利要求1所述的方法，其中用于所述胚胎形态定级的输出参数包括第1天的原核类型，第3天的卵裂球数量、不对称和卵裂球碎片。
5.根据权利要求1所述的方法，其中确定所述人胚胎的生存力指标进一步包括使用来自所述胚胎发育的卵的供体的临床元数据，所述元数据包括母体年龄、月经状况、子宫状况和子宫颈状况、先前妊娠和生育史中的至少一者。
6.根据权利要求1所述的方法，其中所述非整倍性确定中的所述第二深度学习模型是通过时滞图像视频和通过活检评估的基于PGT-A的倍性结果训练的3D CNN模型。
7.根据权利要求1所述的方法，所述方法进一步包括：
基于第1天和第3天的所述胚胎图像数据来确定胚泡形成。
8.根据权利要求1所述的方法，其中所述第三深度学习模型包括CNN模型。
9.根据权利要求1所述的方法，所述方法进一步包括：基于多个人胚胎的生存力指标来确定所述多个人胚胎的分级。
10.根据权利要求9所述的方法，所述方法进一步包括：基于所述分级来选择所述多个人胚胎中的一个人胚胎以用于单个胚胎移植或多个胚胎应被移植的顺序。
11.根据权利要求1所述的方法，所述方法进一步包括：基于所确定的生存力指标来选择用于移植和植入的所述胚胎。
12.根据权利要求11所述的方法，其中用于移植和植入的所述选择是在第3天、第5天或第6天进行。
13.根据权利要求1所述的方法，其中确定所述生存力指标包括至少部分地基于所述图像数据使用所述第二深度学习模型来确定所述一个或多个胚胎的非整倍性。
14.根据权利要求13所述的方法，其中确定所述一个或多个胚胎的非整倍性包括使用3D神经网络。
15.根据权利要求13所述的方法，其中确定所述一个或多个胚胎的非整倍性包括使用胚胎发育的时滞视频并用相同大小和数量的像素归一化所述时滞视频中的所有图像。
16.根据权利要求1所述的方法，其中确定所述生存力指标包括至少部分地基于所述图像数据使用所述第三深度学习模型来预测用于植入的所述一个或多个胚胎的移植的活产发生。
17.根据权利要求16所述的方法，其中预测用于植入的所述一个或多个胚胎的移植的活产发生包括利用CNN架构来产生总活产概率。
18.一种在IVF/ICSI周期中选择人胚胎的方法，所述方法包括：
使用根据权利要求1至17中任一项所述的计算机实现的预测方法来确定生存力指标；
基于所述预测的生存力指标来选择用于移植和植入的所述人胚胎。
19.一种系统，所述系统包括至少一个处理器，所述至少一个处理器被配置为：
接收一个或多个人胚胎的图像数据，所述图像数据包括所述一个或多个人胚胎在所述一个或多个胚胎形成之后的前6天内的不同时间点的多个图像；
将至少一个三维(3D)人工神经网络应用于所述图像数据以确定所述一个或多个人胚胎的生存力指标；以及
输出所述生存力评分；
其中所述生存力指标表示所述一个或多个胚胎将产生至少一个存活胚胎的可能性；
其中确定所述一个或多个人胚胎的所述生存力指标包括以下中的至少一者：
基于所述图像数据使用第一神经网络来确定所述一个或多个胚胎的胚胎形态定级；
至少部分地基于所述图像数据使用第二深度学习模型来确定所述一个或多个胚胎的非整倍性；以及至少部分地基于所述图像数据使用第三深度学习模型来预测用于植入的所述一个或多个胚胎的移植的活产发生。
20.根据权利要求19所述的系统，其中确定所述胚胎形态定级包括基于所述图像数据，基于以下三个任务使用多任务机器学习模型：(1)所述胚胎的细胞质碎片率的回归任务，(2)所述胚胎的细胞数量的二元分类任务，和(3)所确定的所述胚胎的卵裂球不对称的二元分类任务。
21.根据权利要求19所述的系统，其中通过在最小化联合损失中使用同方差不确定性方法来组合所述三个任务的损失函数，从而联合训练所述机器学习模型。
22.根据权利要求19所述的系统，其中用于所述胚胎形态定级的输出参数包括第1天的原核类型，第3天的卵裂球数量、不对称和卵裂球碎片。
23.根据权利要求19所述的系统，其中确定所述人胚胎的生存力指标进一步包括使用来自所述胚胎发育的卵的供体的临床元数据，所述元数据包括母体年龄、月经状况、子宫状况和子宫颈状况、先前妊娠和生育史中的至少一者。
24.根据权利要求19所述的系统，其中所述非整倍性确定中的所述第二深度学习模型是通过时滞图像视频和通过活检评估的基于PGT-A的倍性结果训练的3D CNN模型。
CN202280048300.XA 2021-05-10 2022-05-10 用于人ivf衍生胚胎的结果评价的系统和方法 Pending CN117836820A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202163186179P 2021-05-10 2021-05-10
US63/186,179 2021-05-10
PCT/US2022/028553 WO2022240851A1 (en) 2021-05-10 2022-05-10 System and method for outcome evaluations on human ivf-derived embryos

Publications (1)

Publication Number Publication Date
CN117836820A true CN117836820A (zh) 2024-04-05

Family

ID=84028803

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280048300.XA Pending CN117836820A (zh) 2021-05-10 2022-05-10 用于人ivf衍生胚胎的结果评价的系统和方法

Country Status (3)

Country Link
US (1) US20240185567A1 (zh)
CN (1) CN117836820A (zh)
WO (1) WO2022240851A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116051560B (zh) * 2023-03-31 2023-06-20 武汉互创联合科技有限公司 基于胚胎多维度信息融合的胚胎动力学智能预测系统
CN116433652B (zh) * 2023-05-11 2024-02-23 中南大学 用于确定胚胎移植的妊娠结果的方法、处理器及装置
CN116739949B (zh) * 2023-08-15 2023-11-03 武汉互创联合科技有限公司 一种胚胎图像的卵裂球边缘增强处理方法
CN116778482B (zh) * 2023-08-17 2023-10-31 武汉互创联合科技有限公司 胚胎图像卵裂球目标检测方法、计算机设备及存储介质
CN116757967B (zh) * 2023-08-18 2023-11-03 武汉互创联合科技有限公司 胚胎图像碎片去除方法、计算机设备及可读存储介质
CN116823831B (zh) * 2023-08-29 2023-11-14 武汉互创联合科技有限公司 基于循环特征推理的胚胎图像碎片去除系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130225431A1 (en) * 2012-02-23 2013-08-29 The Board Of Trustees Of The Leland Stanford Junior University Assessment of cellular fragmentation dynamics for detection of human embryonic aneuploidy
CN104508123B (zh) * 2012-05-31 2017-08-22 尤尼森斯繁殖技术公司 基于胚泡发育的胚胎质量评估
EP2962101A4 (en) * 2013-02-28 2016-10-19 Progyny Inc APPARATUS, METHOD AND SYSTEM FOR CLASSIFYING HUMAN EMBRYONIC CELLS FROM IMAGES
AU2018384082B2 (en) * 2017-12-15 2022-01-06 Vitrolife A/S Systems and methods for estimating embryo viability
WO2020157761A1 (en) * 2019-01-31 2020-08-06 Amnon Buxboim Automated evaluation of embryo implantation potential
US20220343178A1 (en) * 2019-09-25 2022-10-27 Presagen Pty Ltd Method and system for performing non-invasive genetic testing using an artificial intelligence (ai) model

Also Published As

Publication number Publication date
WO2022240851A1 (en) 2022-11-17
US20240185567A1 (en) 2024-06-06

Similar Documents

Publication Publication Date Title
CN117836820A (zh) 用于人ivf衍生胚胎的结果评价的系统和方法
JP7072067B2 (ja) 胚の生存率を推定するためのシステムおよび方法
US11069062B2 (en) Automated screening of histopathology tissue samples via analysis of a normal model
JP2022087297A (ja) 画像ベースのヒト胚細胞分類のための装置、方法、およびシステム
CN110245657B (zh) 病理图像相似性检测方法及检测装置
CN113906472A (zh) 用于选择胚胎的方法和系统
JP2022551683A (ja) 人工知能（ａｉ）モデルを使用した非侵襲的遺伝子検査を行う方法及びシステム
US20220392062A1 (en) Method based on image conditioning and preprocessing for human embryo classification
JP2022502684A (ja) 画像特徴の検出
JP2022547722A (ja) 細胞検出およびセグメンテーションのための弱教師ありマルチタスク学習
Malmsten et al. Automated cell division classification in early mouse and human embryos using convolutional neural networks
EP4367675A1 (en) Stain-free detection of embryo polarization using deep learning
Erlich et al. Pseudo contrastive labeling for predicting IVF embryo developmental potential
Mridha et al. convoher2: A deep neural network for multi-stage classification of her2 breast cancer
US10748288B2 (en) Methods and systems for determining quality of an oocyte
Kotiyal et al. Diabetic retinopathy binary image classification using PySpark
Kanakasabapathy et al. Deep learning mediated single time-point image-based prediction of embryo developmental outcome at the cleavage stage
CN114170415A (zh) 基于组织病理图像深度域适应的tmb分类方法及系统
AU2019101174A4 (en) Systems and methods for estimating embryo viability
Harun Medical Image Segmentation for Embryo Image Analysis
RU2800079C2 (ru) Системы и способы оценки жизнеспособности эмбрионов
Rotem et al. Visual interpretability of image-based classification models by generative latent space disentanglement applied to in vitro fertilization
JP2024513659A (ja) 人工知能を使用して胚生存能力を評価するためのシステムおよび方法
JP2024096236A (ja) 画像ベースのヒト胚細胞分類のための装置、方法、およびシステム
Tikone Classification Of Ovarian Tumor Using Histopathological Images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination