CN111787877A - 用于估计胚胎活力的系统和方法 - Google Patents

用于估计胚胎活力的系统和方法 Download PDF

Info

Publication number
CN111787877A
CN111787877A CN201880089328.1A CN201880089328A CN111787877A CN 111787877 A CN111787877 A CN 111787877A CN 201880089328 A CN201880089328 A CN 201880089328A CN 111787877 A CN111787877 A CN 111787877A
Authority
CN
China
Prior art keywords
embryo
human
video data
live
embryos
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880089328.1A
Other languages
English (en)
Inventor
陈邓廷昂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vitrolife Inc
Original Assignee
Vitrolife Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from AU2017905017A external-priority patent/AU2017905017A0/en
Application filed by Vitrolife Inc filed Critical Vitrolife Inc
Publication of CN111787877A publication Critical patent/CN111787877A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/42—Gynaecological or obstetrical instruments or methods
    • A61B17/425—Gynaecological or obstetrical instruments or methods for reproduction or fertilisation
    • A61B17/435—Gynaecological or obstetrical instruments or methods for reproduction or fertilisation for embryo or ova transplantation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/43—Detecting, measuring or recording for evaluating the reproductive systems
    • A61B5/4306—Detecting, measuring or recording for evaluating the reproductive systems for evaluating the female reproductive systems, e.g. gynaecological evaluations
    • A61B5/4343—Pregnancy and labour monitoring, e.g. for labour onset detection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/43—Detecting, measuring or recording for evaluating the reproductive systems
    • A61B5/4306—Detecting, measuring or recording for evaluating the reproductive systems for evaluating the female reproductive systems, e.g. gynaecological evaluations
    • A61B5/4343—Pregnancy and labour monitoring, e.g. for labour onset detection
    • A61B5/4362—Assessing foetal parameters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61D—VETERINARY INSTRUMENTS, IMPLEMENTS, TOOLS, OR METHODS
    • A61D19/00—Instruments or methods for reproduction or fertilisation
    • A61D19/04—Instruments or methods for reproduction or fertilisation for embryo transplantation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30044—Fetus; Embryo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Multimedia (AREA)
  • Pathology (AREA)
  • Artificial Intelligence (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Databases & Information Systems (AREA)
  • Radiology & Medical Imaging (AREA)
  • Evolutionary Computation (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Reproductive Health (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Gynecology & Obstetrics (AREA)
  • Pregnancy & Childbirth (AREA)
  • Quality & Reliability (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Transplantation (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Physiology (AREA)
  • Mathematical Physics (AREA)
  • Fuzzy Systems (AREA)
  • Pediatric Medicine (AREA)

Abstract

一种计算机实施的方法，该方法包括以下步骤：接收人类胚胎的视频数据，该视频数据表示按时间顺序的人类胚胎的图像序列；将至少一个三维(3D)人工神经网络(ANN)应用于视频数据，以确定人类胚胎的活力分数，其中，活力分数表示人类胚胎将产生活胚胎或活胎儿的可能性；以及输出活力分数。

Description

用于估计胚胎活力的系统和方法
相关申请
这是与2017年12月15日提交的标题为“Systems and methods for determiningembryo viability”的澳大利亚临时专利申请号2017905017和2018年5月18日提交的标题为“Systems and methods for estimating embryo viability”的澳大利亚临时专利申请号2018901754有关的申请。这些有关申请通过援引并入本文并入形成本申请的一部分。
技术领域
本公开涉及用于估计人类胚胎活力的系统和方法。
背景技术
体外受精(IVF)是指女性的卵子在体外受精的过程/技术。IVF通常涉及给予女性生育药物以刺激多个卵泡的成熟，与正常周期中的单个卵泡相反。然后，这些卵子通过外科手术取回并运输到实验室，在那里它们用男性配偶的精子或捐献的精子受精。然后使受精卵在专门的培养环境中，通常在培养箱内成熟为胚胎。在此期间，可以在培养箱(诸如Embryoscope培养箱)内使用成像技术获取发育中的胚胎的显微图像，以产生发育中的胚胎的连续时间推移视频。
传统上，将多个胚胎植入到女性的子宫以增加总体成功率。该方法的缺点是多胎妊娠的概率增加，多胎妊娠与产前并发症的更高风险关联。因此，改进IVF的一个目标是能够为每次妊娠执行单个胚胎移植。术语“移植”是指辅助生殖过程中的步骤，在该步骤中，将胚胎放入到女性的子宫中，目的是建立妊娠。
为了实现这一点，必须能够根据最高的妊娠潜力从多个发育的胚胎选择单个胚胎。当前，该选择过程由胚胎学家执行，该胚胎学家基于各个胚胎的外观和关键发育关卡的时间对各个胚胎进行人工分级。
当前，各个胚胎的质量使用许多分级方案来确定。这些方案涉及各个胚胎图像或时间推移视频的人工注释。在这些分级系统中考虑的特征包括胚胎的形态外观以及关键发育关卡的精确时间。当前，所有解决方案都是胚胎学家的纯粹工作流程工具。它们完全依赖于注释各个胚胎的胚胎学家的主观判断。一些常用的分级系统是Gardner囊胚分级系统(https://www.advancedfertility.com/blastocystimages.htm)和KIDScore(http://www.vitrolife.com/sv/Products/EmbryoScope-Time-Lapse-System/KI DScore-decision-support-tool-/)。
然而，选择过程是不精确的技术，并且会由于各个胚胎学家而高度可变。胚胎学家需要对某些发育关卡的精确时间以及对称性、大小以及一致性进行主观判断。这高度依赖于操作者的经验和个人意见。这意味着胚胎学家关于哪个胚胎具有最高的移植潜力经常与其它的胚胎学家或甚至他们自己(当向其再次示出同一胚胎时)不一致。由此可见，在胚胎学家之间存在差的重复性以及高的读数器间和读数器内变化性。标记各个时间推移视频是耗时且劳动密集的过程。人工胚胎分级通常需要每个患者多达1小时。不清楚哪些特征或特征的哪个组合最终预测各个胚胎的妊娠潜力。当前的分级方法通常仅分析2至4个独立的时间范围，这些时间范围已经被示出为独立地导致更高的妊娠率。此外，当前系统，如Embryoscope允许对多个注释/分析参数的可变选择/取消选择，这可能阻碍对这些方面如何交互的分析。
期望解决或改善与现有技术关联的一个或多个缺点或限制，或至少提供有用的另选方案。
发明内容
本文提供了一种计算机实施的方法，该方法包括以下步骤：
接收人类胚胎的视频数据，该视频数据表示按时间顺序的人类胚胎的图像序列；
将至少一个三维(3D)人工神经网络(ANN)应用于视频数据，以确定人类胚胎的活力分数，其中，活力分数表示人类胚胎将产生活胚胎或活胎儿的可能性；以及
输出活力分数。
本文提供了一种包括至少一个处理器的系统，该处理器被配置为：
接收人类胚胎的视频数据，该视频数据包括按时间顺序的人类胚胎的图像序列；
将至少一个三维(3D)人工神经网络应用于视频数据，以确定人类胚胎的活力分数，其中，活力分数表示人类胚胎将产生活胚胎或活胎儿的可能性；并且
输出活力分数。
本文提供了一种方法，该方法包括以下步骤：
通过用人工神经网络(ANN)概率地分类表示人类胚胎的视频的数据，来生成人类胚胎的活力分数；或者
训练人工神经网络(ANN)来概率地分类表示人类胚胎的视频的数据，以生成人类胚胎的活力分数。
本文提供了一种包括至少一个处理器的系统，该处理器被配置为：
通过用人工神经网络(ANN)概率地分类表示人类胚胎的视频的数据，来生成人类胚胎的活力分数；或者
训练人工神经网络(ANN)来概率地分类表示人类胚胎的视频的数据，以生成人类胚胎的活力分数。
附图说明
下文中将仅以示例的方式参照附图来描述本发明的一些实施方式，附图中：
图1示出了用于估计胚胎活力的示例性系统的总体结构；
图2示出了在一个示例中使用的3D卷积神经网络的示例性架构；
图3A和图3B示出了在另一示例中使用的3D卷积神经网络示意图的示例性架构；
图4示出了由系统产生的热图的一个示例；
图5A示出了时间推移视频数据的示例；
图5B例示了为时间推移视频数据生成的3D遮挡窗口和热图的应用；
图6示出了用于生成热图的方法/处理步骤；
图7示出了用于估计胚胎活力的方法/处理步骤；
图8示出了用于训练深度学习模型的计算机的示例；
图9例示了根据一个示例的多个神经网络的集成；
图10是示出了根据一个示例的深度学习模型的性能的曲线图；
图11是示出了输出活力分数与实际妊娠结果之间的示例性相关性的图；
图12是系统的软件界面的一个示例；
图13是实施/训练用于系统/方法的分类模型的一个示例的示意概览；
图14示出了热图的另一示例；
图15示出了用于训练深度学习模型的时间推移视频的标记；
图16示出了将全数据集分割成训练集和测试集；
图17A和图17B分别示出了预处理之前和之后的时间推移胚胎视频中在略微不同的时间点的图像的示例；
图18示出了当集成多个神经网络时的数据集的划分；以及
图19示出了显示活力分数的软件包的示例性用户界面。
具体实施方式
本发明的实施方式提供了一种用于估计胚胎活力的处理系统。系统被配置为接收人类胚胎的视频数据并处理所接收的视频数据，以确定胚胎的活力分数。视频数据包括按时间顺序的图像序列，因此也将其称为“时间推移视频数据”。
将理解，术语“胚胎”旨在包括合子或受精卵、以及由其发育的胚胎。
通常，活力分数是或包括提供胚胎在植入子宫后导致成功妊娠的可能性的预测的概率。具有更高分数的胚胎具有更高的产生活胚胎或活人类胎儿的概率。
活力分数可以用于确定在为患者培育的多个胚胎之中要移植到女性子宫中的单个胚胎。例如，可以选择具有更高分数的胚胎植入子宫。这可以防止与由于移植多个胚胎而导致的多胎妊娠关联的产前并发症的风险。确定具有产生活胚胎或活胎儿的最高概率的胚胎还减少了妊娠时间，因为首先移植最佳胚胎，避免了需要随后胚胎移植的失败移植。
另选地，当要移植多个胚胎时(在使用冷冻胚胎的随后治疗周期期间)，可以使用活力分数来决定胚胎将被移植到患者子宫中的顺序。
一些现有的胚胎评估方法或分级系统(例如，Gardner囊胚分级系统和KIDScore)可以将胚胎分类为有限数量的等级，例如，1至5之间的等级。
相比之下，本公开通过估计胚胎产生活胚胎或活胎儿的概率来提供具有更精细的分类。本公开中使用的分类方法也可以被称为“概率分类”方法。该概率分类提供了概率值，例如，各个胚胎的百分比，由此识别胚胎之间的更细微的差异。因此，即使根据现有分级系统具有相同等级的胚胎也可以通过活力分数进行分级。这允许基于多个胚胎的活力自动生成多个胚胎的等级，并且基于等级从多个胚胎自动选择用于移植的单个胚胎。
活胚胎可以定义为具有以下特征的胚胎：
基于尿检或血检(例如，对于β_HCG)检测的生化妊娠；或
在胚胎移植之后的预定时间(例如，6-7周之间)具有在超声上检测的活妊娠囊或活卵黄囊的临床妊娠。
活胎儿可以被定义为具有：
在胚胎移植之后的选定时间(例如，6周或更多周)在母体超声上检测到的活胎心；或
在妊娠结束时活产。
与胚胎质量的一些已知测量(例如，由胚胎学家使用基于“胚胎看起来有多好”的现有分级方案主观确定的胚胎等级、或表示母亲在胚胎移植之后将具有阳性妊娠测试的可能性的植入潜力)相比，使用在胚胎移植之后6周的超声胎心检测结果提供了对胚胎活力的更客观且更可靠的估计。
还将理解，术语“处理系统”可以指任何电子处理装置或系统、或计算装置或系统、或其组合(例如，计算机、网络服务器、智能电话、膝上型电脑、微控制器等)。处理系统也可以是分布式系统。通常，处理/计算系统可以包括由至少一个总线连接的输入/输出接口、一个或多个处理器(例如，CPU、GPU)、以及存储部件。它们还可以包括输入/输出装置(例如，键盘、显示器等)。还将理解，处理/计算系统通常被配置为执行指令并处理存储在存储器中的数据(即，可经由软件编程为对数据执行操作)。
图1例示了用于估计胚胎活力的示例性系统100的总体结构。系统100是处理系统的示例。
如图所示，系统100包括用于容纳胚胎104并维持适于胚胎104存活的环境条件的培养箱102。培养箱102包括用于捕获胚胎104的时间推移视频数据的图像传感器106。
由图像传感器106捕获的时间推移视频数据被发送到处理器108，该处理器108将深度学习模型应用于时间推移视频数据，以确定胚胎104的活力分数。
由处理器108确定的活力分数随后可以输出到显示器110或其他合适的输出装置，以供诸如胚胎学家的人类工作人员使用。
将理解，不需要视频数据的人工特征提取或人工注释，并且深度学习模型是仅接收原始视频数据来输出活力分数的端到端模型。
为了确定活力分数，将深度学习模型应用于时间推移视频数据。深度学习模块至少包括三维(3D)人工神经网络(ANN)，诸如3D卷积神经网络(3D CNN)。
3D CNN通过执行3D卷积从空间维度和时间维度两者提取特征，从而不仅捕获视频中的各个单个图像帧中包含的信息，而且捕获多个按时间顺序分离的图像帧中包含的运动信息，该多个按时间顺序分离的图像帧包括相邻图像帧。
这与通过将机器学习模型仅应用于胚胎的静态图像来分析胚胎质量形成对比，机器学习模型仅考虑各个静态图像中包含的信息。
这也与需要人类人工提取诸如形态分级的特征或注释发育转折点的精确时间的系统形成对比。这种系统可以应用机器学习，但是仅应用于这些提取的特征和/或注释，并且仅预测胚胎分级。因此，使用这种系统对胚胎时间推移视频的分析可以依赖于胚胎学家的经验，胚胎学家手动或半自动地注释特征(例如，形态分级)或提取关键发育转折点的时间。该过程可能耗时且不准确。例如，每个患者每个治疗周期可能具有多达30-20个胚胎，并且每个胚胎可能花费多达5分钟来完全注释。因此，这不是用于分析大量胚胎的时间推移视频的可扩展解决方案。相比之下，使用3D ANN分析时间推移胚胎视频的完全端到端方法可以在典型的膝上型电脑上分析例如每秒10个胚胎，这比现有方法更高效，由此可以使胚胎的时间推移视频分析可扩展。
本文描述的系统不仅提取时间推移视频数据的帧内特征，而且提取时间推移视频数据的帧间特征，因此捕获胚胎的空间和时间特征两者。这样，与现有方法相比，所述系统可以提供对胚胎的活力的更全面且更准确的分析。
图2例示了3D CNN的示例性架构。在该示例中，3D CNN包含一系列卷积和池化层。更具体地，CNN包括重复应用两个3×3×3卷积，随后是池化操作。3D CNN的最后一层是输出活力分数的预测层。
图3A和图3B例示了3D CNN的另一示例性架构。在该示例中，3D CNN是现有的膨胀3D CNN，该3D CNN通过膨胀二维(2D)滤波器并将2D CNN的核池化为3D来生成，如在JCarreira,A Zisserman(2017),Quo vadis,action recognition？a new model and thekinetics dataset,2017IEEE Conference on Computer Vision and PatternRecognition(CVPR),4724-4733中描述的。因此，N×N滤波器在膨胀之后变为N×N×N滤波器。如图3A所示，膨胀的3D CNN具有多个卷积和池化层以及多个初始模块(“Inc.”)。图3B例示了初始模块的架构。
图3A所示的3D CNN的最后一层是输出胚胎的活力分数的线性分类层。
如图2以及图3A和图3B所示，3D CNN的两个示例性架构都利用3D卷积核和池化核，这些核允许3D CNN从时间推移视频数据捕获胚胎的时空特征。
将理解，胚胎的视频数据可以从各种格式导出，诸如，例如按时间顺序的静止图像序列；或时间推移视频文档。在一个示例中，时间推移视频数据是包括720个时间推移图像帧的时间推移视频文档。
通过使用以下内容来训练3D CNN：
表示多个人类胚胎的多个图像序列的视频数据；和
妊娠结果数据，该妊娠结果数据指示多个人类胚胎的每一个是否已经产生活胚胎或活胎儿。
如上文所述，活胚胎可以定义为具有以下特征的胚胎：
基于尿检或血检(例如，对于β_HCG)检测的生化妊娠；或
在胚胎移植之后的预定时间(例如，6-7周之间)具有在超声上检测的活妊娠囊或活卵黄囊的临床妊娠。
活胎儿可以被定义为具有：
在胚胎移植之后的选定时间(例如，6周、7周、8周、9周、10周、11周、12周、3个月、4个月、5个月、6个月、8个月、9个月)在母体超声上检测到的活胎心；或
在妊娠结束时活产。
一些现有的基于机器学习的胚胎评估方法可能需要预分析来人工确定要提取和分析胚胎的哪些特征(例如，卵裂球对称性、细胞质外观和/或裂殖的量)、或人工注释胚胎发育中的关键事件(例如，神经发生、肌肉骨骼体节发生和/或心脏发生)。相比之下，本文描述的3D CNN可以被训练和使用，而无需人工选择或提取胚胎特性/特征或人工注释关键发育事件。换言之，本文描述的深度学习模型提供了端到端胚胎评估过程。这可能是有利的，因为医学专业人员目前没有完全理解什么特性/特征是评估人类胚胎质量中最有用的特性/特征。因此，通过提供端到端的胚胎评估过程，本文描述的深度学习模型允许系统学习并自动确定应当使用哪些特性/特征，由此可以提供比现有的胚胎评估方法和系统更准确的结果。此外，提取诸如对称性、细胞数量、裂殖程度以及关键事件的精确时间的特征的预分析是主观且不可重复的过程，并且在胚胎学家之间是高度可变的。应用于这些数据的深度学习模型将在性能方面受到相同的瓶颈。
3D CNN可以在不同于处理器108的一个或多个装置上被训练。例如，可以通过使用包括一个或多个图形处理单元(GPU)和/或一个或多个中央处理单元(CPU)的装置来训练3DCNN。
返回参照图1，在一些实施方式中，处理器108可以在应用或训练深度学习模块之前，预处理时间推移视频数据。
例如，处理器108可以标准化所接收的时间推移视频数据，使得所有视频跨越预定的时间段。
处理器108还可以执行剪切步骤以保留时间推移视频数据中的预定区域，例如，包括胚胎的区域。
处理器108还可以例如通过应用对比度受限的自适应直方图均衡(CLAHE)来调节时间推移视频数据中的图像的对比度，以提高视频质量。
最后，处理器可以将时间推移视频数据中的图像调整大小为预定图像大小。
在一些形式中，系统100还被配置为产生用于在时间推移视频数据的至少一些图像上显示的视觉叠加。视觉叠加指示图像的部分对活力分数的贡献。
在一个示例中，视觉叠加是热图(也称为贡献图)，其示例在图4中示出。
热图可以通过在遮挡时间推移视频数据中的图像的部分时分析由深度学习模型输出的活力分数的变化来生成。例如，可将3D遮挡窗口应用于视频以遮挡视频的不同部分。
图5A示出了在添加热图之前的时间推移视频数据的示例。图5B例示了3D遮挡窗口的应用和所生成的热图。
如图5B所示，可以使用不同的强度或颜色来表示各个时空区域对胚胎活力的贡献水平。例如，蓝色可以指示对胚胎活力具有低水平贡献的时空区域(这种区域也可以称为“不利的时空区域”)，而红色可以指示对胚胎活力具有高水平贡献的时空区域(这种区域也可以称为“有利的时空区域”)。
图6例示了在生成热图时由处理器108执行的示例性处理流程。
在步骤610处，处理器108使用3D CNN模型来基于时间推移视频数据预测原始活力分数。
在步骤620处，处理器108将3D遮挡窗口应用于视频数据的对应3D部分，以用黑色像素遮挡视频数据的3D区域。
在步骤630处，处理器108使用同一3D CNN模型来基于部分遮挡的时间推移视频预测新的活力分数。
在步骤640处，处理器108确定3D遮挡窗口的当前位置的新活力分数与原始活力分数之间的差。
在步骤650处，处理器108确定是否已经处理了整个视频。
如果否，则处理器108在步骤660处将3D遮挡窗口移动到下一个3D区域，然后循环回到步骤620。
如果整个视频已经被处理，则处理器108进行到步骤670，以生成表示各个时空区域对胚胎活力的贡献程度的3D热图。
最后，在步骤680处，处理器108输出所生成的3D热图。
随后可将所生成的3D热图发送到显示装置，诸如显示器110，在显示装置中，可将3D热图呈现给人类工作人员，例如，胚胎学家。这允许胚胎学家审查和/或分析机器学习模型的决策过程，并且学习由机器学习模型使用的胚胎视频中的特性/特征来评估胚胎的活力。这样，热图可以提高人类医学专家对胚胎活力的理解，并帮助诊断系统的任何异常行为。
还将理解，如本文所述的处理器108可以集成到其它设备和系统中，诸如例如用于在植入之前储存和/或发育胚胎的培养箱102。因此，培养箱可以并入处理系统，诸如本文描述的处理器108。另选地，处理器108可以被提供为与培养箱102分离的设备，如图1所示，例如，在云服务器中。
进一步地，虽然在图1所示的示例中，处理器108与培养箱102进行数据通信，并且直接从培养箱102接收由图像传感器106捕获的时间推移视频数据，但在一些实施方式中，时间推移视频数据可以存储在数据储存器或服务器上，该数据储存器或服务器可以随后由处理器108访问或读取。
在一些实施方式中，处理器108可以经由一个或多个有线和/或无线网络可通信地连接到培养箱102或存储时间推移视频数据的数据储存器。胚胎的活力的确定可以作为基于网络/云的服务/应用来提供，即，经由因特网来访问。
将理解，除了被具体实施为独立系统或者被并入作为另一设备或系统(例如，培养箱)的一部分之外，本发明的实施方式可以包括由计算机(或其他合适的电子处理装置)执行的方法。
在这种形式中，实施方式提供了一种估计用于植入的人类胚胎的活力的计算机实施的方法。如图7所示，该方法包括以下步骤：
接收人类胚胎的视频数据，该视频数据包括按时间顺序的人类胚胎的图像序列(步骤710)；
将至少一个三维(3D)人工神经网络应用于视频数据，以确定人类胚胎的活力分数，其中，活力分数表示人类胚胎将生成持续妊娠的可能性(步骤720)；以及
输出活力分数(步骤730)。
在一些实施方式中，方法还可以包括以下步骤：
基于多个人类胚胎的活力分数确定多个人类胚胎的等级，如图7中的步骤740所示。
在一些实施方式中，方法还可以包括以下步骤：
基于等级针对单胚胎移植选择多个人类胚胎中的一个或选择多个胚胎应被移植所按的顺序，如图7中的步骤750所示。
随后可将所选择的胚胎移植到患者的子宫中。
本文还提供了一种计算机程序，该计算机程序包括将计算机配置为执行如本文所述的方法的指令，这些指令可以提供在计算机可读介质上。在一个示例中，方法在要经由通信网络(例如，互连网)访问的远程服务器(例如，基于云的服务器)上实施。
本文还提供了一种方法，该方法包括以下步骤：
通过用人工神经网络(ANN)概率地分类表示人类胚胎的视频的数据，来生成人类胚胎的活力分数；或者
训练人工神经网络(ANN)，以概率地分类表示人类胚胎的视频的数据，以生成人类胚胎的活力分数。
本文还提供了一种包括至少一个处理器的系统，该处理器被配置为：
通过用人工神经网络(ANN)概率地分类表示人类胚胎的视频的数据，来生成人类胚胎的活力分数；或者
训练人工神经网络(ANN)，以概率地分类表示人类胚胎的视频的数据，以生成人类胚胎的活力分数。
目前描述的系统和方法可提供优于用于估计/预测胚胎的活力的常规方法的若干优点。
例如，在实施系统/方法时，可以减少/消除评估胚胎质量的过程中的人为错误。系统客观，不受疲劳、情绪偏差或缺乏经验的影响。提供给各个胚胎的活力分数也是可再现的，并且在读数器或实验室之间没有可变性。
本文所述的深度学习模型的训练不需要胚胎特性/特征的人工标记/注释。本文所述的系统/方法提供了端到端的胚胎评估解决方案。如上文所述，假定医学专业人员当前没有对适于评估胚胎质量的特性/特征的全面理解，则与依赖于胚胎特性/特征的人工选择/注释的系统/方法相比，端到端过程可提供更准确的结果。此外，注释和特征提取步骤完全是劳动密集型的，通常每个胚胎花费5到10分钟。各个处理周期可能具有多达50个胚胎。
系统/方法可以比人类胚胎学家更快地解译时间推移视频。当在典型的个人计算机上实施时，系统/方法可以每1秒解译约10个胚胎。由此，它对于大规模采用是高度可扩展的。在一些示例中，速度可以是允许胚胎几乎立即按需被解译，这使患者调度更灵活。
实施系统/方法的操作成本可以比受过高度训练的胚胎学家的成本便宜得多。结果，IVF实验室可以将他们的高薪人力资源分配给IVF的其他方面。
另外，诸如使用遮挡窗口生成的热图的视觉叠加允许胚胎学家从机器学习模型学习。通过使用热图，本文描述的系统/方法可授权胚胎学家并且可用作用于识别胚胎活力的未知标志物的工具。
示例1
开发了用于通过分析来自培养箱(例如，Embryoscope)的时间推移视频来预测胚胎的妊娠潜力/活力的软件工具/应用，以便在处理/计算机系统上实施。软件实施具有3DCNN网络的深度学习模型。
使用具有已知妊娠结果的胚胎时间推移视频的训练数据集训练3D CNN深度学习模型。训练数据集包括903个时间推移视频，其中657个具有阴性妊娠结果，246个具有阳性妊娠结果。将视频随机化为训练集(75％)和测试集(25％)，以用于训练后验证。
处理/计算机系统包括具有四个图形处理单元(GPU)和12个核心中央处理单元(CPU)的个人计算机，如图8所示。系统由两个单独的水回路以及12个高性能风扇冷却，以防止过热。
如图9所示，在该示例中使用的3D CNN深度学习模型包括三个单独的神经网络。为了确定活力分数，通过三个神经网络中的每一个独立地分析各个胚胎时间推移视频，并且将它们的预测的平均值报告为最终输出。模型返回给定胚胎将继续产生临床妊娠的概率(活力)分数(0％-100％)。
在训练过程之后，模型对来自测试集的180个胚胎进行评分。如图10所示，深度学习模型实现了0.78的曲线下面积(AUC)，超过人类分级员(AUC＝0.55-0.75)。在20％的截止阈值下，模型具有95％的灵敏度、43％的特异性、1.65的阳性似然比以及0.13的阴性似然比。
返回的活力分数也与实际妊娠率良好地相关。图11示出了当与对于胚胎产生的活力分数比较时的这些胚胎的妊娠率。示出了模型可清楚地区分具有高妊娠潜力与低妊娠潜力的胚胎。另外，模型的预测的妊娠概率与实际妊娠率非常类似。
软件工具允许用户叠加热图(如图4所示)，该热图突出对模型提供的预测贡献最多的时间点(即，在胚胎发育期间)以及空间位置(即，视频图像的部分)。热图为胚胎学家提供了关于模型决策过程的见解。该热图与活力分数一起可以是患者治疗记录的一部分。
在该特定示例中，输入格式是从包括ICSI或IVF胚胎的EmbryoScope软件输出的任何时间推移视频(例如，avi文件)。将理解，视频可以具有胚胎发育周期中的不同开始时间(例如，D5-D6囊胚阶段、D2-3卵裂阶段)。
可同时评估多个胚胎/视频。在这种情况下，软件/系统根据胚胎的活力分数对胚胎进行分级，并且将推荐具有最高分数的胚胎用于单胚胎移植。在图12所示的示例中，“胚胎1”是推荐的胚胎。然后可以冷冻剩余的胚胎，随后按活力分数的递减次序移植，以便给予患者成功妊娠结果的最高机会。此外，特定的截止阈值可以由各个IVF门诊决定，并且任何低于该阈值的胚胎分数都可以被认为是“无活性的”并且不被考虑用于冷冻或胚胎移植。
在该示例中，软件工具/应用在Linux操作系统上运行。将理解，可以容易地产生其它版本以在不同的操作系统上运行。将理解，软件/系统可以被部署为基于网络/云的服务/应用，即，经由因特网来访问。将理解，可以通过将更多数据添加到训练过程中来改进模型。图13示出了深度学习模型的训练、实施以及再训练的一个示例的概览。
示例2
开发了用于通过分析来自培养箱(例如，Embryoscope或EmbryoScope+)的时间推移视频来预测胚胎的妊娠潜力/活力的软件工具/应用，以便在处理/计算机系统上实施。软件实施包括如图3A和图3B所示的3D CNN的深度学习模型。
数据收集
从IVF实验室收集从市场上可买到的时间推移培养箱(诸如Embryoscope或EmbryoScope+)输出的胚胎的时间推移视频并将其用于训练深度学习模型。
从患者管理系统获得各个胚胎的结果，并且将其用于使用图15所示的示意图标记这些时间推移视频。
特别地，将移植到患者并在胚胎移植后6周产生在产前超声上可检测的胎心的胚胎标记为“1”，为阳性。将由胚胎学家丢弃的或未产生胎心的胚胎标记为“0”，为阴性。所有具有未知或未确定结果的胚胎不用于训练。
数据分割
从IVF实验室收集从市场上可买到的时间推移培养箱(诸如Embryoscope或EmbryoScope+)输出的胚胎的时间推移视频并将其用于训练深度学习模型。
总体上，全数据集包括1281个时间推移视频。
如图16所示，将全数据集随机分为训练集(80％)和测试集(20％)。仅在训练集上训练神经网络。一旦完成训练，就在测试集上测试模型，以获得性能特性度量。
训练集包括1025个时间推移视频，其中789个具有阴性妊娠结果，236个具有阳性妊娠结果。测试集包括256个时间推移视频，其中197个具有阴性妊娠结果，59个具有阳性妊娠结果。
用于训练的数据准备
训练数据集中的时间推移视频在用于训练深度学习模型之前被预处理。首先，按时间标准化时间推移视频，以确保所有胚胎视频持续5天。然后对各个视频应用循环剪切功能，以使胚胎居中并部分遮盖不需要的区域，使神经网络能够将其学习集中到胚胎。然后将对比度受限的自适应直方图均衡(CLAHE)应用于胚胎视频中的所有图像，以提高图像质量。最后，将所有胚胎视频调整大小至128×128×128×1的固定形状(128×128个像素的128帧和1个黑白通道)。
图17A和图17B分别示出了预处理之前和之后的时间推移胚胎视频中在略微不同的时间点的图像的示例。
数据扩充
为了增加原始数据集的大小，将各种变换随机地应用于各个时间推移视频，以创建视觉上不同于原始视频的新视频。这允许神经网络更好地概括到未见过的示例，从而进一步提高神经网络的性能。
这些扩充方法包括：
随机360度旋转；
任意水平和垂直翻转；
视频大小的随机重新缩放(1.2x-0.8x)；
随机回放速度调节(1.2x-0.8x)；
模仿离焦(out of focus)效果的高斯模糊；以及
随机地遮蔽部分视频。
在训练过程的各个步骤期间，从数据集随机选择一批视频，并且将随机的扩充操作集合应用于该批视频，以创建用于训练的略微不同的视频集合。随着整个数据集被循环多次，该过程也被重复。
深度学习模型的训练
在该示例中使用如图3A和图3B所示的3D CNN深度学习模型。
使用随机梯度下降方法利用时间推移视频数据集来训练3D CNN。用于训练的损失函数是分类交叉熵。对于102400步，使用0.00001的学习率和0.9的动量训练CNN。然后将学习率降低到0.000001，并且对于另外的102400步训练网络。
使用具有四个图形处理单元(GPU)(诸如NVIDIA1080Ti)、6核中央处理单元(CPU)(诸如Intel i7-6850K)以及64Gb RAM的个人计算机来执行训练。
集成模型
在该示例中，集成多个3D CNN，以进一步提高CNN的性能。
选择的集成方法是5倍交叉验证和模型装袋。如图18所示，全数据集被分成五个相等的部分。这些部分中的一个被顺序地保持，以便测试，并且使用另外4个部分来训练模型。最终结果是5个独特的神经网络，这些神经网络在稍微不同的数据集上训练并且携带不同的偏差。当对新胚胎进行预测时，将所有5个神经网络用于独立地对胚胎评分，并且将它们的分数平均以获得最终分数。这产生比任何单独的个体模型更鲁棒的统一模型。
部署软件
开发了将神经网络应用于新的时间推移视频的软件包。软件被配置为接受时间推移序列的视频文件并输出各个胚胎的活力分数(也可以称为“EB分数”)。活力分数表示在给定胚胎被移植后6周给定胚胎产生超声上的胎心的可能性。
人类胚胎学家随后可以基于活力分数决定要移植的最佳胚胎。
图19例示了软件包的示例性用户界面，该用户界面显示了为多个胚胎生成的活力分数(以百分比的形式)。软件包可以部署在合适的计算机装置上，例如IVF实验室中使用的膝上型电脑。如图所示，绿色条(或浅灰色)表示具有最高活力分数(38.92％)的胚胎，蓝色条(或深灰色)表示具有可接受活力分数的胚胎，并且白色条表示具有低活力分数的胚胎(即，无活性的胚胎)。
另选地，方法可以由任何其他合适的计算装置来实施，或被提供为可经由诸如因特网的网络访问的基于网络或基于云的服务。
还将理解，可以通过将更多数据添加到训练过程中来改进深度学习模型。换言之，深度学习模型是自我改进和自我调整模型。通过重新训练CNN，可以随着时间进一步提高模型的性能和鲁棒性，同时通过深度学习模型访问更多的胚胎。
生成热图
为了提供视频的哪些区域导致返回的活力分数的显著变化的视觉表示，通过顺序地遮挡视频的部分并且重复评分过程来生成热图。
对于胚胎视频生成的热图指示了CNN在做出其最终决策时密切关注的视频区域。
图14示出了所生成的热图的示例，其中，蓝色区域(在从左数第四和第五图像的中心区域中)表示对胚胎活力具有低水平贡献的区域(这种区域也可被称为“不利区域”)，而红色区域(在从左数第六和第七图像的中心细胞区域中)表示具有对胚胎活力的高水平贡献的区域(这种区域也可被称为“有利区域”)。
热图允许神经网络以人类可读的方式传达其决策过程，由此改进神经网络与人类胚胎学家之间的协作。
说明
本说明书中对任何现有公报(或从其导出的信息)或任何已知材料的引用不是并且不应被认为是对现有公报(或从其导出的信息)或已知材料形成本说明书所涉及的努力领域中的公知常识的一部分的承认或认可或任何形式的建议。
在不偏离本发明范围的情况下，许多修改对于本领域技术人员来说将是显而易见的。

Claims (40)

1.一种计算机实施的方法，该方法包括以下步骤：
接收人类胚胎的视频数据，所述视频数据表示按时间顺序的所述人类胚胎的图像序列；
将至少一个三维(3D)人工神经网络(ANN)应用于所述视频数据，以确定所述人类胚胎的活力分数，其中，所述活力分数表示所述人类胚胎将产生活胚胎或活胎儿的可能性；以及
输出所述活力分数。
2.根据权利要求1所述的方法，其中，所述3D人工神经网络包括3D卷积神经网络(CNN)。
3.根据权利要求1或2所述的方法，其中，所述活力分数表示移植所述人类胚胎将产生活胎儿的概率。
4.根据权利要求1所述的方法，其中，所述活力分数表示移植所述人类胚胎将产生以下中的任意一个或多个的概率：
在胚胎移植之后的预定时间段内检测的活胎心；
基于尿检或血检检测的生化妊娠；
在胚胎移植之后的预定时间在超声上检测的活妊娠囊或活卵黄囊；以及
在妊娠结束时活产。
5.根据前述权利要求中任意一项所述的方法，其中，所述3D ANN通过使用以下来训练：
表示多个人类胚胎的多个图像序列的视频数据；和
妊娠结果数据，该妊娠结果数据指示所述多个人类胚胎的每一个是否已经产生活胚胎或活胎儿。
6.根据权利要求5所述的方法，其中，所述3D ANN的训练在没有人工选择或提取特征或关键发育事件的人类注释的情况下进行。
7.根据权利要求2所述的方法，其中，所述3D CNN包括各自使用3D卷积核的多个卷积层和各自使用3D池化核的多个池化层。
8.根据前述权利要求中任意一项所述的方法，还包括以下步骤中的一个或多个：
标准化接收的视频数据，使得所有视频持续预定时间段；
剪切所述视频数据，以保持所述数据的预定区域；
调节所述视频数据中的所述图像的对比度；以及
将所述视频数据中的所述图像调整大小至预定图像大小。
9.根据前述权利要求中任意一项所述的方法，还包括：
通过将视觉叠加添加到所述视频数据的至少一些图像来处理所述视频数据，所述视觉叠加指示所述图像的各部分对所述活力分数的贡献；以及
输出具有所述视觉叠加的图像。
10.根据权利要求9所述的方法，其中，所述视觉叠加是热图。
11.根据权利要求9或10所述的方法，其中，所述视觉叠加通过以下来生成：
确定由于遮挡所述视频数据中的图像序列或所述图像的部分引起的所述活力分数输出的变化。
12.根据权利要求11所述的方法，其中，遮挡所述视频数据中的所述图像的部分包括向所述视频数据应用三维遮挡窗口。
13.根据前述权利要求中任意一项所述的方法，还包括：
基于多个人类胚胎的活力分数确定多个人类胚胎的等级。
14.根据权利要求13所述的方法，还包括：
基于所述等级针对单胚胎移植选择所述多个人类胚胎中的一个或选择多个胚胎应被移植的顺序。
15.一种包括至少一个处理器的系统，该处理器被配置为：
接收人类胚胎的视频数据，所述视频数据包括按时间顺序的所述人类胚胎的图像序列；
将至少一个三维(3D)人工神经网络应用于所述视频数据，以确定所述人类胚胎的活力分数，其中，所述活力分数表示所述人类胚胎将产生活胚胎或活胎儿的可能性；并且
输出所述活力分数。
16.根据权利要求15所述的系统，其中，所述3D人工神经网络包括3D卷积神经网络(CNN)。
17.根据权利要求15或16所述的系统，其中，所述活力分数表示移植所述人类胚胎将产生活胎儿的概率。
18.根据权利要求15所述的系统，其中，所述活力分数表示移植所述人类胚胎将产生以下中的任意一个或多个的概率：
在胚胎移植之后的预定时间段内检测的活胎心；
基于尿检或血检检测的生化妊娠；
在胚胎移植之后的预定时间在超声上检测的活妊娠囊或活卵黄囊；以及
在妊娠结束时活产。
19.根据权利要求15至18中任意一项所述的系统，其中，所述3D ANN通过使用以下来训练：
表示多个人类胚胎的多个图像序列的视频数据；和
妊娠结果数据，该妊娠结果数据指示所述多个人类胚胎的每一个是否已经产生活胚胎或活胎儿。
20.根据权利要求19所述的系统，其中，所述3D ANN的训练在没有人工选择或提取特征或关键发育事件的人类注释的情况下进行。
21.根据权利要求16所述的系统，其中，所述3D CNN包括各自使用3D卷积核的多个卷积层和各自使用3D池化核的多个池化层。
22.根据权利要求15至21中任意一项所述的系统，其中，所述至少一个处理器还被配置为执行以下步骤中的一个或多个：
标准化接收的视频数据，使得所有视频持续预定时间段；
剪切所述视频数据，以保持所述数据的预定区域；
调节所述视频数据中的所述图像的对比度；以及
将所述视频数据中的所述图像调整大小至预定图像大小。
23.根据权利要求15至22中任意一项所述的系统，其中，所述至少一个处理器还被配置为：
通过将视觉叠加添加到所述视频数据的至少一些图像来处理所述视频数据，所述视觉叠加指示所述图像的各部分对所述活力分数的贡献；并且
输出具有所述视觉叠加的图像。
24.根据权利要求15至23中任意一项所述的系统，其中，所述视觉叠加是热图。
25.根据权利要求23或24所述的系统，其中，所述视觉叠加通过以下来生成：
确定由于遮挡所述视频数据中的图像序列或所述图像的部分引起的所述活力分数输出的变化。
26.根据权利要求25所述的系统，其中，遮挡所述视频数据中的所述图像的部分包括向所述视频数据应用三维遮挡窗口。
27.根据权利要求15至26中任意一项所述的系统，其中，所述至少一个处理器还被配置为：
基于多个人类胚胎的活力分数确定多个人类胚胎的等级。
28.根据权利要求27所述的系统，其中，所述至少一个处理器还被配置为：
基于所述等级针对单胚胎移植选择所述多个人类胚胎中的一个。
29.根据权利要求15至28中任意一项所述的系统，其中，所述系统包括：
图像传感器，该图像传感器用于捕获所述人类胚胎的视频数据；
其中，所述处理器被配置为从所述图像传感器接收捕获的视频数据。
30.根据权利要求15至29中任意一项所述的系统，其中，所述系统包括时间推移培养箱。
31.一种方法，该方法包括以下步骤：
通过用人工神经网络(ANN)概率地分类表示人类胚胎的视频的数据，来生成所述人类胚胎的活力分数；或者
训练人工神经网络(ANN)来概率地分类表示人类胚胎的视频的数据，以生成所述人类胚胎的活力分数。
32.根据权利要求31所述的方法，其中，所述活力分数表示所述人类胚胎将产生活胚胎或活胎儿的可能性。
33.根据权利要求31或32所述的方法，其中，所述视频是培养箱中可选地用于预选时间段的所述人类胚胎的视频；和/或其中，所述视频包括可选地包括时间推移图像的一系列图像。
34.根据权利要求31至33中任意一项所述的方法，其中，所述ANN是三维(3D)ANN和/或卷积神经网络(CNN)。
35.根据权利要求31至34中任意一项所述的方法，其中，所述ANN使用以下来训练：
表示人类胚胎的多个视频的数据；和
表示所述人类胚胎是否已经产生相应的活胚胎或活胎儿的数据。
36.一种包括至少一个处理器的系统，该处理器被配置为：
通过用人工神经网络(ANN)概率地分类表示人类胚胎的视频的数据，来生成所述人类胚胎的活力分数；或者
训练人工神经网络(ANN)来概率地分类表示人类胚胎的视频的数据，以生成所述人类胚胎的活力分数。
37.根据权利要求36所述的系统，其中，所述活力分数表示所述人类胚胎将产生活胚胎或活胎儿的可能性。
38.根据权利要求36或37所述的系统，其中，所述视频是培养箱中可选地用于预选时间段的所述人类胚胎的视频；和/或其中，所述视频包括可选地包括时间推移图像的一系列图像。
39.根据权利要求36至38中任意一项所述的系统，其中，所述ANN是三维(3D)ANN和/或卷积神经网络(CNN)。
40.根据权利要求36至39中任意一项所述的系统，其中，所述ANN使用以下来训练：
表示人类胚胎的多个视频的数据；和
表示所述人类胚胎是否已经产生相应的活胚胎或活胎儿的数据。
CN201880089328.1A 2017-12-15 2018-12-14 用于估计胚胎活力的系统和方法 Pending CN111787877A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
AU2017905017A AU2017905017A0 (en) 2017-12-15 Systems and methods for determining embryo viability
AU2017905017 2017-12-15
AU2018901754 2018-05-18
AU2018901754A AU2018901754A0 (en) 2018-05-18 Systems and methods for estimating embryo viability
PCT/AU2018/051335 WO2019113643A1 (en) 2017-12-15 2018-12-14 Systems and methods for estimating embryo viability

Publications (1)

Publication Number Publication Date
CN111787877A true CN111787877A (zh) 2020-10-16

Family

ID=66818760

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880089328.1A Pending CN111787877A (zh) 2017-12-15 2018-12-14 用于估计胚胎活力的系统和方法

Country Status (7)

Country Link
US (1) US20200311916A1 (zh)
EP (1) EP3723640A4 (zh)
JP (1) JP7072067B2 (zh)
CN (1) CN111787877A (zh)
AU (1) AU2018384082B2 (zh)
IL (1) IL275253A (zh)
WO (1) WO2019113643A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113077457A (zh) * 2021-04-20 2021-07-06 华中科技大学同济医学院附属同济医院 基于延时摄像系统与深度学习算法预测胚胎能否成囊的系统
CN116958710A (zh) * 2023-09-01 2023-10-27 武汉互创联合科技有限公司 基于环形特征统计的胚胎发育阶段预测方法及系统

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020012616A1 (ja) * 2018-07-12 2020-01-16 ソニー株式会社 情報処理装置、情報処理方法、プログラム、及び情報処理システム
EP3834128A1 (en) * 2018-08-07 2021-06-16 Cornell University System and method for selecting artificially fertilized embryos
US11037030B1 (en) * 2018-10-29 2021-06-15 Hrl Laboratories, Llc System and method for direct learning from raw tomographic data
EP4026089A4 (en) * 2019-09-06 2022-11-09 The Brigham & Women's Hospital, Inc. AUTOMATED EVALUATION OF QUALITY ASSURANCE METRICS FOR SUPPORTED PLAYBACK METHODS
EP4080412A4 (en) * 2019-12-20 2023-08-23 Chavez Badiola, Alejandro METHOD BASED ON IMAGE CONDITIONING AND PRE-PROCESSING FOR THE CLASSIFICATION OF HUMAN EMBRYO
US20220012873A1 (en) * 2020-07-10 2022-01-13 Embryonics LTD Predicting Embryo Implantation Probability
CA3190425A1 (en) 2020-08-03 2022-02-10 Emgenisys, Inc. Embryo evaluation based on real-time video
EP3951793A1 (en) 2020-08-07 2022-02-09 Imvitro Devices and processes for machine learning prediction of in-vitro fertilization
CN112587089B (zh) * 2020-11-19 2023-04-21 新希望六和股份有限公司 基于人工智能的妊娠检测方法、装置、计算机设备和介质
WO2022187516A1 (en) * 2021-03-05 2022-09-09 Alife Health Inc. Systems and methods for evaluating embryo viability using artificial intelligence
WO2022192436A1 (en) * 2021-03-09 2022-09-15 Thread Robotics Inc. System and method for automated gamete selection
CN117836820A (zh) * 2021-05-10 2024-04-05 张康 用于人ivf衍生胚胎的结果评价的系统和方法
WO2023283321A1 (en) * 2021-07-07 2023-01-12 California Institute Of Technology Stain-free detection of embryo polarization using deep learning
US11694344B2 (en) 2021-11-05 2023-07-04 Thread Robotics Inc. System and method for automated cell positioning
CN116757967B (zh) * 2023-08-18 2023-11-03 武汉互创联合科技有限公司 胚胎图像碎片去除方法、计算机设备及可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140017717A1 (en) * 2012-05-31 2014-01-16 Auxogyn, Inc. In vitro embryo blastocyst prediction methods
WO2014089647A1 (pt) * 2012-12-14 2014-06-19 Universidade Estadual Paulista "Júlio De Mesquita Filho" Método para determinação da viabilidade e qualidade de embriões
US20140247972A1 (en) * 2013-02-28 2014-09-04 Auxogyn, Inc. Apparatus, method, and system for image-based human embryo cell classification
CN104755608A (zh) * 2012-08-30 2015-07-01 尤尼森斯繁殖技术公司 体外培养胚胎的自动化监控

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9934364B1 (en) * 2017-02-28 2018-04-03 Anixa Diagnostics Corporation Methods for using artificial neural network analysis on flow cytometry data for cancer diagnosis
JP6977293B2 (ja) * 2017-03-31 2021-12-08 ソニーグループ株式会社 情報処理装置、情報処理方法、プログラム及び観察システム
CN111279421B (zh) * 2017-09-29 2024-04-09 布里格姆妇女医院 人类胚胎的自动评价
JP6414310B1 (ja) * 2017-10-26 2018-10-31 ソニー株式会社 受精卵品質評価方法、プログラム及び情報処理装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140017717A1 (en) * 2012-05-31 2014-01-16 Auxogyn, Inc. In vitro embryo blastocyst prediction methods
CN104755608A (zh) * 2012-08-30 2015-07-01 尤尼森斯繁殖技术公司 体外培养胚胎的自动化监控
WO2014089647A1 (pt) * 2012-12-14 2014-06-19 Universidade Estadual Paulista "Júlio De Mesquita Filho" Método para determinação da viabilidade e qualidade de embriões
US20140247972A1 (en) * 2013-02-28 2014-09-04 Auxogyn, Inc. Apparatus, method, and system for image-based human embryo cell classification
CN105408746A (zh) * 2013-02-28 2016-03-16 普罗吉涅股份有限公司 基于图像的人胚胎细胞分类的装置、方法和系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
KHERADMAND, S.: "Human embryo component detection using computer vision", pages 1 - 77 *
WEI-ZHI NIE , WEN-HUI LI , AN-AN LIU, TONG HAO , YU-TING SU: "3D Convolutional Networks-Based Mitotic Event Detection in Time-Lapse Phase Contrast Microscopy Image Sequences of Stem Cell Populations", 2016 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION WORKSHOPS, no. 2016, pages 1359 - 1366, XP033027967, DOI: 10.1109/CVPRW.2016.171 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113077457A (zh) * 2021-04-20 2021-07-06 华中科技大学同济医学院附属同济医院 基于延时摄像系统与深度学习算法预测胚胎能否成囊的系统
CN116958710A (zh) * 2023-09-01 2023-10-27 武汉互创联合科技有限公司 基于环形特征统计的胚胎发育阶段预测方法及系统
CN116958710B (zh) * 2023-09-01 2023-12-08 武汉互创联合科技有限公司 基于环形特征统计的胚胎发育阶段预测方法及系统

Also Published As

Publication number Publication date
AU2018384082A1 (en) 2020-06-18
WO2019113643A1 (en) 2019-06-20
IL275253A (en) 2020-07-30
JP7072067B2 (ja) 2022-05-19
EP3723640A1 (en) 2020-10-21
US20200311916A1 (en) 2020-10-01
RU2020119401A (ru) 2021-12-14
RU2020119401A3 (zh) 2022-03-09
EP3723640A4 (en) 2021-07-14
JP2021507367A (ja) 2021-02-22
AU2018384082B2 (en) 2022-01-06

Similar Documents

Publication Publication Date Title
AU2018384082B2 (en) Systems and methods for estimating embryo viability
US10426442B1 (en) Adaptive image processing in assisted reproductive imaging modalities
US10646156B1 (en) Adaptive image processing in assisted reproductive imaging modalities
US20200395117A1 (en) Adaptive image processing method and system in assisted reproductive technologies
US11942220B2 (en) Methods and apparatus for assessing embryo development
WO2020157761A1 (en) Automated evaluation of embryo implantation potential
JP2022087297A (ja) 画像ベースのヒト胚細胞分類のための装置、方法、およびシステム
CN113906472A (zh) 用于选择胚胎的方法和系统
CN110135231B (zh) 动物面部识别方法、装置、计算机设备和存储介质
CN111279421A (zh) 人类胚胎的自动评价
JP2022551683A (ja) 人工知能（ａｉ）モデルを使用した非侵襲的遺伝子検査を行う方法及びシステム
US11954926B2 (en) Image feature detection
EP3751513A1 (en) Adaptive image processing in assisted reproductive imaging modalities
US20230018456A1 (en) Methods and systems for determining optimal decision time related to embryonic implantation
WO2022240851A1 (en) System and method for outcome evaluations on human ivf-derived embryos
US20230027723A1 (en) Stain-free detection of embryo polarization using deep learning
CN116434841A (zh) 基于多模态数据的胚胎评估方法及装置
US10748288B2 (en) Methods and systems for determining quality of an oocyte
AU2019101174A4 (en) Systems and methods for estimating embryo viability
RU2800079C2 (ru) Системы и способы оценки жизнеспособности эмбрионов
Eswaran et al. Deep Learning Algorithms for Timelapse Image Sequence-Based Automated Blastocyst Quality Detection
Bhanumathi et al. Underwater Fish Species Classification Using Alexnet
Miled et al. Embryo Development Stage Onset Detection by Time Lapse Monitoring Based on Deep Learning.
JP2024513659A (ja) 人工知能を使用して胚生存能力を評価するためのシステムおよび方法
CN115909138A (zh) 一种基于深度神经网络的超声结节重识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination