CN111783854B - 胚胎妊娠状态智能预测方法及系统 - Google Patents

胚胎妊娠状态智能预测方法及系统 Download PDF

Info

Publication number
CN111783854B
CN111783854B CN202010558753.XA CN202010558753A CN111783854B CN 111783854 B CN111783854 B CN 111783854B CN 202010558753 A CN202010558753 A CN 202010558753A CN 111783854 B CN111783854 B CN 111783854B
Authority
CN
China
Prior art keywords
embryo
prediction
grade
network model
trophoblast
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010558753.XA
Other languages
English (en)
Other versions
CN111783854A (zh
Inventor
陈长胜
谭威
云新
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Mutual United Technology Co ltd
Original Assignee
Wuhan Mutual United Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Mutual United Technology Co ltd filed Critical Wuhan Mutual United Technology Co ltd
Priority to CN202010558753.XA priority Critical patent/CN111783854B/zh
Publication of CN111783854A publication Critical patent/CN111783854A/zh
Application granted granted Critical
Publication of CN111783854B publication Critical patent/CN111783854B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/29—Graphical models, e.g. Bayesian networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Investigating Or Analysing Biological Materials (AREA)

Abstract

本发明公开了一种胚胎妊娠状态智能预测方法及系统，所述方法包括：采集D1～D6时间内的胚胎图像；将胚胎图像输入碎片比例预测网络模型、囊胚腔和内细胞团等级预测网络模型、滋养层等级预测网络模型计算并输出胚胎图像的预测碎片比例、预测囊胚腔比例和预测内细胞团等级、预测滋养层等级；然后输入至胚胎妊娠率状态预测机器学习模型计算并输出胚胎妊娠率预测结果。本发明提出的智能预测方法和系统对胚胎发育的全过程进行监控，并利用综合评分函数计算得到胚胎妊娠率，预测过程中无需人工干预，可以帮助医生快速准确地对胚胎评分做出判断。

Description

胚胎妊娠状态智能预测方法及系统
技术领域
本发明涉及胚胎形态学和人工智能技术领域，具体地是指一种胚胎妊娠状态智能预测方法及系统。
背景技术
胚胎发育的好坏直接影响妊娠率的结果，胚胎学家依靠胚胎形态学和基因学两种主要途径对胚胎的好坏进行判别，其中利用基因学手段判别胚胎好坏需要具备极高的实验条件，而利用胚胎形态学信息完成胚胎的评判是一种简单快速有效的方法。目前，大部分胚胎学家根据自身长期的胚胎观察经验，通过获取胚胎在发育过程中一些重要的形态学特征变化信息完成对胚胎好坏的判别，并作为该胚胎后期移植成功率预测的一个重要依据。医生通常会选择胚胎授精后的D1-D6天这个时间段内作为观察期，获取观察期的重要的胚胎形态学特征信息，在这些形态学特征中，碎片、囊胚腔、内细胞团和滋养层等特征是医生对胚胎好坏评分的极其重要的因素，因此，利用计算机建立视觉模型帮助医生快速准确地对碎片、囊胚腔、内细胞团和滋养层等特征进行预测是一个极具意义的研究方向。然而，目前建立胚胎妊娠率智能预测系统还存在以下几个问题：
(1)在人工判别过程中，胚胎学家根据其对胚胎图像进行了很长时期的观察以及自身积累经验能够很好地完成对D1-D6时期内时差培养箱(Time lapse)中这些特征信息的判定。对于经验不足的医生来说，胚胎发育过程极为复杂，难免会出现因其主观因素对碎片区域判定、囊胚腔占比大小、内细胞团和滋养层等级评定造成误判情况，从而给胚胎好坏的判别带来偏差。因此，标准的胚胎标注数据集的缺乏是一个有待解决的基础问题。
(2)胚胎发育的过程极为复杂，一些传统的图像分析方法利用简单的人工设定的特征和机器学习模型对原核、卵裂球个数、碎片区域的获取、囊胚腔占比计算、内细胞团和滋养层等级评定预测，其准确率较低，且实时性较差，不足以达到工程应用的要求；
(3)目前存在的预测原核、卵裂球、碎片、囊胚腔、内细胞团和滋养层计算方法，仅在数据量规模较小且场景较为干净的数据集上进行训练和测试，其真实的有效性和适用性仍有待进一步验证。然而真实的细胞分裂过程是及其复杂的，这些传统的方法，在真实的胚胎序列上，检测结果并不理想，准确率低。
发明内容
本发明的目的在于克服现有技术中传统图像分析方法对碎片区域的获取、囊胚腔占比计算、内细胞团和滋养层等级评定，其准确率较低，且实时性较差的问题，而提出一种胚胎妊娠状态智能检测方法及系统，自动地完成对碎片、囊胚腔、内细胞团和滋养层高层次特征提取及预测，准确、高效地实现胚胎妊娠状态的综合预测。
为实现上述目的，本发明所设计的胚胎妊娠状态智能预测方法，其特殊之处在于，所述方法包括如下步骤：
1)采集D1～D6时间内的胚胎图像；
2)将胚胎图像输入碎片比例预测网络模型、囊胚腔和内细胞团等级预测网络模型、滋养层等级预测网络模型；
3)所述碎片比例预测网络模型计算并输出胚胎图像的预测碎片比例，所述囊胚腔和内细胞团等级预测网络模型计算并输出预测囊胚腔比例和预测内细胞团等级，所述滋养层等级预测网络模型计算并输出预测滋养层等级；
4)将预测碎片比例、预测囊胚腔比例和预测内细胞团等级、预测滋养层等级输入至胚胎妊娠率状态预测机器学习模型，经过训练的胚胎妊娠率状态预测机器学习模型计算胚胎图像的胚胎妊娠率；
5)所述胚胎妊娠率状态预测机器学习模型输出胚胎妊娠率预测结果。
优选地，所述胚胎妊娠率状态预测机器学习模型构建过程包括：
a1)对图像数据集内每一个样本数据标注临床妊娠结果标签，利用经过训练的碎片比例预测网络模型、囊胚腔和内细胞团等级预测网络模型、滋养层等级预测网络模型对图像数据集内每一个样本数据分别进行碎片比例、囊胚腔比例和预测内细胞团等级、滋养层等级的预测；
a2)将标注有临床妊娠结果标签和预测结果的样本数据集划分为训练集、验证集和测试集；
a3)将训练集内的样本数据输入至胚胎妊娠率状态预测机器学习模型，对评分准则函数进行参数化学习，得到完成训练学习的评分准则函数；
a4)使用训练集中的胚胎图像对胚胎妊娠率状态预测机器学习模型进行训练，得到训练后的网络模型，使用验证集的胚胎图像对训练后的模型输出结果进行验证；
a5)利用训练后的模型对测试集胚胎图像进行预测，统计预测结果，若达到预定的准确率，则完成胚胎妊娠率状态预测机器学习模型的构建。
优选地，所述评分准则函数为：
Figure BDA0002545313300000031
其中，Qi表示ti(i＝1～L)时刻碎片面积，Xi表示i(i＝1～N)时刻的囊胚腔面积，Yi表示i(i＝1～K)时刻的内细胞团等级量化值，Zi表示i(i＝1～M)时刻的滋养层等级量化值；α、β、γ、δ为训练参数，分别代表碎片、囊胚腔、内细胞团、滋养层模型的权重；Max()表示取最大值；P、L、N、K、M为大于1的自然数。
优选地，所述评分准则函数为：
Figure BDA0002545313300000041
其中，
Figure BDA0002545313300000042
表示第k次分裂时由Si个卵裂球分裂为Sj个的影响因子,1(·)为指示函数，ri表示i(i＝1～P)时刻原核的识别个数，Qi表示ti(i＝1～L)时刻碎片面积，Xi表示i(i＝1～N)时刻的囊胚腔面积，Yi表示i(i＝1～K)时刻的内细胞团等级量化值，Zi表示i(i＝1～M)时刻的滋养层团等级量化值；ρ、μ、α、β、γ、δ为训练参数，分别代表卵裂球分裂、原核、碎片、囊胚腔、内细胞团和滋养层的权重；Max()表示取最大值；C、P、L、N、K、M为大于1的自然数。
优选地，所述碎片比例预测网络模型、囊胚腔和内细胞团等级预测网络模型、滋养层等级预测网络模型的构建过程包括：
b1)收集D1～D6时期的胚胎图像，对图像数据集内每一张胚胎图像的碎片比例、囊胚腔比例、内细胞团等级、滋养层等级进行标注；
b2)将标注后的胚胎图像划分为训练集、验证集和测试集；
b3)利用ImageNet自然图像数据集对网络模型进行初始化训练，获取初始化模型；
b4)使用训练集中的胚胎图像对初始化模型进行精训练，得到精训练后的网络模型；
b5)利用精训练模型对测试集胚胎图像进行预测，统计预测结果，若达到预定的准确率，则完成预测网络模型的构建。
优选地，所述碎片比例预测网络模型、囊胚腔和内细胞团等级预测网络模型、滋养层等级预测网络模型采用DeepLab v3+网络，以DeepLab v3作为编码器，并采用深度可分离卷积层作为解码器。
优选地，所述步骤a4)中进行精训练之前对每张图像进行Z-score归一化操作
优选地，所述DeepLab v3编码器采用了空洞金字塔卷积层获取基础特征，空洞金字塔卷积层的计算公式如下：
Figure BDA0002545313300000051
其中，x为输入，y为输出，卷积核为w，i表示位置的索引，r为膨胀系数，k为卷积核位置索引，即信号的采样步长。
优选地，所述解码器深度可分离卷积层，计算公式为：
Figure BDA0002545313300000052
其中X表示输入的图像，W表示卷积核,(g,h)代表像素的位置信息，d、e分别表示图像行和列的偏移量，q表示权重，conv(·)表示卷积操作。
本发明还提出一种胚胎妊娠状态智能预测系统，包括存储器、处理器以及存储在该存储器中并可在该处理器上运行的计算机程序，其特殊之处在于，该处理器被配置为执行该计算机程序时实现上述方法的步骤。
与现有技术相比，本发明设计的胚胎妊娠状态智能预测方法及系统，具有如下优点：
1、本发明构建出有效的胚胎妊娠状态智能预测AI模型，自动地完成对不同时期的碎片比例、囊胚腔和内细胞团等级、滋养层等级进行高层次特征提取、模型训练及预测；
2、本发明提出的对预测方法和系统对胚胎发育的全过程进行监控，并利用综合评分函数计算得到胚胎妊娠率，预测过程中无需人工干预，可以帮助医生快速准确地对胚胎评分做出判断；
3、本发明利用胚胎原核个数、卵裂球个数、碎片比例、囊胚腔比例、内细胞团等级和滋养层等级与胚胎妊娠临床结果标签对综合评分函数进行模型训练，并对测试集数据进行预测。
附图说明
图1为本发明方法的流程图。
图2为碎片比例预测网络模型输出效果示意图。
图3为囊胚腔和内细胞团等级预测网络模型输出效果示意图。
图4为滋养层等级预测网络模型输出效果示意图。
具体实施方式
以下结合附图和具体实施例对本发明作进一步的详细描述。
胚胎在发育过程中，随着时间的变化，碎片、囊胚腔、内细胞团和滋养层这些特征越来越复杂，对设计算法的普适性带来了挑战。
本发明提出的胚胎妊娠状态智能预测方法，如图1所示，包括如下步骤：
1)采集D1～D6时间内的胚胎图像；
2)将胚胎图像输入碎片比例预测网络模型、囊胚腔和内细胞团等级预测网络模型、滋养层等级预测网络模型；
3)碎片比例预测网络模型计算并输出胚胎图像的预测碎片比例，囊胚腔和内细胞团等级预测网络模型计算并输出预测囊胚腔比例和预测内细胞团等级，滋养层等级预测网络模型计算并输出预测滋养层等级；
4)将预测碎片比例、预测囊胚腔比例和预测内细胞团等级、预测滋养层等级输入至胚胎妊娠率状态预测机器学习模型，经过训练的胚胎妊娠率状态预测机器学习模型计算胚胎图像的胚胎妊娠率；
5)胚胎妊娠率状态预测机器学习模型输出胚胎妊娠率预测结果。
本发明提供的胚胎妊娠率预测模型可以实现对胚胎发育的全过程进行实时监控。时差培养箱在拍摄胚胎的过程中不断地将拍摄到的D1-D6时期的每张胚胎图像上传至服务器，本发明提出的模型可以在0.5s时间内输出预测结果，达到对胚胎发育整个过程的实时监控，可以帮助医生快速准确地对胚胎评分做出判断。
碎片比例、囊胚腔比例、内细胞团等级和滋养层等级是医生对胚胎好坏的评分的几个重要因素。若医生在发现胚胎的碎片比例、囊胚腔比例、内细胞团等级和滋养层等级不符合移植条件，则可以提前做出弃胚选择，节省培养时间和耗材成本。
碎片比例预测网络模型、囊胚腔和内细胞团等级预测网络模型、滋养层等级预测网络模型经过预先训练得到，训练过程包括：
b1)收集D1～D6时期的胚胎图像，对图像数据集内每一张胚胎图像的碎片比例、囊胚腔比例、内细胞团等级、滋养层等级进行标注。
本发明收集了413520张D1-D6胚胎图像，并组织了多名胚胎学家完成数据集标注，形成了两类数据集，第一类数据集为胚胎碎片、囊胚腔、内细胞团和滋养层标注数据集，第二类数据集为妊娠结果数据集。第一类数据集是用于完成胚胎原核、卵裂球、碎片、囊胚腔、内细胞团和滋养层的训练与预测，第二类数据集是用于完成胚胎妊娠率模型的训练与预测，结合临床结果获取的胚胎妊娠数据集，基于标注数据，完成训练AI模型训练。
采用labelImg软件标注图像，将碎片、囊胚腔、内细胞团和滋养层用多边形标注好轮廓。为了方便，囊胚腔和内细胞团直接在一张图像上标注为两类，这样可以采用一个网络模型完成两类的训练和测试。在医学上，原核根据其个数被分为0PN(PN:Pronucleus),1PN,2PN,3PN以及多PN，多内细胞团和滋养层的质量被定义为具有A、B、C三个等级，因此内细胞团和滋养层在标注过程中被分为A、B、C三类。碎片和囊胚腔被标注成目标区域和背景两类。
b2)将标注后的胚胎图像划分为训练集、验证集和测试集；对训练集中的胚胎图像进行翻转，放大，缩小，平移等预处理操作，扩充测试集。本发明从不同生殖中心收集了40多万张授精后时差培养箱中D1-D6的胚胎发育图像。考虑到时差培养箱中拍摄的图像长宽比相同，且胚胎在孔中摆放的位置各不相同，通过图像处理中旋转，翻转的技术对图像进行扩充，丰富胚胎姿态的多样性。通过随机采用不同的处理方法，最终得到40多万张的图像作为本发明的训练集，每一张图像的标注根据多名胚胎专家的评定结果，采用投票数最多的作为该张图像的标签。时差培养箱在胚胎发育过程中会间隔一定的时间对胚胎进行拍摄，并将获取的图像传至服务器中的网络模型。在实际的拍摄过程中，时差培养箱为拍摄提供光源条件偶尔会出现波动，造成拍摄的图像出现忽明忽暗，为了解决这一实际问题，在将图像送入网络模型之前，我们对每张图像进行了Z-score归一化操作
b3)利用ImageNet自然图像数据集对网络模型进行初始化训练，获取初始化模型及其参数。
b4)使用训练集中的胚胎图像对初始化模型进行精训练，得到精训练后的网络模型。将训练集中的图像缩放至500×500，按照前向传播的方式，通过空洞金字塔卷积层获取图像特征。对数据集中的胚胎图像数据进行划分，按照8：1：1的比例分配给训练集、验证集和测试集。利用标注好的胚胎数据训练集对预训练的网络模型进行精训练，获取精训练后的网络和参数。
b5)利用精训练模型对测试集胚胎图像进行预测，统计预测结果，若达到预定的准确率，则完成预测网络模型的构建。
本发明提供的碎片比例预测网络模型、囊胚腔和内细胞团等级预测网络模型、滋养层等级预测网络模型采用DeepLab v3+网络，该网络以DeepLab v3作为编码器，并采用深度可分离卷积层作为解码器。编码器主要采用了空洞金字塔卷积层获取基础特征，解码器在编码器获取的特征基础上采用了卷积层、上采样层，精确地重构物体的边缘。
空洞金字塔卷积层，由几个并行的空洞卷积组成，空洞卷积最初来自于数字信号处理中的多孔小波变换。空洞卷积可以获取任意层不同分辨率的特征响应。二维空洞卷积的计算公式如下：
Figure BDA0002545313300000091
其中，x为输入，y为输出，卷积核为w，i表示位置的索引，r为膨胀系数，k为卷积核位置索引，即信号的采样步长。
卷积层，胚胎图像经过公式(2)可以提取到有效的特征信息得到特征图。多次运用公式(2)可以将特征图由局部视野逐渐扩张到全局视野，进而得到胚胎图像由不同局部组成的全局信息。
conv(g,h)＝X*W＝∑d∑ex(g+d,h+e)q(d,e) (2)
其中X表示输入的图像，W表示卷积核,(g,h)代表像素的位置信息，d,e分别表示图像行和列的偏移量，q表示权重，conv(·)表示卷积操作。
池化层，降低特征图的大小，保留更加有效的特征值，从而降低计算量。常用的池化方法主要分为两种，均值池化法以及最大值池化法，本发明中采用的是均值池化法，如公式(3)所示
Figure BDA0002545313300000092
其中(m,n)为
Figure BDA0002545313300000093
对应的池化区域的像素坐标，l表示网络的第l层。
归一化操作，为减少时差培养箱里光源的影响，在将图像送入网络之前，利用公式(4)对图像进行归一化。
Figure BDA0002545313300000094
其中，I表示原始图像，
Figure BDA0002545313300000095
表示对图像中所有像素灰度值求平均，σ为图像灰度值的标准差。
利用碎片比例预测网络模型预测胚胎图像中碎片区域的效果如图2所示，第一行表示胚胎原始图像，第二行为AI模型预测结果，其中，红色区域表示为模型预测为碎片区域，黑色区域表示模型预测为背景区域。
利用囊胚腔和内细胞团等级预测网络模型的预测效果如图3所示，第一行为胚胎原始图像，第二行为胚胎囊胚腔占比和内细胞团等级预测模型的预测结果。其中，白色区域表示模型预测出的囊胚腔面积，绿色、蓝色和红色表示内细胞团不同等级预测结果，绿色表示等级为A级，蓝色为B级，红色为C级，第二行从左至右的颜色分别为红色、绿色、绿色、红色、蓝色。
利用滋养层等级预测网络模型的预测效果如图4所示，第一行为胚胎原始图像，第二行为AI模型对滋养层等级的预测结果。其中，绿色、蓝色和红色代表滋养层不同等级预测结果，绿色表示等级为A级，蓝色为B级，红色为C级，第二行从左至右的颜色分别为蓝色、红色、红色、绿色、红色。
为了辅助医生快速挑选优质胚胎，本发明提出胚胎妊娠率状态预测机器学习模型，利用胚胎碎片比例、囊胚腔比例、内细胞团等级和滋养层等级与胚胎妊娠临床结果标签对综合评分函数进行模型训练，并对测试集数据进行预测。
胚胎妊娠率状态预测机器学习模型构建过程包括：
a1)对图像数据集内每一个样本数据标注临床妊娠结果标签，利用经过训练的碎片比例预测网络模型、囊胚腔和内细胞团等级预测网络模型、滋养层等级预测网络模型对图像数据集内每一个样本数据分别进行碎片比例、囊胚腔比例和预测内细胞团等级、滋养层等级的预测；利用训练好的AI模型，自动计算一个胚胎中所有图片的碎片比例、囊胚腔比例、内细胞团等级和滋养层等级，并将预测结果保存。
a2)将标注有临床妊娠结果标签和预测结果的样本数据集按照8:1:1的数据量比例随机划分为训练集、验证集和测试集。
a3)将训练集内的样本数据输入至胚胎妊娠率状态预测机器学习模型，利用样本和临床妊娠结果标签，对评分准则函数进行参数化学习，得到完成训练学习的评分准则函数。
a4)使用训练集中的胚胎图像对胚胎妊娠率状态预测机器学习模型进行训练，得到训练后的网络模型，使用验证集的胚胎图像对训练后的模型输出结果进行验证；
a5)利用训练后的模型对测试集胚胎图像进行预测，统计预测结果，若达到预定的准确率，则完成胚胎妊娠率状态预测机器学习模型的构建。
其中，评分准则函数为
Figure BDA0002545313300000111
其中，Qi表示ti(i＝1～L)时刻碎片面积，Xi表示i(i＝1～N)时刻的囊胚腔面积，Yi表示i(i＝1～K)时刻的内细胞团等级量化值，该量化值对应内细胞团等级的A级、B级、C级，Zi表示i(i＝1～M)时刻的滋养层等级量化值，该量化值对应滋养层等级的A级、B级、C级；α、β、γ、δ为训练参数，分别代表碎片、囊胚腔、内细胞团、滋养层模型的权重；Max()表示取最大值；L、N、K、M为大于1的自然数，分别代表碎片图像序列的个数、囊胚腔图像序列的个数、内细胞团图像序列的个数和滋养层图像序列的个数。
本发明还提出一种加入原核个数、卵裂球个数的影响因素的评分准则函数：
Figure BDA0002545313300000112
Figure BDA0002545313300000121
其中，
Figure BDA0002545313300000122
表示第k次分裂时由Si个卵裂球分裂为Sj个的影响因子,1(·)为指示函数，ri表示i(i＝1～P)时刻原核的识别个数，Qi表示ti(i＝1～L)时刻碎片面积，Xi表示i(i＝1～N)时刻的囊胚腔面积，Yi表示i(i＝1～K)时刻的内细胞团等级量化值，该量化值对应内细胞团等级的A级、B级、C级，Zi表示i(i＝1～M)时刻的滋养层团等级量化值，该量化值对应滋养层等级的A级、B级、C级；ρ、μ、α、β、γ、δ为训练参数，分别代表卵裂球分裂、原核、碎片、囊胚腔、内细胞团和滋养层的权重；Max()表示取最大值；C、P、L、N、K、M为大于1的自然数，分别代表卵裂球图像序列的个数、原核图像的个数、碎片图像序列的个数、囊胚腔图像序列的个数、内细胞团图像序列的个数和滋养层图像序列的个数。卵裂球分裂影响因子
Figure BDA0002545313300000123
和原核识别个数ri可以通过计算机模型计算得到，也可以通过直接输入的方式得到。
本发明还提出一种胚胎妊娠状态智能预测系统，包括存储器、处理器以及存储在该存储器中并可在该处理器上运行的计算机程序，该处理器被配置为执行该计算机程序时实现如上述方法的步骤。
运用上述胚胎妊娠率智能化预测系统，能够自动快速地预测胚胎碎片比例、囊胚腔比例、内细胞团等级和滋养层等级，并利用综合评分函数计算得到胚胎妊娠率，预测过程中无需人工干预，模型预测结果如表1所示；
表1胚胎碎片、囊胚腔、内细胞团和滋养层数据集与预测结果
碎片 囊胚腔 内细胞团 滋养层
训练集 153230 124535 109862 105320
验证集 19180 15769 13982 13450
测试集 19162 15320 13250 13547
准确率 93.12％ 94.65％ 92.31％ 93.46％
利用胚胎碎片比例、囊胚腔比例、内细胞团等级和滋养层等级与胚胎妊娠临床结果标签对综合评分函数进行模型训练，并对测试集数据进行预测。如表2所示，本文胚胎妊娠率智能预测系统能够直接输出胚胎妊娠率结果，其预测准确率达到了70.47％。
表2胚胎妊娠数据集及预测结果
训练集 验证集 测试集 准确率
样本数量 2636 329 315 70.47％
为了验证不同特征对妊娠结局的影响，本发明通过将不同特征进行组合，实验结果表明，综合原核个数、卵裂球个数、碎片比例、囊胚腔比例、内细胞团等级和滋养层等级可以更准确地预测胚胎的妊娠结局，如表3所示。
表3特征组合及预测结果
特征组合 妊娠准确率
囊胚腔+内细胞团+滋养层 64.68％
碎片+囊胚腔+内细胞团+滋养层 67.51％
卵裂球+碎片+囊胚腔+内细胞团+滋养层 68.92％
原核+卵裂球+碎片+囊胚腔+内细胞团+滋养层 70.47％
本文的AI模型于Intel(R)Core(TM)i7-8700 CPU@3.20GHz，16G内存，NVIDIAGeForce GTX1070的电脑上进行测试，单张图像的识别速度可以达到0.5s。
最后需要说明的是，以上具体实施方式仅用以说明本专利技术方案而非限制，本领域的普通技术人员应当理解，可以对本专利的技术方案进行修改或者等同替换，而不脱离本专利技术方案的精神和范围，其均应涵盖在本专利的权利要求范围当中。

Claims (7)

1.一种胚胎妊娠状态智能预测方法，其特征在于，所述方法包括如下步骤：
1)采集D1～D6时间内的胚胎图像；
2)将胚胎图像输入碎片比例预测网络模型、囊胚腔和内细胞团等级预测网络模型、滋养层等级预测网络模型；
3)所述碎片比例预测网络模型计算并输出胚胎图像的预测碎片比例，所述囊胚腔和内细胞团等级预测网络模型计算并输出预测囊胚腔比例和预测内细胞团等级，所述滋养层等级预测网络模型计算并输出预测滋养层等级；
4)将预测碎片比例、预测囊胚腔比例和预测内细胞团等级、预测滋养层等级输入至胚胎妊娠率状态预测机器学习模型，经过训练的胚胎妊娠率状态预测机器学习模型计算胚胎图像的胚胎妊娠率；
5)所述胚胎妊娠率状态预测机器学习模型输出胚胎妊娠率预测结果；
所述胚胎妊娠率状态预测机器学习模型构建过程包括：
a1)对图像数据集内每一个样本数据标注临床妊娠结果标签，利用经过训练的碎片比例预测网络模型、囊胚腔和内细胞团等级预测网络模型、滋养层等级预测网络模型对图像数据集内每一个样本数据分别进行碎片比例、囊胚腔比例和预测内细胞团等级、滋养层等级的预测；
a2)将标注有临床妊娠结果标签和预测结果的样本数据集划分为训练集、验证集和测试集；
a3)将训练集内的样本数据输入至胚胎妊娠率状态预测机器学习模型，对评分准则函数进行参数化学习，得到完成训练学习的评分准则函数；
所述评分准则函数为
Figure FDA0003610105450000021
其中，Qi表示ti(i＝1～L)时刻碎片面积，Xi表示i(i＝1～N)时刻的囊胚腔面积，Yi表示i(i＝1～K)时刻的内细胞团等级量化值，Zi表示i(i＝1～M)时刻的滋养层等级量化值；α、β、γ、δ为训练参数，分别代表碎片、囊胚腔、内细胞团、滋养层模型的权重；Max()表示取最大值；C、P、L、N、K、M为大于1的自然数；
或者
Figure FDA0003610105450000022
其中，
Figure FDA0003610105450000023
表示第k次分裂时由Si个卵裂球分裂为Sj个的影响因子,1(·)为指示函数，ri表示i(i＝1～P)时刻原核的识别个数，Qi表示ti(i＝1～L)时刻碎片面积，Xi表示i(i＝1～N)时刻的囊胚腔面积，Yi表示i(i＝1～K)时刻的内细胞团等级量化值，Zi表示i(i＝1～M)时刻的滋养层团等级量化值；ρ、μ、α、β、γ、δ为训练参数，分别代表卵裂球分裂、原核、碎片、囊胚腔、内细胞团和滋养层的权重；Max()表示取最大值；C、P、L、N、K、M为大于1的自然数；
a4)使用训练集中的胚胎图像对胚胎妊娠率状态预测机器学习模型进行训练，得到训练后的网络模型，使用验证集的胚胎图像对训练后的模型输出结果进行验证；
a5)利用训练后的模型对测试集胚胎图像进行预测，统计预测结果，若达到预定的准确率，则完成胚胎妊娠率状态预测机器学习模型的构建。
2.根据权利要求1所述的胚胎妊娠状态智能预测方法，其特征在于：所述碎片比例预测网络模型、囊胚腔和内细胞团等级预测网络模型、滋养层等级预测网络模型的构建过程包括：
b1)收集D1～D6时期的胚胎图像，对图像数据集内每一张胚胎图像的碎片比例、囊胚腔比例、内细胞团等级、滋养层等级进行标注；
b2)将标注后的胚胎图像划分为训练集、验证集和测试集；
b3)利用ImageNet自然图像数据集对网络模型进行初始化训练，获取初始化模型；
b4)使用训练集中的胚胎图像对初始化模型进行精训练，得到精训练后的网络模型；
b5)利用精训练模型对测试集胚胎图像进行预测，统计预测结果，若达到预定的准确率，则完成预测网络模型的构建。
3.根据权利要求1所述的胚胎妊娠状态智能预测方法，其特征在于：所述碎片比例预测网络模型、囊胚腔和内细胞团等级预测网络模型、滋养层等级预测网络模型采用DeepLabv3+网络，以DeepLab v3作为编码器，并采用深度可分离卷积层作为解码器。
4.根据权利要求2所述的胚胎妊娠状态智能预测方法，其特征在于：所述步骤b4)中进行精训练之前对每张图像进行Z-score归一化操作。
5.根据权利要求3所述的胚胎妊娠状态智能预测方法，其特征在于：所述DeepLab v3编码器采用了空洞金字塔卷积层获取基础特征，空洞金字塔卷积层的计算公式如下：
Figure FDA0003610105450000041
其中，x为输入，y为输出，卷积核为w，i表示位置的索引，r为膨胀系数，k为卷积核位置索引，即信号的采样步长。
6.根据权利要求3所述的胚胎妊娠状态智能预测方法，其特征在于：所述解码器深度可分离卷积层，计算公式为：
Figure FDA0003610105450000042
其中X表示输入的图像，W表示卷积核,(g,h)代表像素的位置信息，d、e分别表示图像行和列的偏移量，q表示权重，conv(·)表示卷积操作。
7.一种胚胎妊娠状态智能预测系统，包括存储器、处理器以及存储在该存储器中并可在该处理器上运行的计算机程序，其特征在于：该处理器被配置为执行该计算机程序时实现如权利要求1～6中任一项所述方法的步骤。
CN202010558753.XA 2020-06-18 2020-06-18 胚胎妊娠状态智能预测方法及系统 Active CN111783854B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010558753.XA CN111783854B (zh) 2020-06-18 2020-06-18 胚胎妊娠状态智能预测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010558753.XA CN111783854B (zh) 2020-06-18 2020-06-18 胚胎妊娠状态智能预测方法及系统

Publications (2)

Publication Number Publication Date
CN111783854A CN111783854A (zh) 2020-10-16
CN111783854B true CN111783854B (zh) 2022-06-07

Family

ID=72757207

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010558753.XA Active CN111783854B (zh) 2020-06-18 2020-06-18 胚胎妊娠状态智能预测方法及系统

Country Status (1)

Country Link
CN (1) CN111783854B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113077457A (zh) * 2021-04-20 2021-07-06 华中科技大学同济医学院附属同济医院 基于延时摄像系统与深度学习算法预测胚胎能否成囊的系统
CN113378831B (zh) * 2021-05-07 2022-05-10 太原理工大学 一种小鼠胚胎器官识别与评分方法与系统
CN113379706B (zh) * 2021-06-09 2024-04-19 苏州大学 一种胚胎发育预测方法、装置、设备及存储介质
WO2023151578A1 (en) * 2022-02-10 2023-08-17 Merck Patent Gmbh Embryo selection process
CN116051560B (zh) * 2023-03-31 2023-06-20 武汉互创联合科技有限公司 基于胚胎多维度信息融合的胚胎动力学智能预测系统
CN116561627B (zh) * 2023-05-11 2024-04-16 中南大学 用于确定胚胎移植类型的方法、装置、处理器及存储介质
CN116433652B (zh) * 2023-05-11 2024-02-23 中南大学 用于确定胚胎移植的妊娠结果的方法、处理器及装置
CN116524545B (zh) * 2023-06-30 2023-09-15 暨南大学 一种基于人工智能的胚胎分级方法及系统
CN116757967B (zh) * 2023-08-18 2023-11-03 武汉互创联合科技有限公司 胚胎图像碎片去除方法、计算机设备及可读存储介质
CN116823831B (zh) * 2023-08-29 2023-11-14 武汉互创联合科技有限公司 基于循环特征推理的胚胎图像碎片去除系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106682435A (zh) * 2016-12-31 2017-05-17 西安百利信息科技有限公司 一种多模型融合自动检测医学图像中病变的系统及方法
CN107194346A (zh) * 2017-05-19 2017-09-22 福建师范大学 一种汽车疲劳驾驶预测方法
CN109544512A (zh) * 2018-10-26 2019-03-29 浙江大学 一种基于多模态的胚胎妊娠结果预测装置
CN109977869A (zh) * 2019-03-27 2019-07-05 上海海事大学 一种基于深度学习的岸桥运行机构状态评估方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106682435A (zh) * 2016-12-31 2017-05-17 西安百利信息科技有限公司 一种多模型融合自动检测医学图像中病变的系统及方法
CN107194346A (zh) * 2017-05-19 2017-09-22 福建师范大学 一种汽车疲劳驾驶预测方法
CN109544512A (zh) * 2018-10-26 2019-03-29 浙江大学 一种基于多模态的胚胎妊娠结果预测装置
CN109977869A (zh) * 2019-03-27 2019-07-05 上海海事大学 一种基于深度学习的岸桥运行机构状态评估方法

Also Published As

Publication number Publication date
CN111783854A (zh) 2020-10-16

Similar Documents

Publication Publication Date Title
CN111783854B (zh) 胚胎妊娠状态智能预测方法及系统
CN111785375B (zh) 胚胎分裂过程分析及妊娠率智能预测方法及系统
JP7072067B2 (ja) 胚の生存率を推定するためのシステムおよび方法
CN111681209B (zh) 卵裂球分裂状态智能检测系统
CN110021425B (zh) 一种比较检测器及其构建方法与宫颈癌细胞检测方法
JP2019509057A (ja) ヒト卵母細胞及び前核期胚の生殖能力評価のための自動画像解析
US20230028645A1 (en) Methods and systems for embryo classification using morpho-kinetic signatures
CN112308825B (zh) 一种基于SqueezeNet的农作物叶片病害识别方法
CN114360652B (zh) 细胞株相似性评价方法及相似细胞株培养基配方推荐方法
CN111178438A (zh) 一种基于ResNet101的天气类型识别方法
CN111860106A (zh) 一种无监督的桥梁裂缝识别方法
CN115641335B (zh) 基于时差培养箱的胚胎异常多级联智能综合分析系统
CN116434841A (zh) 基于多模态数据的胚胎评估方法及装置
CN113011362A (zh) 基于双线性池化与注意力机制的细粒度眼底图像分级算法
CN116580773A (zh) 基于集成学习的育种跨代表型预测方法与系统、电子设备
CN110766665A (zh) 基于强监督算法和深度学习网络的舌象数据分析方法
CN117934489A (zh) 基于残差和金字塔切分注意力的眼底硬渗出物分割方法
Carneiro et al. Segmentation as a preprocessing tool for automatic grapevine classification
CN116597309A (zh) 集成萌芽期生长和苗期生理指标鉴选植物抗性品种的方法
US20240249142A1 (en) Methods and systems for embryo classificiation
CN115188413A (zh) 一种染色体核型分析模块
CN113744892A (zh) 胚胎整倍性预测方法、装置、电子设备及存储介质
CN117237324B (zh) 一种非侵入式整倍体预测方法及系统
RU2800079C2 (ru) Системы и способы оценки жизнеспособности эмбрионов
CN117197636B (zh) 一种基于计算机辅助的汽车覆盖件回弹智能预测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant