CN111681209B - 卵裂球分裂状态智能检测系统 - Google Patents

卵裂球分裂状态智能检测系统 Download PDF

Info

Publication number
CN111681209B
CN111681209B CN202010415404.2A CN202010415404A CN111681209B CN 111681209 B CN111681209 B CN 111681209B CN 202010415404 A CN202010415404 A CN 202010415404A CN 111681209 B CN111681209 B CN 111681209B
Authority
CN
China
Prior art keywords
blastomere
embryo
blastomeres
division
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010415404.2A
Other languages
English (en)
Other versions
CN111681209A (zh
Inventor
云新
谭威
陈长胜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Mutual United Technology Co ltd
Original Assignee
Wuhan Mutual United Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Mutual United Technology Co ltd filed Critical Wuhan Mutual United Technology Co ltd
Priority to CN202010415404.2A priority Critical patent/CN111681209B/zh
Publication of CN111681209A publication Critical patent/CN111681209A/zh
Application granted granted Critical
Publication of CN111681209B publication Critical patent/CN111681209B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30044—Fetus; Embryo

Landscapes

  • Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Investigating Or Analysing Biological Materials (AREA)

Abstract

本发明公开了一种卵裂球分裂状态智能检测系统，所述系统的检测方法包括：采集D1～D3时期内的胚胎图像并记录拍摄时间点；将胚胎图像及其时间点输入至卵裂球个数预测网络模型进行预测；计算卵裂球分裂指数F，判定胚胎在卵裂期是否正常分裂；将每一个胚胎图像中卵裂球的预测个数、卵裂球分裂曲线和胚胎在卵裂期的分裂状态判定结果输出为检测报告。本发明提出的检测方法通过对卵裂球发育的全过程进行监控，准确地检测卵裂球的个数及卵裂球分裂点，医生可以快速直观地观察到卵裂球的分裂全过程并做出分析，为医生和病人节省了时间以及金钱成本，卵裂球个数预测网络模型的胚胎个数预测准确率达到了93％，远远超越了传统图像处理方法的准确率。

Description

卵裂球分裂状态智能检测系统
技术领域
本发明涉及胚胎形态学和人工智能技术领域，具体地是指一种卵裂球分裂状态智能检测系统。
背景技术
胚胎发育的好坏直接影响妊娠率的结果，胚胎学家依靠胚胎形态学和基因学两种主要途径对胚胎的好坏进行判别，其中利用基因学手段判别胚胎好坏需要具备极高的实验条件，而利用胚胎形态学信息完成胚胎的评判是一种简单快速有效的方法。目前，大部分胚胎学家根据自身长期的胚胎观察经验，通过获取胚胎在发育过程中一些重要的形态学特征变化信息完成对胚胎好坏的判别，并作为该胚胎后期移植成功率预测的一个重要依据。医生通常会选择胚胎形成后的D1～D3天时间段内作为观察期，获取观察期的重要胚胎形态学特征信息，在这些形态学特征中，卵裂球个数随着时间的变化过程是医生对胚胎好坏评分的一个极其重要的因素，因此，利用计算机视觉模型帮助医生快速准确地对卵裂球个数进行预测是一个极具意义的研究方向。然而，目前卵裂球个数预测存在以下几个问题：
(1)在人工判别过程中，胚胎学家根据其对胚胎图像的长时期观察以及自身积累的丰富经验能够很好地完成对D1-D3时期内时差培养箱(Time lapse)中卵裂球个数的判定。对于经验不足的医生来说，卵裂球分裂过程极为复杂，难免会出现因其主观因素产生卵裂球个数误判情况，从而给胚胎好坏的判别带来偏差。因此，标准的卵裂球数据集的缺乏是一个有待解决的基础问题。
(2)卵裂球的分裂过程极为复杂，一些传统的图像分析方法利用简单的人工设定特征和机器学习模型预测卵裂球个数，其准确率较低，且实时性较差，不足以达到工业应用的要求。
(3)目前存在的一些卵裂球个数预测方法仅在数据量规模较小且场景较为干净的卵裂球数据集上进行训练和测试，其真实的有效性和适用性仍有待进一步验证。
发明内容
本发明的目的在于克服现有技术中传统图像分析方法通过提取简单人工特征完成对卵裂球个数预测，其准确率低、实时性差的问题，而提出一种卵裂球分裂状态智能检测系统，通过构建有效的卵裂球个数预测AI模型，自动地完成对不同时期的卵裂球高层次特征提取、模型训练及预测，其准确率和识别效率得到大幅度提高。
为实现上述目的，本发明所设计的卵裂球分裂状态智能检测方法，其特殊之处在于，所述方法包括如下步骤：
1)采集D1～D3时间内的胚胎图像并记录其拍摄时间点，将图像分为训练集、验证集和测试集，运用训练集图像精训练初始化后的网络模型，得到精训练模型；
2)将所有胚胎图像及其拍摄时间点输入至卵裂球个数预测网络模型，所述卵裂球个数预测网络模型对每一张胚胎图像中卵裂球的个数进行预测；
3)结合每一张胚胎图像中卵裂球的预测个数及其拍摄时间点绘制卵裂球分裂曲线；
4)计算卵裂球分裂指数F，将卵裂球分裂指数F与设定阈值相比较，若计算的F值低于设定阈值则判定胚胎在卵裂期为正常分裂，否则判定为异常分裂；
5)将每一张胚胎图像中卵裂球的预测个数、卵裂球分裂曲线和胚胎在卵裂期的分裂状态判定结果输出为检测报告。
优选地，所述卵裂球分裂指数F的计算方法为：
Figure GDA0003610633660000031
式中，wi表示第i次分裂时卵裂球的个数异常因子，vi表示第i次分裂时卵裂球的时间异常因子，i＝1，2，...，C，C表示卵裂球分裂次数因子。
优选地，所述第i次分裂时卵裂球的个数异常因子wi的计算方法为：
Figure GDA0003610633660000032
式中，1(·)为指示函数，Sk，Sj表示第i次分裂过程中卵裂球的个数，
Figure GDA0003610633660000033
为第i次分裂时由Sj个卵裂球分裂为Sk个卵裂球的影响因子，
Figure GDA0003610633660000034
表示分裂为Sk个卵裂球持续的时长。
优选地，所述第i次分裂时卵裂球的时间异常因子vi的计算方法为：
Figure GDA0003610633660000035
式中，ti表示第i次分裂开始的时间点，t′i表示第i次正常分裂开始的平均时间点，βi为第i次分裂中分裂的时间偏差的影响因子。
优选地，所述卵裂球个数预测网络模型构建过程包括：
a1)收集D1～D3时期包含卵裂球个数的胚胎图像，对每一张胚胎图像进行卵裂球个数的标注；
a2)将标注卵裂球个数后的胚胎图像划分为训练集、验证集和测试集；
a3)利用ImageNet自然图像数据集对网络模型进行初始化训练，获取初始化模型；
a4)使用训练集中的胚胎图像对初始化模型进行精训练，得到精训练后的网络模型；
a5)利用精训练模型对测试集胚胎图像进行预测，统计预测结果，若达到预定的准确率，则完成卵裂球个数预测网络模型的构建。
优选地，所述步骤2)中在将所有胚胎图像输入至卵裂球个数预测网络模型之前，对每张图像进行了Z-score归一化操作。
优选地，所述卵裂球个数预测网络模型采用Resnet网络作为基础网络，所述Resnet网络主要包括100层卷积层，34层池化层，并采用Faster RCNN网络框架对卵裂球个数进行预测和定位。
基于上述卵裂球分裂状态智能检测方法，本发明还提出一种卵裂球分裂状态智能检测系统，包括存储器、处理器以及存储在该存储器中并可在该处理器上运行的计算机程序，其特殊之处在于，该处理器被配置为执行该计算机程序时实现如上述方法的步骤。
进一步地，所述计算机程序包括图像预处理模块、卵裂球个数预测模块、卵裂球分裂曲线绘制模块和预测报告输出模块；
所述图像预处理模块：用于对输入至检测系统的胚胎图像进行了Z-score归一化操作；
所述卵裂球个数预测模块：用于将图像预处理模块输出的胚胎图像输入至卵裂球个数预测网络模型，得到胚胎图像中卵裂球的预测个数；
所述卵裂球分裂曲线绘制模块：用于将所有胚胎图像及其对应的卵裂球的预测个数、拍摄时间点绘制卵裂球分裂曲线；
所述预测报告输出模块：用于将每一张胚胎图像中卵裂球的预测个数、卵裂球分裂曲线和胚胎在卵裂期的分裂状态判定结果输出为检测报告。
更进一步地，所述计算机程序还包括卵裂球分裂指数计算模块：用于根据D1～D3时期中胚胎图像的卵裂球分裂个数、分裂时间点计算卵裂球分裂指数。
与现有技术相比，本发明设计的卵裂球分裂状态智能检测系统，具有如下优点：
1、本发明构建出有效的卵裂球个数预测AI模型，自动地完成对不同时期的卵裂球高层次特征提取、模型训练及预测；
2、本发明提供的卵裂球个数预测模型可以实现对胚胎发育的全过程进行实时监控；
3、本发明提出的检测系统通过对卵裂球发育的全过程进行监控，准确地检测卵裂球的个数及卵裂球分裂时间点，医生可以快速直观地观察到卵裂球的分裂全过程并作出分析，为医生和病人节省了时间以及金钱成本；
4、本发明中卵裂球个数预测模型能够直接输出胚胎的分类结果以及准确的位置信息，卵裂球个数预测的准确率达到了93％，远远超越了传统图像处理方法的准确率，达到了胚胎学家的判别水平。
附图说明
图1为本发明系统预测方法的流程图。
图2为卵裂球个数预测模型的构建流程图。
图3为卵裂球个数预测模型的特征提取网络块结构示意图。
图4为卵裂球分裂曲线示意图。
图5为原始图像与网络模型预测卵裂球个数结果对比示意图。
具体实施方式
以下结合附图和具体实施例对本发明作进一步的详细描述。
胚胎在分裂过程中，卵裂球的个数在不断地增加，对设计算法的普实性带来了挑战，如何构建有效的AI模型，完成对卵裂球高层次特征提取、模型训练及结果预测是需要解决的关键问题。
本发明提出的卵裂球个数预测网络模型的构建过程如图2所示，包括如下步骤：
a1)收集D1～D3时期包含卵裂球个数的胚胎图像，对每一个胚胎图像进行卵裂球个数的标注。
目前，卵裂球个数预测不存在公开的大规模数据集，卵裂球个数随着分裂的不断增加，当数量很多时会导致不具备长期经验的标注人员出现误分类情况。本发明从不同生殖中心收集了413520张授精后在时差培养箱中D1-D3时间段内含有卵裂球的胚胎图像。考虑到时差培养箱中拍摄的图像长宽比相同，且胚胎在孔中摆放的位置各不相同，可以通过图像处理中旋转，翻转的技术对图像进行扩充，丰富胚胎姿态的多样性；考虑到时差培养箱在拍摄时会受到灯光环境的影响，调整图像的亮度、对比度以扩充数据集，增强训练模型对不同光照环境下胚胎图像的识别能力。通过随机采用不同的处理方法，最终得到40多万张的图像作为本发明的训练集，每一张图像根据多名胚胎专家的评定结果，将投票数最多的结果作为该张图像的标签。
a2)将标注卵裂球个数后的胚胎图像划分为训练集、验证集和测试集。
时差培养箱在胚胎发育过程中会间隔一定的时间对胚胎进行拍摄，并将获取的图像传至服务器中的网络模型。在实际的拍摄过程中，时差培养箱为拍摄提供光源条件偶尔会出现波动，造成拍摄的图像出现忽明忽暗，为了解决这一实际问题，在将图像送入网络模型之前，我们对每张图像进行了Z-score归一化操作。
a3)将训练集中的图像缩放至227×227，按照前向传播的方式，通过7×7的卷积并池化后，得到112×112的特征图，再经过3个包含有三个卷积的卷积块处理并池化后，可以得到56×56的特征图，再经过4、23、3个包含有三个卷积的卷积块并池化后，最终可以得到7×7的特征图。使用ImageNet自然图像公开数据集对本文的网络进行预训练，获取网络的初始化参数。
a4)对收集的胚胎图像数据集进行划分，按照8：1：1的比例分配给训练集、验证集和测试集。将标注好的图像划分为训练集、验证集和测试集，对训练集中的胚胎图像进行翻转，放大，缩小，平移等预处理操作，扩充训练集。利用已标注的胚胎数据训练集对预训练的网络模型进行精训练，获取精训练后的网络和参数。
卵裂球个数预测网络模型采用Resnet网络作为基础网络，该网络主要包括100层卷积层，34层池化层，并采用Faster RCNN网络框架对卵裂球个数进行预测和定位。卵裂球个数预测模型的特征提取网络块结构如图3所示。
(1)卷积层，胚胎图像经过公式(1)可以提取到有效的特征信息得到特征图。重复运用公式(1)可以将特征图由局部视野逐渐扩张到全局视野，进而得到胚胎图像由不同局部组成的全局信息。
conv(g，h)＝X*W＝∑m∑nx(g+m，h+n)q(m，n) (1)
其中X表示输入的图像，W表示卷积核，(g，h)代表像素的位置信息，m，n分别表示图像行和列的偏移量，q表示权重，conv(·)表示卷积操作。
(2)池化层，池化层能够地降低特征图的大小，保留更加有效的特征值，从而降低计算量。常用的池化方法主要分为两种，均值池化法以及最大值池化法，本发明中采用的是均值池化法，如公式(2)所示
Figure GDA0003610633660000071
其中(m，n)为
Figure GDA0003610633660000072
对应的池化区域的像素坐标，l表示网络的第l层。
(3)全连接层，Faster RCNN网络使用两层全连接层综合卷积层提取到的特征，运用公式(3)完成胚胎图像中卵裂球个数识别及坐标定位，
Figure GDA0003610633660000073
其中，z＝(z1，z2，...，zA)表示上一层的输出，A表示卵裂球类别数，yi表示预测卵裂球属于第i类的概率。
(4)归一化操作，为减少时差培养箱里光源的影响，在将图像送入网络之前，利用公式(4)对图像进行归一化。
Figure GDA0003610633660000074
其中，I表示原始图像，
Figure GDA0003610633660000075
表示图像中所有像素灰度值的平均值，σ为图像灰度值的标准差。
a5)利用精训练模型对测试集胚胎图像进行预测，统计预测结果，若达到预定的准确率，则完成卵裂球个数预测网络模型的构建，否则返回步骤a4)。将测试集中的胚胎图像作为精训练网络的输入，模型会输出卵裂球数量及其在图像中的位置，统计测试集中每张图像的预测结果，并计算出预测概率。本发明中经过精训练的卵裂球个数预测模型的胚胎个数预测准确率达到了93％，原始图像与网络模型预测卵裂球个数结果对比示意图如图5所示。
本发明提出的卵裂球分裂状态智能检测系统的检测方法，如图1所示，包括如下步骤：
1)采集D1～D3时间内的胚胎图像并记录其拍摄时间点，将图像分为训练集、验证集和测试集，运用训练集图像精训练初始化后的网络模型，得到精训练模型；
2)将所有胚胎图像及其拍摄时间点输入至卵裂球个数预测网络模型。将图像送入网络模型之前，对每张图像进行Z-score归一化操作。卵裂球个数预测网络模型对每一张胚胎图像中卵裂球的个数进行预测；
3)结合每一张胚胎图像中卵裂球的预测个数及其拍摄时间点绘制卵裂球分裂曲线，分裂曲线如图4所示，可以直观地反映出卵裂球分裂的次数和细胞个数随时间变化图；
4)计算卵裂球分裂指数F，将卵裂球分裂指数F与设定阈值相比较。若计算的F值低于设定阈值则判定胚胎在卵裂期为正常分裂，否则判定为异常分裂；
5)将每一张胚胎图像中卵裂球的预测个数、卵裂球分裂曲线和胚胎在卵裂期的分裂状态判定结果输出为检测报告。
卵裂球在发育过程中其具体分裂模式是医生对胚胎好坏的评分的一个重要因素。若医生在前期发现卵裂球处于异常分裂模式，则可以提前做出弃胚选择，节省培养时间和耗材成本。卵裂球异常分裂模式主要包含两种形式：(1)卵裂球个数分裂异常(例如一个卵裂球直接分为三个卵裂球，三个卵裂球直接分裂为五个卵裂球)；(2)卵裂球分裂时间点异常(指的是卵裂球发育过程中实际分裂时刻与生殖中心统计的平均分裂时间点具有较大偏差)。本发明提出的方法通过对卵裂球发育的全过程进行监控，可以准确地检测卵裂球的个数及卵裂球分裂时间点。
图4为结合卵裂球预测模型对胚胎图像的分析结果与图像拍摄时间的曲线图，图中横坐标是指胚胎授精后的发育时长，纵坐标表示预测卵裂球的个数，红色的虚线表示卵裂球三次主要分裂的时间点，并分别标有t1、t2、t3。通过图4中的曲线，医生可以快速直观地观察到卵裂球的分裂全过程并做出分析，为医生和病人节省了时间以及金钱成本。
为了辅助医生快速挑选卵裂球正常分裂的优质胚胎，结合卵裂球分裂的个数，以及其分裂的时间点等信息，本发明提出计算卵裂球分裂指数F的方法，若F的值越低，则表示该胚胎的卵裂过程越好，发育为优质囊胚的可能性越高。
一方面，临床数据的分析结果显示，卵裂球个数的异常分裂主要由非整倍性分裂导致的。虽然临床数据中存在着卵裂球的异步分裂，但其分裂的中间结果持续时间通常较短。同时，卵裂球分裂个数的跨度越大，表示该胚胎染色体存在异常的可能性也就越大。另一方面，不同生殖中心的培养体系、培养液、培养条件等均存在一定的差异，因此，每个生殖中心统计的平均分裂时间也会不同。
Figure GDA0003610633660000091
其中，wi表示第i次分裂时卵裂球的个数异常因子，i表示分裂的次数，1(·)为指示函数，Sk，Sj表示第i次分裂过程中卵裂球的个数，
Figure GDA0003610633660000092
为第i次分裂时由Sj个卵裂球分裂为Sk个卵裂球的影响因子，
Figure GDA0003610633660000093
表示分裂为Sk个卵裂球持续的时长，并对第i次分裂过程中出现所有的分裂情况求和。
Figure GDA0003610633660000101
其中，vi表示第i次分裂时卵裂球的时间异常因子，i表示分裂的次数，ti表示第i次分裂开始的时间点，t′i表示统计生殖中心第i次正常分裂开始的平均时间点，βi为第i次分裂中分裂的时间偏差的影响因子。
Figure GDA0003610633660000102
其中C表示卵裂球分裂次数因子。
公式(5)用于计算卵裂球个数分裂异常对胚胎发育的影响。在公式(5)中，1(Sk≠2Sj)该指示函数用来判断卵裂球该次分裂是否为整倍性分裂，若该值为0，表明是正常的整倍性分裂，反之，结合分裂成Sk的时长
Figure GDA0003610633660000103
若计算
Figure GDA0003610633660000104
的值越小，则表示该过程应该为正常的异步分裂，反之若计算的值越大，则表明该过程应该为异常分裂。若某次分裂过程中包含了多次的卵裂球分裂，应对该过程中包含的所有分裂指标求和。
在公式(6)中，
Figure GDA0003610633660000105
用于计算卵裂球分裂时间点异常对胚胎发育的影响。若卵裂球分裂的时间点与生殖中心统计的正常分裂时间点的偏差越大，则胚胎发育的质量越差。
在公式(7)中，若检测到分裂的次数小于三次，则表明胚胎在卵裂期停止了发育，可令F为1(表示舍弃)，反之，则通过结合wi和vi，计算卵裂球两种分裂异常对胚胎发育的综合影响，最终计算F的值越小越好。特别地，当F为0时，表示胚胎每次分裂均为同步的正常整倍性分裂。
在本发明中，用某中心的数据进行分析，t′1，t′2，t′3三次平均正常分裂时间点分别为27h，43.6h，67.8h，β1，β2，β3分别设定为0.4，0.3，0.3，公式(5)中的影响因子参数可见表1。根据该生殖中心的胚胎图像分析的结果数据，设定阈值为0.4时，计算的F值低于该阈值即可以判定胚胎在卵裂期属于正常分裂。
表1细胞不同分裂情况对应的
Figure GDA0003610633660000111
值
Figure GDA0003610633660000112
表1中第一列表示卵裂球分裂前的个数，第一行表示卵裂球分裂后的个数，“-”表示不考虑该分裂过程，表中的有效值表示
Figure GDA0003610633660000113
所对应的参数值。
基于上述方法，本发明还提出一种卵裂球分裂状态智能检测系统，包括存储器、处理器以及存储在该存储器中并可在该处理器上运行的计算机程序，该处理器被配置为执行该计算机程序时实现如上述方法的步骤。
计算机程序包括图像预处理模块、卵裂球个数预测模块、卵裂球分裂曲线绘制模块、卵裂球分裂指数计算模块和预测报告输出模块：
图像预处理模块：用于对输入至检测系统的胚胎图像进行了Z-score归一化操作；
卵裂球个数预测模块：用于将图像预处理模块输出的胚胎图像输入至卵裂球个数预测网络模型，得到胚胎图像中卵裂球的预测个数；
卵裂球分裂曲线绘制模块：用于将所有胚胎图像及其对应的卵裂球的预测个数、拍摄时间点绘制卵裂球分裂曲线；
卵裂球分裂指数计算模块：用于根据D1～D3时期中胚胎图像的卵裂球分裂个数、分裂时间点计算卵裂球分裂指数；
预测报告输出模块：用于将每一张胚胎图像中卵裂球的预测个数、卵裂球分裂曲线和胚胎在卵裂期的分裂状态判定结果输出为检测报告。
本发明提供的卵裂球个数预测模型可以实现对胚胎发育的全过程进行实时监控。时差培养箱在拍摄胚胎的过程中不断地将拍摄到的D1～D3时期内的每张胚胎图像上传至服务器，发明提出的模型可以在0.07s时间内输出预测结果，达到对胚胎发育整个过程的实时监控，可以帮助医生快速准确地对胚胎评分做出判断。
本发明提出的卵裂球分裂状态智能检测系统于Intel(R)Core(TM)i7-8700 CPU@3.20GHz，16G内存，NVIDIA GeForce GTX1070的电脑上进行测试，单张图像的识别速度可以达到0.07s，识别效率远远优于传统图像处理方法，可以满足工业实时性要求。
最后需要说明的是，以上具体实施方式仅用以说明本专利技术方案而非限制，本领域的普通技术人员应当理解，可以对本专利的技术方案进行修改或者等同替换，而不脱离本专利技术方案的精神和范围，其均应涵盖在本专利的权利要求范围当中。

Claims (4)

1.一种卵裂球分裂状态智能检测系统，包括存储器、处理器以及存储在该存储器中并可在该处理器上运行的计算机程序，其特征在于：该处理器被配置为执行该计算机程序时实现卵裂球分裂状态智能检测方法的步骤，所述方法包括如下步骤：
1)采集D1～D3时间内的胚胎图像并记录其拍摄时间点，将图像分为训练集、验证集和测试集，运用训练集图像精训练初始化后的网络模型，得到精训练模型；
2)将所有胚胎图像及其拍摄时间点输入至卵裂球个数预测网络模型；将图像送入网络模型之前，对每张图像进行Z-score归一化操作；卵裂球个数预测网络模型对每一张胚胎图像中卵裂球的个数进行预测；
3)结合每一张胚胎图像中卵裂球的预测个数及其拍摄时间点绘制卵裂球分裂曲线，分裂曲线直观地反映出卵裂球分裂的次数和细胞个数随时间变化图；
4)计算卵裂球分裂指数F，将卵裂球分裂指数F与设定阈值相比较；若计算的F值低于设定阈值则判定胚胎在卵裂期为正常分裂，否则判定为异常分裂；
5)将每一张胚胎图像中卵裂球的预测个数、卵裂球分裂曲线和胚胎在卵裂期的分裂状态判定结果输出为检测报告；
所述计算机程序还包括卵裂球分裂指数计算模块：用于根据D1～D3时期内胚胎图像的卵裂球分裂个数、分裂时间点计算卵裂球分裂指数；所述卵裂球分裂指数F的计算方法为：
Figure FDA0003610633650000011
式中，wi表示第i次分裂时卵裂球的个数异常因子，vi表示第i次分裂时卵裂球的时间异常因子，i＝1，2，...，C，C表示卵裂球分裂次数因子；
所述第i次分裂时卵裂球的个数异常因子的计算方法为：
Figure FDA0003610633650000021
式中，1(·)为指示函数，Sk，Sj表示第i次分裂过程中卵裂球的个数，
Figure FDA0003610633650000022
为第i次分裂时由Sj个卵裂球分裂为Sk个卵裂球的影响因子，
Figure FDA0003610633650000023
表示分裂为Sk个卵裂球持续的时长；
所述第i次分裂时卵裂球的时间异常因子vi的计算方法为：
Figure FDA0003610633650000024
式中，ti表示第i次分裂开始的时间点，t′i表示第i次正常分裂开始的平均时间点，βi为第i次分裂中分裂的时间偏差的影响因子。
2.根据权利要求1所述的卵裂球分裂状态智能检测系统，其特征在于，所述卵裂球个数预测网络模型构建过程包括：
a1)收集D1～D3时期包含卵裂球个数的胚胎图像，对每一张胚胎图像进行卵裂球个数的标注；
a2)将标注卵裂球个数后的胚胎图像划分为训练集、验证集和测试集；
a3)利用ImageNet自然图像数据集对网络模型进行初始化训练，获取初始化模型；
a4)使用训练集中的胚胎图像对初始化模型进行精训练，得到精训练后的网络模型；
a5)利用精训练模型对测试集胚胎图像进行预测，统计预测结果，若达到预定的准确率，则完成卵裂球个数预测网络模型的构建。
3.根据权利要求1所述的卵裂球分裂状态智能检测系统，其特征在于：所述卵裂球个数预测网络模型采用Resnet网络作为基础网络，所述Resnet网络主要包括100层卷积层，34层池化层，并采用Faster RCNN网络框架对卵裂球个数进行预测和定位。
4.根据权利要求1所述的卵裂球分裂状态智能检测系统，其特征在于：所述计算机程序包括图像预处理模块、卵裂球个数预测模块、卵裂球分裂曲线绘制模块和预测报告结果输出模块；
所述图像预处理模块：用于对输入至检测系统的胚胎图像进行了Z-score归一化操作；
所述卵裂球个数预测模块：用于将图像预处理模块输出的胚胎图像输入至卵裂球个数预测网络模型，得到胚胎图像中卵裂球的预测个数；
所述卵裂球分裂曲线绘制模块：用于将所有胚胎图像及其对应的卵裂球的预测个数、拍摄时间点绘制卵裂球分裂曲线；
所述预测报告结果输出模块：用于将每一张胚胎图像中卵裂球的预测个数、卵裂球分裂曲线和胚胎在卵裂期的分裂状态判定结果输出为检测报告。
CN202010415404.2A 2020-05-15 2020-05-15 卵裂球分裂状态智能检测系统 Active CN111681209B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010415404.2A CN111681209B (zh) 2020-05-15 2020-05-15 卵裂球分裂状态智能检测系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010415404.2A CN111681209B (zh) 2020-05-15 2020-05-15 卵裂球分裂状态智能检测系统

Publications (2)

Publication Number Publication Date
CN111681209A CN111681209A (zh) 2020-09-18
CN111681209B true CN111681209B (zh) 2022-06-07

Family

ID=72451918

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010415404.2A Active CN111681209B (zh) 2020-05-15 2020-05-15 卵裂球分裂状态智能检测系统

Country Status (1)

Country Link
CN (1) CN111681209B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115049908B (zh) * 2022-08-16 2022-11-08 武汉互创联合科技有限公司 基于胚胎发育图像的多阶段智能分析方法及系统
CN115641364B (zh) * 2022-12-22 2023-03-21 武汉互创联合科技有限公司 基于胚胎动力学参数的胚胎分裂周期智能预测系统及方法
CN116739949B (zh) * 2023-08-15 2023-11-03 武汉互创联合科技有限公司 一种胚胎图像的卵裂球边缘增强处理方法
CN116758539B (zh) * 2023-08-17 2023-10-31 武汉互创联合科技有限公司 一种基于数据增强的胚胎图像卵裂球识别方法
CN116778481B (zh) * 2023-08-17 2023-10-31 武汉互创联合科技有限公司 一种基于关键点检测的卵裂球图像识别方法及系统
CN116778482B (zh) * 2023-08-17 2023-10-31 武汉互创联合科技有限公司 胚胎图像卵裂球目标检测方法、计算机设备及存储介质
CN116757967B (zh) * 2023-08-18 2023-11-03 武汉互创联合科技有限公司 胚胎图像碎片去除方法、计算机设备及可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104778711A (zh) * 2015-04-27 2015-07-15 厦门大学 一种卵裂阶段的细胞计数定位方法
CN109544512A (zh) * 2018-10-26 2019-03-29 浙江大学 一种基于多模态的胚胎妊娠结果预测装置
TW201913565A (zh) * 2017-08-29 2019-04-01 宣捷生物科技股份有限公司 胚胎影像評價方法及系統
JP2019103412A (ja) * 2017-12-11 2019-06-27 憲隆 福永 胚選抜システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104778711A (zh) * 2015-04-27 2015-07-15 厦门大学 一种卵裂阶段的细胞计数定位方法
TW201913565A (zh) * 2017-08-29 2019-04-01 宣捷生物科技股份有限公司 胚胎影像評價方法及系統
JP2019103412A (ja) * 2017-12-11 2019-06-27 憲隆 福永 胚選抜システム
CN109544512A (zh) * 2018-10-26 2019-03-29 浙江大学 一种基于多模态的胚胎妊娠结果预测装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
卵裂方式对胚胎发育潜能的影响;王珊珊等;《中国性科学》;20151115(第11期);全文 *
基于深度学习的胚胎评估系统研究与实现;叶志佳;《中国优秀硕士学位论文全文数据库医药卫生科技辑》;20200115;第21-50页 *

Also Published As

Publication number Publication date
CN111681209A (zh) 2020-09-18

Similar Documents

Publication Publication Date Title
CN111681209B (zh) 卵裂球分裂状态智能检测系统
CN111783854B (zh) 胚胎妊娠状态智能预测方法及系统
CN111279421B (zh) 人类胚胎的自动评价
JP7072067B2 (ja) 胚の生存率を推定するためのシステムおよび方法
CN111785375B (zh) 胚胎分裂过程分析及妊娠率智能预测方法及系统
CN110135231B (zh) 动物面部识别方法、装置、计算机设备和存储介质
CN110021425B (zh) 一种比较检测器及其构建方法与宫颈癌细胞检测方法
CN110245657B (zh) 病理图像相似性检测方法及检测装置
WO2020248847A1 (zh) 智能心脏疾病检测方法、装置及计算机可读存储介质
CN114283469B (zh) 一种基于改进YOLOv4-tiny的轻量型目标检测方法及系统
US20230018456A1 (en) Methods and systems for determining optimal decision time related to embryonic implantation
CN110931112B (zh) 一种基于多维信息融合和深度学习的脑部医学影像分析方法
Luo et al. Retinal image classification by self-supervised fuzzy clustering network
CN110910377B (zh) 一种基于神经网络的脑梗死mri图像识别方法
CN114038037B (zh) 基于可分离残差注意力网络的表情标签修正和识别方法
AU2024200572A1 (en) Automated evaluation of quality assurance metrics for assisted reproduction procedures
CN117911939A (zh) 基于图像分割的松材线虫病灾害实时监测预警方法与系统
CN115641335B (zh) 基于时差培养箱的胚胎异常多级联智能综合分析系统
WO2023240820A1 (zh) 一种染色体核型分析模块
CN112465054B (zh) 一种基于fcn的多变量时间序列数据分类方法
CN114947751A (zh) 基于深度学习的移动端智能舌诊方法
EP4352691A1 (en) Methods and systems for embryo classification
CN113779295A (zh) 一种异常细胞图像特征的检索方法、装置、设备和介质
CN113033330A (zh) 一种基于轻型卷积神经网络的舌体姿态异常判别方法
CN112365992A (zh) 一种基于nrs-lda的医疗体检数据识别分析方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant