CN116869489A - 基于形态学特征分析的胚胎发育阶段预测系统及方法 - Google Patents
基于形态学特征分析的胚胎发育阶段预测系统及方法 Download PDFInfo
- Publication number
- CN116869489A CN116869489A CN202311141459.9A CN202311141459A CN116869489A CN 116869489 A CN116869489 A CN 116869489A CN 202311141459 A CN202311141459 A CN 202311141459A CN 116869489 A CN116869489 A CN 116869489A
- Authority
- CN
- China
- Prior art keywords
- embryo
- blastula
- image
- cavity
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000000877 morphologic effect Effects 0.000 title claims abstract description 75
- 230000013020 embryo development Effects 0.000 title claims abstract description 33
- 238000000034 method Methods 0.000 title claims description 38
- 210000001161 mammalian embryo Anatomy 0.000 claims abstract description 115
- 210000000625 blastula Anatomy 0.000 claims abstract description 90
- 230000011218 segmentation Effects 0.000 claims abstract description 45
- 210000004340 zona pellucida Anatomy 0.000 claims abstract description 26
- 238000011161 development Methods 0.000 claims abstract description 21
- 230000018109 developmental process Effects 0.000 claims abstract description 21
- 238000007781 pre-processing Methods 0.000 claims abstract description 16
- 239000013598 vector Substances 0.000 claims description 34
- 238000012706 support-vector machine Methods 0.000 claims description 20
- 238000012549 training Methods 0.000 claims description 19
- 238000005070 sampling Methods 0.000 claims description 14
- 230000002708 enhancing effect Effects 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 5
- 230000004927 fusion Effects 0.000 abstract description 2
- 210000004027 cell Anatomy 0.000 description 12
- 210000002993 trophoblast Anatomy 0.000 description 11
- 230000008569 process Effects 0.000 description 7
- 239000012634 fragment Substances 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 210000002257 embryonic structure Anatomy 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 210000002459 blastocyst Anatomy 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000010339 dilation Effects 0.000 description 2
- 238000005065 mining Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000001303 quality assessment method Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004952 blastocoel Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 210000002308 embryonic cell Anatomy 0.000 description 1
- 230000003628 erosive effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000004720 fertilization Effects 0.000 description 1
- 239000012467 final product Substances 0.000 description 1
- 230000009027 insemination Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 210000000287 oocyte Anatomy 0.000 description 1
- 230000035935 pregnancy Effects 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000002054 transplantation Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/43—Detecting, measuring or recording for evaluating the reproductive systems
- A61B5/4306—Detecting, measuring or recording for evaluating the reproductive systems for evaluating the female reproductive systems, e.g. gynaecological evaluations
- A61B5/4343—Pregnancy and labour monitoring, e.g. for labour onset detection
- A61B5/4362—Assessing foetal parameters
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2503/00—Evaluating a particular growth phase or type of persons or animals
- A61B2503/02—Foetus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20061—Hough transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30044—Fetus; Embryo
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- Biophysics (AREA)
- Multimedia (AREA)
- Veterinary Medicine (AREA)
- Mathematical Physics (AREA)
- Animal Behavior & Ethology (AREA)
- Surgery (AREA)
- Heart & Thoracic Surgery (AREA)
- Pathology (AREA)
- Public Health (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Databases & Information Systems (AREA)
- Reproductive Health (AREA)
- Pediatric Medicine (AREA)
- Pregnancy & Childbirth (AREA)
- Gynecology & Obstetrics (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于形态学特征分析的胚胎发育阶段预测系统，包括图像预处理模块、镜筒分割模块、胚胎主体分割模块、相对对比度特征统计模块、囊胚腔和透明带分割模块、形态学特征统计模块和发育阶段预测模块。本发明采用符合人类经验的特征统计和特征融合方式训练有效的分类器，分别统计透明带和囊胚腔特定结构的有效的形态学特征，提升发育阶段分类的准确性；并采用镜筒分割和主体分割定位控制点的选取环形带宽范围，通过排除无关区域的干扰，在图像特定区域内进行统计图像的相对对比度特征，提升发育阶段分类的精度。
Description
技术领域
本发明涉及人工智能技术领域，具体地指一种基于形态学特征分析的胚胎发育阶段预测系统及方法。
背景技术
胚胎发育的好坏直接影响妊娠率的结果，胚胎学家依靠胚胎形态学和基因学两种主要途径对胚胎的好坏进行判别，其中利用基因学手段判别胚胎好坏需要具备极高的实验条件，而利用胚胎形态学信息完成胚胎的评判是一种简单快速有效的方法。目前，大多数胚胎学家基于囊胚期胚胎的形态学特征对胚胎的优劣进行判别，筛选出优质胚胎进行移植。在这些形态学特征中，囊胚腔、内细胞团和滋养层等特征是医生对胚胎好坏评分的极其重要的因素，因此，利用计算机建立视觉模型帮助医生快速准确地对囊胚腔、内细胞团和滋养层等特征进行预测是一个极具意义的研究方向。
然而，在发育初期，胚胎主体区域较小，在原始图片中的占比过小，同时，胚胎图像中还可能存在碎片和其他胚胎主体无关的区域，可能会对分类结果产生干扰。此外，只关注特定区域的结构有助于提升分类的准确性。
因此，如何设计有效的分类框架是一个亟待解决的问题。
发明内容
本发明针对现有技术的不足之处，提出一种基于形态学特征分析的胚胎发育阶段预测系统及方法，通过挖掘特定区域结构的相对对比度差异及一些形态学特征信息，有效提升胚胎发育阶段预测的准确率。
为实现上述目的，本发明设计的一种基于形态学特征分析的胚胎发育阶段预测系统，其特殊之处在于，所述系统包括图像预处理模块、镜筒分割模块、胚胎主体分割模块、相对对比度特征统计模块、囊胚腔和透明带分割模块、形态学特征统计模块和发育阶段预测模块；
其中，所述图像预处理模块：用于对待检测的胚胎图像进行预处理，去除图像噪声并增强轮廓信息；
所述镜筒分割模块：用于对经过预处理的胚胎图像进行椭圆拟合，形成镜筒图像，去除镜筒外的其他区域；
所述胚胎主体分割模块：用于对镜筒图像分割出胚胎主体部分，排除无关区域的干扰信息，以确定离散点采样的范围；
所述相对对比度特征统计模块：用于统计胚胎主体内的相对对比度的特征，根据透明带内外区域的像素值的显著差异区分透明带和囊胚腔的不同区域，从而分割特定的囊胚腔和透明带的结构；
所述囊胚腔和透明带分割模块：根据统计的相对对比度特征，采用支持向量机对胚胎图像进行三分类的分割，输出图像像素掩码为囊胚腔、透明带或其他区域；
所述形态学特征统计模块：根据分割的透明带和囊胚腔结构，计算两区域的形态学特征并进行拼接构建特征向量；
所述发育阶段预测模块：根据统计的囊胚腔和透明带的形态学特征向量，使用支持向量机训练分类器得到胚胎发育预测结果。
进一步地，所述镜筒分割模块对预处理后的图像先进行灰度化处理，并使用sobel算子检测图像的边缘信息，统计图像边缘的梯度方向和大小，使用霍夫变换进行椭圆拟合，仅保留具有最大半径的圆作为镜筒内区域，以确定采样控制点的最大范围。
更进一步地，所述胚胎主体分割网络采用Res-U-Net或全卷积网络或DeepLab为主干网络，使用二分类平均交叉熵损失约束，表示为：
其中表示像素类别数，/>表示第/>个样本中像素/>的真实类别，/>表示模型预测该像素的预测类别概率分布，N表示图像中的像素总数量。
更进一步地，所述相对对比度特征统计模块在镜筒区域内和胚胎主体外所构成的环形区域内随机采样若干个个控制点，在胚胎主体内的每个像素点分别与控制点逐像素值做差构成对应维度的维向量，作为胚胎主体内每个像素的相对对比度特征，以用于使用支持向量机训练模型。
更进一步地，所述形态学特征统计模块构建的透明带和囊胚腔结构的形态学特征包括透明带的5维向量拼接囊胚腔的3维向量，共构成8维向量作为图像的特征，其中透明带的5维形态学特征分别为沿环形带的梯度方向统计环形带的带宽的均值W1、带宽中最宽处与最窄处的差值W2、 环形带的面积A1、环形带的内外环的周长和S1、环形带的内外环的周长差S2；统计囊胚腔的3维形态学特征分别为囊胚腔区域的面积A、囊胚腔区域的周长S和使用椭圆拟合囊胚腔区域计算长轴与短轴的比例P。
更进一步地，所述发育阶段预测模块训练的损失函数为多分类的交叉熵损失，损失函数L表示为：
其中N表示图像中的像素总数量，表示第i个样本的真实标签，为5维独热编码格式，/>表示第i个样本的预测概率。
本发明还提出一种基于形态学特征分析的胚胎发育阶段预测方法，其特殊之处在于，所述方法包括步骤：
S1对待检测的胚胎图像进行预处理，去除图像噪声并增强轮廓信息；
S2对经过预处理的胚胎图像进行椭圆拟合，形成镜筒图像，去除镜筒外的其他区域；
S3对镜筒图像分割出胚胎主体部分，排除无关区域的干扰信息，以确定离散点采样的范围；
S4根据透明带内外区域的像素值的显著差异区分透明带和囊胚腔的不同区域，分割囊胚腔和透明带的结构，统计胚胎主体内的相对对比度的特征；
S5根据统计的相对对比度特征，采用支持向量机对胚胎图像进行三分类的分割，输出图像像素掩码为囊胚腔、透明带或其他区域；
S6根据分割的透明带和囊胚腔结构，构建的透明带和囊胚腔结构的形态学特征，计算两区域的形态学特征并进行拼接构建特征向量；
S7根据统计的囊胚腔和透明带的形态学特征向量，使用支持向量机训练分类器得到胚胎发育预测结果。
优选地，步骤S2中对经过预处理的胚胎图像先进行灰度化处理，并使用sobel算子检测图像的边缘信息，统计图像边缘的梯度方向和大小，使用霍夫变换进行椭圆拟合，仅保留具有最大半径的圆作为镜筒内区域，以确定采样控制点的最大范围。
优选地，步骤S4中在镜筒区域内和胚胎主体外所构成的环形区域内随机采样若干个个控制点，在胚胎主体内的每个像素点分别与控制点逐像素值做差构成对应维度的维向量，作为胚胎主体内每个像素的相对对比度特征，以用于使用支持向量机训练模型。
优选地，步骤S6中构建的透明带和囊胚腔结构的形态学特征包括透明带的5维向量拼接囊胚腔的3维向量，共构成8维向量作为图像的特征，其中透明带的5维形态学特征分别为沿环形带的梯度方向统计环形带的带宽的均值W1、带宽中最宽处与最窄处的差值W2、环形带的面积A1、环形带的内外环的周长和S1、环形带的内外环的周长差S2；统计囊胚腔的3维形态学特征分别为囊胚腔区域的面积A、囊胚腔区域的周长S和使用椭圆拟合囊胚腔区域计算长轴与短轴的比例P。
本发明提出的基于形态学特征分析的胚胎发育阶段预测系统及方法，其有益效果包括：
1、本发明采用符合人类经验的特征统计和特征融合方式训练有效的分类器，分别统计透明带和囊胚腔特定结构的有效的形态学特征，提升发育阶段分类的准确性；
2、本发明采用镜筒分割和主体分割定位控制点的选取环形带宽范围，通过排除无关区域的干扰，在图像特定区域内进行统计图像的相对对比度特征，提升发育阶段分类的精度；
3、本发明根据先验知识设计的特定的基于胚胎细胞图像的手工特征具有良好的可解释性和表达能力，所训练的分类器具有部署方便、泛化性良好等优势。
附图说明
图1为本发明基于相对对比度特征统计的胚胎发育阶段预测系统的结构框图；
图2为镜筒分割椭圆拟合的镜筒区域示意图；
图3为胚胎主体分割网络结构的示意图；
图4为相对对比度特征统计的示意图；
图5为发育阶段分类的预测结果图。
具体实施方式
以下结合附图和具体实施例对本发明作进一步的详细描述。
目前，大部分胚胎学家根据自身长期的胚胎观察经验，通过获取胚胎在发育过程中一些重要的形态学特征变化信息完成对胚胎好坏的判别，并作为该胚胎后期移植成功率预测的一个重要依据。医生通常会选择胚胎授精后的D1~D6天时间段内作为观察期，获取观察期的重要的胚胎形态学特征信息，在这些形态学特征中，碎片、囊胚腔、内细胞团和滋养层等特征是医生对胚胎好坏评分的极其重要的因素，因此，利用计算机建立视觉模型帮助医生快速准确地对碎片、囊胚腔、内细胞团和滋养层等特征进行预测是一个极具意义的研究方向。
本发明提出的一种基于形态学特征分析的胚胎发育阶段预测方法，对碎片、囊胚腔、内细胞团和滋养层等特征进行识别，并对胚胎发育阶段进行预测，该方法包括以下步骤：
S1对待检测的胚胎图像进行预处理，去除图像噪声并增强轮廓信息；
S2对经过预处理的胚胎图像进行椭圆拟合，形成镜筒图像，去除镜筒外的其他区域；
S3对镜筒图像分割出胚胎主体部分，排除无关区域的干扰信息，以确定离散点采样的范围；
S4根据透明带内外区域的像素值的显著差异区分透明带和囊胚腔的不同区域，分割囊胚腔和透明带的结构，统计胚胎主体内的相对对比度的特征；
S5根据统计的相对对比度特征，采用支持向量机对胚胎图像进行三分类的分割，输出图像像素掩码为囊胚腔、透明带或其他区域；
S6根据分割的透明带和囊胚腔结构，构建的透明带和囊胚腔结构的形态学特征，计算两区域的形态学特征并进行拼接构建特征向量；
S7根据统计的囊胚腔和透明带的形态学特征向量，使用支持向量机训练分类器得到胚胎发育预测结果。
本发明提出的基于形态学特征分析的胚胎发育阶段预测系统，如图1所示，包括图像预处理模块、镜筒分割模块、胚胎主体分割模块、相对对比度特征统计模块、囊胚腔和透明带分割模块、形态学特征统计模块和发育阶段预测模块；
其中，图像预处理模块：用于对待检测的胚胎图像进行预处理，去除图像噪声并增强轮廓信息；
镜筒分割模块：用于对待检测的胚胎图像进行椭圆拟合，去除镜筒外的其他区域，以确定离散采样点的范围；
胚胎主体分割模块：用于对预处理图像分割出胚胎主体部分，排除无关区域的干扰信息，以确定离散点采样的范围；
相对对比度特征统计模块：用于统计胚胎主体内的相对对比度的特征，从而用于分割特定的囊胚腔和透明带的结构；
囊胚腔和透明带分割模块：根据统计的相对对比度特征，采用支持向量机对胚胎图像进行三分类的分割，输出图像像素掩码为囊胚腔、透明带或其他区域；
形态学特征统计模块：根据分割的透明带和囊胚腔结构，统计两区域的形态学特征并进行拼接构建特征向量；
发育阶段预测模块：根据统计的囊胚腔和透明带的形态学特征向量，使用支持向量机训练分类器得到胚胎发育预测结果，输出图像分类为1期、2期、3期、4期或5期。
下面对基于形态学特征分析的胚胎发育阶段预测系统各模块的构建过程进行说明。
（一）构建准确标注的胚胎样本数据集：
卵母细胞受精后在第5天可能根据培养条件和胚胎质量会正式进入囊胚期，收集D5~D6包含囊胚腔、内细胞团、滋养层、透明带和碎片等的囊胚期胚胎图像，在多名胚胎学家的指导下由专业医生完成胚胎图像的标注工作。经研究证实有效且被广泛应用的Gardner评价法认为，对胚胎识别发育阶段和质量等级主要观察囊胚扩张程度、内细胞团和滋养层的发育状态即可。胚胎细胞的发育阶段可以用1~5期表示，并对已经完全扩张的囊胚，分别用A，B，C级评估内细胞团和滋养层的质量分级。首先，使用LabelImg软件对胚胎图像进行像素级标注，主要分为三类分别是囊胚腔、内细胞团和滋养层，具体来说利用多边形标注各类别的轮廓即可，为每一个轮廓区域赋予一个表示类别的标签。其次，划分好不同区域的标签图像再由不同的医生随机交叉为每张胚胎图像标注准确的发育阶段和质量评级，最终胚胎图像的发育阶段和质量评级由标签一致最多的决定，以此构建具有准确标签的胚胎样本数据集，并将具有准确标签的胚胎样本数据集存储至图像数据集。
（二）图像预处理：
由于采集的胚胎图像存在一定的胚胎主体无关区域和噪声，可能会对基于深度学习的胚胎阶段识别和质量评估结果产生偏差。因此，有必要对输入的胚胎图像进行预处理。具体来说，首先使用传统的形态学图像去噪方法如膨胀、开闭运算等对原始输入图像进行边缘增强和噪声去除。
（三）镜筒分割：
胚胎图像是通过显微镜拍摄的，所以镜筒区域内外存在对比度显著的明暗区域，而对比度大的明暗区域会对后续的相对对比度特征统计带来很大的干扰，因此，进行镜筒分割，并去除掉镜筒的暗区域是必要的。具体来说，先对预处理后的图像先进行灰度化处理，并使用sobel算子检测图像的边缘信息，统计的图像边缘的梯度方向和大小，使用霍夫变换进行椭圆拟合，仅保留具有最大半径的圆作为镜筒内区域如图2所示，最外围的封闭区域为拟合的椭圆，其内部作为镜筒区域，以确定采样控制点的最大范围。
（四）胚胎主体分割：
在发育初期，胚胎主体区域较小，在原始图片中的占比过小，同时，胚胎图像中还可能存在碎片和其他胚胎主体无关的区域，可能会对分类时信息交互产生干扰。因此，在分类之前进行胚胎主体的分割很有必要。其次，划分胚胎主体是2分类的分割问题，2分类的分割比5分类的分割难度低，能降低噪声带来的干扰，具有更好的泛化性，从而提升模型的可靠性。
胚胎主体分割模块可以通过深度学习神经网络实现，包括Res-U-Net、全卷积网络（Fully Convolutional Network，FCN）和DeepLab均可以实现胚胎主体和其他部分的二分类分割。Res-U-Net的优势在于其架构简单直观，计算复杂度较低，它包含编码器和解码器，在解码器中使用了对称的跳跃连接，能够更好地保留和利用编码器中的特征信息；全卷积网络能够处理不同分辨率输入的图像，不包含上下采样过程，在卷积中保留的信息更加充分；而DeepLab引入了空洞卷积，通过不同的扩张率进行操作，可以增加网络的感受野，从而捕获更多的上下文信息。本实施例中采用Res-U-Net作为主干网络，如图3所示，输入为原图，先采用5层编码器逐渐下采样图像，提取高层次丰富的特征。然后采用4个解码器逐渐上采样恢复原图尺寸并采用跳跃连接的方式加强主要特征的映射，并通过非线性激活得到最终的胚胎主体分割结果。胚胎主体包含囊胚腔、内细胞团、滋养层和透明带，将其标签合并为一类，其余区域分割标签合并为另一类，做二分类的分割，预测每个像素的预测类别并与真实标签进行比较，计算整张图像的平均交叉熵损失，损失函数L CE可以表示为：
其中表示像素类别数，/>表示第/>个样本中像素/>的真实类别，/>表示模型预测该像素的预测类别概率分布。
（五）相对对比度特征统计：
胚胎发育阶段分类精度取决于对透明带和囊胚腔区域的准确识别和特征挖掘。首先如图4所示，镜筒区域最外围的圆内与透明带区域圆外构成环形区域Q1，胚胎主体即透明带区域圆内构成环形区域Q2，Q1与Q2中的透明带和囊胚腔区域内的对比度存在显著的差异，因此，统计胚胎主体内所有的像素相对于环形区域Q1的相对对比度特征，可以用来准确的分割出特定的透明带和囊胚腔区域。这样设计的特征符合医生判定胚胎图像的方法，即通过不同区域内像素值的对比和差异来判定不同的结构。
具体来说，相对对比度特征统计模块统计在镜筒区域内和胚胎主体外所构成的环形区域内即Q1内随机采样512个控制点如图4中的圆点，在胚胎主体内的每个像素点分别与这512个控制点逐像素值做差构成512维向量，作为胚胎主体内每个像素的相对对比度特征，以用于使用支持向量机训练模型。其中判定不同的区域使用之前模块所构建的分割掩码即可。512个控制点集合可以表示为，其中x，y分别表示点的横纵坐标，g表示/>对应像素的灰度值，胚胎主体内每个像素的相对对比度特征可以表示为/>，以用于使用支持向量机训练模型。
（六）囊胚腔和透明带分割模块：
囊胚腔和透明带分割模块采用上述统计的相对对比度特征，使用支持向量机训练一个分类器，分别表示胚胎主体内像素属于囊胚腔、透明带或其他区域。其中训练的损失函数采用三分类的交叉熵损失，表示为：
其中表示像素类别数，/>表示第/>个样本中像素/>的真实类别，/>表示模型预测该像素的预测类别概率分布。
（七）形态学特征统计：
形态学特征统计模块分别在透明带和囊胚腔结构上采集符合人类经验判定的特征构建期形态学特征，以用于胚胎阶段的预测。具体来说，根据分割掩码，透明带一般为环形带，统计的透明带5维形态学特征分别为沿环形带的梯度方向统计环形带的带宽的均值W1，带宽中最宽处与最窄处的差值W2， 环形带的面积A，环形带的内外环的周长和S1，环形带的内外环的周长差S2，记为。同时，根据囊胚腔的掩码信息，统计囊胚腔的3维形态学特征分别为囊胚腔区域的面积A，囊胚腔区域的周长S，同时使用椭圆拟合囊胚腔区域计算长轴与短轴的比例P，记为/>。所构建的形态学特征维透明带的5维向量拼接囊胚腔的3维向量，共构成8维向量记为/>作为图像的特征，用于胚胎发育阶段的分类预测。
（八）发育阶段预测
发育阶段预测模块采用上述的形态学统计特征使用支持向量机训练分类器，得到最终的发育阶段预测结果。其中训练的损失函数为多分类的交叉熵损失，表示为：
其中N表示样本数，表示第i个样本的真实标签，为5维独热编码格式，/>表示第i个样本的预测概率。
（九）系统训练测试：
1、图像数据预处理
将收集的数据集以6：2：2的比例划分为训练集，验证集和测试集。使用形态学方法如膨胀腐蚀、开闭运算去除图像中的噪声点和增强图像的边缘信息，将增强后的图像尺寸统一缩放到500×500。镜筒分割模块先对预处理的图像进行灰度化处理，并使用sobel算子检测图像的边缘信息，统计的图像边缘的梯度方向和大小，使用霍夫变换进行椭圆拟合，仅保留具有最大半径的圆作为镜筒内区域，确定数据集中每张图像的镜筒内区域。
2、模型训练阶段
胚胎主体分割模块的网络模型使用Res-U-Net，使用在ImageNet上的预训练模型初始化参数设置，训练过程的参数设置学习率为1e-4，权重衰减率为5e-4，所有训练集共迭代200次。胚胎标注中的内细胞团、滋养层、囊胚腔、透明带像素级标签分别为1类表示胚胎主体，其他区域合并为1类，做2分类的分割，提取胚胎的主体部位用于分类。训练过程的损失函数设置为2分类逐像素的平均交叉熵损失。
3、模型测试阶段
将测试集中的胚胎图像同样进行形态学处理后分别送入训练好的镜筒分割模块、胚胎主体分割模块、相对对比度特征统计模块、囊胚腔和透明带分割模块、形态学特征统计模块和发育阶段预测模块的网络模型中测试，分别得到胚胎发育阶段镜筒分割结果、胚胎主体分割、透明带和囊胚腔分割结果和发育阶段预测的结果，输出图像分类为1期、2期、3期、4期或5期，胚胎发育阶段预测的结果如图5所示。
本发明还提出一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现上述的基于主体分割的胚胎发育阶段预测与质量评估系统。
本说明书未作详细描述的内容属于本领域专业技术人员公知的现有技术。
最后需要说明的是，以上具体实施方式仅用以说明本专利技术方案而非限制，尽管参照较佳实施例对本专利进行了详细说明，本领域的普通技术人员应当理解，可以对本专利的技术方案进行修改或者等同替换，而不脱离本专利技术方案的精神和范围，其均应涵盖在本专利的权利要求范围当中。
Claims (10)
1.一种基于形态学特征分析的胚胎发育阶段预测系统，其特征在于：所述系统包括图像预处理模块、镜筒分割模块、胚胎主体分割模块、相对对比度特征统计模块、囊胚腔和透明带分割模块、形态学特征统计模块和发育阶段预测模块；
其中，所述图像预处理模块：用于对待检测的胚胎图像进行预处理，去除图像噪声并增强轮廓信息；
所述镜筒分割模块：用于对经过预处理的胚胎图像进行椭圆拟合，形成镜筒图像，去除镜筒外的其他区域；
所述胚胎主体分割模块：用于对镜筒图像分割出胚胎主体部分，排除无关区域的干扰信息，以确定离散点采样的范围；
所述相对对比度特征统计模块：用于统计胚胎主体内的相对对比度的特征，根据透明带内外区域的像素值的显著差异区分透明带和囊胚腔的不同区域，从而分割特定的囊胚腔和透明带的结构；
所述囊胚腔和透明带分割模块：根据统计的相对对比度特征，采用支持向量机对胚胎图像进行三分类的分割，输出图像像素掩码为囊胚腔、透明带或其他区域；
所述形态学特征统计模块：根据分割的透明带和囊胚腔结构，计算两区域的形态学特征并进行拼接构建特征向量；
所述发育阶段预测模块：根据统计的囊胚腔和透明带的形态学特征向量，使用支持向量机训练分类器得到胚胎发育预测结果。
2.根据权利要求1所述的一种基于形态学特征分析的胚胎发育阶段预测系统，其特征在于：所述镜筒分割模块对预处理后的图像先进行灰度化处理，并使用sobel算子检测图像的边缘信息，统计图像边缘的梯度方向和大小，使用霍夫变换进行椭圆拟合，仅保留具有最大半径的圆作为镜筒内区域，以确定采样控制点的最大范围。
3.根据权利要求1所述的一种基于形态学特征分析的胚胎发育阶段预测系统，其特征在于：所述胚胎主体分割网络采用Res-U-Net或全卷积网络或DeepLab为主干网络，使用二分类平均交叉熵损失约束，表示为：
其中表示像素类别数，/>表示第/>个样本中像素/>的真实类别，/>表示模型预测该像素的预测类别概率分布，N表示图像中的像素总数量。
4.根据权利要求1所述的一种基于形态学特征分析的胚胎发育阶段预测系统，其特征在于：所述相对对比度特征统计模块在镜筒区域内和胚胎主体外所构成的环形区域内随机采样若干个个控制点，在胚胎主体内的每个像素点分别与控制点逐像素值做差构成对应维度的维向量，作为胚胎主体内每个像素的相对对比度特征，以用于使用支持向量机训练模型。
5.根据权利要求1所述的一种基于形态学特征分析的胚胎发育阶段预测系统，其特征在于：所述形态学特征统计模块构建的透明带和囊胚腔结构的形态学特征包括透明带的5维向量拼接囊胚腔的3维向量，共构成8维向量作为图像的特征，其中透明带的5维形态学特征分别为沿环形带的梯度方向统计环形带的带宽的均值W1、带宽中最宽处与最窄处的差值W2、 环形带的面积A1、环形带的内外环的周长和S1、环形带的内外环的周长差S2；统计囊胚腔的3维形态学特征分别为囊胚腔区域的面积A、囊胚腔区域的周长S和使用椭圆拟合囊胚腔区域计算长轴与短轴的比例P。
6.根据权利要求1所述的一种基于形态学特征分析的胚胎发育阶段预测系统，其特征在于：所述发育阶段预测模块训练的损失函数为多分类的交叉熵损失，损失函数L表示为：
其中N表示图像中的像素总数量，表示第i个样本的真实标签，为5维独热编码格式，表示第i个样本的预测概率。
7.一种基于形态学特征分析的胚胎发育阶段预测方法，其特征在于：所述方法包括步骤：
S1对待检测的胚胎图像进行预处理，去除图像噪声并增强轮廓信息；
S2对经过预处理的胚胎图像进行椭圆拟合，形成镜筒图像，去除镜筒外的其他区域；
S3对镜筒图像分割出胚胎主体部分，排除无关区域的干扰信息，以确定离散点采样的范围；
S4根据透明带内外区域的像素值的显著差异区分透明带和囊胚腔的不同区域，分割囊胚腔和透明带的结构，统计胚胎主体内的相对对比度的特征；
S5根据统计的相对对比度特征，采用支持向量机对胚胎图像进行三分类的分割，输出图像像素掩码为囊胚腔、透明带或其他区域；
S6根据分割的透明带和囊胚腔结构，构建的透明带和囊胚腔结构的形态学特征，计算两区域的形态学特征并进行拼接构建特征向量；
S7根据统计的囊胚腔和透明带的形态学特征向量，使用支持向量机训练分类器得到胚胎发育预测结果。
8.根据权利要求7所述的一种基于形态学特征分析的胚胎发育阶段预测方法，其特征在于：步骤S2中对经过预处理的胚胎图像先进行灰度化处理，并使用sobel算子检测图像的边缘信息，统计图像边缘的梯度方向和大小，使用霍夫变换进行椭圆拟合，仅保留具有最大半径的圆作为镜筒内区域，以确定采样控制点的最大范围。
9.根据权利要求7所述的一种基于形态学特征分析的胚胎发育阶段预测方法，其特征在于：步骤S4中在镜筒区域内和胚胎主体外所构成的环形区域内随机采样若干个个控制点，在胚胎主体内的每个像素点分别与控制点逐像素值做差构成对应维度的维向量，作为胚胎主体内每个像素的相对对比度特征，以用于使用支持向量机训练模型。
10.根据权利要求7所述的一种基于形态学特征分析的胚胎发育阶段预测方法，其特征在于：步骤S6中构建的透明带和囊胚腔结构的形态学特征包括透明带的5维向量拼接囊胚腔的3维向量，共构成8维向量作为图像的特征，其中透明带的5维形态学特征分别为沿环形带的梯度方向统计环形带的带宽的均值W1、带宽中最宽处与最窄处的差值W2、 环形带的面积A1、环形带的内外环的周长和S1、环形带的内外环的周长差S2；统计囊胚腔的3维形态学特征分别为囊胚腔区域的面积A、囊胚腔区域的周长S和使用椭圆拟合囊胚腔区域计算长轴与短轴的比例P。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311141459.9A CN116869489A (zh) | 2023-09-06 | 2023-09-06 | 基于形态学特征分析的胚胎发育阶段预测系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311141459.9A CN116869489A (zh) | 2023-09-06 | 2023-09-06 | 基于形态学特征分析的胚胎发育阶段预测系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116869489A true CN116869489A (zh) | 2023-10-13 |
Family
ID=88271853
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311141459.9A Pending CN116869489A (zh) | 2023-09-06 | 2023-09-06 | 基于形态学特征分析的胚胎发育阶段预测系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116869489A (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009072155A (ja) * | 2007-09-21 | 2009-04-09 | National Institute Of Advanced Industrial & Technology | 細胞状態同期化法 |
| CN103748216A (zh) * | 2011-05-31 | 2014-04-23 | 尤尼森斯繁殖技术公司 | 基于卵裂球的卵裂和形态的胚胎质量评估 |
| US20150079621A1 (en) * | 2012-09-13 | 2015-03-19 | Purdue Research Foundation | Motility-Contrast Imaging for Oocyte and Embryo Viability Assessment |
| CN104755608A (zh) * | 2012-08-30 | 2015-07-01 | 尤尼森斯繁殖技术公司 | 体外培养胚胎的自动化监控 |
| CN104778711A (zh) * | 2015-04-27 | 2015-07-15 | 厦门大学 | 一种卵裂阶段的细胞计数定位方法 |
| CN106022250A (zh) * | 2016-05-17 | 2016-10-12 | 华中科技大学 | 一种基于细胞运动信息和灰度特性的胚胎分裂检测方法 |
| US20220301155A1 (en) * | 2021-03-18 | 2022-09-22 | SCREEN Holdings Co., Ltd. | Fertilized egg development stage determination method, recording medium, imaging method and imaging apparatus |
| WO2022259028A1 (en) * | 2021-06-11 | 2022-12-15 | Fairtility Ltd. | Methods and systems for embryo classification |
| US20230018456A1 (en) * | 2020-01-21 | 2023-01-19 | Fairtility Ltd. | Methods and systems for determining optimal decision time related to embryonic implantation |
-
2023
- 2023-09-06 CN CN202311141459.9A patent/CN116869489A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009072155A (ja) * | 2007-09-21 | 2009-04-09 | National Institute Of Advanced Industrial & Technology | 細胞状態同期化法 |
| CN103748216A (zh) * | 2011-05-31 | 2014-04-23 | 尤尼森斯繁殖技术公司 | 基于卵裂球的卵裂和形态的胚胎质量评估 |
| CN104755608A (zh) * | 2012-08-30 | 2015-07-01 | 尤尼森斯繁殖技术公司 | 体外培养胚胎的自动化监控 |
| US20150079621A1 (en) * | 2012-09-13 | 2015-03-19 | Purdue Research Foundation | Motility-Contrast Imaging for Oocyte and Embryo Viability Assessment |
| CN104778711A (zh) * | 2015-04-27 | 2015-07-15 | 厦门大学 | 一种卵裂阶段的细胞计数定位方法 |
| CN106022250A (zh) * | 2016-05-17 | 2016-10-12 | 华中科技大学 | 一种基于细胞运动信息和灰度特性的胚胎分裂检测方法 |
| US20230018456A1 (en) * | 2020-01-21 | 2023-01-19 | Fairtility Ltd. | Methods and systems for determining optimal decision time related to embryonic implantation |
| US20220301155A1 (en) * | 2021-03-18 | 2022-09-22 | SCREEN Holdings Co., Ltd. | Fertilized egg development stage determination method, recording medium, imaging method and imaging apparatus |
| WO2022259028A1 (en) * | 2021-06-11 | 2022-12-15 | Fairtility Ltd. | Methods and systems for embryo classification |
Non-Patent Citations (1)
| Title |
|---|
| "Automatic segmentation of zona pellucida in HMC images of human embryos", PROCEEDINGS OF THE 17TH INTERNATIONAL CONFERENCE ON PATTERN RECOGNITION, 2004. ICPR 2004., pages 1051 - 4651 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20220198657A1 (en) | Method and system for selecting embryos | |
| CN108090906B (zh) | 一种基于区域提名的宫颈图像处理方法及装置 | |
| CN112215800B (zh) | 基于机器学习的重叠染色体识别和分割方法 | |
| CN112257704A (zh) | 基于深度学习检测模型子宫颈液基细胞数字图像分类方法 | |
| CN108537751B (zh) | 一种基于径向基神经网络的甲状腺超声图像自动分割方法 | |
| CN108564114B (zh) | 一种基于机器学习的人体粪便白细胞自动识别方法 | |
| CN111539330B (zh) | 一种基于双svm多分类器的变电站数显仪表识别方法 | |
| US11210494B2 (en) | Method and apparatus for segmenting cellular image | |
| Kheradmand et al. | Inner cell mass segmentation in human hmc embryo images using fully convolutional network | |
| CN112508955A (zh) | 基于深度神经网络对活体细胞形态检测的方法及相关产品 | |
| CN113223614A (zh) | 一种染色体核型分析方法、系统、终端设备和存储介质 | |
| CN112036384B (zh) | 精子头部形态识别方法、装置及设备 | |
| CN113256624A (zh) | 连铸圆坯缺陷检测方法、装置、电子设备及可读存储介质 | |
| CN114648806A (zh) | 一种多机制自适应的眼底图像分割方法 | |
| CN109166092A (zh) | 一种图像缺陷检测方法及系统 | |
| US20230044794A1 (en) | Neural network training device, system and method | |
| CN112598031A (zh) | 一种蔬菜病害检测方法及系统 | |
| CN110991374B (zh) | 一种基于rcnn的指纹奇异点检测方法 | |
| CN115761834A (zh) | 人脸识别的多任务混合模型和人脸识别方法 | |
| CN115862045A (zh) | 基于图文识别技术的病例自动识别方法、系统、设备及存储介质 | |
| Silva-Rodríguez et al. | Predicting the success of blastocyst implantation from morphokinetic parameters estimated through CNNs and sum of absolute differences | |
| CN116883996B (zh) | 基于旋转等变网络的胚胎发育阶段预测与质量评估系统 | |
| CN112257730A (zh) | 植物害虫图像识别方法、装置、设备及存储介质 | |
| CN116869489A (zh) | 基于形态学特征分析的胚胎发育阶段预测系统及方法 | |
| CN115423802A (zh) | 基于深度学习的鳞状上皮肿瘤细胞图片自动分类分割方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |