CN116958710A - 基于环形特征统计的胚胎发育阶段预测方法及系统 - Google Patents
基于环形特征统计的胚胎发育阶段预测方法及系统 Download PDFInfo
- Publication number
- CN116958710A CN116958710A CN202311123761.1A CN202311123761A CN116958710A CN 116958710 A CN116958710 A CN 116958710A CN 202311123761 A CN202311123761 A CN 202311123761A CN 116958710 A CN116958710 A CN 116958710A
- Authority
- CN
- China
- Prior art keywords
- embryo
- image
- stage
- main body
- classification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 230000013020 embryo development Effects 0.000 title claims abstract description 33
- 210000001161 mammalian embryo Anatomy 0.000 claims abstract description 139
- 230000011218 segmentation Effects 0.000 claims description 59
- 238000013145 classification model Methods 0.000 claims description 36
- 210000000625 blastula Anatomy 0.000 claims description 28
- 238000011161 development Methods 0.000 claims description 26
- 230000018109 developmental process Effects 0.000 claims description 26
- 210000002993 trophoblast Anatomy 0.000 claims description 25
- 210000004027 cell Anatomy 0.000 claims description 24
- 238000012549 training Methods 0.000 claims description 19
- 210000004340 zona pellucida Anatomy 0.000 claims description 18
- 230000003993 interaction Effects 0.000 claims description 15
- 230000007246 mechanism Effects 0.000 claims description 15
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 14
- 238000007781 pre-processing Methods 0.000 claims description 14
- 238000002372 labelling Methods 0.000 claims description 9
- 239000000284 extract Substances 0.000 claims description 8
- 230000004927 fusion Effects 0.000 claims description 8
- 230000002708 enhancing effect Effects 0.000 claims description 7
- 230000006870 function Effects 0.000 claims description 7
- 238000005065 mining Methods 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 6
- 230000004913 activation Effects 0.000 claims description 5
- 238000010276 construction Methods 0.000 claims description 5
- 238000013135 deep learning Methods 0.000 claims description 5
- 238000009826 distribution Methods 0.000 claims description 5
- 230000002776 aggregation Effects 0.000 claims description 4
- 238000004220 aggregation Methods 0.000 claims description 4
- 238000013528 artificial neural network Methods 0.000 claims description 4
- 238000009412 basement excavation Methods 0.000 claims description 4
- 210000000746 body region Anatomy 0.000 claims description 3
- 230000001788 irregular Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 2
- 230000035945 sensitivity Effects 0.000 claims description 2
- 230000000630 rising effect Effects 0.000 claims 1
- 230000008569 process Effects 0.000 description 8
- 210000002459 blastocyst Anatomy 0.000 description 5
- 210000002257 embryonic structure Anatomy 0.000 description 5
- 230000000877 morphologic effect Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 3
- 239000012634 fragment Substances 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000012447 hatching Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000011712 cell development Effects 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 210000002308 embryonic cell Anatomy 0.000 description 1
- 230000004720 fertilization Effects 0.000 description 1
- 238000000338 in vitro Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000009828 non-uniform distribution Methods 0.000 description 1
- 210000000287 oocyte Anatomy 0.000 description 1
- 230000035935 pregnancy Effects 0.000 description 1
- 238000001303 quality assessment method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000002054 transplantation Methods 0.000 description 1
- 210000000143 trophectoderm cell Anatomy 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于环形特征统计的胚胎发育阶段预测方法及系统，通过提取胚胎图像中特征信息，对图像中胚胎发育阶段进行预测，本方法以中心点为圆心划多个同心圆，通过细分类模型在不同半径的同心圆上随机采集固定个数的点，抽取并拼接各点对应的特征进行提取，得到胚胎图像1~5期的细分类结果。本发明针对特定的圆形结构主体，提出了多尺度环形特征统计的方法以环为单位提取的特征具有良好的可解释性，环形特征可以直观的建立输入和网络模型内部工作原理的联系，提升模型决策的可信度提取到更有表征性的特征。
Description
技术领域
本发明涉及人工智能技术领域，具体地指一种基于环形特征统计的胚胎发育阶段预测方法及系统。
背景技术
胚胎发育的好坏直接影响妊娠率的结果，胚胎学家依靠胚胎形态学和基因学两种主要途径对胚胎的好坏进行判别，其中利用基因学手段判别胚胎好坏需要具备极高的实验条件，而利用胚胎形态学信息完成胚胎的评判是一种简单快速有效的方法。目前，大多数胚胎学家基于囊胚期胚胎的形态学特征对胚胎的优劣进行判别，筛选出优质胚胎进行移植。在这些形态学特征中，囊胚腔、内细胞团和滋养层等特征是医生对胚胎好坏评分的极其重要的因素，因此，利用计算机建立视觉模型帮助医生快速准确地对囊胚腔、内细胞团和滋养层等特征进行预测是一个极具意义的研究方向。然而，目前利用机器学习对胚胎特征的准确识别与质量评估还存在以下几个问题：
（1）基于机器学习或深度学习的胚胎评估方法均需从准确标注的样本信息中学习共性或规律作为先验知识。然而，胚胎标注信息的准确性取决于医生的主观判断和经验，不同医生对同一胚胎数据的判别可能会存在差异。因此，构建准确标注的胚胎样本数据集是一个基本问题；
（2）在发育初期，胚胎主体区域较小，在原始图片中的占比过小，同时，胚胎图像中还可能存在碎片和其他胚胎主体无关的区域，可能会对发育阶段预测时信息交互产生干扰。另一方面，胚胎发育阶段一步到位分类是一个5分类问题，类别数越多，决策边界越难精确判定，发生误分类的概率越大。因此，设计有效的分类框架是一个值得研究的问题。
（3）针对胚胎细胞这一特殊的具有圆形结构的图像，普通的卷积核对圆形结构显著的特征提取存在一定的局限性。卷积核具有有限的感受野，通常考虑局部邻域的特征交互，同时卷积通常是在规则的方形网格上的，而发育阶段分类时依据的结构是环形结构，其局部像素通常包含其他结构，很容易混入噪声，进而对分类的精度产生影响。因此，设计独特并有效的特征挖掘方式是一个值得关注的问题。
发明内容
本发明针对现有技术的不足之处，提出一种基于环形特征统计的胚胎发育阶段预测方法及系统，通过挖掘可解释性且表征性更好的环形特征，有效提升胚胎发育阶段预测的准确率。
为实现上述目的，本发明设计的一种基于环形特征统计的胚胎发育阶段预测方法，其特殊之处在于，
所述方法通过提取胚胎图像中特征信息，对图像中胚胎发育阶段进行预测，包括如下步骤：
S1采集胚胎图像样本数据集，所述胚胎图像样本数据集包括经过标注的图像数据，图像数据包含囊胚腔、内细胞团、滋养层、透明带的发育期标注；
S2对待检测的胚胎图像进行预处理，去除图像噪声并增强轮廓信息；
S3将经过预处理的胚胎图像输入至经过训练的胚胎主体分割模型，模型将具有标注信息的囊胚腔、内细胞团、滋养层和透明带合并为胚胎主体部分进行分割，得到分割区域图像和分割掩码；
S4将所述分割区域图像和分割掩码输入至经过训练的细分类模型，所述细分类模型以中心点为圆心划多个同心圆，所述中心点为图像中胚胎主体分割掩码的中心位置，所述细分类模型在不同半径的同心圆上随机采集固定个数的点，抽取并拼接各点对应的特征进行提取，并根据所提取的特征输出1~5期的细分类结果。
优选地，步骤S4之前还包括粗分类步骤：将所述分割区域图像输入至经过训练的粗分类模型，所述粗分类模型提取胚胎主体区域分别做带掩码的自注意力的信息交互和聚合，对经过胚胎主体分割的胚胎主体图像进行1~2期、3~5期的二分类识别或1期、2期、3~5期的三分类识别。
优选地，所述粗分类模型以ResNet-50作为主干网络，对输入分割之后的特定区域的不规则图像，逐像素通过多层感知机升维，使用注意力机制进行图之间的信息挖掘，使用多层残差块进行特征交互，得到特定区域内充分交互的信息；另一分支在原图上使用卷积和多层残差块提取特征并进行一次平均池化；根据掩码对应位置将特定区域的掩码拼接到对应的原图卷积的特征后，对没有掩码信息的复制一份原图卷积的特征，经过一次特征融合后回归出图像的粗分类结果。
优选地，所述细分类模型以带注意力的Res-U-Net的编码器提取多尺度特征图，结合环形特征统计和自注意力机制，损失函数采用二分类或三分类的交叉熵损失。
优选地，所述细分类模型的处理步骤为：
S41分别通过权重不共享的ResNet-50的两个残差块提取原图的特征和边缘图的信息；
S42做自注意力机制提取边缘敏感的边缘特征挖掘，并使用两个残差块和一个平均池化层分别得到原图和边缘图对应的特征；
S43使用特征融合模块即对应像素特定拼接，将原图和边缘图的特征融合起来；
S44使用一个残差块、一个全连接层，一个非线性激活层得到最终的细分类结果。
优选地，所述胚胎主体分割模型采用Res-U-Net为主干网络，将具有标注信息的囊胚腔、内细胞团、滋养层和透明带合并为胚胎主体部分，使用二分类平均交叉熵损失约束胚胎主体分割网络，表示为：
其中表示像素类别数，/>表示第/>个样本中像素/>的真实类别，/>表示模型预测该像素的预测类别概率分布，N表示图像中的像素总数量。
优选地，步骤S2预处理阶段中统计每个阶段所有图像数据的透明带在1~5期的相对环长半径，作为细分类模型训练时相对环长半径的超参数选用依据。
本发明还提出一种基于环形特征统计的胚胎发育阶段预测系统，其特殊之处在于，所述系统包括：
图像数据集构建模块：用于存储胚胎图像样本数据集，所述胚胎图像样本数据集包括经过标注的图像数据，图像数据包含囊胚腔、内细胞团、滋养层、透明带的发育期标注；
图像预处理模块：用于对待检测的胚胎图像进行预处理，去除图像噪声并增强轮廓信息；
胚胎主体分割模块：用于对预处理图像分割出胚胎主体部分，输出分割区域图像和分割掩码；
发育阶段细分类模块：用于对分割区域图像进行分类识别，采用基于环形特征统计的深度学习神经网络结构，以提取待检测图像中的特征，输出图像为1期、2期、3期、4期或5期。
进一步地，所述系统还包括发育阶段粗分类模块，用于对经过胚胎主体分割的胚胎主体图像进行1~2期、3~5期的二分类识别或1期、2期、3~5期的三分类识别，并将识别为3~5期的分割区域图像和分割掩码输入至发育阶段细分类模块，对于识别为1~2期或1期、2期的分割区域图像直接输出分类结果。
更进一步地，所述发育阶段细分类模块以残差特征金字塔网络为主干网络提取多尺度特征图，结合环形特征统计和自注意力机制，其损失函数的具体形式为：
其中，是调节因子，是一个超参数；/>表示预测类别与真实类别的接近程度，越大，表示分类越准确。
本发明提出的基于环形特征统计的胚胎发育阶段预测方法及系统，其有益效果包括：
1、本发明采用通过排除胚胎图像主体无关区域的干扰从而提升粗分类的精度；
2、本发明采用基于先胚胎主体分割后分类的方法可以通过在信息丰富区域内挖掘图像的细节信息提升分类的精度和挖掘可解释性更好的环形特征提升分类的可靠性；
3、本发明针对特定的圆形结构主体，提出了多尺度环形特征统计的方法以环为单位提取的特征具有良好的可解释性，环形特征可以直观的建立输入和网络模型内部工作原理的联系，提升模型决策的可信度提取到更有表征性的特征。
4、本发明完成囊胚腔、内细胞团、滋养层、透明带的标注，以及根据标注信息给胚胎样本数据准确的标签信息以构建准确标注的大量胚胎样本数据集。
附图说明
图1为本发明基于环形特征统计的胚胎发育阶段预测方法的流程图；
图2为胚胎主体分割模型网络结构的示意图；
图3为不同发育时期的胚胎图像；
图4为粗分类模型网络结构图；
图5为细分类模型网络结构图；
图6为胚胎主体分割结果示意图；
图7为胚胎发育阶段粗预测的预测结果图；
图8为胚胎发育阶段细预测的预测结果图。
具体实施方式
以下结合附图和具体实施例对本发明作进一步的详细描述。
本发明提出的基于环形特征统计的胚胎发育阶段预测方法，该方法通过提取胚胎图像中特征信息，对图像中胚胎发育阶段进行预测，如图1所示，本方法包括如下步骤：
S1采集胚胎图像样本数据集，胚胎图像样本数据集包括经过标注的图像数据，图像数据包含囊胚腔、内细胞团、滋养层、透明带的发育期标注；
S2对待检测的胚胎图像进行预处理，去除图像噪声并增强轮廓信息；
S3将经过预处理的胚胎图像输入至经过训练的胚胎主体分割模型，模型将具有标注信息的囊胚腔、内细胞团、滋养层和透明带合并为胚胎主体部分进行分割，得到分割区域图像和分割掩码；
S4将分割区域图像输入至经过训练的粗分类模型，粗分类模型提取胚胎主体区域分别做带掩码的自注意力的信息交互和聚合，对经过胚胎主体分割的胚胎主体图像进行1~2期、3~5期的二分类识别或1期、2期、3~5期的三分类识别；
S5将分割区域图像和分割掩码输入至经过训练的细分类模型，细分类模型以中心点为圆心划多个同心圆，中心点为图像中胚胎主体分割掩码的中心位置，细分类模型在不同半径的同心圆上随机采集固定个数的点，抽取并拼接各点对应的特征进行提取，并根据所提取的特征输出1~5期或3、4、5期的细分类结果。
本方法以胚胎主体分割掩码中心点为圆心，采用若干相对半径划取同心圆，在不同的同心环上随机采集固定个数的点，在Res-FPN网络得到的原图特征上抽取对应点的特征作为初始特征，使用多层感知机和带注意力机制的残差块进行特征交互，将对应点的特征与原图中胚胎的形态、囊胚腔的大小、透明带的厚度等特征进行融合，依次经过残差块、全连接层和非线性激活得到1-5期分类结果。
在融合之前，本方法所提出的基于环形采样的特征点能使用先验统计的相对半径下保证特征点属于特定的区域如囊胚腔、透明带和滋养层，这种基于环形采样的离散特征，限定范围之间的交互可以避免噪声信息的干扰，提取出不同时期判定结构所需要的精准特征，同时不同时期的囊胚腔、透明带和滋养层有一定的差异性，所以不同时期的精准特征也具有较大的差别，以此来区分1-5期的胚胎。例如，1期囊胚刚刚产生囊胚腔，提取得到的囊胚腔的大小特征远远低于其他时期，而5期囊胚处于滋养外胚层细胞孵出阶段，提取的胚胎特征呈现“8”字状，与其他时期的胚胎形态大不相同。
基于上述方法，本发明提出了基于环形特征统计的胚胎发育阶段预测系统，该系统包括图像数据集构建模块、图像预处理模块、胚胎主体分割模块、发育阶段粗分类模块、发育阶段细分类模块。其中，
图像数据集构建模块：存储胚胎图像样本数据集，胚胎图像样本数据集中的图像数据包含囊胚腔、内细胞团、滋养层、透明带的发育期标注；
图像预处理模块：用于对待检测的胚胎图像进行预处理，去除图像噪声并增强轮廓信息，并统计每个阶段所有数据的透明带等在1~5期的相对环长半径；
胚胎主体分割模块：用于对经过预处理的待检测图像进行胚胎主体部分的分割，即合并囊胚腔、内细胞团、滋养层和透明带为胚胎主体部分，回归出胚胎主体部分的掩码信息；
发育阶段粗分类模块：用于对经过预处理的待检测图像进行1~2期、3~5期的二分类识别或1期、2期、3~5期的三分类识别，采用加入旋转等变网络的深度学习神经网络结构，以提取待检测图像中的丰富的特征；
发育阶段细分类模块：用于分别对1~2期、3~5期的待检测图像进行分类识别，输出分类图像为1期、2期、3期、4期或5期。采用基于环形特征统计的深度神经网络提取可解释性和表征性好的特征。
下面对胚胎发育阶段预测方法及系统中各模块的构建过程进行说明。
（一）构建准确标注的胚胎样本数据集：
卵母细胞受精后在第5天可能根据培养条件和胚胎质量会正式进入囊胚期，收集D5~D6包含囊胚腔、内细胞团、滋养层、透明带和碎片等的囊胚期胚胎图像，在多名胚胎学家的指导下由专业医生完成胚胎图像的标注工作。经研究证实有效且被广泛应用的Gardner评价法认为，对胚胎识别发育阶段主要观察囊胚扩张程度、内细胞团和滋养层的发育状态即可。胚胎细胞的发育阶段可以用1~5期表示，并对已经完全扩张的囊胚，分别用A，B，C级评估内细胞团和滋养层的质量分级。胚胎细胞的发育阶段分期以Gardner和Schoolcraft襄胚评分系统为基础，结合2016年体外受精-胚胎移植实验室操作专家共识，根据囊胚扩张程度和孵出状态将评级分为6个期别囊胚分期标准（如表1所示），而本发明针对囊胚期胚胎图像进行前1~5期标注，用于AI模型对囊胚期胚胎图像进行分期识别。
表1 囊胚期分期标准
注：a示通常透明带厚度＜5μm
首先，使用LabelImg软件对胚胎图像进行像素级标注，主要分为三类分别是囊胚腔、内细胞团和滋养层，具体来说利用多边形标注各类别的轮廓即可，为每一个轮廓区域赋予一个表示类别的标签。其次，划分好不同区域的标签图像再由不同的医生随机交叉为每张胚胎图像标注准确的发育阶段，最终胚胎图像的发育阶段由标签一致最多的决定，以此构建具有准确标签的胚胎样本数据集，并将具有准确标签的胚胎样本数据集存储至图像数据集构建模块。
（二）图像预处理：
由于采集的胚胎图像存在一定的胚胎主体无关区域和噪声，可能会对基于深度学习的胚胎阶段识别评估结果产生偏差。因此，有必要对输入的胚胎图像进行预处理。具体来说，图像预处理模块首先使用传统的形态学图像去噪方法如膨胀、开闭运算等对原始输入图像进行边缘增强和噪声去除。
将胚胎样本数据集中收集的数据集以6：2：2的比例划分为训练集，验证集和测试集。使用形态学方法如膨胀腐蚀、开闭运算去除图像中的噪声点和增强图像的边缘信息，将增强后的图像尺寸统一缩放到500×500，计算并保留Canny边缘检测的边缘图。
同时统计每个阶段所有图像数据的透明带在1~5期的相对环长半径，以保证在训练时选用的相对半径的超参数的合理性。
（三）胚胎主体分割：
在发育初期，胚胎主体区域较小，在原始图片中的占比过小，同时，胚胎图像中还可能存在碎片和其他胚胎主体无关的区域，可能会对分类时信息交互产生干扰。因此，胚胎主体分割模块在粗分类之前进行胚胎主体的分割很有必要。其次，划分胚胎主体是2分类的分割问题，2分类的分割比5分类的分割难度低，能降低噪声带来的干扰，具有更好的泛化性，从而提升模型的可靠性。
胚胎主体分割模型/胚胎主体分割模块的网络结构采用Res-U-Net作为主干网络如图2所示，输入为原图，先采用5层编码器逐渐下采样图像，提取高层次丰富的特征。然后采用4个解码器逐渐上采样恢复原图尺寸并采用跳跃连接的方式加强主要特征的映射，并通过非线性激活得到最终的胚胎主体分割结果。胚胎主体包含囊胚腔、内细胞团、滋养层和透明带，将其标签合并为一类，其余区域分割标签合并为另一类，做二分类的分割，预测每个像素的预测类别并与真实标签进行比较，计算整张图像的平均交叉熵损失，可以表示为：
其中表示像素类别数，/>表示第/>个样本中像素/>的真实类别，/>表示模型预测该像素的预测类别概率分布，N表示图像中的像素总数量。
（三）发育阶段粗分类：
胚胎发育阶段分类精度取决于高层全局语义特征和底层细节特征的挖掘。首先，如图3所示，1~2期和3~5期胚胎图像区分往往是在宏观上的，反映到图像的分类问题上，根本决定了分类是依赖于全局特征。其次，来自于相邻发育阶段的分类往往靠细节区分。然而，一步到位的分类既要考虑保留底层细节特征，也要保留高层全局语义特征，这是机器学习和计算机视觉中极具挑战的问题。因此，本发明采用解耦的两阶段先粗分后细分框架，即先用全局特征二分类，再用细节特征进行相邻阶段的分类，以提升相邻阶段分类的精度。
本发明提出的粗分类模型/粗分类模块以ResNet-50作为主干网络，结合自注意力机制，取胚胎主体区域分别做带掩码的自注意力的信息交互和聚合。在分割后的胚胎主体区域使用多层感知机逐步将特征升维记为，然后进行自注意力机制进行特征交互和融合：
，
其中表示掩码M中的像素，/>分别表示对应像素/>的特征，/>为可学习的权重矩阵，/>表示查询矩阵，/>分别表示键矩阵和值矩阵，/>表示非线性的偏置，那么自注意力的权重可以表示为
表示键向量的维度
进行自注意力之后的特征可以更新为
上式中表示特征拼接操作，/>表示构建图卷积时的边，/>表示自注意力的层数，通过聚焦局部结构并加深对局部特征的信息交互和挖掘。
具体来说，粗分类模型/粗分类模块的网络结构如图4所示，输入分割之后的特定区域的不规则图像，逐像素通过多层感知机升维为128，使用注意力机制进行图之间的信息挖掘，接着，使用4层残差块进行特征交互，得到特定区域内充分交互的信息。另一分支在原图上使用卷积和4层残差块提取特征并进行一次平均池化。根据掩码对应位置将特定区域的掩码拼接到对应的原图卷积的特征后，没有掩码信息的复制一份原图卷积的特征，经过一次特征融合后回归出图像的粗分类结果。
粗分类模型/粗分类模块进行1~2期、3~5期的二分类识别或1期、2期、3~5期的三分类识别后，将识别为3~5期的分割区域图像和分割掩码输入至发育阶段细分类模型，对于识别为1~2期或1期、2期的分割区域图像直接输出分类结果。
（四）发育阶段细分类：
针对细胞这一特殊的圆形结构，普通的卷积核对圆形结构显著的特征提取可能存在很大的局限性。卷积核具有局限的感受野，通常只考虑局部邻域的特征交互，而不同的结构如细分类时需要依据的透明带结构是环形结构，其局部像素包含其他结构，很容易混入噪声。同时，透明带和滋养层等也保持着圆形的结构，以环为单位提取的特征具有良好的可解释性，环形特征可以直观的建立输入和网络模型内部工作原理的联系，提升模型决策的可信度。
本发明提出的细分类模型/细分类模块对环形的中心点选取是以胚胎主体分割掩码的中心位置，据此中心点，采用若干相对半径划同心圆。然后在不同半径构成的同心环上随机采集固定个数的点，抽取并拼接其对应的特征，作为初始特征，接着，使用多个带自注意力机制的残差块和多层感知机不断地进行特征升维和特征交互，最终给出细分类结果。细分类模型/细分类模块以残差特征金字塔网络（Residual Feature Pyramid Network，Res-FPN）为主干网络提取多尺度特征图，结合环形特征统计和自注意力机制，充分发掘和融合环形特征可以直观的建立输入和网络模型内部工作原理的联系，提升模型决策的可信度。传统的交叉熵损失中将所有的样本视为同等重要，focal loss通过引入一个可调节的因子降低易于分类样本的权重，使模型提高在难分类样本上决策的置信度，从而解决类别不均衡的问题。但对胚胎图像而言可能也存在不同发育阶段的图像样本分布不均匀的情况，因此，损失函数采用focal loss，其具体形式为：
其中，是调节因子，是一个超参数；/>表示预测类别与真实类别的接近程度，越大，表示分类越准确。
细分类模型的网络结构示意图如图5所示。输入为原图和Canny检测的边缘图，分别通过权重不共享的Res-FPN或ResNet-50当中的两个残差块提取原图的特征和边缘图的信息，接着做自注意力机制提取边缘敏感的边缘特征挖掘，再使用两个残差块，一个平均池化层得到原图和边缘图对应的特征，然后使用特征融合模块即对应像素特定拼接，将原图和边缘图的特征融合起来，最后使用一个残差块、一个全连接层，一个非线性激活层得到最终的细分类结果。
（五）模型训练阶段：
胚胎主体分割模型/胚胎主体分割模块的网络模型使用Res-U-Net，使用在ImageNet上的预训练模型初始化参数设置，训练过程的参数设置学习率为1e-4，权重衰减率为5e-4，所有训练集共迭代200次。胚胎标注中的内细胞团、滋养层、囊胚腔、透明带像素级标签分别为1类表示胚胎主体，其他区域合并为1类，做2分类的分割，提取胚胎的主体部位用于分类。训练过程的损失函数设置为2分类逐像素的平均交叉熵损失。计算整张图像的平均交叉熵损失，可以表示为：
其中表示像素类别数，/>表示第/>个样本中像素/>的真实类别，/>表示模型预测该像素的预测类别概率分布，N表示图像中的像素总数量。
粗分类模型/粗分类模块的训练阶段模型如图4所示，使用在ImageNet上的预训练模型初始化参数设置，训练过程的参数设置学习率为1e-4，权重衰减率为5e-4，所有训练集共迭代200次。以二分类为例，胚胎发育阶段的标签将1-2期合并为0类，将3-5期合并为1类，做一个二分类训练获得粗分类结果。模型预测结果为p，样本标签y为0或1，训练过程的损失函数为二分类交叉熵损失L，具体形式如下：
细分类模型/细分类模块训练的网络模型如图6所示，同样的使用ImageNet上的预训练模型初始化参数设置，选取的预处理阶段得到的透明带相对半径作为超参数，训练过程的参数设置学习率为1e-4，权重衰减率为5e-4，所有训练集共迭代200次。训练过程的损失函数设置交叉熵损失，其中对粗分类为1-2期的图像，损失为二分类的焦点损失，而对粗分类为2-5期的图像做三分类的焦点损失。
（六）模型测试阶段：
将测试集中的胚胎图像同样进行形态学处理后分别送入训练好的胚胎主体分割模型、粗分类模型、细分类模型的网络模型中测试，分别得到胚胎主体分割、胚胎发育阶段粗预测、胚胎发育阶段细预测的结果。胚胎主体分割结果如图6所示，胚胎发育阶段粗预测的结果如图7所示，胚胎发育阶段细预测的结果如图8所示。
本发明还提出一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现上述的基于环形特征统计的胚胎发育阶段预测方法。
本说明书未作详细描述的内容属于本领域专业技术人员公知的现有技术。
最后需要说明的是，以上具体实施方式仅用以说明本专利技术方案而非限制，尽管参照较佳实施例对本专利进行了详细说明，本领域的普通技术人员应当理解，可以对本专利的技术方案进行修改或者等同替换，而不脱离本专利技术方案的精神和范围，其均应涵盖在本专利的权利要求范围当中。
Claims (9)
1.一种基于环形特征统计的胚胎发育阶段预测方法，其特征在于：所述方法通过提取胚胎图像中特征信息，对图像中胚胎发育阶段进行预测，包括如下步骤：
S1采集胚胎图像样本数据集，所述胚胎图像样本数据集包括经过标注的图像数据，图像数据包含囊胚腔、内细胞团、滋养层、透明带的发育期标注；
S2对待检测的胚胎图像进行预处理，去除图像噪声并增强轮廓信息；
S3将经过预处理的胚胎图像输入至经过训练的胚胎主体分割模型，模型将具有标注信息的囊胚腔、内细胞团、滋养层和透明带合并为胚胎主体部分进行分割，得到分割区域图像和分割掩码；所述胚胎主体分割模型采用Res-U-Net为主干网络，将具有标注信息的囊胚腔、内细胞团、滋养层和透明带合并为胚胎主体部分，使用二分类平均交叉熵损失约束胚胎主体分割网络，表示为：
其中表示像素类别数，/>表示第/>个样本中像素/>的真实类别，/>表示模型预测该像素的预测类别概率分布，N表示图像中的像素总数量；
S4将所述分割区域图像和分割掩码输入至经过训练的细分类模型，所述细分类模型以中心点为圆心划多个同心圆，所述中心点为图像中胚胎主体分割掩码的中心位置，所述细分类模型在不同半径的同心圆上随机采集固定个数的点，抽取并拼接各点对应的特征进行提取，并根据所提取的特征输出1~5期的细分类结果。
2.根据权利要求1所述的一种基于环形特征统计的胚胎发育阶段预测方法，其特征在于：步骤S4之前还包括粗分类步骤：将所述分割区域图像输入至经过训练的粗分类模型，所述粗分类模型提取胚胎主体区域分别做带掩码的自注意力的信息交互和聚合，对经过胚胎主体分割的胚胎主体图像进行1~2期、3~5期的二分类识别或1期、2期、3~5期的三分类识别。
3.根据权利要求2所述的一种基于环形特征统计的胚胎发育阶段预测方法，其特征在于：所述粗分类模型以ResNet-50作为主干网络，对输入分割之后的特定区域的不规则图像，逐像素通过多层感知机升维，使用注意力机制进行图之间的信息挖掘，使用多层残差块进行特征交互，得到特定区域内充分交互的信息；另一分支在原图上使用卷积和多层残差块提取特征并进行一次平均池化；根据掩码对应位置将特定区域的掩码拼接到对应的原图卷积的特征后，对没有掩码信息的复制一份原图卷积的特征，经过一次特征融合后回归出图像的粗分类结果。
4.根据权利要求1所述的一种基于环形特征统计的胚胎发育阶段预测方法，其特征在于：所述细分类模型以带注意力的Res-U-Net的编码器提取多尺度特征图，结合环形特征统计和自注意力机制，损失函数采用二分类或三分类的交叉熵损失。
5.根据权利要求4所述的一种基于环形特征统计的胚胎发育阶段预测方法，其特征在于：所述细分类模型的处理步骤为：
S41分别通过权重不共享的ResNet-50的两个残差块提取原图的特征和边缘图的信息；
S42做自注意力机制提取边缘敏感的边缘特征挖掘，并使用两个残差块和一个平均池化层分别得到原图和边缘图对应的特征；
S43使用特征融合模块即对应像素特定拼接，将原图和边缘图的特征融合起来；
S44使用一个残差块、一个全连接层，一个非线性激活层得到最终的细分类结果。
6.根据权利要求1所述的一种基于环形特征统计的胚胎发育阶段预测方法，其特征在于：步骤S2预处理阶段中统计每个阶段所有图像数据的透明带在1~5期的相对环长半径，作为细分类模型训练时相对环长半径的超参数选用依据。
7.一种基于环形特征统计的胚胎发育阶段预测系统，其特征在于：所述系统包括：
图像数据集构建模块：用于存储胚胎图像样本数据集，所述胚胎图像样本数据集包括经过标注的图像数据，图像数据包含囊胚腔、内细胞团、滋养层、透明带的发育期标注；
图像预处理模块：用于对待检测的胚胎图像进行预处理，去除图像噪声并增强轮廓信息；
胚胎主体分割模块：用于对预处理图像分割出胚胎主体部分，输出分割区域图像和分割掩码；采用Res-U-Net为主干网络，将具有标注信息的囊胚腔、内细胞团、滋养层和透明带合并为胚胎主体部分，使用二分类平均交叉熵损失约束胚胎主体分割网络，表示为：
其中表示像素类别数，/>表示第/>个样本中像素/>的真实类别，/>表示模型预测该像素的预测类别概率分布，N表示图像中的像素总数量；
发育阶段细分类模块：用于对分割区域图像进行分类识别，采用基于环形特征统计的深度学习神经网络结构，以提取待检测图像中的特征，输出图像为1期、2期、3期、4期或5期。
8.根据权利要求7所述的一种基于环形特征统计的胚胎发育阶段预测系统，其特征在于：所述系统还包括发育阶段粗分类模块，用于对经过胚胎主体分割的胚胎主体图像进行1~2期、3~5期的二分类识别或1期、2期、3~5期的三分类识别，并将识别为3~5期的分割区域图像和分割掩码输入至发育阶段细分类模型，对于识别为1~2期或1期、2期的分割区域图像直接输出分类结果。
9.根据权利要求7所述的一种基于环形特征统计的胚胎发育阶段预测系统，其特征在于：所述发育阶段细分类模块以残差特征金字塔网络为主干网络提取多尺度特征图，结合环形特征统计和自注意力机制，其损失函数的具体形式为：
其中，是调节因子，是一个超参数；/>表示预测类别与真实类别的接近程度，/>越大，表示分类越准确。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311123761.1A CN116958710B (zh) | 2023-09-01 | 2023-09-01 | 基于环形特征统计的胚胎发育阶段预测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311123761.1A CN116958710B (zh) | 2023-09-01 | 2023-09-01 | 基于环形特征统计的胚胎发育阶段预测方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116958710A true CN116958710A (zh) | 2023-10-27 |
| CN116958710B CN116958710B (zh) | 2023-12-08 |
Family
ID=88462147
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311123761.1A Active CN116958710B (zh) | 2023-09-01 | 2023-09-01 | 基于环形特征统计的胚胎发育阶段预测方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116958710B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111787877A (zh) * | 2017-12-15 | 2020-10-16 | 维特罗莱夫公司 | 用于估计胚胎活力的系统和方法 |
| CN113906472A (zh) * | 2019-04-04 | 2022-01-07 | 普雷萨根私人有限公司 | 用于选择胚胎的方法和系统 |
| CN114862787A (zh) * | 2022-04-29 | 2022-08-05 | 深圳睿心智能医疗科技有限公司 | 心肌图像检测装置、系统及存储介质 |
| WO2022261241A1 (en) * | 2021-06-08 | 2022-12-15 | Insitro, Inc. | Predicting cellular pluripotency using contrast images |
| CN115937082A (zh) * | 2022-09-30 | 2023-04-07 | 湘潭大学 | 基于深度学习的胚胎质量智能评估系统及评估方法 |
| WO2023114519A1 (en) * | 2021-12-17 | 2023-06-22 | Memorial Sloan Kettering Cancer Center | Applications of deep neuroevolution on models for evaluating biomedical images and data |
| CN116385484A (zh) * | 2023-03-15 | 2023-07-04 | 广州市华粤行医疗科技有限公司 | 囊胚期胚胎特征分析方法、装置和分析系统 |
-
2023
- 2023-09-01 CN CN202311123761.1A patent/CN116958710B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111787877A (zh) * | 2017-12-15 | 2020-10-16 | 维特罗莱夫公司 | 用于估计胚胎活力的系统和方法 |
| CN113906472A (zh) * | 2019-04-04 | 2022-01-07 | 普雷萨根私人有限公司 | 用于选择胚胎的方法和系统 |
| WO2022261241A1 (en) * | 2021-06-08 | 2022-12-15 | Insitro, Inc. | Predicting cellular pluripotency using contrast images |
| WO2023114519A1 (en) * | 2021-12-17 | 2023-06-22 | Memorial Sloan Kettering Cancer Center | Applications of deep neuroevolution on models for evaluating biomedical images and data |
| CN114862787A (zh) * | 2022-04-29 | 2022-08-05 | 深圳睿心智能医疗科技有限公司 | 心肌图像检测装置、系统及存储介质 |
| CN115937082A (zh) * | 2022-09-30 | 2023-04-07 | 湘潭大学 | 基于深度学习的胚胎质量智能评估系统及评估方法 |
| CN116385484A (zh) * | 2023-03-15 | 2023-07-04 | 广州市华粤行医疗科技有限公司 | 囊胚期胚胎特征分析方法、装置和分析系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116958710B (zh) | 2023-12-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20220198657A1 (en) | Method and system for selecting embryos | |
| CN112418117B (zh) | 一种基于无人机图像的小目标检测方法 | |
| US20230014668A1 (en) | Image diagnostic system, and methods of operating thereof | |
| Wan et al. | Robust nuclei segmentation in histopathology using ASPPU-Net and boundary refinement | |
| CN109447998B (zh) | 基于PCANet深度学习模型下的自动分割方法 | |
| JP2022551683A (ja) | 人工知能（ａｉ）モデルを使用した非侵襲的遺伝子検査を行う方法及びシステム | |
| US10769432B2 (en) | Automated parameterization image pattern recognition method | |
| CN114945941A (zh) | 用于支持肿瘤检测和分析的非肿瘤分割 | |
| CN111951266A (zh) | 一种染色体畸变的人工智能识别分析方法 | |
| Xing et al. | Traffic sign recognition using guided image filtering | |
| CN112990282B (zh) | 一种细粒度小样本图像的分类方法及装置 | |
| Chen et al. | Road damage detection and classification using mask R-CNN with DenseNet backbone | |
| Zhang et al. | Investigation of pavement crack detection based on deep learning method using weakly supervised instance segmentation framework | |
| Prabaharan et al. | RETRACTED ARTICLE: An improved convolutional neural network for abnormality detection and segmentation from human sperm images | |
| WO2020119624A1 (zh) | 一种基于深度学习的类别敏感型边缘检测方法 | |
| CN116883996B (zh) | 基于旋转等变网络的胚胎发育阶段预测与质量评估系统 | |
| CN116978543A (zh) | 人工智能辅助骨髓肿瘤病理诊断装置 | |
| CN116844143B (zh) | 基于边缘增强的胚胎发育阶段预测与质量评估系统 | |
| Yildiz et al. | Hybrid image improving and CNN (HIICNN) stacking ensemble method for traffic sign recognition | |
| CN117095180B (zh) | 基于分期识别的胚胎发育阶段预测与质量评估方法 | |
| Zou et al. | Deep learning for nuclei segmentation and cell classification in cervical liquid based cytology | |
| CN103093239B (zh) | 一种融合了点对和邻域信息的建图方法 | |
| CN116958710B (zh) | 基于环形特征统计的胚胎发育阶段预测方法及系统 | |
| TW201913565A (zh) | 胚胎影像評價方法及系統 | |
| CN116883650A (zh) | 一种基于注意力和局部拼接的图像级弱监督语义分割方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |