CN117095180B - 基于分期识别的胚胎发育阶段预测与质量评估方法 - Google Patents
基于分期识别的胚胎发育阶段预测与质量评估方法 Download PDFInfo
- Publication number
- CN117095180B CN117095180B CN202311123763.0A CN202311123763A CN117095180B CN 117095180 B CN117095180 B CN 117095180B CN 202311123763 A CN202311123763 A CN 202311123763A CN 117095180 B CN117095180 B CN 117095180B
- Authority
- CN
- China
- Prior art keywords
- embryo
- image
- evaluated
- stage
- features
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000013020 embryo development Effects 0.000 title claims abstract description 26
- 238000001303 quality assessment method Methods 0.000 title claims abstract description 22
- 210000001161 mammalian embryo Anatomy 0.000 claims abstract description 86
- 210000004027 cell Anatomy 0.000 claims abstract description 32
- 230000011218 segmentation Effects 0.000 claims abstract description 30
- 238000012549 training Methods 0.000 claims abstract description 26
- 210000002993 trophoblast Anatomy 0.000 claims abstract description 25
- 230000003993 interaction Effects 0.000 claims abstract description 20
- 230000007246 mechanism Effects 0.000 claims abstract description 19
- 230000004927 fusion Effects 0.000 claims abstract description 10
- 238000007781 pre-processing Methods 0.000 claims abstract description 4
- 238000000034 method Methods 0.000 claims description 35
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 15
- 230000006870 function Effects 0.000 claims description 12
- 238000005065 mining Methods 0.000 claims description 9
- 230000004913 activation Effects 0.000 claims description 8
- 238000003709 image segmentation Methods 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 6
- 230000002776 aggregation Effects 0.000 claims description 5
- 238000004220 aggregation Methods 0.000 claims description 5
- 238000003708 edge detection Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 4
- 230000003044 adaptive effect Effects 0.000 claims description 3
- 238000013441 quality evaluation Methods 0.000 abstract description 6
- 238000011161 development Methods 0.000 description 19
- 230000018109 developmental process Effects 0.000 description 19
- 230000008569 process Effects 0.000 description 10
- 210000000625 blastula Anatomy 0.000 description 8
- 230000000877 morphologic effect Effects 0.000 description 7
- 230000008859 change Effects 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 210000005056 cell body Anatomy 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 210000002257 embryonic structure Anatomy 0.000 description 3
- 230000001788 irregular Effects 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 241000287196 Asthenes Species 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000013434 data augmentation Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 210000002308 embryonic cell Anatomy 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 239000012634 fragment Substances 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 206010011878 Deafness Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 210000002459 blastocyst Anatomy 0.000 description 1
- 210000000746 body region Anatomy 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000004720 fertilization Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 210000000287 oocyte Anatomy 0.000 description 1
- 230000035935 pregnancy Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000002054 transplantation Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 210000004340 zona pellucida Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30044—Fetus; Embryo
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种基于分期识别的胚胎发育阶段预测与质量评估方法，对待评估胚胎图像进行预处理，去除待评估胚胎图像的噪声并进行边缘增强；提取待评估胚胎图像的轮廓信息得到轮廓图；将待评估胚胎图像和轮廓图分别进行特征提取，然后对对应像素进行拼接，将待评估胚胎图像和轮廓图的特征进行融合，输出1‑5期的细分类结果；基于细分类结果，对3‑5期的图像均训练一个对应时期的分割网络，以分割提取出内细胞团、滋养层和其他区域的三类掩码；取内细胞团和滋养层的分割区域分别做带掩码的图卷积和注意力机制进行信息的交互；特征融合后回归出待评估胚胎图像的质量评估结果。
Description
技术领域
本发明涉及胚胎检测技术领域，具体涉及一种基于分期识别的胚胎发育阶段预测与质量评估方法。
背景技术
胚胎发育的好坏直接影响妊娠率的结果，胚胎学家依靠胚胎形态学和基因学两种主要途径对胚胎的好坏进行判别，其中利用基因学手段判别胚胎好坏需要具备极高的实验条件，而利用胚胎形态学信息完成胚胎的评判是一种简单快速有效的方法。目前，大多数胚胎学家基于囊胚期胚胎的形态学特征对胚胎的优劣进行判别，筛选出优质胚胎进行移植。在这些形态学特征中，囊胚腔、内细胞团和滋养层等特征是医生对胚胎好坏评分的极其重要的因素，因此，利用计算机建立视觉模型帮助医生快速准确地对囊胚腔、内细胞团和滋养层等特征进行预测是一个极具意义的研究方向。然而，目前利用机器学习对胚胎特征的准确识别与质量评估还存在以下几个问题：
（１）在进行胚胎分割时，没有进行边缘检测，可能会导致分割错误。胚胎与周围结构之间的界限不清晰，可能导致无法准确提取胚胎的形状和特征，从而影响后续的分析和评估；难以提取胚胎的形态特征，例如轮廓、边缘形状和曲率等，很难准确提取这些特征，导致评估的不准确性，从而产生错误的判断和漏诊，延误了对胚胎健康状况的评估和干预；
（２）对不同时期使用统一的分割网络获取内细胞团和滋养层进行质量评估难以达到理想的效果和良好的泛化性，从而导致分割结果的不准确，使得最后的评估效果较差。
发明内容
本发明提出了一种基于分期识别的胚胎发育阶段预测与质量评估方法，以解决胚胎质量评估不准确的技术问题。
为解决上述技术问题，本发明提供了一种基于分期识别的胚胎发育阶段预测与质量评估方法，包括以下步骤：
步骤S1：对待评估胚胎图像进行预处理，去除所述待评估胚胎图像的噪声并进行边缘增强；
步骤S2：采用边缘检测方法提取所述待评估胚胎图像的轮廓信息得到轮廓图；
步骤S3：将所述待评估胚胎图像和轮廓图分别进行特征提取，然后对对应像素进行拼接，将所述待评估胚胎图像和轮廓图的特征进行融合，最后使用一个残差块、一个全连接层和一个非线性激活层进行处理，输出1-5期的细分类结果；
步骤S4：基于所述细分类结果，对3-5期的图像分别训练一个对应时期的分割网络，以分割提取出内细胞团、滋养层和其他区域的三类掩码；
步骤S5：取所述内细胞团和滋养层的分割区域分别做带掩码的图卷积和注意力机制进行信息的交互和聚合，得到局部增强特征；对所述待评估胚胎图像的原图像进行卷积得到局部特征；将所述局部特征与局部增强特征进行拼接后进行特征融合，以回归出所述待评估胚胎图像的质量评估结果。
优选地，步骤S3中进行特征提取的步骤包括：
步骤S31：通过权重不共享ResNet-50网络的两个残差块提取所述待评估胚胎图像和轮廓图的信息；
步骤S32：做自注意力机制提取边缘敏感的边缘特征；
步骤S33：使用两个残差块和一个平均池化层提取所述待评估胚胎图像和轮廓图对应的特征。
优选地，步骤S31中ResNet-50网络的卷积核采用深度边缘感知滤波器自适应卷积，以充分挖掘图像的边缘结构特征。
优选地，步骤S3之前还包括粗分类步骤：采用ResNet-50为主干网络对所述待评估胚胎图像进行特征提取，采用二分类的交叉熵损失函数进行1-2期和3-5期的二分类训练，得到粗分类结果。
优选地，所述ResNet-50采用基于E2CNN的等变网络重新实现主干网络的所有层。
优选地，当所述粗分类的结果为1-2期时，步骤S3采用二分类的交叉熵损失函数进行约束，以将1-2期细分为1期或2期；当所述粗分类的结果为3-5期时，步骤S3采用三分类的交叉熵损失函数进行约束，以将3-5期细分为3期或4期或5期。
优选地，步骤S4中所述分割网络采用Res-U-Net网络作为主干网络，所述Res-U-Net网络包括编码器、解码器和残差连接部分。
优选地，所述分割网络进行图像分割的方法包括：所述编码器不断对图像特征进行下采样以提取高层语义信息，解码器不断地上采样恢复到图像原尺寸并通过非线性激活得到最终的分割结果。
优选地，步骤S5中进行信息的交互和融合的方法包括以下步骤：
步骤S51：逐像素通过多层感知机多所述分割区域进行升维；
步骤S52：在所述分割区域内做图卷积；
步骤S53：通过多层感知机将特征升为步骤S51的四倍；
步骤S54：采用注意力机制进行图之间的信息挖掘；
步骤S55：采用多层残差块进行特征交互，得到分割区域内交互的信息。
本发明的有益效果至少包括：
（1）通过获取待评估胚胎图像的轮廓信息得到轮廓图，帮助分割和定位胚胎图像中的结构和特征通过提取胚胎的边界，可以更好地将胚胎与背景区分开来，并帮助识别出胚胎的形状、大小和位置。对于准确提取胚胎边界、提取形态特征、检测异常情况以及实现自动化处理都具有重要性。它为后续的胚胎分析和评估提供了基础；
（2）通过对３-5期的图像均训练一个对应时期的分割网络，以分割提取出内细胞团、滋养层和其他区域的三类掩码，分割效果更好，具有良好的泛化性，同时结果也更为准确；
（3）采用先细分类后分割和分级的方法可以通过挖掘图像的细节信息提升分类的精度和关注不同胚胎个体不同发育时期的发育差异增加分级的准确度；
（4）由于胚胎发育阶段一步到位分类是一个5分类问题，类别数越多，决策边界越难精确判定，发生误分类的概率越大。因此，作为附加技术特征，在细分类之前进行二分类识别的粗分类，可以避免直接进行5分类造成的干扰和计算代价的负担。
附图说明
图1为本发明实施例的方法流程示意图；
图2为本发明实施例的细分类方法流程示意图；
图3为本发明实施例的不同个体3-5期细胞形态多样性的胚胎图像；
图4为本发明实施例的图像特定区域分割网络结构图；
图5为本发明实施例的特定区域的特征交互示意图；
图6为本发明实施例的发育质量分级的方法流程示意图。
图7为本发明实施例的不同发育时期的胚胎图像；
图8为本发明实施例的具有旋转变化的胚胎图像；
图9为本发明实施例的粗分类方法流程示意图；
图10为本发明实施例的胚胎发育阶段粗预测的预测结果图；
图11为本发明实施例的胚胎发育阶段细预测的预测结果图。
具体实施方式
下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明的保护范围。
下面首先对本发明的样本数据集的构建方法进行说明。
卵母细胞受精后在第5天可能根据培养条件和胚胎质量会正式进入囊胚期，收集D5~D6包含囊胚腔、内细胞团、滋养层、透明带和碎片等的囊胚期胚胎图像，在多名胚胎学家的指导下由专业医生完成胚胎图像的标注工作。经研究证实有效且被广泛应用的Gardner评价法认为，对胚胎识别发育阶段和质量等级主要观察囊胚扩张程度、内细胞团和滋养层的发育状态即可。胚胎细胞的发育阶段可以用1~6期表示，并对已经完全扩张的囊胚，分别用A，B，C级评估内细胞团和滋养层的质量分级。首先，使用LabelImg软件对胚胎图像进行像素级标注，主要分为三类分别是囊胚腔、内细胞团和滋养层，具体来说利用多边形标注各类别的轮廓即可，为每一个轮廓区域赋予一个表示类别的标签。其次，划分好不同区域的标签图像再由不同的医生随机交叉为每张胚胎图像标注准确的发育阶段和质量评级，最终胚胎图像的发育阶段和质量评级由标签一致最多的决定，以此构建具有准确标签的胚胎样本数据集，并将具有准确标签的胚胎样本数据集存储至图像数据集。
如图1所示，本发明实施例提供了一种基于分期识别的胚胎发育阶段预测与质量评估方法，包括以下步骤：
步骤S1：对待评估胚胎图像进行预处理，去除所述待评估胚胎图像的噪声并进行边缘增强。
具体地，由于采集的胚胎图像存在一定的胚胎主体无关区域和噪声，可能会对基于深度学习的胚胎阶段识别和质量评估结果产生偏差。因此，有必要对输入的胚胎图像进行预处理。具体来说，首先使用传统的形态学图像去噪方法如膨胀、开闭运算等对原始输入图像进行边缘增强和噪声去除。然后根据图像的梯度信息统计分析划分不同的区域并为它们生成掩模信息。
步骤S2：采用边缘检测方法提取所述待评估胚胎图像的轮廓信息得到轮廓图，本发明实施例中边缘检测方法采用如canny算子进行胚胎图像的轮廓信息的提取。
步骤S3：将所述待评估胚胎图像和轮廓图分别进行特征提取，然后对对应像素进行拼接，将所述待评估胚胎图像和轮廓图的特征进行融合，最后使用一个残差块、一个全连接层和一个非线性激活层进行处理，输出1-5期的细分类结果。
具体地，发育阶段细分类本质上是依赖于图像中挖掘的细节信息，对胚胎细胞来说，图像中的边缘信息其中最明显的细节特征。因此，充分挖掘图像的边缘特征有助于提升分类的准确性。边缘敏感卷积是一种常用的方式，深度边缘感知滤波器（Deep Edge-AwareFilters , DEAF）中的双边滤波器结合空间距离和像素值之间的相似性不断平滑图像，保留边缘的细节信息同时减少噪声的影响；而自注意力机制可以使模型自动关注到图像中的边缘区域，提高边缘的清晰度和连续性。因此，发育阶段细分类模块以带自注意力机制的边缘敏感卷积和ResNet-50作为主干网络，在细分类中充分挖掘图像的边缘结构特征，使深度边缘感知滤波器自适应卷积和自注意力机制突出图像的边缘信息。即ResNet-50中的卷积核替换为深度边缘感知滤波器自适应卷积。将浅层的卷积的特征记为，然后进行自注意力机制进行特征交互和融合：
；
其中i,j表示图像中对应的像素坐标，分别表示对应像素i和j的特征，W1，W2，W3为可学习的权重，qi表示查询矩阵，kj和vj分别表示键矩阵和值矩阵，b1，b2，b3表示非线性的偏置，那么自注意力的权重aij可以表示为
，dk表示键向量的维度；进行自注意力之后的特征可以更新为：
；
上式中表示特征拼接操作，/>表示构建图卷积时的边，/>表示自注意力的层数，MLP表示多层感知机，通过聚焦边缘信息引导的特征交互并通过注意力机制加深对边缘特征的信息交互和挖掘，最终回归出细分类结果。
发育阶段细分类模块网络结构示意图如图2所示。输入为原图和Canny检测的边缘图，分别通过权重不共享的ResNet-50的两个残差块提取原图的特征和边缘图的信息，接着做自注意力机制提取边缘敏感的边缘特征挖掘，再使用两个残差块，一个平均池化层得到原图和边缘图对应的特征，然后使用特征融合模块即对应像素特定拼接，将原图和边缘图的特征融合起来，最后使用一个残差块、一个全连接层，一个非线性激活层得到最终的细分类结果。
步骤S4：基于所述细分类结果，对3-5期的图像均训练一个对应时期的分割网络，以分割提取出内细胞团、滋养层和其他区域的三类掩码。
具体地，不同时期和不同胚胎个体的发育差异较大，如图3所示，对不同时期使用统一的分割网络获取内细胞团和滋养层进行质量评估可能很难达到理想的效果和良好的泛化性。因此，对3-5期每一个分期的细胞，单独训练一个特定时期的分割网络准确分割出对应的内细胞团和滋养层区域用于准确的质量评估。根据细分类的结果，选取3-5期的图像分别训练一个对应的分割网络，仅分割提取出质量评估依据的内细胞团、滋养层和其他区域的三类掩码。图像分割模块对于有真实标签的内细胞团、滋养层和其他区域的逐像素标记做3分类图像分割。采用Res-U-Net作为主干网络，预测每个像素的预测类别并与真实标签进行比较，计算整张图像的平均交叉熵损失，可以表示为：
其中K=3表示像素类别数，N表示图像中的像素总数量，yi,j表示第i个样本中像素j的真实类别，表示第i个样本中像素j的真实类别，/>表示模型预测该像素的预测类别概率分布。3-5每一期特定的分割网络同理。
分割网络Res-U-Net结构如图4所示，主要由编码器、解码器和残差连接部分组成，其中编码器不断对初始图像特征进行下采样提取高层语义信息，解码器不断地上采样恢复到图像原尺寸并通过非线性激活得到最终的分割结果。
步骤S5：取所述内细胞团和滋养层的分割区域分别做带掩码的图卷积和注意力机制进行信息的交互；对所述待评估胚胎图像进行特征提取并进行一次平均池化；取内细胞团和滋养层的分割区域分别做带掩码的图卷积和注意力机制进行信息的交互和聚合，得到局部增强特征；对待评估胚胎图像的原图像进行卷积得到局部特征；将局部特征与局部增强特征进行拼接后进行特征融合，以回归出待评估胚胎图像的质量评估结果。
具体地，发育质量分级模块以带注意力的图卷积和ResNet-50作为主干网络，取内细胞团和滋养层分割区域分别做带掩码的图卷积和注意力机制进行信息的交互和聚合。
分割后的特定区域如内细胞团可能是不规则结构如图5所示，像素a利用邻域信息建立图结构并不断做图卷积，使用多层感知机逐步将特征升维记为，然后进行自注意力机制进行特征交互和融合：
；
其中表示掩码中的像素，W1，W2，W3为可学习的权重，那么自注意力的权重可以表示为
；
进行自注意力之后的特征可以更新为
；
上式中表示特征拼接操作，/>表示自注意力的层数，通过聚焦局部结构并加深对局部特征的信息交互和挖掘。最终回归出3分类质量评估结果，损失函数采用三分类的交叉熵损失。
发育质量分级模块网络结构如图6所示，的特定区域特征融合方式中的输入包括两部分，分别为原图像和胚胎主体区域的分割掩码：原图像分支保留图像的原有尺寸，卷积获得局部特征；在分割掩码分支上结合自注意力机制，取胚胎主体区域分别做带掩码的自注意力的信息交互和聚合，获得局部增强特征；最终保证两分支在分割掩码区域对应像素上获得相同维度的特征进行特征拼接，在非分割掩码区域复制两份局部特征，获得原图尺寸大小的特征。
具体地，输入分割之后的特定区域的不规则图像，逐像素通过多层感知机升维为32，然后在特定区域内做图卷积，其中构建图的形式是选取中心像素周围8像素，再通过多层感知机将特征升为128维。使用注意力机制进行图之间的信息挖掘，接着，使用4层残差块进行特征交互，得到特定区域内充分交互的信息。另一分支在原图上使用卷积和4层残差块提取特征并进行一次平均池化。
本发明实施例中，为了减小细分类的计算负担，并且提高分类的准确度，在细分类的步骤之前先采用粗分类进行分类，先将其分类为1-2期或3-5期。
具体地，胚胎发育阶段分类精度取决于高层全局语义特征和底层细节特征的挖掘。首先，如图7所示，1-2期和3-5期胚胎图像区分往往是在宏观上的，反映到图像的分类问题上，根本决定了分类是依赖于全局特征。其次，来自于相邻发育阶段的分类往往靠细节区分。然而，一步到位的分类既要考虑保留底层细节特征，也要保留高层全局语义特征，这是机器学习和计算机视觉中极具挑战的问题。因此，采用解耦的两阶段先粗分后细分框架，即先用全局特征二分类，再用细节特征进行相邻阶段的分类，以提升相邻阶段分类的精度。
由于在特定时间下拍摄的胚胎细胞主体初始位置不同或可能发生移动，所以细胞在镜筒的位置具有高度随机性。同时镜筒是一个中心对称的结构，在一个绝对对称的位置上的移动或平移问题可以以将其建模为旋转的问题。采用基于旋转等变网络的深度学习粗分类方法可以通过挖掘胚胎图像的旋转不变特征提升粗分类的精度。如图8所示，以矩形框中的碎片为参照物，细胞的实际位置有移动，体现在图像上可以建模为图像旋转变化。当细胞主体旋转时，它的方向、角度和尺度都会发生变化，会导致深度学习网络无法保证描述细胞内结构特征的一致性，对于相同的中心区域，旋转之后的特征与原始特征存在很大的差异，对于分类任务必然会引入偏差从而导致准确分类的难度加大。因此，许多学者对挖掘旋转不变特征进行了研究，其中最常用的方式是数据增广，但旋转数据增强只解决了旋转挑战的表象，更深层次地应该在特征表达时挖掘旋转不变特征。
对于胚胎细胞粗分类来说，可以从旋转不变的特征中找到胚胎发育的不变特征，而更加关注于图像中的变化区域如图8中的方形框囊胚腔的变化，从而做到更准确的分类。因此，通过引入旋转等变网络，在保持旋转对称性的前提下对图像进行卷积操作，即网络中的卷积核也会随图像旋转，提取旋转不变的特征，采用基于旋转等变网络的深度学习粗分类方法可以提升粗分类的准确度。
本发明在特征提取主干网络中加入旋转等变网络来提取旋转不变特征，降低方向变化建模的复杂性。设表示变换群/>下具有M个旋转等变层的网络，对于一个/>的层作用于子群g，g∈G，旋转变换Tr可以被该层保留为：
；
当输入图像I在网络中使用旋转变换Tr时，则旋转等变特征可以表示为：
；
具体来说，发育阶段粗分类模块采用广泛使用带有特征金字塔的ResNet-50作为主干网络，具体来说利用基于E2CNN的旋转等变网络重新实现主干网络的所有层，包含卷积、池化、归一化和非线性激活，即使用多个旋转角度的卷积核自动提取具有丰富语义信息的深度特征，而且输出的特征是旋转不变的。使用二分类的交叉熵损失约束整个网络，从而保证最终的粗分类结果的准确性。
发育阶段粗分类网络如图9所示，主要由旋转等变的卷积层和旋转等变的残差块组成，其中每个残差块内包含两个卷积层和跳跃连接层，使模型学到具有恒等映射特性且旋转不变的特征，同时避免梯度消失问题。同时当粗分类的结果为1-2期时，步骤S3采用二分类的交叉熵损失函数进行约束，以将1-2期细分为1期或2期；当粗分类的结果为3-5期时，步骤S3采用三分类的交叉熵损失函数进行约束，以将3-5期细分为3期或4期或5期。
具体实施过程如下：
将收集的数据集以6：2：2的比例划分为训练集，验证集和测试集。使用形态学方法如膨胀腐蚀、开闭运算去除图像中的噪声点和增强图像的边缘信息，将增强后的图像尺寸统一缩放到500×500，计算并保留Canny边缘检测的边缘图。
2、模型训练阶段
发育阶段粗分类模型训练阶段使用ResNet-50，使用在ImageNet上的预训练模型初始化参数设置，训练过程的参数设置学习率为1e-4，权重衰减率为5e-4，所有训练集共迭代200次。胚胎发育阶段的标签将1-2期合并为0类，将3-5期合并为1类，做一个二分类训练获得粗分类结果。模型预测结果为p，样本标签为0或1，训练过程的损失函数为二分类交叉熵损失，具体形式如下：
发育阶段细分类模块训练同样的使用ImageNet上的预训练模型初始化参数设置，训练过程的参数设置学习率为1e-4，权重衰减率为5e-4，所有训练集共迭代200次。训练过程的损失函数设置交叉熵损失，其中对粗分类为1-2期的图像，损失为二分类的交叉熵损失，而对粗分类为2-5期的图像做三分类的损失。
图像分割模块的网络模型使用Res-U-Net，使用在ImageNet上的预训练模型初始化参数设置，训练过程的参数设置学习率为1e-4，权重衰减率为5e-4，所有训练集共迭代200次。胚胎标注中的内细胞团、滋养层像素级标签分别为2类，其他区域合并为1类，做3分类的分割，提取胚胎的特定部位用于质量评估。训练过程的损失函数设置为3分类逐像素的平均交叉熵损失。计算整张图像的平均交叉熵损失，可以表示为：
其中K=3表示像素类别数，yi,j表示第i个样本中像素j的真实类别，表示模型预测该像素的预测类别概率分布。
发育质量分级模块训练选取分割掩码为内细胞团和滋养层区域和原图作为输入，同样的使用在ImageNet上的预训练模型初始化参数设置，训练过程的参数设置学习率为1e-4，权重衰减率为5e-4，所有训练集共迭代200次。训练过程的损失分别包含内细胞团和滋养层逐像素的分割损失及对应结构质量评级的交叉熵损失，质量评级分为A，B，C级，做三分类的交叉熵约束。
3、模型测试阶段
将测试集中的胚胎图像同样进行形态学处理后分别送入训练好的发育阶段粗分类模块、发育阶段细分类模块、图像分割模块、发育质量分级模块的网络模型中测试，分别得到胚胎发育阶段粗预测、胚胎主体分割、胚胎发育阶段细预测和胚胎发育质量评级的结果，胚胎发育阶段粗预测的结果如图10所示，胚胎发育阶段细预测的结果如图11所示。
本发明还提出一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现上述的基于分期识别的胚胎发育阶段预测与质量评估方法。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，仅表达了本发明的较佳实施例而已，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
Claims (7)
1.一种基于分期识别的胚胎发育阶段预测与质量评估方法，其特征在于：包括以下步骤：
步骤S1：对待评估胚胎图像进行预处理，去除所述待评估胚胎图像的噪声并进行边缘增强；
步骤S2：采用边缘检测方法提取所述待评估胚胎图像的轮廓信息得到轮廓图；
步骤S3：将所述待评估胚胎图像和轮廓图分别进行特征提取，然后对对应像素进行拼接，将所述待评估胚胎图像和轮廓图的特征进行融合，最后使用一个残差块、一个全连接层和一个非线性激活层进行处理，输出1-5期的细分类结果；
进行特征提取的步骤包括：
步骤S31：通过权重不共享ResNet-50网络的两个残差块提取所述待评估胚胎图像和轮廓图的信息；
步骤S32：做自注意力机制提取边缘敏感的边缘特征；
步骤S33：使用两个残差块和一个平均池化层提取所述待评估胚胎图像和轮廓图对应的特征；
步骤S4：基于所述细分类结果，对3-5期的图像分别训练一个对应时期的分割网络，以分割提取出内细胞团、滋养层和其他区域的三类掩码；
步骤S5：取所述内细胞团和滋养层的分割区域分别做带掩码的图卷积和注意力机制进行信息的交互和聚合，得到局部增强特征；对所述待评估胚胎图像的原图像进行卷积得到局部特征；将所述局部特征与局部增强特征进行拼接后进行特征融合，以回归出所述待评估胚胎图像的质量评估结果；
进行信息的交互和融合的方法包括以下步骤：
步骤S51：逐像素通过多层感知机多所述分割区域进行升维；
步骤S52：在所述分割区域内做图卷积；
步骤S53：通过多层感知机将特征升为步骤S51的四倍；
步骤S54：采用注意力机制进行图之间的信息挖掘；
步骤S55：采用多层残差块进行特征交互，得到分割区域内交互的信息。
2.根据权利要求1所述的一种基于分期识别的胚胎发育阶段预测与质量评估方法，其特征在于：步骤S31中ResNet-50网络的卷积核采用深度边缘感知滤波器自适应卷积，以充分挖掘图像的边缘结构特征。
3.根据权利要求1所述的一种基于分期识别的胚胎发育阶段预测与质量评估方法，其特征在于：步骤S3之前还包括粗分类步骤：采用ResNet-50为主干网络对所述待评估胚胎图像进行特征提取，采用二分类的交叉熵损失函数进行1-2期和3-5期的二分类训练，得到粗分类结果。
4.根据权利要求3所述的一种基于分期识别的胚胎发育阶段预测与质量评估方法，其特征在于：所述ResNet-50采用基于E2CNN的等变网络重新实现主干网络的所有层。
5.根据权利要求3所述的一种基于分期识别的胚胎发育阶段预测与质量评估方法，其特征在于：当所述粗分类的结果为1-2期时，步骤S3采用二分类的交叉熵损失函数进行约束，以将1-2期细分为1期或2期；当所述粗分类的结果为3-5期时，步骤S3采用三分类的交叉熵损失函数进行约束，以将3-5期细分为3期或4期或5期。
6.根据权利要求1所述的一种基于分期识别的胚胎发育阶段预测与质量评估方法，其特征在于：步骤S4中所述分割网络采用Res-U-Net网络作为主干网络，所述Res-U-Net网络包括编码器、解码器和残差连接部分。
7.根据权利要求6所述的一种基于分期识别的胚胎发育阶段预测与质量评估方法，其特征在于：所述分割网络进行图像分割的方法包括：所述编码器不断对图像特征进行下采样以提取高层语义信息，解码器不断地上采样恢复到图像原尺寸并通过非线性激活得到最终的分割结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311123763.0A CN117095180B (zh) | 2023-09-01 | 2023-09-01 | 基于分期识别的胚胎发育阶段预测与质量评估方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311123763.0A CN117095180B (zh) | 2023-09-01 | 2023-09-01 | 基于分期识别的胚胎发育阶段预测与质量评估方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117095180A CN117095180A (zh) | 2023-11-21 |
| CN117095180B true CN117095180B (zh) | 2024-04-19 |
Family
ID=88769554
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311123763.0A Active CN117095180B (zh) | 2023-09-01 | 2023-09-01 | 基于分期识别的胚胎发育阶段预测与质量评估方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117095180B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117612164B (zh) * | 2024-01-19 | 2024-04-30 | 武汉互创联合科技有限公司 | 基于双重边缘检测的细胞分裂均衡度检测方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109544512A (zh) * | 2018-10-26 | 2019-03-29 | 浙江大学 | 一种基于多模态的胚胎妊娠结果预测装置 |
| CN110276402A (zh) * | 2019-06-25 | 2019-09-24 | 北京工业大学 | 一种基于深度学习语义边界增强的盐体识别方法 |
| WO2022012110A1 (zh) * | 2020-07-17 | 2022-01-20 | 中山大学 | 胚胎光镜图像中细胞的识别方法及系统、设备及存储介质 |
| CN114119950A (zh) * | 2021-10-25 | 2022-03-01 | 上海交通大学医学院附属第九人民医院 | 一种基于人工智能的口腔曲面断层片牙齿图像分割方法 |
| CN114372531A (zh) * | 2022-01-11 | 2022-04-19 | 北京航空航天大学 | 一种基于自注意力特征融合的胰腺癌病理图像分类方法 |
| CN115937082A (zh) * | 2022-09-30 | 2023-04-07 | 湘潭大学 | 基于深度学习的胚胎质量智能评估系统及评估方法 |
| CN116310693A (zh) * | 2023-04-06 | 2023-06-23 | 福州大学 | 基于边缘特征融合和高阶空间交互的伪装目标检测方法 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11107205B2 (en) * | 2019-02-18 | 2021-08-31 | Samsung Electronics Co., Ltd. | Techniques for convolutional neural network-based multi-exposure fusion of multiple image frames and for deblurring multiple image frames |
| TWI710762B (zh) * | 2019-07-31 | 2020-11-21 | 由田新技股份有限公司 | 基於影像的分類系統 |
| MX2022007415A (es) * | 2019-12-20 | 2022-10-18 | Badiola Alejandro Chavez | Metodo basado en el acondicionamiento y pre-procesamiento de imagenes, para la clasificacion de embriones humanos. |
| US20220383497A1 (en) * | 2021-05-28 | 2022-12-01 | Daniel Needleman | Automated analysis and selection of human embryos |
| US20230005138A1 (en) * | 2021-06-30 | 2023-01-05 | The University Of Hong Kong | Lumbar spine annatomical annotation based on magnetic resonance images using artificial intelligence |
-
2023
- 2023-09-01 CN CN202311123763.0A patent/CN117095180B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109544512A (zh) * | 2018-10-26 | 2019-03-29 | 浙江大学 | 一种基于多模态的胚胎妊娠结果预测装置 |
| CN110276402A (zh) * | 2019-06-25 | 2019-09-24 | 北京工业大学 | 一种基于深度学习语义边界增强的盐体识别方法 |
| WO2022012110A1 (zh) * | 2020-07-17 | 2022-01-20 | 中山大学 | 胚胎光镜图像中细胞的识别方法及系统、设备及存储介质 |
| CN114119950A (zh) * | 2021-10-25 | 2022-03-01 | 上海交通大学医学院附属第九人民医院 | 一种基于人工智能的口腔曲面断层片牙齿图像分割方法 |
| CN114372531A (zh) * | 2022-01-11 | 2022-04-19 | 北京航空航天大学 | 一种基于自注意力特征融合的胰腺癌病理图像分类方法 |
| CN115937082A (zh) * | 2022-09-30 | 2023-04-07 | 湘潭大学 | 基于深度学习的胚胎质量智能评估系统及评估方法 |
| CN116310693A (zh) * | 2023-04-06 | 2023-06-23 | 福州大学 | 基于边缘特征融合和高阶空间交互的伪装目标检测方法 |
Non-Patent Citations (5)
| Title |
|---|
| 乳腺超声图像中易混淆困难样本的分类方法;杜章锦等;中国图象图形学报;20200716(第07期);全文 * |
| 基于U-Net卷积神经网络的年轮图像分割算法;宁霄等;生态学杂志;20190515(第05期);全文 * |
| 基于U-Net网络的多主动轮廓细胞分割方法研究;朱琳琳等;红外与激光工程;20200725(第S1期);全文 * |
| 深度卷积神经网络图像语义分割研究进展;青晨等;中国图象图形学报;20200616(第06期);全文 * |
| 融合型UNet++网络的超声胎儿头部边缘检测;邢妍妍等;中国图象图形学报;20200216(第02期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117095180A (zh) | 2023-11-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11144889B2 (en) | Automatic assessment of damage and repair costs in vehicles | |
| US20210390706A1 (en) | Detection model training method and apparatus, computer device and storage medium | |
| CN108830326B (zh) | 一种mri图像的自动分割方法及装置 | |
| CN111553397B (zh) | 基于区域全卷积网络和自适应的跨域目标检测方法 | |
| WO2019200747A1 (zh) | 分割股骨近端的方法、装置、计算机设备和存储介质 | |
| CN111161311A (zh) | 一种基于深度学习的视觉多目标跟踪方法及装置 | |
| CN117095180B (zh) | 基于分期识别的胚胎发育阶段预测与质量评估方法 | |
| US20230281974A1 (en) | Method and system for adaptation of a trained object detection model to account for domain shift | |
| Xing et al. | Traffic sign recognition using guided image filtering | |
| Lopez Droguett et al. | Semantic segmentation model for crack images from concrete bridges for mobile devices | |
| CN111582004A (zh) | 一种地面图像中的目标区域分割方法及装置 | |
| Li et al. | A review of deep learning methods for pixel-level crack detection | |
| Galdran et al. | A no-reference quality metric for retinal vessel tree segmentation | |
| CN112598031A (zh) | 一种蔬菜病害检测方法及系统 | |
| CN111127400A (zh) | 一种乳腺病变检测方法和装置 | |
| CN116844143B (zh) | 基于边缘增强的胚胎发育阶段预测与质量评估系统 | |
| CN116883650A (zh) | 一种基于注意力和局部拼接的图像级弱监督语义分割方法 | |
| CN116883996B (zh) | 基于旋转等变网络的胚胎发育阶段预测与质量评估系统 | |
| Hossain et al. | Renal cell cancer nuclei segmentation from histopathology image using synthetic data | |
| KR102026280B1 (ko) | 딥 러닝을 이용한 씬 텍스트 검출 방법 및 시스템 | |
| Adegun et al. | Deep convolutional network-based framework for melanoma lesion detection and segmentation | |
| CN116844160B (zh) | 基于主体识别的胚胎发育质量评估系统 | |
| CN111414895A (zh) | 一种人脸识别方法，装置及存储设备 | |
| Luo | Sailboat and kayak detection using deep learning methods | |
| He et al. | A two-stage approach solo_GAN for overlapping cervical cell segmentation based on single-cell identification and boundary generation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |