CN116844160B - 基于主体识别的胚胎发育质量评估系统 - Google Patents
基于主体识别的胚胎发育质量评估系统 Download PDFInfo
- Publication number
- CN116844160B CN116844160B CN202311123767.9A CN202311123767A CN116844160B CN 116844160 B CN116844160 B CN 116844160B CN 202311123767 A CN202311123767 A CN 202311123767A CN 116844160 B CN116844160 B CN 116844160B
- Authority
- CN
- China
- Prior art keywords
- classification
- module
- embryo
- main body
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000013020 embryo development Effects 0.000 title claims abstract description 52
- 238000001303 quality assessment method Methods 0.000 title claims description 19
- 210000001161 mammalian embryo Anatomy 0.000 claims abstract description 75
- 230000011218 segmentation Effects 0.000 claims abstract description 70
- 210000004027 cell Anatomy 0.000 claims abstract description 41
- 238000000034 method Methods 0.000 claims abstract description 39
- 210000002993 trophoblast Anatomy 0.000 claims abstract description 34
- 238000011161 development Methods 0.000 claims abstract description 31
- 230000018109 developmental process Effects 0.000 claims abstract description 31
- 239000000284 extract Substances 0.000 claims abstract description 13
- 238000005065 mining Methods 0.000 claims abstract description 13
- 210000000746 body region Anatomy 0.000 claims abstract description 4
- 238000012549 training Methods 0.000 claims description 31
- 230000007246 mechanism Effects 0.000 claims description 23
- 230000003993 interaction Effects 0.000 claims description 22
- 210000000625 blastula Anatomy 0.000 claims description 17
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 13
- 230000004927 fusion Effects 0.000 claims description 11
- 239000011159 matrix material Substances 0.000 claims description 9
- 210000004340 zona pellucida Anatomy 0.000 claims description 9
- 230000004913 activation Effects 0.000 claims description 8
- 230000002776 aggregation Effects 0.000 claims description 6
- 238000004220 aggregation Methods 0.000 claims description 6
- 238000003709 image segmentation Methods 0.000 claims description 5
- 238000011176 pooling Methods 0.000 claims description 5
- 230000008447 perception Effects 0.000 claims description 4
- 230000035945 sensitivity Effects 0.000 claims description 3
- 239000013598 vector Substances 0.000 claims description 3
- 238000013441 quality evaluation Methods 0.000 abstract description 9
- 230000008569 process Effects 0.000 description 12
- 230000006870 function Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 238000002372 labelling Methods 0.000 description 6
- 210000002459 blastocyst Anatomy 0.000 description 5
- 210000002257 embryonic structure Anatomy 0.000 description 5
- 230000000877 morphologic effect Effects 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 238000007781 pre-processing Methods 0.000 description 4
- 238000010276 construction Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 210000002308 embryonic cell Anatomy 0.000 description 2
- 239000012634 fragment Substances 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 230000000630 rising effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000011712 cell development Effects 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000004720 fertilization Effects 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
- 238000000338 in vitro Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 210000000287 oocyte Anatomy 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000035935 pregnancy Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000002054 transplantation Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/698—Matching; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
- G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/695—Preprocessing, e.g. image segmentation
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Multimedia (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于主体识别的胚胎发育质量评估系统，包括主体分割模块、胚胎发育粗分类模块、胚胎发育细分类模块、分期分割模块、分级模块；其中，主体分割模块用于对待检测图像中的胚胎主体区域进行分割，做主体类和其他类的二分类分割，胚胎发育粗分类模块对分割后的主体类图像区域做粗分类识别；胚胎发育细分类模块对图像进行细分类识别；分期分割模块对3期、4期或5期的图像分别通过对应的分割网络进行分割，提取内细胞团、滋养层和其他区域的三类掩码；发育质量分级模块对掩码进行质量分级识别，输出对应图像的质量级别。本发明通过先细分类后分割和分级的方法挖掘图像的细节信息提升分类的精度和不同发育时期的分级的准确度。
Description
技术领域
本发明涉及人工智能技术领域，具体地指一种基于主体识别的胚胎发育质量评估系统。
背景技术
胚胎发育的好坏直接影响妊娠率的结果，胚胎学家依靠胚胎形态学和基因学两种主要途径对胚胎的好坏进行判别，其中利用基因学手段判别胚胎好坏需要具备极高的实验条件，而利用胚胎形态学信息完成胚胎的评判是一种简单快速有效的方法。目前，大多数胚胎学家基于囊胚期胚胎的形态学特征对胚胎的优劣进行判别，筛选出优质胚胎进行移植。在这些形态学特征中，囊胚腔、内细胞团和滋养层等特征是医生对胚胎好坏评分的极其重要的因素，因此，利用计算机建立视觉模型帮助医生快速准确地对囊胚腔、内细胞团和滋养层等特征进行预测是一个极具意义的研究方向。
然而，1、2阶段的胚胎细胞不用参与质量评估流程，而统一地对待所有时期的细胞进行分类和分级，不可避免地会带来干扰和计算代价的负担；另一方面，胚胎发育阶段一步到位分类是一个五分类问题，类别数越多，决策边界越难精确判定，发生误分类的概率越大。
因此，设计有效的分类框架和特征挖掘方式是一个值得研究的问题。
发明内容
本发明针对现有技术的不足之处，提出一种基于主体识别的胚胎发育质量评估系统，通过先主体分割再分类的深度学习粗分类方法通过排除无关区域的干扰，在有效图像区域内进行特征交互和融合提升发育阶段粗分类的精度，并通过先细分类后分割和分级的方法挖掘图像的细节信息提升分类的精度和不同发育时期的分级的准确度。
为实现上述目的，本发明设计的一种基于主体识别的胚胎发育质量评估系统，其特殊之处在于，所述系统包括主体分割模块、胚胎发育粗分类模块、胚胎发育细分类模块、分期分割模块、发育质量分级模块；
其中，所述主体分割模块：用于对待检测图像中的胚胎主体区域进行分割，通过胚胎主体分割网络做主体类和其他类的二分类分割，所述胚胎主体分割网络经过训练，将训练图片中包含囊胚腔、内细胞团、滋养层、透明带的标签合并为主体类，将其余区域的标签合并为其他类；
所述胚胎发育粗分类模块：用于对分割后的主体类图像区域做粗分类识别，输出1~2期、3~5期二分类结果或1期、2期、3~5期三分类结果；
所述胚胎发育细分类模块：对经过粗分类的图像进行细分类识别，输出图像为1期、2期、3期、4期或5期；
所述分期分割模块：用于对3期、4期或5期的图像分别通过对应的分割网络进行分割，分割提取内细胞团、滋养层和其他区域的三类掩码；
所述发育质量分级模块：用于对所述分期分割模块输出的掩码进行质量分级识别，输出对应图像的质量级别为A级、B级或C级。
进一步地，所述胚胎主体分割网络采用Res-U-Net为主干网络，使用二分类平均交叉熵损失约束，损失函数L CE表示为：
其中表示像素类别数，/>表示第/>个样本中像素/>的真实类别，/>表示模型预测该像素的预测类别概率分布，N表示图像中的像素总数量。
更进一步地，所述胚胎发育粗分类模块以ResNet-50作为主干网络，结合自注意力机制，提取胚胎主体区域分别做带掩码的自注意力的信息交互和聚合后回归出图像的粗分类结果。
更进一步地，所述胚胎发育粗分类模块在分割后的胚胎主体区域使用多层感知机逐步将特征升维记为，然后进行自注意力机制进行特征交互和融合：
，
其中表示掩码中的像素，/>分别表示对应像素/>的特征，为可学习的权重矩阵，/>表示查询矩阵，/>分别表示键矩阵和值矩阵，/>表示非线性的偏置，自注意力的权重表示为：
表示键向量的维度
进行自注意力之后的特征更新为：
其中表示特征拼接操作，ε表示构建图卷积时的边，/>表示自注意力的层数，通过聚焦局部结构并加深对局部特征的信息交互和挖掘。
更进一步地，所述胚胎发育细分类模块以带自注意力机制的边缘敏感卷积和ResNet-50作为主干网络，在细分类中充分挖掘图像的边缘结构特征，使深度边缘感知滤波器自适应卷积和自注意力机制突出图像的边缘信息。
更进一步地，所述胚胎发育细分类模块将经过粗分类的图像和Canny检测的边缘图，分别通过权重不共享的ResNet-50的两个残差块提取原图的特征和边缘图的信息，接着做自注意力机制提取边缘敏感的边缘特征挖掘，再使用两个残差块、一个平均池化层得到原图和边缘图对应的特征，然后使用特征融合模块即对应像素特定拼接，将原图和边缘图的特征融合起来，最后使用一个残差块、一个全连接层，一个非线性激活层得到最终的细分类结果。
更进一步地，所述分期分割模块对于有真实标签的内细胞团、滋养层和其他区域的逐像素标记做3分类图像分割，并分别训练3期、4期、5期的分割网络，以准确分割出特定时期图像的内细胞团和滋养层区域；所述分期分割模块根据细分类的结果用对应时期的分割网络分割提取出内细胞团、滋养层和其他区域的三类掩码，用于质量评估。
更进一步地，所述分期分割模块采用Res-U-Net结构，由编码器、解码器和残差连接部分组成，其中编码器不断地对初始图像特征进行下采样提取高层语义信息，解码器不断地上采样恢复到图像原尺寸并通过非线性激活得到最终的分割结果。
更进一步地，所述发育质量分级模块以带注意力的图卷积和ResNet-50作为主干网络，提取内细胞团和滋养层分割区域分别做带掩码的图卷积和注意力机制进行信息的交互和聚合，经过带有A级、B级和C级标签图像的训练，输出掩码对应的质量分级。
本发明提出的基于主体识别的胚胎发育质量评估系统，其有益效果包括：
1、本发明采用基于先主体分割再分类的深度学习粗分类方法通过排除无关区域的干扰，在有效图像区域内进行特征交互和融合提升发育阶段粗分类的精度；
2、本发明采用基于先细分类后分割和分级的方法可以通过挖掘图像的细节信息提升分类的精度和关注不同胚胎个体不同发育时期的发育差异增加分级的准确度；
3、对胚胎发育阶段分类时医生主要依赖囊胚腔和透明带，对胚胎质量评估时医生主要关注内细胞团和滋养层，两个阶段关注的是不同区域，本发明在不同任务上聚焦到特定的区域进行特征的提取和交互可以避免冗余的干扰信息以提取到更有表征性的特征；
4、本发明完成囊胚腔、内细胞团、滋养层、透明带、质量A级、B级、C级的标注，以及根据标注信息给胚胎样本数据准确的标签信息以构建准确标注的大量胚胎样本数据集。
附图说明
图1为本发明基于主体识别的胚胎发育质量评估系统的结构框图；
图2为主体分割模块的示意图；
图3为不同发育时期的胚胎图像；
图4为发育阶段粗分类模块网络结构图；
图5为发育阶段细分类模块网络结构图；
图6为不同个体3~5期细胞形态多样性的胚胎图像；
图7为分期分割网络结构图；
图8为特定区域的特征交互示意图；
图9为发育质量分级模块的网络结构图。
图10为胚胎发育阶段粗预测的预测结果图。
图11为胚胎发育阶段细预测的预测结果图。
具体实施方式
以下结合附图和具体实施例对本发明作进一步的详细描述。
本发明提出的基于主体识别的胚胎发育质量评估系统，如图1所示，包括图像数据集构建模块、图像预处理模块、主体分割模块、胚胎发育粗分类模块、胚胎发育细分类模块、分期分割模块、发育质量分级模块；其中，
主体分割模块：用于对待检测图像中的胚胎主体区域进行分割，通过胚胎主体分割网络做主体类和其他类的二分类分割，所述胚胎主体分割网络经过训练，将训练图片中包含囊胚腔、内细胞团、滋养层、透明带的标签合并为主体类，将其余区域的标签合并为其他类；
胚胎发育粗分类模块：用于对分割后的主体类图像区域做粗分类识别，输出1~2期、3~5期二分类结果或1期、2期、3~5期三分类结果； 1~2期和3~5期胚胎图像区分往往是在宏观上的，如胚胎主体的大小，囊胚腔的面积大小，透明带的有无，反映到图像的分类问题上，根本决定了分类是依赖于全局特征；在粗分类阶段，提取的是胚胎主体内的使用了注意力模块的特征融合原始全图像经过ResNet-50的特征，此时使用的全局特征可以捕捉到1-2，3-5期细胞的宏观差异，如主体部分的大小；
胚胎发育细分类模块：对经过粗分类的图像进行细分类识别，输出图像为1期、2期、3期、4期或5期；在细分类阶段，重点是融合边缘图增强的特征和原图经过Resnet-50的特征，此时使用的细节特征，即边缘信息在不同时期很有区分性，如边缘很密集的中心区域代表囊胚腔，而主体外侧的边缘信息代表透明带。最终在粗分类和细分类阶段分别将融合的特征依次经过残差块、全连接层和非线性激活得到分类结果；
分期分割模块：用于对3期、4期或5期的图像分别通过对应的分割网络进行分割，分割提取内细胞团、滋养层和其他区域的三类掩码；
发育质量分级模块：用于对所述分期分割模块输出的掩码进行质量分级识别，输出对应图像的质量级别为A级、B级或C级。
下面对基于主体识别的胚胎发育质量评估系统各模块的构建过程进行说明。
（一）构建准确标注的胚胎样本数据集：
卵母细胞受精后在第5天可能根据培养条件和胚胎质量会正式进入囊胚期，收集D5~D6包含囊胚腔、内细胞团、滋养层、透明带和碎片等的囊胚期胚胎图像，在多名胚胎学家的指导下由专业医生完成胚胎图像的标注工作。经研究证实有效且被广泛应用的Gardner评价法认为，对胚胎识别发育阶段和质量等级主要观察囊胚扩张程度、内细胞团和滋养层的发育状态即可。胚胎细胞的发育阶段可以用1~5期表示，并对已经完全扩张的囊胚，分别用A，B，C级评估内细胞团和滋养层的质量分级。胚胎细胞的发育阶段分期以Gardner和Schoolcraft襄胚评分系统为基础，结合2016年体外受精-胚胎移植实验室操作专家共识，根据囊胚扩张程度和孵出状态将评级分为6个期别囊胚分期标准（如表1所示），而本发明针对囊胚期胚胎图像进行前1~5期标注，用于AI模型对囊胚期胚胎图像进行分期识别。
表1 囊胚期分期标准
注：a示通常透明带厚度＜5μm
首先，使用LabelImg软件对胚胎图像进行像素级标注，主要分为三类分别是囊胚腔、内细胞团和滋养层，具体来说利用多边形标注各类别的轮廓即可，为每一个轮廓区域赋予一个表示类别的标签。其次，划分好不同区域的标签图像再由不同的医生随机交叉为每张胚胎图像标注准确的发育阶段和质量评级，最终胚胎图像的发育阶段和质量评级由标签一致最多的决定，以此构建具有准确标签的胚胎样本数据集，并将具有准确标签的胚胎样本数据集存储至图像数据集构建模块。
（二）图像预处理：
由于采集的胚胎图像存在一定的胚胎主体无关区域和噪声，可能会对基于深度学习的胚胎阶段识别和质量评估结果产生偏差。因此，有必要对输入的胚胎图像进行预处理。具体来说，图像预处理模块首先使用传统的形态学图像去噪方法如膨胀、开闭运算等对原始输入图像进行边缘增强和噪声去除。然后根据图像的梯度信息统计分析划分不同的区域并为它们生成掩模信息，同时使用边缘检测如canny算子提取胚胎图像的轮廓信息并保存为对应图像的轮廓图。
（三）胚胎主体分割：
在发育初期，胚胎主体区域较小，在原始图片中的占比过小，同时，胚胎图像中还可能存在碎片和其他胚胎主体无关的区域，可能会对分类时信息交互产生干扰。因此，在粗分类之前进行胚胎主体的分割很有必要。其次，划分胚胎主体是二分类的分割问题，二分类的分割比五分类的分割难度低，能降低噪声带来的干扰，具有更好的泛化性，从而提升模型的可靠性。
主体分割模块采用Res-U-Net作为主干网络如图2所示，输入为原图，先采用5层编码器逐渐下采样图像，提取高层次丰富的特征，然后采用4个解码器逐渐上采样恢复原图尺寸并采用跳跃连接的方式加强主要特征的映射，并通过非线性激活得到最终的胚胎主体分割结果。胚胎主体包含囊胚腔、内细胞团、滋养层和透明带，将其标签合并为一类，其余区域分割标签合并为另一类，做二分类的分割，预测每个像素的预测类别并与真实标签进行比较，计算整张图像的平均交叉熵损失，损失函数L CE可以表示为：
其中表示像素类别数，/>表示第/>个样本中像素/>的真实类别，/>表示模型预测该像素的预测类别概率分布。
（四）发育阶段粗分类：
胚胎发育阶段分类的精度取决于高层全局语义特征和底层细节特征的挖掘。首先，如图3所示，1~2期和3~5期胚胎图像区分往往是在宏观上的，反映到图像的分类问题上，根本决定了分类是依赖于全局特征。其次，来自于相邻发育阶段的分类往往靠细节区分。然而，一步到位的分类既要考虑保留底层细节特征，也要保留高层全局语义特征，这是机器学习和计算机视觉中极具挑战的问题。因此，采用解耦的两阶段先粗分后细分框架，即先用全局特征二分类，再用细节特征进行相邻阶段的分类，以提升相邻阶段分类的精度。
胚胎发育粗分类模块以ResNet-50作为主干网络，输入包括两部分，分别为原图像和胚胎主体区域的分割掩码。原图像分支保留图像的原有尺寸，卷积获得局部特征；而在分割掩码分支上结合自注意力机制，取胚胎主体区域分别做带掩码的自注意力的信息交互和聚合，获得局部增强特征。最终保证两分支在分割掩码区域对应像素上获得相同维度的特征进行特征拼接，在非分割掩码区域复制两份局部特征即可，获得原图尺寸大小的特征。在分割后的胚胎主体区域使用多层感知机逐步将特征升维记为，然后进行自注意力机制进行特征交互和融合：
，
其中表示掩码中的像素，/>分别表示对应像素/>的特征，为可学习的权重矩阵，/>表示查询矩阵，/>分别表示键矩阵和值矩阵，/>表示非线性的偏置，自注意力的权重/>表示为：
表示键向量的维度
进行自注意力之后的特征更新为：
其中表示拼接操作，ε表示构建图卷积时的边，/>表示自注意力的层数，通过聚焦局部结构并加深对局部特征的信息交互和挖掘，最终回归出分类结果和分级结果，损失函数采用二分类的交叉熵损失。
具体来说，发育阶段粗分类模块如图4所示，输入分割之后的特定区域的不规则图像，逐像素通过多层感知机升维为128，使用注意力机制进行图之间的信息挖掘，接着，使用4层残差块进行特征交互，得到特定区域内充分交互的信息。另一分支在原图上使用卷积和4层残差块提取特征并进行一次平均池化。根据掩码对应位置将特定区域的掩码拼接到对应的原图卷积的特征后，没有掩码信息的复制一份原图卷积的特征，经过一次特征融合后回归出图像的粗分类结果。
（五）发育阶段细分类：
发育阶段细分类本质上是依赖于图像中挖掘的细节信息，对胚胎细胞来说，图像中的边缘信息其中最明显的细节特征。因此，充分挖掘图像的边缘特征有助于提升分类的准确性。边缘敏感卷积是一种常用的方式，深度边缘感知滤波器（Deep Edge-AwareFilters , DEAF）中的双边滤波器结合空间距离和像素值之间的相似性不断平滑图像，保留边缘的细节信息同时减少噪声的影响；而自注意力机制可以使模型自动关注到图像中的边缘区域，提高边缘的清晰度和连续性。因此，发育阶段细分类模块以带自注意力机制的边缘敏感卷积和ResNet-50作为主干网络，在细分类中充分挖掘图像的边缘结构特征，使深度边缘感知滤波器自适应卷积和自注意力机制突出图像的边缘信息。即ResNet-50中的卷积核替换为深度边缘感知滤波器自适应卷积，通过聚焦边缘信息引导的特征交互并通过注意力机制加深对边缘特征的信息交互和挖掘，最终回归出细分类结果，损失函数根据粗分类结果采用二分类或三分类的交叉熵损失。
发育阶段细分类模块的网络结构示意图如图5所示。输入为原图和Canny检测的边缘图，分别通过权重不共享的ResNet-50的两个残差块提取原图的特征和边缘图的信息，接着做自注意力机制提取边缘敏感的边缘特征挖掘，再使用两个残差块，一个平均池化层得到原图和边缘图对应的特征，然后使用特征融合模块即对应像素特定拼接，将原图和边缘图的特征融合起来，最后使用一个残差块、一个全连接层，一个非线性激活层得到最终的细分类结果。
（六）分期分割：
不同时期和不同胚胎个体的发育差异较大，如图6所示，对不同时期使用统一的分割网络获取内细胞团和滋养层进行质量评估可能很难达到理想的效果和良好的泛化性。因此，分期分割模块对3~5期每一个分期的细胞，单独训练一个特定时期的分割网络准确分割出对应的内细胞团和滋养层区域用于准确的质量评估。根据细分类的结果，选取3~5期的图像分别训练一个对应的分割网络，仅分割提取出质量评估依据的内细胞团、滋养层和其他区域的三类掩码。图像分割模块对于有真实标签的内细胞团、滋养层和其他区域的逐像素标记做3分类图像分割。
分割网络采用Res-U-Net作为主干网络，预测每个像素的预测类别并与真实标签进行比较，计算整张图像的平均交叉熵损失，可以表示为：
其中表示像素类别数，/>表示第/>个样本中像素/>的真实类别，/>表示模型预测该像素的预测类别概率分布。
分割网络Res-U-Net结构如图7所示，主要由编码器、解码器和残差连接部分组成，其中编码器不断对初始图像特征进行下采样提取高层语义信息，解码器不断地上采样恢复到图像原尺寸并通过非线性激活得到最终的分割结果。3~5期每一期设置特定的分割网络。
（七）发育质量分级：
发育质量分级模块以带注意力的图卷积和ResNet-50作为主干网络，取内细胞团和滋养层分割区域分别做带掩码的图卷积和注意力机制进行信息的交互和聚合。分割后的特定区域如内细胞团可能是不规则结构，原图、内细胞团分割掩码和带注意力的图卷积分别如图8中（a）、（b）、（c）所示。像素a利用邻域信息建立图结构并不断做图卷积，使用多层感知机逐步将特征升维记为，然后进行自注意力机制进行特征交互和融合：
，
自注意力的权重表示为：
进行自注意力之后的特征更新为：
上式中表示特征拼接操作，/>表示自注意力的层数，通过聚焦局部结构并加深对局部特征的信息交互和挖掘。最终回归出3分类质量评估结果，损失函数采用三分类的交叉熵损失。
发育质量分级模块网络结构如图9所示。输入分割之后的特定区域的不规则图像，逐像素通过多层感知机升维为32，然后在特定区域内做图卷积，其中构建图的形式是选取中心像素周围8像素，再通过多层感知机将特征升为128维。使用注意力机制进行图之间的信息挖掘，接着，使用4层残差块进行特征交互，得到特定区域内充分交互的信息。另一分支在原图上使用卷积和4层残差块提取特征并进行一次平均池化。根据掩码对应位置将特定区域的掩码拼接到对应的原图卷积的特征后，没有掩码信息的复制一份原图卷积的特征，经过一次特征融合后回归出图像的质量评估结果。
（八）系统训练测试：
1、图像数据预处理
将收集的数据集以6：2：2的比例划分为训练集，验证集和测试集。使用形态学方法如膨胀腐蚀、开闭运算去除图像中的噪声点和增强图像的边缘信息，将增强后的图像尺寸统一缩放到500×500，计算并保留Canny边缘检测的边缘图。
2、模型训练阶段
胚胎主体分割模块的网络模型使用Res-U-Net，使用在ImageNet上的预训练模型初始化参数设置，训练过程的参数设置学习率为1e-4，权重衰减率为5e-4，所有训练集共迭代200次。胚胎标注中的内细胞团、滋养层、囊胚腔、透明带像素级标签分别为1类表示胚胎主体，其他区域合并为1类，做2分类的分割，提取胚胎的主体部位用于分类。训练过程的损失函数设置为2分类逐像素的平均交叉熵损失。计算整张图像的平均交叉熵损失，可以表示为：
其中表示像素类别数，/>表示第/>个样本中像素/>的真实类别，/>表示模型预测该像素的预测类别概率分布，N表示图像中的像素总数量。
发育阶段粗分类模块训练阶段使用ResNet-50，使用在ImageNet上的预训练模型初始化参数设置，训练过程的参数设置学习率为1e-4，权重衰减率为5e-4，所有训练集共迭代200次。胚胎发育阶段的标签将1-2期合并为0类，将3-5期合并为1类，做一个二分类训练获得粗分类结果。模块预测结果为p，样本标签为0或1，训练过程的损失函数为二分类交叉熵损失，具体形式如下：
发育阶段细分类模块训练的网络模型如图5所示，同样的使用ImageNet上的预训练模型初始化参数设置，训练过程的参数设置学习率为1e-4，权重衰减率为5e-4，所有训练集共迭代200次。训练过程的损失函数设置交叉熵损失，其中对粗分类为1-2期的图像，损失为二分类的交叉熵损失，而对粗分类为2-5期的图像做三分类的损失。
内细胞团和滋养层分割模块的网络模型使用Res-U-Net，使用在ImageNet上的预训练模型初始化参数设置，训练过程的参数设置学习率为1e-4，权重衰减率为5e-4，所有训练集共迭代200次。胚胎标注中的内细胞团、滋养层像素级标签分别为2类，其他区域合并为1类，做3分类的分割，提取胚胎的特定部位用于质量评估。训练过程的损失函数设置为3分类逐像素的平均交叉熵损失。计算整张图像的平均交叉熵损失，可以表示为：
其中表示像素类别数，/>表示第/>个样本中像素/>的真实类别，/>表示模型预测该像素的预测类别概率分布，N表示图像中的像素总数量。
发育质量分级模块训练的网络模型如图9所示，选取分割掩码为内细胞团和滋养层区域和原图作为输入，同样的使用在ImageNet上的预训练模型初始化参数设置，训练过程的参数设置学习率为1e-4，权重衰减率为5e-4，所有训练集共迭代200次。训练过程的损失分别包含内细胞团和滋养层逐像素的分割损失及对应结构质量评级的交叉熵损失，质量评级分为A，B，C级，做三分类的交叉熵约束。
3、模型测试阶段
将测试集中的胚胎图像同样进行形态学处理后分别送入训练好的发育阶段粗分类模块、发育阶段细分类模块、图像分割模块、发育质量分级模块的网络模型中测试，分别得到胚胎发育阶段粗预测、胚胎主体分割、胚胎发育阶段细预测和胚胎发育质量评级的结果，胚胎发育阶段粗预测的结果如图10所示，胚胎发育阶段细预测的结果如图11所示。
本发明还提出一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现上述的基于主体分割的胚胎发育阶段预测与质量评估系统。
本说明书未作详细描述的内容属于本领域专业技术人员公知的现有技术。
最后需要说明的是，以上具体实施方式仅用以说明本专利技术方案而非限制，尽管参照较佳实施例对本专利进行了详细说明，本领域的普通技术人员应当理解，可以对本专利的技术方案进行修改或者等同替换，而不脱离本专利技术方案的精神和范围，其均应涵盖在本专利的权利要求范围当中。
Claims (7)
1.一种基于主体识别的胚胎发育质量评估系统，其特征在于：所述系统包括主体分割模块、胚胎发育粗分类模块、胚胎发育细分类模块、分期分割模块、分级模块；
其中，所述主体分割模块：用于对待检测图像中的胚胎主体区域进行分割，通过胚胎主体分割网络做主体类和其他类的二分类分割，所述胚胎主体分割网络经过训练，将训练图片中包含囊胚腔、内细胞团、滋养层、透明带的标签合并为主体类，将其余区域的标签合并为其他类；
所述胚胎发育粗分类模块：用于对分割后的主体类图像区域做粗分类识别，输出1~2期、3~5期二分类结果或1期、2期、3~5期三分类结果；
所述胚胎发育细分类模块：对经过粗分类的图像进行细分类识别，输出图像为1期、2期、3期、4期或5期；
所述胚胎发育细分类模块以带自注意力机制的深度边缘感知滤波器和ResNet-50作为主干网络，在细分类中充分挖掘图像的边缘结构特征，使深度边缘感知滤波器自适应卷积和自注意力机制突出图像的边缘信息；
所述胚胎发育细分类模块将经过粗分类的图像和Canny检测的边缘图，分别通过权重不共享的ResNet-50的两个残差块提取原图的特征和边缘图的信息，接着做自注意力机制提取边缘敏感的边缘特征挖掘，再使用两个残差块、一个平均池化层得到原图和边缘图对应的特征，然后使用特征融合模块即对应像素特定拼接，将原图和边缘图的特征融合起来，最后使用一个残差块、一个全连接层，一个非线性激活层得到最终的细分类结果；
所述分期分割模块：用于对3期、4期或5期的图像分别通过对应的分割网络进行分割，分割提取内细胞团、滋养层和其他区域的三类掩码；
所述发育质量分级模块：用于对所述分期分割模块输出的掩码进行质量分级识别，输出对应图像的质量级别为A级、B级或C级。
2.根据权利要求1所述的一种基于主体识别的胚胎发育质量评估系统，其特征在于：所述胚胎主体分割网络采用Res-U-Net为主干网络，使用二分类平均交叉熵损失约束，损失函数L CE表示为：
其中表示像素类别数，/>表示第/>个样本中像素/>的真实类别，/>表示模型预测该像素的预测类别概率分布，N表示图像中的像素总数量。
3.根据权利要求1所述的一种基于主体识别的胚胎发育质量评估系统，其特征在于：所述胚胎发育粗分类模块以ResNet-50作为主干网络，结合自注意力机制，提取胚胎主体区域分别做带掩码的自注意力的信息交互和聚合后回归出图像的粗分类结果。
4.根据权利要求3所述的一种基于主体识别的胚胎发育质量评估系统，其特征在于：所述胚胎发育粗分类模块在分割后的胚胎主体区域使用多层感知机逐步将特征升维记为，然后进行自注意力机制进行特征交互和融合：
，
其中表示掩码中的像素，/>分别表示对应像素/>的特征，/>为可学习的权重矩阵，/>表示查询矩阵，/>分别表示键矩阵和值矩阵，/>表示非线性的偏置，自注意力的权重表示为：
表示键向量的维度
进行自注意力之后的特征更新为：
其中表示特征拼接操作，/>表示构建图卷积时的边，/>表示自注意力的层数，通过聚焦局部结构并加深对局部特征的信息交互和挖掘。
5.根据权利要求1所述的一种基于主体识别的胚胎发育质量评估系统，其特征在于：所述分期分割模块对于有真实标签的内细胞团、滋养层和其他区域的逐像素标记做3分类图像分割，并分别训练3期、4期、5期的分割网络，以准确分割出特定时期图像的内细胞团和滋养层区域；所述分期分割模块根据细分类的结果用对应时期的分割网络分割提取出内细胞团、滋养层和其他区域的三类掩码，用于质量评估。
6.根据权利要求5所述的一种基于主体识别的胚胎发育质量评估系统，其特征在于：所述分期分割模块采用Res-U-Net结构，由编码器、解码器和残差连接部分组成，其中编码器不断地对初始图像特征进行下采样提取高层语义信息，解码器不断地上采样恢复到图像原尺寸并通过非线性激活得到最终的分割结果。
7.根据权利要求1所述的一种基于主体识别的胚胎发育质量评估系统，其特征在于：所述发育质量分级模块以带注意力的图卷积和ResNet-50作为主干网络，提取内细胞团和滋养层分割区域分别做带掩码的图卷积和注意力机制进行信息的交互和聚合，经过带有A级、B级和C级标签图像的训练，输出掩码对应的质量分级。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311123767.9A CN116844160B (zh) | 2023-09-01 | 2023-09-01 | 基于主体识别的胚胎发育质量评估系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311123767.9A CN116844160B (zh) | 2023-09-01 | 2023-09-01 | 基于主体识别的胚胎发育质量评估系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116844160A CN116844160A (zh) | 2023-10-03 |
| CN116844160B true CN116844160B (zh) | 2023-11-28 |
Family
ID=88171089
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311123767.9A Active CN116844160B (zh) | 2023-09-01 | 2023-09-01 | 基于主体识别的胚胎发育质量评估系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116844160B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0673652B1 (en) * | 1992-07-21 | 2002-03-13 | NIKOLAENKO; Alexandr, Nikolaevich | Biologically active agent having immunomodulating properties, method for its obtaining and pharmaceutical preparation based on it |
| CN104450904A (zh) * | 2014-12-02 | 2015-03-25 | 柳州市妇幼保健院 | 利用颗粒细胞端粒长度来判断胚胎发育潜能的方法 |
| CN104718298A (zh) * | 2014-06-19 | 2015-06-17 | 湖南光琇高新生命科技有限公司 | 一种根据分裂行为对体外受精治疗胚胎进行评估的等级分类方法 |
| CN109544512A (zh) * | 2018-10-26 | 2019-03-29 | 浙江大学 | 一种基于多模态的胚胎妊娠结果预测装置 |
| CN113077457A (zh) * | 2021-04-20 | 2021-07-06 | 华中科技大学同济医学院附属同济医院 | 基于延时摄像系统与深度学习算法预测胚胎能否成囊的系统 |
| CN115239715A (zh) * | 2022-09-22 | 2022-10-25 | 中南大学 | 一种囊胚发育结果预测方法、系统、设备及存储介质 |
| CN115937082A (zh) * | 2022-09-30 | 2023-04-07 | 湘潭大学 | 基于深度学习的胚胎质量智能评估系统及评估方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113906472A (zh) * | 2019-04-04 | 2022-01-07 | 普雷萨根私人有限公司 | 用于选择胚胎的方法和系统 |
-
2023
- 2023-09-01 CN CN202311123767.9A patent/CN116844160B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0673652B1 (en) * | 1992-07-21 | 2002-03-13 | NIKOLAENKO; Alexandr, Nikolaevich | Biologically active agent having immunomodulating properties, method for its obtaining and pharmaceutical preparation based on it |
| CN104718298A (zh) * | 2014-06-19 | 2015-06-17 | 湖南光琇高新生命科技有限公司 | 一种根据分裂行为对体外受精治疗胚胎进行评估的等级分类方法 |
| CN104450904A (zh) * | 2014-12-02 | 2015-03-25 | 柳州市妇幼保健院 | 利用颗粒细胞端粒长度来判断胚胎发育潜能的方法 |
| CN109544512A (zh) * | 2018-10-26 | 2019-03-29 | 浙江大学 | 一种基于多模态的胚胎妊娠结果预测装置 |
| CN113077457A (zh) * | 2021-04-20 | 2021-07-06 | 华中科技大学同济医学院附属同济医院 | 基于延时摄像系统与深度学习算法预测胚胎能否成囊的系统 |
| CN115239715A (zh) * | 2022-09-22 | 2022-10-25 | 中南大学 | 一种囊胚发育结果预测方法、系统、设备及存储介质 |
| CN115937082A (zh) * | 2022-09-30 | 2023-04-07 | 湘潭大学 | 基于深度学习的胚胎质量智能评估系统及评估方法 |
Non-Patent Citations (3)
| Title |
|---|
| "基于稀疏数据的囊胚期胚胎特征识别系统研究与实现";徐畅;《知网》;论文第2.2节，第3章 * |
| "深度理解深度学习--注意力机制（attention mechanism）：自注意力（self-attention）";von Neuman;《https://blog.csdn.net/hy592070616/article/details/131135690》;文章全文 * |
| 徐畅."基于稀疏数据的囊胚期胚胎特征识别系统研究与实现".《知网》.2022,论文第2.2节，第3章. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116844160A (zh) | 2023-10-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112967243B (zh) | 一种基于yolo的深度学习芯片封装裂纹缺陷检测方法 | |
| Li et al. | Automatic crack recognition for concrete bridges using a fully convolutional neural network and naive Bayes data fusion based on a visual detection system | |
| Deng et al. | Vision based pixel-level bridge structural damage detection using a link ASPP network | |
| CN110232316A (zh) | 一种基于改进的dsod模型的车辆检测与识别方法 | |
| Cao et al. | Image processing-based automatic detection of asphalt pavement rutting using a novel metaheuristic optimized machine learning approach | |
| CN110310241A (zh) | 一种融合深度区域分割的多大气光值交通图像去雾方法 | |
| CN111274926B (zh) | 图像数据筛选方法、装置、计算机设备和存储介质 | |
| CN115239644B (zh) | 混凝土缺陷识别方法、装置、计算机设备和存储介质 | |
| Xing et al. | Traffic sign recognition using guided image filtering | |
| CN113505670B (zh) | 基于多尺度cam和超像素的遥感图像弱监督建筑提取方法 | |
| Lopez Droguett et al. | Semantic segmentation model for crack images from concrete bridges for mobile devices | |
| CN117095180B (zh) | 基于分期识别的胚胎发育阶段预测与质量评估方法 | |
| CN116844143B (zh) | 基于边缘增强的胚胎发育阶段预测与质量评估系统 | |
| Prabaharan et al. | RETRACTED ARTICLE: An improved convolutional neural network for abnormality detection and segmentation from human sperm images | |
| Gupta et al. | Image-based crack detection approaches: a comprehensive survey | |
| CN110889360A (zh) | 一种基于切换卷积网络的人群计数方法及系统 | |
| Chen et al. | Road damage detection and classification using mask R-CNN with DenseNet backbone | |
| CN111582004A (zh) | 一种地面图像中的目标区域分割方法及装置 | |
| CN114266794A (zh) | 基于全卷积神经网络的病理切片图像癌症区域分割系统 | |
| Zhang et al. | Investigation of pavement crack detection based on deep learning method using weakly supervised instance segmentation framework | |
| Yildiz et al. | Hybrid image improving and CNN (HIICNN) stacking ensemble method for traffic sign recognition | |
| Yu et al. | SignHRNet: Street-level traffic signs recognition with an attentive semi-anchoring guided high-resolution network | |
| Khoshdeli et al. | Deep learning models delineates multiple nuclear phenotypes in h&e stained histology sections | |
| CN116844160B (zh) | 基于主体识别的胚胎发育质量评估系统 | |
| Molina-Cabello et al. | Vehicle type detection by convolutional neural networks |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |