CN116883996B - 基于旋转等变网络的胚胎发育阶段预测与质量评估系统 - Google Patents
基于旋转等变网络的胚胎发育阶段预测与质量评估系统 Download PDFInfo
- Publication number
- CN116883996B CN116883996B CN202311123759.4A CN202311123759A CN116883996B CN 116883996 B CN116883996 B CN 116883996B CN 202311123759 A CN202311123759 A CN 202311123759A CN 116883996 B CN116883996 B CN 116883996B
- Authority
- CN
- China
- Prior art keywords
- image
- network
- classification
- embryo
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000013020 embryo development Effects 0.000 title claims abstract description 30
- 238000001303 quality assessment method Methods 0.000 title claims abstract description 17
- 210000001161 mammalian embryo Anatomy 0.000 claims abstract description 61
- 238000000034 method Methods 0.000 claims abstract description 52
- 238000011161 development Methods 0.000 claims abstract description 50
- 230000018109 developmental process Effects 0.000 claims abstract description 50
- 230000011218 segmentation Effects 0.000 claims abstract description 19
- 238000003709 image segmentation Methods 0.000 claims abstract description 17
- 230000003993 interaction Effects 0.000 claims abstract description 15
- 238000007781 pre-processing Methods 0.000 claims abstract description 12
- 238000013135 deep learning Methods 0.000 claims abstract description 11
- 238000013528 artificial neural network Methods 0.000 claims abstract description 5
- 210000004027 cell Anatomy 0.000 claims description 41
- 210000002993 trophoblast Anatomy 0.000 claims description 28
- 210000000625 blastula Anatomy 0.000 claims description 26
- 238000012549 training Methods 0.000 claims description 24
- 210000004340 zona pellucida Anatomy 0.000 claims description 19
- 230000007246 mechanism Effects 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 10
- 239000011159 matrix material Substances 0.000 claims description 9
- 230000004927 fusion Effects 0.000 claims description 6
- 238000005065 mining Methods 0.000 claims description 6
- 239000013598 vector Substances 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 230000000630 rising effect Effects 0.000 claims description 5
- 238000005096 rolling process Methods 0.000 claims description 5
- 230000002776 aggregation Effects 0.000 claims description 4
- 238000004220 aggregation Methods 0.000 claims description 4
- 210000002459 blastocyst Anatomy 0.000 claims description 4
- 238000009826 distribution Methods 0.000 claims description 4
- 239000000284 extract Substances 0.000 claims description 4
- 230000002708 enhancing effect Effects 0.000 claims description 3
- 230000008569 process Effects 0.000 description 15
- 230000008901 benefit Effects 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 238000002372 labelling Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000013507 mapping Methods 0.000 description 5
- 230000000877 morphologic effect Effects 0.000 description 5
- 210000005056 cell body Anatomy 0.000 description 4
- 238000010276 construction Methods 0.000 description 4
- 210000002257 embryonic structure Anatomy 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000005192 partition Methods 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 230000008033 biological extinction Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000013434 data augmentation Methods 0.000 description 2
- 230000010339 dilation Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 239000012634 fragment Substances 0.000 description 2
- 230000003116 impacting effect Effects 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 210000002308 embryonic cell Anatomy 0.000 description 1
- 230000003628 erosive effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004720 fertilization Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 210000000287 oocyte Anatomy 0.000 description 1
- 230000035935 pregnancy Effects 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000002054 transplantation Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/698—Matching; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
- G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/695—Preprocessing, e.g. image segmentation
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biophysics (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于旋转等变网络的胚胎发育阶段预测与质量评估系统，包括图像数据集、图像预处理模块、发育阶段粗分类模块、图像分割模块、发育阶段细分类模块和发育质量分级模块，其中发育阶段粗分类模块采用加入旋转等变网络的深度学习神经网络结构，以提取待检测图像中的旋转不变特征。本发明采用基于先分割后细分类和分级的方法可以通过聚焦信息交互的范围和充分挖掘好的特征表达提升细分类及分级的结果和效率；通过挖掘胚胎图像的旋转不变特征提升粗分类的精度，有效提升胚胎发育阶段预测的准确率。
Description
技术领域
本发明涉及人工智能技术领域，具体地指一种基于旋转等变网络的胚胎发育阶段预测与质量评估系统。
背景技术
胚胎发育的好坏直接影响妊娠率的结果，胚胎学家依靠胚胎形态学和基因学两种主要途径对胚胎的好坏进行判别，其中利用基因学手段判别胚胎好坏需要具备极高的实验条件，而利用胚胎形态学信息完成胚胎的评判是一种简单快速有效的方法。目前，大多数胚胎学家基于囊胚期胚胎的形态学特征对胚胎的优劣进行判别，筛选出优质胚胎进行移植。在这些形态学特征中，囊胚腔、内细胞团和滋养层等特征是医生对胚胎好坏评分的极其重要的因素，因此，利用计算机建立视觉模型帮助医生快速准确地对囊胚腔、内细胞团和滋养层等特征进行预测是一个极具意义的研究方向。然而，目前利用机器学习对胚胎特征的准确识别与质量评估还存在以下几个问题：
（1）基于机器学习或深度学习的胚胎评估方法均需从准确标注的样本信息中学习共性或规律作为先验知识。然而，胚胎标注信息的准确性取决于医生的主观判断和经验，不同医生对同一胚胎数据的判别可能会存在差异。因此，构建准确标注的胚胎样本数据集是一个基本问题；
（2）在特定时间下拍摄的胚胎细胞主体初始位置不同或可能发生移动，所以细胞在镜筒的位置具有高度随机性。细胞在一个中心对称的位置上的移动可以转化为旋转的变化，当胚胎图像中的细胞主体旋转时，它的方向、角度和尺度都会发生变化。常规的卷积神经网络中卷积层和池化层通常是在规则网格上计算的，提取旋转之后的图像特征与原始图像特征存在很大的差异，会导致深度学习网络无法保证描述细胞内结构特征的一致性。因此，在具有旋转变化的细胞图像分类任务使用常规卷积必然会引入偏差，从而导致准确分类的难度加大。
（3）1-2阶段的胚胎细胞不用参与质量评估流程，而统一的对待所有时期的细胞进行分类和分级，不可避免地会带来干扰和计算代价的负担。另一方面，胚胎发育阶段一步到位分类是一个5分类问题，类别数越多，决策边界越难精确判定，发生误分类的概率越大。因此，设计有效的分类框架和特征挖掘方式是一个值得研究的问题。
发明内容
本发明针对上述现有技术的不足之处，提出一种基于旋转等变网络的胚胎发育阶段预测与质量评估系统，通过挖掘胚胎图像的旋转不变特征提升粗分类的精度，有效提升胚胎发育阶段预测的准确率。
为实现上述目的，本发明设计的一种基于旋转等变网络的胚胎发育阶段预测与质量评估系统，其特殊之处在于，所述系统包括图像数据集、图像预处理模块、发育阶段粗分类模块、图像分割模块、发育阶段细分类模块和发育质量分级模块；其中，
所述图像数据集：存储胚胎图像样本数据集，所述胚胎图像样本数据集中的图像数据包含囊胚腔、内细胞团、滋养层、透明带的发育期标注以及内细胞团和滋养层的质量分级；
所述图像预处理模块：用于对待检测的胚胎图像进行预处理，去除图像噪声并增强轮廓信息；
所述发育阶段粗分类模块：用于对经过预处理的待检测图像进行1-2期、3-5期的二分类识别，采用加入旋转等变网络的深度学习神经网络结构，以提取待检测图像中的旋转不变特征；
所述图像分割模块：用于分别对1-2期、3-5期的待检测图像进行分割，分割为囊胚腔、透明带、内细胞团、滋养层、其他区域的分割区域图像；
所述发育阶段细分类模块：用于对分割区域图像进行分类识别，输出分割区域图像为1期、2期、3期、4期或5期；
所述发育质量分级模块：用于对分割区域图像进行质量分级识别，输出分割区域图像为A级、B级或C级。
进一步地，所述发育阶段粗分类模块采用ResNet-50或特征金字塔网络或Efficient-Net作为主干网络，利用基于E2CNN的旋转等变网络重新实现主干网络的所有层。
更进一步地，所述旋转等变网络使用多个旋转角度的卷积核自动提取深度特征，使用二分类的交叉熵损失函数约束整体网络。
更进一步地，所述发育阶段粗分类模块的预测结果为p，样本标签/>为0或1，训练过程的损失函数L为二分类交叉熵损失，具体形式如下：。
更进一步地，所述图像分割模块将1-2期的待检测图像分割为囊胚腔、透明带和其他区域的分割区域图像；将3-5期的待检测图像分割为囊胚腔、透明带、内细胞团、滋养层、其他区域的分割区域图像。
更进一步地，所述图像分割模块采用Res-U-Net或全卷积网络或DeepLab作为主干网络，预测每个像素的预测类别并与真实标签进行比较，计算整张图像的平均交叉熵损失L CE，表示为：
，
其中表示像素类别数，/>表示第/>个样本中像素/>的真实类别，/>表示模型预测该像素的预测类别概率分布，N表示图像中的像素总数量，分割得到的掩码记作M。
更进一步地，所述发育阶段细分类模块以带注意力的图卷积和ResNet-50或特征金字塔网络或Efficient-Net作为主干网络，取囊胚腔和透明带分割区域，内细胞团和滋养层分割区域分别做带掩码的图卷积和注意力机制聚合和交互信息，利用邻域信息建立图结构并不断做图卷积，使用多层感知机逐步将特征升维记为，然后进行自注意力机制进行特征交互和融合：
其中表示掩码中的像素，/>表示自注意的层数，/>分别表示对应像素/>的特征，/>为第/>层可学习的权重矩阵，/>表示查询矩阵，/>分别表示键矩阵和值矩阵，/>表示非线性的偏置，自注意力的权重/>表示为：
其中，表示键向量的维度，/>表示在对j列向量进行softmax计算，T表示转秩；
进行自注意力之后的特征更新为：
其中表示拼接操作，MLP表示多层感知机，/>表示构建图卷积时的边，表示对边/>的j的求和，/>表示自注意力的层数，通过聚焦局部结构并加深对局部特征的信息交互和挖掘，最终回归出分类结果和分级结果，损失函数采用二分类的交叉熵损失。
更进一步地，所述发育质量分级模块通过分割获得的掩码信息提取不同任务的底层细节信息，使用带有自注意力机制的图卷积来进行特定区域的深度特征交互融合，获得有区分性的特征描述符，从而提升细分类和分级的准确性。
更进一步地，所述发育质量分级模块仅对3-5期的待检测图像进行质量分级识别。
更进一步地，所述发育质量分级模块以带注意力的图卷积和ResNet-50或特征金字塔网络或Efficient-Net作为主干网络。
本发明提出的基于旋转等变网络的胚胎发育阶段预测与质量评估系统，其有益效果包括：
1、本发明采用基于旋转等变网络的深度学习粗分类方法通过挖掘胚胎图像的旋转不变特征提升发育阶段粗分类的精度；
2、本发明采用基于先分割后细分类和分级的方法可以通过聚焦信息交互的范围和充分挖掘好的特征表达提升细分类及分级的结果和效率；
3、对胚胎发育阶段分类时医生主要依赖囊胚腔和透明带，对胚胎质量评估时医生主要关注内细胞团和滋养层，两个阶段关注的是不同区域，本发明在不同任务上聚焦到特定的区域进行特征的提取和交互可以避免冗余的干扰信息以提取到更有表征性的特征。
4、本发明完成囊胚腔、内细胞团、滋养层、透明带的标注，以及根据标注信息给胚胎样本数据准确的标签信息以构建准确标注的大量胚胎样本数据集。
附图说明
图1为本发明基于旋转等变网络的胚胎发育阶段预测与质量评估系统的结构框图；
图2为不同发育阶段的胚胎图像；
图3为不同发育阶段存在旋转变化的胚胎图像；
图4为发育阶段粗分类模块网络结构图；
图5为图像分割模块的网络结构图；
图6为分割后的特定区域不规则结构示意图；
图7为发育阶段细分类模块的网络结构图。
图8为胚胎主体分割和胚胎发育阶段粗预测的预测结果图。
图9为胚胎发育阶段细预测的预测结果图。
具体实施方式
以下结合附图和具体实施例对本发明作进一步的详细描述。
本发明提出的基于旋转等变网络的胚胎发育阶段预测与质量评估系统，如图1所示，包括图像数据集构建模块、图像预处理模块、发育阶段粗分类模块、图像分割模块、发育阶段细分类模块和发育质量分级模块；其中，
图像数据集构建模块：存储胚胎图像样本数据集，所述胚胎图像样本数据集中的图像数据包含囊胚腔、内细胞团、滋养层、透明带的发育期标注以及内细胞团和滋养层的质量分级；
图像预处理模块：用于对待检测的胚胎图像进行预处理，去除图像噪声并增强轮廓信息；
发育阶段粗分类模块：用于对经过预处理的待检测图像进行1-2期、3-5期的二分类识别，采用加入旋转等变网络的深度学习神经网络结构，以提取待检测图像中的旋转不变特征；
图像分割模块：用于分别对1-2期、3-5期的待检测图像进行分割，分割为囊胚腔、透明带、内细胞团、滋养层、其他区域的分割区域图像；
发育阶段细分类模块：用于对分割区域图像进行分类识别，输出分割区域图像为1期、2期、3期、4期或5期；
发育质量分级模块：用于对分割区域图像进行质量分级识别，输出分割区域图像为A级、B级或C级。
下面对胚胎发育阶段预测与质量评估系统各模块的构建过程进行说明。
（一）构建准确标注的胚胎样本数据集：
卵母细胞受精后在第5天可能根据培养条件和胚胎质量会正式进入囊胚期，收集D5~D6包含囊胚腔、内细胞团、滋养层、透明带和碎片等的囊胚期胚胎图像，在多名胚胎学家的指导下由专业医生完成胚胎图像的标注工作。经研究证实有效且被广泛应用的Gardner评价法认为，对胚胎识别发育阶段和质量等级主要观察囊胚扩张程度、内细胞团和滋养层的发育状态即可。胚胎细胞的发育阶段可以用1~6期表示，并对已经完全扩张的囊胚，分别用A，B，C级评估内细胞团和滋养层的质量分级。首先，使用LabelImg软件对胚胎图像进行像素级标注，主要分为三类分别是囊胚腔、内细胞团和滋养层，具体来说利用多边形标注各类别的轮廓即可，为每一个轮廓区域赋予一个表示类别的标签。其次，划分好不同区域的标签图像再由不同的医生随机交叉为每张胚胎图像标注准确的发育阶段和质量评级，最终胚胎图像的发育阶段和质量评级由标签一致最多的决定，以此构建具有准确标签的胚胎样本数据集，并将具有准确标签的胚胎样本数据集存储至图像数据集。
（二）图像预处理：
由于采集的胚胎图像存在一定的胚胎主体无关区域和噪声，可能会对基于深度学习的胚胎阶段识别和质量评估结果产生偏差。因此，有必要对输入的胚胎图像进行预处理。具体来说，首先使用传统的形态学图像去噪方法如膨胀、开闭运算等对原始输入图像进行边缘增强和噪声去除。然后根据图像的梯度信息统计分析划分不同的区域并为它们生成掩模信息，同时使用边缘检测如canny算子提取胚胎图像的轮廓信息并保存为对应图像的轮廓图。
（三）发育阶段粗分类：
胚胎发育阶段分类精度取决于高层全局语义特征和底层细节特征的挖掘。首先，如图2所示，1-2期和3-5期胚胎图像区分往往是在宏观上的，反映到图像的分类问题上，根本决定了分类是依赖于全局特征。其次，来自于相邻发育阶段的分类往往靠细节区分。然而，一步到位的分类既要考虑保留底层细节特征，也要保留高层全局语义特征，这是机器学习和计算机视觉中极具挑战的问题。因此，采用解耦的两阶段先粗分后细分框架，即先用全局特征二分类，再用细节特征进行相邻阶段的分类，以提升相邻阶段分类的精度。
由于在特定时间下拍摄的胚胎细胞主体初始位置不同或可能发生移动，所以细胞在镜筒的位置具有高度随机性。同时镜筒是一个中心对称的结构，在一个绝对对称的位置上的移动或平移问题可以以将其建模为旋转的问题。采用基于旋转等变网络的深度学习粗分类方法可以通过挖掘胚胎图像的旋转不变特征提升粗分类的精度。如图3所示，胚胎图像在不同发育阶段存在旋转变化，以矩形框中的碎片为参照物，细胞的实际位置有移动，体现在图像上可以建模为图像旋转变化。当细胞主体旋转时，它的方向、角度和尺度都会发生变化，会导致深度学习网络无法保证描述细胞内结构特征的一致性，对于相同的中心区域，旋转之后的特征与原始特征存在很大的差异，对于分类任务必然会引入偏差从而导致准确分类的难度加大。因此，许多学者对挖掘旋转不变特征进行了研究，其中最常用的方式是数据增广，但旋转数据增强只解决了旋转挑战的表象，更深层次地应该在特征表达时挖掘旋转不变特征。
对于胚胎细胞粗分类来说，可以从旋转不变的特征中找到胚胎发育的不变特征，而更加关注于图像中的变化区域如图3中的方形框囊胚腔的变化，从而做到更准确的分类。因此，通过引入旋转等变网络，在保持旋转对称性的前提下对图像进行卷积操作，即网络中的卷积核也会随图像旋转，提取旋转不变的特征，采用基于旋转等变网络的深度学习粗分类方法可以提升粗分类的准确度。
本发明在特征提取主干网络中加入旋转等变网络来提取旋转不变特征，降低方向变化建模的复杂性。设表示变换群/>下具有/>个旋转等变层的网络，对于一个/>的层作用于子群g，/>，旋转变换/>可以被该层保留为：
当输入图像在网络/>中使用旋转变换/>时，则旋转等变特征可以表示为：
具体来说，发育阶段粗分类模块采用ResNet-50或特征金字塔网络（FPN）或Efficient-Net作为主干网络，ResNet-50的一个主要优势在于使用残差连接，允许网络学习残差映射，而不是直接学习所需的底层映射。这有助于解决训练过程中梯度消失的问题，并允许网络变得更深而不会对性能产生负面影响；特征金字塔网络FPN的优势在于能在不同尺度下构建特征图，使网络能够在各个层次捕捉高分辨率细节和语义信息，能够处理不同尺度下的输入图像；Efficient-Net的优势在于其高效性，它使用复合缩放来平衡网络的深度、宽度和分辨率，即通过对网络的深度（层数）、宽度（通道数）和分辨率进行统一的缩放来控制模型的复杂度。具体来说利用基于E2CNN的旋转等变网络重新实现主干网络的所有层，包含卷积、池化、归一化和非线性激活，即使用多个旋转角度的卷积核自动提取具有丰富语义信息的深度特征，而且输出的特征是旋转不变的。使用二分类的交叉熵损失约束整个网络，从而保证最终的粗分类结果的准确性。
发育阶段粗分类网络如图4所示，主要由旋转等变的卷积层和旋转等变的残差块组成，其中每个残差块内包含两个卷积层和跳跃连接层，使模型学到具有恒等映射特性且旋转不变的特征，同时避免梯度消失问题。
（四）图像分割：
根据粗分类的结果选择特定的分割网络，对1-2期的胚胎做三分类的分割，利用囊胚腔和透明带的掩码信息送入细分类网络获得分期结果。而对3-5期的细胞做五分类的分割，同样利用囊胚腔和透明带的掩码信息送入细分类网络获得分类结果，同时利用内细胞团和滋养层掩码信息送入分级网络获得分级结果。
图像分割模块对于有真实标签的内细胞团、滋养层、囊胚腔、透明带和其他区域的逐像素标记做5分类图像分割。采用Res-U-Net或全卷积网络（Fully ConvolutionalNetwork，FCN）或DeepLab作为主干网络，Res-U-Net的优势在于其架构简单直观，计算复杂度较低，它包含编码器和解码器，在解码器中使用了对称的跳跃连接，能够更好地保留和利用编码器中的特征信息；全卷积网络能够处理不同分辨率输入的图像，不包含上下采样过程，在卷积中保留的信息更加充分；而DeepLab引入了空洞卷积，通过不同的扩张率进行操作，可以增加网络的感受野，从而捕获更多的上下文信息。预测每个像素的预测类别并与真实标签进行比较，计算整张图像的平均交叉熵损失，可以表示为：
其中表示像素类别数，/>表示第/>个样本中像素/>的真实类别，/>表示模型预测该像素的预测类别概率分布，N表示图像中的像素总数量。三分类分割网络同理。
分割网络Res-U-Net结构如图5所示，主要由编码器、解码器和残差连接部分组成，其中编码器不断对初始图像特征进行下采样提取高层语义信息，解码器不断地上采样恢复到图像原尺寸并通过非线性激活得到最终的分割结果M。
（五）发育阶段细分类：
发育阶段细分类模块以带注意力的图卷积和ResNet-50或特征金字塔网络（FPN）或Efficient-Net作为主干网络，ResNet-50的一个主要优势在于使用残差连接，允许网络学习残差映射，而不是直接学习所需的底层映射。这有助于解决训练过程中梯度消失的问题，并允许网络变得更深而不会对性能产生负面影响；特征金字塔网络FPN的优势在于能在不同尺度下构建特征图，使网络能够在各个层次捕捉高分辨率细节和语义信息，能够处理不同尺度下的输入图像；Efficient-Net的优势在于其高效性，它使用复合缩放来平衡网络的深度、宽度和分辨率，即通过对网络的深度（层数）、宽度（通道数）和分辨率进行统一的缩放来控制模型的复杂度。
传统卷积是在规则像素网格上的操作，忽略了像素之间特定的连接关系，而图卷积可以很好的构建和保留特定像素之间的连接关系，同时自注意力机制可以使模型自动关注到图像中的特定区域，提高特征的表达能力。取囊胚腔和透明带分割区域，内细胞团和滋养层分割区域分别做带掩码的图卷积和注意力机制聚合和交互信息，利用邻域信息建立图结构并不断做图卷积，使用多层感知机逐步将特征升维记为，然后进行自注意力机制进行特征交互和融合：
其中表示掩码中的像素，/>表示自注意的层数，/>分别表示对应像素/>的特征，/>为第/>层可学习的权重矩阵，/>表示查询矩阵，/>分别表示键矩阵和值矩阵，/>表示非线性的偏置，自注意力的权重/>表示为：
其中，表示键向量的维度，/>表示在对j列向量进行softmax计算，T表示转秩。
进行自注意力之后的特征更新为：
其中表示拼接操作，MLP表示多层感知机，/>表示构建图卷积时的边，表示对边/>的j的求和，/>表示自注意力的层数，通过聚焦局部结构并加深对局部特征的信息交互和挖掘，最终回归出分类结果和分级结果，损失函数采用二分类的交叉熵损失。
发育阶段细分类模块网络结构示意图如图7所示。输入分割之后的特定区域的不规则图像，逐像素通过多层感知机升维为32，然后在特定区域内做图卷积，其中构建图的形式是选取中心像素周围8像素，再通过多层感知机将特征升为128维。使用注意力机制进行图之间的信息挖掘，接着，使用4层残差块进行特征交互，得到特定区域内充分交互的信息。另一分支在原图上使用卷积和4层残差块提取特征并进行一次平均池化。根据掩码对应位置将特定区域的掩码拼接到对应的原图卷积的特征后，没有掩码信息的复制一份原图卷积的特征，经过一次特征融合后回归出图像的细分类结果。
（六）发育质量分级：
发育质量分级模块与发育阶段细分类模块结构相同，以带注意力的图卷积和ResNet-50或特征金字塔网络（FPN）或Efficient-Net作为主干网络，取囊胚腔和透明带分割区域、内细胞团和滋养层分割区域分别做带掩码的图卷积和注意力机制聚合和交互信息。发育质量分级模块与发育阶段细分类模块的网络结构只是输入的掩码区域不同，网络结构和损失相同。
具体实施过程如下：
1、图像数据预处理
将收集的数据集以6：2：2的比例划分为训练集，验证集和测试集。使用形态学方法如膨胀腐蚀、开闭运算去除图像中的噪声点和增强图像的边缘信息，将增强后的图像尺寸统一缩放到500×500。
2、模型训练阶段
发育阶段粗分类模型训练阶段使用ResNet-50，使用在ImageNet上的预训练模型初始化参数设置，训练过程的参数设置学习率为1e-4，权重衰减率为5e-4，所有训练集共迭代200次。胚胎发育阶段的标签将1-2期合并为0类，将3-5期合并为1类，做一个二分类训练获得粗分类结果。模型预测结果为p，样本标签/>为0或1，训练过程的损失函数为二分类交叉熵损失，具体形式如下：
，
图像分割模块的网络模型使用Res-U-Net，使用在ImageNet上的预训练模型初始化参数设置，训练过程的参数设置学习率为1e-4，权重衰减率为5e-4，所有训练集共迭代200次。胚胎标注中的透明带，内细胞团、囊胚腔、滋养层像素级标签分别为4类，其他区域合并为1类，做5分类的分割，提取胚胎的特定部位。训练过程的损失函数设置为5分类逐像素的平均交叉熵损失。计算整张图像的平均交叉熵损失，可以表示为：
，
其中表示像素类别数，/>表示第/>个样本中像素/>的真实类别，/>表示模型预测该像素的预测类别概率分布，N表示图像中的像素总数量。
发育阶段细分类模块训练的网络模型如图7所示，但网络的输入分别包含胚胎图像和分割对应为囊胚腔和内细胞团的掩码信息。同样的使用ImageNet上的预训练模型初始化参数设置，训练过程的参数设置学习率为1e-4，权重衰减率为5e-4，所有训练集共迭代200次。训练过程的损失函数设置交叉熵损失，其中对粗分类为1-2期的图像，损失为二分类的交叉熵损失，而对粗分类为2-5期的图像做三分类的损失。
发育质量分级模块训练的网络模型同细分类的网络模型，选取分割掩码为内细胞团和滋养层区域和原图作为输入，同样的使用在ImageNet上的预训练模型初始化参数设置，训练过程的参数设置学习率为1e-4，权重衰减率为5e-4，所有训练集共迭代200次。训练过程的损失分别包含内细胞团和滋养层逐像素的分割损失及对应结构质量评级的交叉熵损失，质量评级分为A，B，C级，做三分类的交叉熵约束。
3、模型测试阶段
将测试集中的胚胎图像同样进行形态学处理后分别送入训练好的发育阶段粗分类模块、图像分割模块、发育阶段细分类模块、发育质量分级模块的网络模型中测试，分别得到胚胎发育阶段粗预测、胚胎主体分割、胚胎发育阶段细预测和胚胎发育质量评级的结果，胚胎发育阶段粗预测的结果如图8所示，胚胎发育阶段细预测的结果如图9所示。
本发明还提出一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现上述的基于旋转等变网络的胚胎发育阶段预测与质量评估系统。
本说明书未作详细描述的内容属于本领域专业技术人员公知的现有技术。
最后需要说明的是，以上具体实施方式仅用以说明本专利技术方案而非限制，尽管参照较佳实施例对本专利进行了详细说明，本领域的普通技术人员应当理解，可以对本专利的技术方案进行修改或者等同替换，而不脱离本专利技术方案的精神和范围，其均应涵盖在本专利的权利要求范围当中。
Claims (7)
1.一种基于旋转等变网络的胚胎发育阶段预测与质量评估系统，其特征在于：所述系统包括图像数据集、图像预处理模块、发育阶段粗分类模块、图像分割模块、发育阶段细分类模块和发育质量分级模块；其中，
所述图像数据集：存储胚胎图像样本数据集，所述胚胎图像样本数据集中的图像数据包含囊胚腔、内细胞团、滋养层、透明带的发育期标注以及内细胞团和滋养层的质量分级；
所述图像预处理模块：用于对待检测的胚胎图像进行预处理，去除图像噪声并增强轮廓信息；
所述发育阶段粗分类模块：用于对经过预处理的待检测图像进行1-2期、3-5期的二分类识别，采用加入旋转等变网络的深度学习神经网络结构，以提取待检测图像中的旋转不变特征；所述发育阶段粗分类模块采用ResNet-50或特征金字塔网络或Efficient-Net作为主干网络，利用基于E2CNN的旋转等变网络重新实现主干网络的所有层；
所述图像分割模块：用于分别对1-2期、3-5期的待检测图像进行分割，分割为囊胚腔、透明带、内细胞团、滋养层、其他区域的分割区域图像；所述图像分割模块采用Res-U-Net或全卷积网络或DeepLab作为主干网络，预测每个像素的预测类别并与真实标签进行比较，计算整张图像的平均交叉熵损失L CE，表示为：
，
其中表示像素类别数，/>表示第/>个样本中像素/>的真实类别，/>表示模型预测该像素的预测类别概率分布，N表示图像中的像素总数量；
所述发育阶段细分类模块：用于对分割区域图像进行分类识别，输出分割区域图像为1期、2期、3期、4期或5期；
所述发育质量分级模块：用于对分割区域图像进行质量分级识别，输出分割区域图像为A级、B级或C级；所述发育质量分级模块以带注意力的图卷积和ResNet-50或特征金字塔网络或Efficient-Net作为主干网络。
2.根据权利要求1所述的一种基于旋转等变网络的胚胎发育阶段预测与质量评估系统，其特征在于：所述旋转等变网络使用多个旋转角度的卷积核自动提取深度特征，使用二分类的交叉熵损失函数约束整体网络。
3.根据权利要求2所述的一种基于旋转等变网络的胚胎发育阶段预测与质量评估系统，其特征在于：所述发育阶段粗分类模块的预测结果为p,0≤p≤1，样本标签为0或1，训练过程的损失函数L为二分类交叉熵损失，具体形式如下：。
4.根据权利要求1所述的一种基于旋转等变网络的胚胎发育阶段预测与质量评估系统，其特征在于：所述图像分割模块将1-2期的待检测图像分割为囊胚腔、透明带和其他区域的分割区域图像；将3-5期的待检测图像分割为囊胚腔、透明带、内细胞团、滋养层、其他区域的分割区域图像。
5.根据权利要求4所述的一种基于旋转等变网络的胚胎发育阶段预测与质量评估系统，其特征在于：所述发育阶段细分类模块以带注意力的图卷积和ResNet-50或特征金字塔网络或Efficient-Net作为主干网络，取囊胚腔和透明带分割区域，内细胞团和滋养层分割区域分别做带掩码的图卷积和注意力机制聚合和交互信息，利用邻域信息建立图结构并不断做图卷积，使用多层感知机逐步将特征升维记为，然后进行自注意力机制进行特征交互和融合：
其中表示掩码中的像素，/>表示自注意的层数，/>分别表示对应像素/>的特征，/>为第/>层可学习的权重矩阵，/>表示查询矩阵，/>分别表示键矩阵和值矩阵，/>表示非线性的偏置，自注意力的权重/>表示为：
其中，表示键向量的维度，/>表示在对j列向量进行softmax计算，T表示转秩；
进行自注意力之后的特征更新为：
其中表示拼接操作，MLP表示多层感知机，/>表示构建图卷积时的边，/>表示对边/>的j的求和，/>表示自注意力的层数，通过聚焦局部结构并加深对局部特征的信息交互和挖掘，最终回归出分类结果和分级结果，损失函数采用二分类的交叉熵损失。
6.根据权利要求1所述的一种基于旋转等变网络的胚胎发育阶段预测与质量评估系统，其特征在于：所述发育质量分级模块通过分割获得的掩码信息提取不同任务的底层细节信息，使用带有自注意力机制的图卷积来进行特定区域的深度特征交互融合，获得有区分性的特征描述符，从而提升细分类和分级的准确性。
7.根据权利要求4所述的一种基于旋转等变网络的胚胎发育阶段预测与质量评估系统，其特征在于：所述发育质量分级模块仅对3-5期的待检测图像进行质量分级识别。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311123759.4A CN116883996B (zh) | 2023-09-01 | 2023-09-01 | 基于旋转等变网络的胚胎发育阶段预测与质量评估系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311123759.4A CN116883996B (zh) | 2023-09-01 | 2023-09-01 | 基于旋转等变网络的胚胎发育阶段预测与质量评估系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116883996A CN116883996A (zh) | 2023-10-13 |
| CN116883996B true CN116883996B (zh) | 2023-12-08 |
Family
ID=88271805
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311123759.4A Active CN116883996B (zh) | 2023-09-01 | 2023-09-01 | 基于旋转等变网络的胚胎发育阶段预测与质量评估系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116883996B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117593764A (zh) * | 2023-12-06 | 2024-02-23 | 江苏省家禽科学研究所 | 一种家禽鸡品种识别方法及装置 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110443282A (zh) * | 2019-07-05 | 2019-11-12 | 华中科技大学 | 一种胚胎时序图像中的胚胎发育阶段分类方法 |
| WO2019238104A1 (zh) * | 2018-06-16 | 2019-12-19 | 深圳市前海安测信息技术有限公司 | 实现肺结节图像分类检测的计算机装置及方法 |
| CN111160436A (zh) * | 2019-12-20 | 2020-05-15 | 上海交通大学 | 旋转等变的图卷积神经网络的球形图像分类方法及系统 |
| CN113850129A (zh) * | 2021-08-21 | 2021-12-28 | 南京理工大学 | 一种旋转等变的空间局部注意力遥感图像目标检测方法 |
| CN114187301A (zh) * | 2021-11-12 | 2022-03-15 | 大连市中心医院 | 一种基于深度神经网络的x光影像分割与分类预测模型 |
| CN114972167A (zh) * | 2022-03-24 | 2022-08-30 | 武汉大学 | 基于时空注意力和跨模态融合的胚胎妊娠预测方法及系统 |
| EP4060623A1 (en) * | 2021-03-18 | 2022-09-21 | SCREEN Holdings Co., Ltd. | Fertilized egg development stage determination method, program, recording medium, imaging method and imaging apparatus |
| US11494578B1 (en) * | 2015-09-21 | 2022-11-08 | Ares Trading S.A. | Systems and methods for automated assessment of embryo quality using image based features |
| CN115937082A (zh) * | 2022-09-30 | 2023-04-07 | 湘潭大学 | 基于深度学习的胚胎质量智能评估系统及评估方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8515143B2 (en) * | 2009-01-09 | 2013-08-20 | Dai Nippon Printing Co., Ltd. | Embryo quality evaluation assistance system, embryo quality evaluation assistance apparatus and embryo quality evaluation assistance method |
-
2023
- 2023-09-01 CN CN202311123759.4A patent/CN116883996B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11494578B1 (en) * | 2015-09-21 | 2022-11-08 | Ares Trading S.A. | Systems and methods for automated assessment of embryo quality using image based features |
| WO2019238104A1 (zh) * | 2018-06-16 | 2019-12-19 | 深圳市前海安测信息技术有限公司 | 实现肺结节图像分类检测的计算机装置及方法 |
| CN110443282A (zh) * | 2019-07-05 | 2019-11-12 | 华中科技大学 | 一种胚胎时序图像中的胚胎发育阶段分类方法 |
| CN111160436A (zh) * | 2019-12-20 | 2020-05-15 | 上海交通大学 | 旋转等变的图卷积神经网络的球形图像分类方法及系统 |
| EP4060623A1 (en) * | 2021-03-18 | 2022-09-21 | SCREEN Holdings Co., Ltd. | Fertilized egg development stage determination method, program, recording medium, imaging method and imaging apparatus |
| CN113850129A (zh) * | 2021-08-21 | 2021-12-28 | 南京理工大学 | 一种旋转等变的空间局部注意力遥感图像目标检测方法 |
| CN114187301A (zh) * | 2021-11-12 | 2022-03-15 | 大连市中心医院 | 一种基于深度神经网络的x光影像分割与分类预测模型 |
| CN114972167A (zh) * | 2022-03-24 | 2022-08-30 | 武汉大学 | 基于时空注意力和跨模态融合的胚胎妊娠预测方法及系统 |
| CN115937082A (zh) * | 2022-09-30 | 2023-04-07 | 湘潭大学 | 基于深度学习的胚胎质量智能评估系统及评估方法 |
Non-Patent Citations (2)
| Title |
|---|
| "State Recognition of Egg Embryo in Vaccines Production Based on SVM";Yanwei Xu etc;《2017 5th International Conference on Mechanical, Automotive and Materials Engineering (CMAME)》;全文 * |
| "基于旋转等变卷积的光学遥感图像定向目标检测";高岩松 等;《第八届高分辨率对地观测学术年会论文集》;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116883996A (zh) | 2023-10-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Silva-Rodríguez et al. | Going deeper through the Gleason scoring scale: An automatic end-to-end system for histology prostate grading and cribriform pattern detection | |
| Ali et al. | Structural crack detection using deep convolutional neural networks | |
| Wan et al. | Robust nuclei segmentation in histopathology using ASPPU-Net and boundary refinement | |
| US11636599B2 (en) | Image diagnostic system, and methods of operating thereof | |
| CN112508850B (zh) | 基于深度学习的甲状腺细胞病理切片恶性区域的检测方法 | |
| CN108090906B (zh) | 一种基于区域提名的宫颈图像处理方法及装置 | |
| CN109711448A (zh) | 基于判别关键域和深度学习的植物图像细粒度分类方法 | |
| CN106462746A (zh) | 分析数字全息显微术数据以用于血液学应用 | |
| Hobson et al. | HEp-2 staining pattern recognition at cell and specimen levels: datasets, algorithms and results | |
| CN116883996B (zh) | 基于旋转等变网络的胚胎发育阶段预测与质量评估系统 | |
| Zanjani et al. | Cancer detection in histopathology whole-slide images using conditional random fields on deep embedded spaces | |
| Lv et al. | Nuclei R-CNN: improve mask R-CNN for nuclei segmentation | |
| Lopez Droguett et al. | Semantic segmentation model for crack images from concrete bridges for mobile devices | |
| Baykal et al. | Modern convolutional object detectors for nuclei detection on pleural effusion cytology images | |
| CN117095180B (zh) | 基于分期识别的胚胎发育阶段预测与质量评估方法 | |
| CN116844143B (zh) | 基于边缘增强的胚胎发育阶段预测与质量评估系统 | |
| CN115482221A (zh) | 一种病理图像的端到端弱监督语义分割标注方法 | |
| Yu et al. | SignHRNet: Street-level traffic signs recognition with an attentive semi-anchoring guided high-resolution network | |
| Khoshdeli et al. | Deep learning models delineates multiple nuclear phenotypes in h&e stained histology sections | |
| Peng et al. | Fully convolutional neural networks for tissue histopathology image classification and segmentation | |
| Jabar et al. | Libyan vehicle plate recognition using region-based features and probabilistic neural network | |
| Li et al. | How to identify pollen like a palynologist: A prior knowledge-guided deep feature learning for real-world pollen classification | |
| CN114240822A (zh) | 基于YOLOv3及多尺度特征融合的棉布瑕疵检测方法 | |
| Dalla Mura et al. | Modeling structural information for building extraction with morphological attribute filters | |
| CN116844160B (zh) | 基于主体识别的胚胎发育质量评估系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |