CN115861319A - 一种卵丘细胞复合体成熟度分析方法、装置、设备及介质 - Google Patents
一种卵丘细胞复合体成熟度分析方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN115861319A CN115861319A CN202310171502.XA CN202310171502A CN115861319A CN 115861319 A CN115861319 A CN 115861319A CN 202310171502 A CN202310171502 A CN 202310171502A CN 115861319 A CN115861319 A CN 115861319A
- Authority
- CN
- China
- Prior art keywords
- image
- complex
- maturity
- attention
- cumulus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 57
- 210000001771 cumulus cell Anatomy 0.000 title claims abstract description 38
- 238000003062 neural network model Methods 0.000 claims abstract description 46
- 238000012549 training Methods 0.000 claims abstract description 23
- 238000007781 pre-processing Methods 0.000 claims abstract description 12
- 230000031864 metaphase Effects 0.000 claims description 59
- 230000007246 mechanism Effects 0.000 claims description 52
- 238000000034 method Methods 0.000 claims description 33
- 230000021121 meiosis Effects 0.000 claims description 31
- 238000005187 foaming Methods 0.000 claims description 24
- 210000004681 ovum Anatomy 0.000 claims description 21
- 238000000605 extraction Methods 0.000 claims description 18
- 102000002322 Egg Proteins Human genes 0.000 claims description 16
- 108010000912 Egg Proteins Proteins 0.000 claims description 16
- 238000012545 processing Methods 0.000 claims description 13
- 230000009466 transformation Effects 0.000 claims description 13
- 238000006243 chemical reaction Methods 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 11
- 230000004927 fusion Effects 0.000 claims description 8
- 210000004027 cell Anatomy 0.000 claims description 5
- 238000005070 sampling Methods 0.000 claims description 5
- 239000006260 foam Substances 0.000 claims description 4
- 230000035800 maturation Effects 0.000 claims description 3
- 239000000126 substance Substances 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 abstract description 4
- 208000002193 Pain Diseases 0.000 abstract description 3
- 230000036407 pain Effects 0.000 abstract description 3
- 238000003745 diagnosis Methods 0.000 abstract description 2
- 235000013601 eggs Nutrition 0.000 description 19
- 210000000287 oocyte Anatomy 0.000 description 17
- 238000010586 diagram Methods 0.000 description 10
- 239000000243 solution Substances 0.000 description 8
- 238000004590 computer program Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000000338 in vitro Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 208000000509 infertility Diseases 0.000 description 3
- 230000036512 infertility Effects 0.000 description 3
- 231100000535 infertility Toxicity 0.000 description 3
- 238000002347 injection Methods 0.000 description 3
- 239000007924 injection Substances 0.000 description 3
- 230000003698 anagen phase Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000009395 breeding Methods 0.000 description 2
- 230000001488 breeding effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000002611 ovarian Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000035935 pregnancy Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 239000002699 waste material Substances 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013434 data augmentation Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 210000002257 embryonic structure Anatomy 0.000 description 1
- 230000004720 fertilization Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000001727 in vivo Methods 0.000 description 1
- 208000021267 infertility disease Diseases 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 210000001672 ovary Anatomy 0.000 description 1
- 210000004508 polar body Anatomy 0.000 description 1
- 230000002285 radioactive effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 210000004340 zona pellucida Anatomy 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
Abstract
本发明涉及图像识别领域，具体涉及一种卵丘细胞复合体成熟度分析方法、装置、设备以及介质，对卵冠丘复合体图像进行预处理分类，利用数据扩充数据库对预设的神经网络模型进行训练得到训练好的成熟度分析神经网络模型，所述成熟度分析神经网络模型用于表征所述卵冠丘复合体图像的成熟度类别；获取待检测卵冠丘复合体图像，并送入所述成熟度分析神经网络模型输出所述待检测卵冠丘复合体图像的成熟度类别。通过计算机视觉技术进行判别，节省医生等专业人员的时间，帮助医生快速的进行医疗诊断，具有判断速度快、精度高等优点，降低患者重复采卵痛苦，还具有设备可移动性强，一台笔记本即可完成所有任务，不需要特别复杂的设备。
Description
技术领域
本发明涉及图像识别领域，特别涉及一种卵丘细胞复合体成熟度分析方法、装置、设备以及介质。
背景技术
不孕不育是一种需要定期进行医疗护理的疾病，其不仅对特定个人而且对整个社会都有重大的影响。目前，我国约有15%的育龄伴侣受到不孕不育的影响,并且数量在与日俱增。近年来，人类辅助生殖技术在治疗不孕不育的过程中取得了很大的进展，为不孕不育的夫妇带来怀孕的可能。胞浆内单精子注射作为辅助生殖技术最常用和最有效的手段之一，其最重要的前提条件是获得卵母细胞，而卵母细胞的成熟程度，又反应了其内在发育的潜力。
通常从女性患者中体内取卵后获得是卵母细胞-放射冠-卵丘细胞复合体（简称卵冠丘复合体），很难在显微镜下观察到被包裹的卵子的极体数目，从而准确判断其成熟度，只能通过卵丘细胞和放射冠的形态进行初略估计，评价结果是主观的，完全取决于医生的经验和判断，即使经验较为丰富的医生对同一张卵冠丘复合体图像有时也会得到不同结果，无法保证评论结果的一致性。
现有较为简单且准确的方法是对卵冠丘复合体进行剥离，对剥离后获得的卵母细胞进行人工成熟度判断，判断成熟的卵母细胞可以直接用于胞浆内单精子注射，然而，并非采集到的卵母细胞都处于成熟阶段，仍有15%-20%的卵母细胞处于未成熟阶段，这些卵母细胞在剥离周围卵丘细胞及放射冠后无法进行胞浆内单精子注射，也无法进行体外培养至成熟，这对那些高龄、卵巢功能不良的获卵较少的女性来说，这无疑是巨大的浪费，同时人工判断依旧带有主观性。
相较之下，通过人工智能系统执行卵冠丘复合体成熟度的自动测量可以减轻这种负担，并提供客观、标准化的成熟度评估，没有人为偏见。为了满足上述需求，目前已利用计算机视觉和人工智能算法设计了一种卵冠丘复合体成熟度类别分析识别系统，首先对采集得到的卵冠丘复合体图像进行预处理，建立卵冠丘复合体图像数据库，其次，由于获得的卵冠丘复合体大多为成熟的，因此，为了解决卵冠丘复合体图像中成熟和非成熟之间数目的严重不平衡问题，进一步设计了数据增广算法，对非成熟细胞图像进行了扩充，建立了扩充后的图像数据库，最后将新的数据库作为训练数据，输入多层卷积加多阶段自注意力网络模型中，并对网络模型参数不断优化，最终实现对卵冠丘复合体成熟度的分析。通过目前设计的分析系统，可以实现快速准确直接识别卵冠丘复合体的成熟度，对识别出的非成熟卵冠丘复合体可进行后续体外培养至成熟，既满足后续胞浆内单精子注射的需要，又可以减少对病人进行多次采卵造成的痛苦。
结合图1所示，在常规的人工辅助生殖过程中，采集得到的卵冠丘复合体中的卵母细胞多数已发育成熟，达到第二次减数分裂中期（MII期），具备了体外受精、发育为正常胚胎的能力，但仍有15%-20%的卵母细胞处于生发泡期（GV期）和第一次减数分裂中期（MⅠ期），未能发育到MII期，处于GV期和MⅠ期的卵母细胞具备发育至MII期的潜力，有体外培养的价值，然而，还有部分卵母细胞处于空透明带和退化卵（DC）状态，空透明带和退化卵DC在医学上目前还没有十分准确的定义，但空透明带一般是指透明带中无卵母细胞，DC一般是指卵母细胞呈退化状态，空透明带和DC没有受精和体外培养的价值，如何准确的筛选出第二次减数分裂中期（MII期）对辅助生殖技术非常关键。
发明内容
有鉴于此，本发明实施例中提供一种卵丘细胞复合体成熟度分析方法、装置、设备以及介质。
第一方面，本发明实施例中提供一种卵丘细胞复合体成熟度分析方法，包括：
对卵冠丘复合体图像进行预处理分类，根据成熟度类别将所述卵冠丘复合体图像分为第二次减数分裂中期图像、第一次减数分裂中期图像、生发泡期图像、退化卵图像、空透明带图像；
对所述卵冠丘复合体图像进行数据扩充得到数据扩充数据库；
将所述数据扩充数据库对预设的神经网络模型进行训练得到训练好的成熟度分析神经网络模型，所述成熟度分析神经网络模型用于表征所述卵冠丘复合体图像的成熟度类别；
获取待检测卵冠丘复合体图像，并送入所述成熟度分析神经网络模型输出所述待检测所述待检测卵冠丘复合体图像的成熟度类别。
作为一种可选的方案，所述对所述卵冠丘复合体图像进行数据扩充得到数据扩充数据库，包括：
第一次减数分裂中期图像进行数据扩充操作得到第一次减数分裂中期图像数据集；
生发泡期图像进行数据扩充操作得到生发泡期图像数据集；
退化卵图像进行数据扩充操作得到退化卵图像数据集；
空透明带图像进行数据扩充操作得到空透明带图像；
将所述第二次减数分裂中期图像、所述第一次减数分裂中期图像数据集、所述生发泡期图像数据集、所述退化卵图像数据集和所述空透明带图像组成得到所述数据扩充数据库。
作为一种可选的方案，所述数据扩充操作包括直方图变换、旋转、亮度变化、对比度拉伸、颜色变换、锐化、翻转中的随机选取一种操作。
作为一种可选的方案，所述将所述数据扩充数据库对预设的神经网络模型进行训练得到训练好的成熟度分析神经网络模型，所述成熟度分析神经网络模型用于表征所述卵冠丘复合体图像的成熟度类别，包括：
对卵冠丘复合体图像的成熟度识别采取多层卷积加多阶段移动窗口的自注意力机制网络的融合架构，首先，将所述数据扩充数据库输入浅层特征提取网络，每张卵冠丘复合体图像的尺寸大小为H×W×3，H和W代表卵冠丘复合体图像的高和宽，所述浅层特征提取网络由三层卷积层组成，第一卷积层卷积大小为1×1，经过所述第一卷积层生成大小为H×W×64的第一特征图，将所述第一特征图输入第二卷积层，所述第二卷积层大小为3×3，经过所述第二卷积层生成大小为
的第二特征图，最后将所述第二特征图输入第三卷积层，所述第三卷积层大小为9×9，经过所述第三卷积层生成大小为H×W×64的浅层特征图；
将所述浅层特征图送入多阶段移动窗口的自注意力机制网络中，所述多阶段移动窗口的自注意力机制网络由图像块划分层，四个阶段的自注意力特征提取层及通道注意力层组成，通过所述图像块划分层将所述浅层特征图的H×W×64划分为不重合的图像块集合，每个图像块特征为所有像素值的串联，其中每个patch（图像块）尺寸为4×4，经过划分后浅层特征图的高和宽变为
，深度变为4×4×64=1024，进入阶段一处理，通过线性嵌入层对每个像素的通道数据进行线性变换，保持浅层特征图的高和宽不变，将输入向量的维度调整成预先设置好的数值，经过线性嵌入层后浅层特征图的形状变为/>
；
将浅层特征图输入第一个移动窗自注意力变换模块，所述第一个移动窗自注意力变换模块由两个自注意力模块窗口多头自注意机制模块和移动窗口多头自注意力机制模块串接起来，使用自注意力模块窗口多头自注意机制模块将输入的浅层特征图划分为不重叠的多个窗口，在给定的窗口中计算自注意力分数，使用多头机制将得到的注意力分数进行组合，使多阶段移动窗口的自注意力机制网络从不同角度理解输入的特征，得到多头自注意力特征图，将多头自注意力特征图送入所述移动窗口多头自注意力机制模块，经移动窗口操作，使原来的窗口与移动后的新窗口产生重叠的部分，计算不同区域间的特征多头自注意力分数；
输出的特征图尺寸仍为
，将特征图输入通道注意力层中，在通道方向上计算权重分数，将计算得到的C个权重分数按通道数量对每个特征图赋予权重，从而能得到不同维度上特征的重要程度，该过程保持特征图尺寸大小不变，进行图像块融合层进行下采样，使得来自上一阶段的特征图的高和宽会减半，维度翻倍，改变特征图尺寸大小使特征图分别变为/>
，/>
，/>
；
通过一个全连接层计算输出第二次减数分裂中期图像、第一次减数分裂中期图像、生发泡期图像、退化卵图像、空透明带图像分别对应的概率分数，每个类别对应一个概率分数，概率分数最大的类别判定为所预测的卵冠丘复合体成熟度类别。
第二方面，本发明实施例中提供一种卵丘细胞复合体成熟度分析装置，包括：
预处理单元，用于对卵冠丘复合体图像进行预处理分类，根据成熟度类别将所述卵冠丘复合体图像分为第二次减数分裂中期图像、第一次减数分裂中期图像、生发泡期图像、退化卵图像、空透明带图像；
数据扩充单元，用于对所述卵冠丘复合体图像进行数据扩充得到数据扩充数据库；
训练单元，用于将所述数据扩充数据库对预设的神经网络模型进行训练得到训练好的成熟度分析神经网络模型，所述成熟度分析神经网络模型用于表征所述卵冠丘复合体图像的成熟度类别；
分析单元，用于获取待检测卵冠丘复合体图像，并送入所述成熟度分析神经网络模型输出所述待检测所述待检测卵冠丘复合体图像的成熟度类别。
作为一种可选的方案，所述数据扩充单元具体用于：
第一次减数分裂中期图像进行数据扩充操作得到第一次减数分裂中期图像数据集；
生发泡期图像进行数据扩充操作得到生发泡期图像数据集；
退化卵图像进行数据扩充操作得到退化卵图像数据集；
空透明带图像进行数据扩充操作得到空透明带图像；
将所述第二次减数分裂中期图像、所述第一次减数分裂中期图像数据集、所述生发泡期图像数据集、所述退化卵图像数据集和所述空透明带图像组成得到所述数据扩充数据库。
作为一种可选的方案，所述数据扩充操作包括直方图变换、旋转、亮度变化、对比度拉伸、颜色变换、锐化、翻转中的随机选取一种操作。
作为一种可选的方案，所述训练单元具体用于：
对卵冠丘复合体图像的成熟度识别采取多层卷积加多阶段移动窗口的自注意力机制网络的融合架构，首先，将所述数据扩充数据库输入浅层特征提取网络，每张卵冠丘复合体图像的尺寸大小为H×W×3，H和W代表卵冠丘复合体图像的高和宽，所述浅层特征提取网络由三层卷积层组成，第一卷积层卷积大小为1×1，经过所述第一卷积层生成大小为H×W×64的第一特征图，将所述第一特征图输入第二卷积层，所述第二卷积层大小为3×3，经过所述第二卷积层生成大小为
的第二特征图，最后将所述第二特征图输入第三卷积层，所述第三卷积层大小为9×9，经过所述第三卷积层生成大小为H×W×64的浅层特征图；
将所述浅层特征图送入多阶段移动窗口的自注意力机制网络中，所述多阶段移动窗口的自注意力机制网络由图像块划分层，四个阶段的自注意力特征提取层及通道注意力层组成，通过所述图像块划分层将所述浅层特征图的H×W×64划分为不重合的图像块集合，每个图像块特征为所有像素值的串联，其中每个patch尺寸为4×4，经过划分后浅层特征图的高和宽变为
，深度变为4×4×64=1024，进入阶段一处理，通过线性嵌入层对每个像素的通道数据进行线性变换，保持浅层特征图的高和宽不变，将输入向量的维度调整成预先设置好的数值，经过线性嵌入层后浅层特征图的形状变为/>
；
将浅层特征图输入第一个移动窗自注意力变换模块，所述第一个移动窗自注意力变换模块由两个自注意力模块窗口多头自注意机制模块和移动窗口多头自注意力机制模块串接起来，使用所述自注意力模块窗口多头自注意机制模块将输入的浅层特征图划分为不重叠的多个窗口，在给定的窗口中计算自注意力分数，使用多头机制将得到的注意力分数进行组合，使多阶段移动窗口的自注意力机制网络从不同角度理解输入的特征，得到多头自注意力特征图，将多头自注意力特征图送入所述移动窗口多头自注意力机制模块，经移动窗口操作，使原来的窗口与移动后的新窗口产生重叠的部分，计算不同区域间的特征多头自注意力分数；
输出的特征图尺寸仍为
，将特征图输入通道注意力层中，在通道方向上计算权重分数，将计算得到的C个权重分数按通道数量对每个特征图赋予权重，从而能得到不同维度上特征的重要程度，该过程保持特征图尺寸大小不变，进行图像块融合层进行下采样，使得来自上一阶段的特征图的高和宽会减半，维度翻倍，改变特征图尺寸大小使特征图分别变为/>
，/>
，/>
；
通过一个全连接层计算输出第二次减数分裂中期图像、第一次减数分裂中期图像、生发泡期图像、退化卵图像、空透明带图像分别对应的概率分数，每个类别对应一个概率分数，概率分数最大的类别判定为所预测的卵冠丘复合体成熟度类别。
第三方面，本发明实施例中提供一种计算机设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述的卵丘细胞复合体成熟度分析方法。
第四方面，本发明实施例中提供一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行上述的卵丘细胞复合体成熟度分析方法。
本发明提供的卵丘细胞复合体成熟度分析方法、装置、设备以及介质，对卵冠丘复合体图像进行预处理分类，根据成熟度类别将所述卵冠丘复合体图像分为第二次减数分裂中期图像、第一次减数分裂中期图像、生发泡期图像、退化卵图像、空透明带图像；对所述卵冠丘复合体图像进行数据扩充得到数据扩充数据库；将所述数据扩充数据库对预设的神经网络模型进行训练得到训练好的成熟度分析神经网络模型，所述成熟度分析神经网络模型用于表征所述卵冠丘复合体图像的成熟度类别；获取待检测卵冠丘复合体图像，并送入所述成熟度分析神经网络模型输出所述待检测所述待检测卵冠丘复合体图像的成熟度类别。通过计算机视觉技术进行判别，节省医生等专业人员的时间，帮助医生快速的进行医疗诊断，具有判断速度快、精度高等优点，降低患者重复采卵痛苦，还具有设备可移动性强，一台笔记本即可完成所有任务，不需要特别复杂的设备。
附图说明
图1为现有技术的人工辅助生殖过程中采集得到的卵冠丘复合体的状态示意图；
图2为本发明实施例中提供一种卵丘细胞复合体成熟度分析方法的示意图；
图3为本发明实施例中提供一种卵丘细胞复合体成熟度分析方法中数据扩充数据库组成的流程示意图；
图4为本发明实施例中提供一种卵丘细胞复合体成熟度分析方法中数据扩充操作的示意图；
图5为本发明实施例中提供一种卵丘细胞复合体成熟度分析方法中识别结果的效果示意图；
图6为本发明实施例中提供一种卵丘细胞复合体成熟度分析装置的结构框图；
图7为本发明实施例中提供一种计算机设备的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
结合图2所示，本发明实施例中提供一种卵丘细胞复合体成熟度分析方法，包括：
S101、对卵冠丘复合体图像进行预处理分类，根据成熟度类别将所述卵冠丘复合体图像分为第二次减数分裂中期图像、第一次减数分裂中期图像、生发泡期图像、退化卵图像、空透明带图像。
S102、对所述卵冠丘复合体图像进行数据扩充得到数据扩充数据库。
S103、将所述数据扩充数据库对预设的神经网络模型进行训练得到训练好的成熟度分析神经网络模型，所述成熟度分析神经网络模型用于表征所述卵冠丘复合体图像的成熟度类别。
S104、获取待检测卵冠丘复合体图像，并送入所述成熟度分析神经网络模型输出所述待检测所述待检测卵冠丘复合体图像的成熟度类别。
结合图3所示，本方案采用的识别网络需要用标注好的卵冠丘复合体图像作为训练数据使用，以此来不断优化识别网络的参数，标注好的卵冠丘复合体图是指已知成熟度时期的卵冠丘复合体图，为了方便后续的网络训练可以建立数据库进行卵冠丘复合体图的管理。为了节省人工建立数据库所消耗的大量时间与人员精力，本方案可以根据提供的卵冠丘复合体图像及卵冠丘复合体形态评级信息能够自动生成数据库，卵冠丘复合体形态评级信息将图像分为第二次减数分裂中期图像即MII期图像、第一次减数分裂中期图像即MⅠ期图像、生发泡期图像即GV期图像、退化卵图像即DC图像、空透明带图像，基于这些分类信息数据库生成程序会生成相应的五类文件夹，同时将对应类别的图像自动分入相应类别文件夹中，建立起卵冠丘复合体图像的五个类别数据。
在S102中，所述对所述卵冠丘复合体图像进行数据扩充得到数据扩充数据库，包括：
第一次减数分裂中期图像进行数据扩充操作得到第一次减数分裂中期图像数据集；
生发泡期图像进行数据扩充操作得到生发泡期图像数据集；
退化卵图像进行数据扩充操作得到退化卵图像数据集；
空透明带图像进行数据扩充操作得到空透明带图像；
将所述第二次减数分裂中期图像、所述第一次减数分裂中期图像数据集、所述生发泡期图像数据集、所述退化卵图像数据集和所述空透明带图像组成得到所述数据扩充数据库。
结合图4所示，在辅助生殖过程中，为了满足后续的助孕需求，通常采集到的卵子大多为第二次减数分裂中期图像，第一次减数分裂中期图像、生发泡期图像、退化卵图像的较少，因此，数据过少会导致建立起的数据库中其他四类的图像十分稀缺，造成与第二次减数分裂中期图像的数据样本之间的严重失衡，不利于识别网络模型的训练，因此需要对第一次减数分裂中期图像、生发泡期图像、退化卵图像、空透明带图像进行数据扩充操作。具体地，所述数据扩充操作包括直方图变换、旋转、亮度变化、对比度拉伸、颜色变换、锐化、翻转中的随机选取一种操作。
在一些实施例中，将所述数据扩充数据库对预设的神经网络模型进行训练得到训练好的成熟度分析神经网络模型，所述成熟度分析神经网络模型用于表征所述卵冠丘复合体图像的成熟度类别，包括：
对卵冠丘复合体图像的成熟度识别采取多层卷积加多阶段移动窗口的自注意力机制网络的融合架构，首先，将所述数据扩充数据库输入浅层特征提取网络，每张卵冠丘复合体图像的尺寸大小为H×W×3，H和W代表卵冠丘复合体图像的高和宽，所述浅层特征提取网络由三层卷积层组成，第一卷积层卷积大小为1×1，经过所述第一卷积层生成大小为H×W×64的第一特征图，将所述第一特征图输入第二卷积层，所述第二卷积层大小为3×3，经过所述第二卷积层生成大小为
的第二特征图，最后将所述第二特征图输入第三卷积层，所述第三卷积层大小为9×9，经过所述第三卷积层生成大小为H×W×64的浅层特征图；
将所述浅层特征图送入多阶段移动窗口的自注意力机制网络中，所述多阶段移动窗口的自注意力机制网络由图像块划分层，四个阶段的自注意力特征提取层及通道注意力层组成，通过所述图像块划分层将所述浅层特征图的H×W×64划分为不重合的图像块集合，每个图像块特征为所有像素值的串联，其中每个patch尺寸为4×4，经过划分后浅层特征图的高和宽变为
，深度变为4×4×64=1024，进入阶段一处理，通过线性嵌入层对每个像素的通道数据进行线性变换，保持浅层特征图的高和宽不变，将输入向量的维度调整成预先设置好的数值，经过线性嵌入层后浅层特征图的形状变为/>
；
将浅层特征图输入第一个移动窗自注意力变换模块，所述第一个移动窗自注意力变换模块由两个自注意力模块窗口多头自注意机制模块和移动窗口多头自注意力机制模块串接起来，使用自注意力模块窗口多头自注意机制模块将输入的浅层特征图划分为不重叠的多个窗口，在给定的窗口中计算自注意力分数，使用多头机制将得到的注意力分数进行组合，使多阶段移动窗口的自注意力机制网络从不同角度理解输入的特征，得到多头自注意力特征图，将多头自注意力特征图送入所述移动窗口多头自注意力机制模块，经移动窗口操作，使原来的窗口与移动后的新窗口产生重叠的部分，窗口与窗口之间的相互通信，计算不同区域间的特征多头自注意力分数；
输出的特征图尺寸仍为
，将特征图输入通道注意力层中，在通道方向上计算权重分数，将计算得到的C个权重分数按通道数量对每个特征图赋予权重，从而能得到不同维度上特征的重要程度，该过程保持特征图尺寸大小不变，而阶段二至阶段四操作前都会经过一个图像块融合层进行下采样，使得来自上一阶段的特征图的高和宽会减半，维度翻倍，每个阶段中的后续的操作都参照阶段一的重复进行，经过阶段二至阶段四的处理，仅改变特征图尺寸大小，使特征图分别变为/>
，/>
，/>
；
通过一个全连接层计算输出第二次减数分裂中期图像、第一次减数分裂中期图像、生发泡期图像、退化卵图像、空透明带图像分别对应的概率分数，每个类别对应一个概率分数，概率分数最大的类别判定为所预测的卵冠丘复合体成熟度类别。
结合图5所示，在一些实施例中，在S104中获取待检测卵冠丘复合体图像，并送入所述成熟度分析神经网络模型输出所述待检测所述待检测卵冠丘复合体图像的成熟度类别，对卵母细胞图像经过识别操作，得到最终的卵冠丘复合体熟度识别图像，图中示出了不同类别对应的识别结果。
以下通过具体的实验过程来证明本发明所提供的卵丘细胞复合体成熟度分析方法对于卵母细胞成熟度实际的识别效果。
原始卵冠丘复合体图像共1541张图像，从中选取20张作为测试集使用，其余数据用作训练数据使用，其中MⅡ期图像共1075张，MⅠ期图像共131张，GV期图像共141张，DC图像共45张，空透明带图像共149张。
经数据扩容后卵冠丘复合体图像共5654张图像，其中MⅡ期图像共1075张，MⅠ期图像共1179张，GV期图像共1128张，DC图像共1101张，空透明带图像共1192张。
为了方便对本发明提供方法的效果进行对比，分别采用现有通常使用的vgg19、resnet152、inception_v3、mobilenet_v3分析方法以及本发明所提供的卵母细胞成熟度分析方法对卵冠丘复合体测试数据集图像进行识别，识别准确率结果分别如表1所示。
表1
卵冠丘复合体测试集数据共有20张图像，与传统基于卷积神经网络架构的图像识别方法相比，识别准确率提升25%左右。
本发明提供卵丘细胞复合体成熟度分析方法，对卵冠丘复合体图像进行预处理分类，根据成熟度类别将所述卵冠丘复合体图像分为第二次减数分裂中期图像、第一次减数分裂中期图像、生发泡期图像、退化卵图像、空透明带图像；对所述卵冠丘复合体图像进行数据扩充得到数据扩充数据库；将所述数据扩充数据库对预设的神经网络模型进行训练得到训练好的成熟度分析神经网络模型，所述成熟度分析神经网络模型用于表征所述卵冠丘复合体图像的成熟度类别；获取待检测卵冠丘复合体图像，并送入所述成熟度分析神经网络模型输出所述待检测所述待检测卵冠丘复合体图像的成熟度类别。通过计算机视觉技术进行判别，节省医生等专业人员的时间，帮助医生快速的进行医疗诊断，具有判断速度快、精度高等优点，具有判断速度快，判断一张卵母细胞成熟度所需时间不超过一分钟。判断准确率高，设计算法对卵冠丘复合体成熟度判断准确率在90%以上，相较其他算法准确率提升25%。还具有设备可移动性强，一台笔记本即可完成所有任务，不需要特别复杂的设备。
本发明提供卵丘细胞复合体成熟度分析方法，还可对卵冠丘复合体成熟度直接进行判断，对判断出的GV期和MⅠ期的细胞可以完成后续体外培养至MⅡ期，避免了就高龄及卵巢功能不良所导致的获卵数较少的女性患者卵子的浪费，同时也能避免多次采卵时所带来的身体和心理上的痛苦。
结合图6所示，本发明实施例中提供一种卵丘细胞复合体成熟度分析装置，包括：
预处理单元701，用于对卵冠丘复合体图像进行预处理分类，根据成熟度类别将所述卵冠丘复合体图像分为第二次减数分裂中期图像、第一次减数分裂中期图像、生发泡期图像、退化卵图像、空透明带图像；
数据扩充单元702，用于对所述卵冠丘复合体图像进行数据扩充得到数据扩充数据库；
训练单元703，用于将所述数据扩充数据库对预设的神经网络模型进行训练得到训练好的成熟度分析神经网络模型，所述成熟度分析神经网络模型用于表征所述卵冠丘复合体图像的成熟度类别；
分析单元704，用于获取待检测卵冠丘复合体图像，并送入所述成熟度分析神经网络模型输出所述待检测所述待检测卵冠丘复合体图像的成熟度类别。
作为一种可选的方案，所述数据扩充单元702具体用于：
第一次减数分裂中期图像进行数据扩充操作得到第一次减数分裂中期图像数据集；
生发泡期图像进行数据扩充操作得到生发泡期图像数据集；
退化卵图像进行数据扩充操作得到退化卵图像数据集；
空透明带图像进行数据扩充操作得到空透明带图像；
将所述第二次减数分裂中期图像、所述第一次减数分裂中期图像数据集、所述生发泡期图像数据集、所述退化卵图像数据集和所述空透明带图像组成得到所述数据扩充数据库。
作为一种可选的方案，所述数据扩充操作包括直方图变换、旋转、亮度变化、对比度拉伸、颜色变换、锐化、翻转中的随机选取一种操作。
作为一种可选的方案，所述训练单元703具体用于：
对卵冠丘复合体图像的成熟度识别采取多层卷积加多阶段移动窗口的自注意力机制网络的融合架构，首先，将所述数据扩充数据库输入浅层特征提取网络，每张卵冠丘复合体图像的尺寸大小为H×W×3，H和W代表卵冠丘复合体图像的高和宽，所述浅层特征提取网络由三层卷积层组成，第一卷积层卷积大小为1×1，经过所述第一卷积层生成大小为H×W×64的第一特征图，将所述第一特征图输入第二卷积层，所述第二卷积层大小为3×3，经过所述第二卷积层生成大小为
的第二特征图，最后将所述第二特征图输入第三卷积层，所述第三卷积层大小为9×9，经过所述第三卷积层生成大小为H×W×64的浅层特征图；
将所述浅层特征图送入多阶段移动窗口的自注意力机制网络中，所述多阶段移动窗口的自注意力机制网络由图像块划分层，四个阶段的自注意力特征提取层及通道注意力层组成，通过所述图像块划分层将所述浅层特征图的H×W×64划分为不重合的图像块集合，每个图像块特征为所有像素值的串联，其中每个patch尺寸为4×4，经过划分后浅层特征图的高和宽变为
，深度变为4×4×64=1024，进入阶段一处理，通过线性嵌入层对每个像素的通道数据进行线性变换，保持浅层特征图的高和宽不变，将输入向量的维度调整成预先设置好的数值，经过线性嵌入层后浅层特征图的形状变为/>
；
将浅层特征图输入第一个移动窗自注意力变换模块，所述第一个移动窗自注意力变换模块由两个自注意力模块窗口多头自注意机制模块和移动窗口多头自注意力机制模块串接起来，使用所述自注意力模块窗口多头自注意机制模块将输入的浅层特征图划分为不重叠的多个窗口，在给定的窗口中计算自注意力分数，使用多头机制将得到的注意力分数进行组合，使多阶段移动窗口的自注意力机制网络从不同角度理解输入的特征，得到多头自注意力特征图，将多头自注意力特征图送入所述移动窗口多头自注意力机制模块，经移动窗口操作，使原来的窗口与移动后的新窗口产生重叠的部分，计算不同区域间的特征多头自注意力分数；
输出的特征图尺寸仍为
，将特征图输入通道注意力层中，在通道方向上计算权重分数，将计算得到的C个权重分数按通道数量对每个特征图赋予权重，从而能得到不同维度上特征的重要程度，该过程保持特征图尺寸大小不变，进行图像块融合层进行下采样，使得来自上一阶段的特征图的高和宽会减半，维度翻倍，改变特征图尺寸大小使特征图分别变为/>
，/>
，/>
；
通过一个全连接层计算输出第二次减数分裂中期图像、第一次减数分裂中期图像、生发泡期图像、退化卵图像、空透明带图像分别对应的概率分数，每个类别对应一个概率分数，概率分数最大的类别判定为所预测的卵冠丘复合体成熟度类别。
相应地，根据本发明的实施例，本发明还提供了一种计算机设备、一种可读存储介质和一种计算机程序产品。
图7为本发明实施例中提供的一种计算机设备12的结构示意图。图7示出了适于用来实现本发明实施方式的示例性计算机设备12的框图。图7显示的计算机设备12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图7所示，计算机设备12以通用计算设备的形式表现。计算机设备12旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。
计算机设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。
总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
计算机设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
系统存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)30和/或高速缓存32。计算机设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图7未显示，通常称为“硬盘驱动器”)。尽管图7中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM、DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。
计算机设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该计算机设备12交互的设备通信，和/或与使得该计算机设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，计算机设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与计算机设备12的其它模块通信。应当明白，尽管图中未示出，可以结合计算机设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的卵丘细胞复合体成熟度分析方法。
本发明实施例中还提供一种存储有计算机指令的非瞬时计算机可读存储介质，其上存储有计算机程序，其中，该程序被处理器执行时本申请所有发明实施例提供的卵丘细胞复合体成熟度分析方法。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络包括局域网(LAN)或广域网(WAN)连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
本发明实施例还提供一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据上述的卵丘细胞复合体成熟度分析方法。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。
Claims (10)
1.一种卵丘细胞复合体成熟度分析方法，其特征在于，包括：
对卵冠丘复合体图像进行预处理分类，根据成熟度类别将所述卵冠丘复合体图像分为第二次减数分裂中期图像、第一次减数分裂中期图像、生发泡期图像、退化卵图像、空透明带图像；
对所述卵冠丘复合体图像进行数据扩充得到数据扩充数据库；
将所述数据扩充数据库对预设的神经网络模型进行训练得到训练好的成熟度分析神经网络模型，所述成熟度分析神经网络模型用于表征所述卵冠丘复合体图像的成熟度类别；
获取待检测卵冠丘复合体图像，并送入所述成熟度分析神经网络模型输出所述待检测卵冠丘复合体图像的成熟度类别。
2.根据权利要求1所述的一种卵丘细胞复合体成熟度分析方法，其特征在于，对所述卵冠丘复合体图像进行数据扩充得到数据扩充数据库，包括：
第一次减数分裂中期图像进行数据扩充操作得到第一次减数分裂中期图像数据集；
生发泡期图像进行数据扩充操作得到生发泡期图像数据集；
退化卵图像进行数据扩充操作得到退化卵图像数据集；
空透明带图像进行数据扩充操作得到空透明带图像；
将所述第二次减数分裂中期图像、所述第一次减数分裂中期图像数据集、所述生发泡期图像数据集、所述退化卵图像数据集和所述空透明带图像组成得到所述数据扩充数据库。
3.根据权利要求2所述的一种卵丘细胞复合体成熟度分析方法，其特征在于，所述数据扩充操作包括直方图变换、旋转、亮度变化、对比度拉伸、颜色变换、锐化、翻转中的随机选取一种操作。
4.根据权利要求1所述的一种卵丘细胞复合体成熟度分析方法，其特征在于，所述将所述数据扩充数据库对预设的神经网络模型进行训练得到训练好的成熟度分析神经网络模型，所述成熟度分析神经网络模型用于表征所述卵冠丘复合体图像的成熟度类别，包括：
对卵冠丘复合体图像的成熟度识别采取多层卷积加多阶段移动窗口的自注意力机制网络的融合架构，首先，将所述数据扩充数据库输入浅层特征提取网络，每张卵冠丘复合体图像的尺寸大小为H×W×3，H和W代表卵冠丘复合体图像的高和宽，所述浅层特征提取网络由三层卷积层组成，第一卷积层卷积大小为1×1，经过所述第一卷积层生成大小为H×W×64的第一特征图，将所述第一特征图输入第二卷积层，所述第二卷积层大
小为3×3，经过所述第二卷积层生成大小为 
的第二特征图，最后将所述第二特征图输入第三卷积层，所述第三卷积层大小9×9，经过所述第三卷积层生成大小为H×W×64的浅层特征图；
将所述浅层特征图送入多阶段移动窗口的自注意力机制网络中，所述多阶段移动窗口的自注意力机制网络由图像块划分层，四个阶段的自注意力特征提取层及通道注意力层组成，通过所述图像块划分层将所述浅层特征图的H×W×64划分为不重合的图像块集合，每个图像块特征为所有像素值的串联，其中每个patch尺寸为4×4，经过划分后浅层特征图的高和宽变为
，深度变为4×4×64=1024，进入阶段一处理，通过线性嵌入层对每个像素的通道数据进行线性变换，保持浅层特征图的高和宽不变，将输入向量的维度调整成预先设置好的数值，经过线性嵌入层后浅层特征图的形状变为/>
；
将浅层特征图输入第一个移动窗自注意力变换模块，所述第一个移动窗自注意力变换模块由两个自注意力模块窗口多头自注意机制模块和移动窗口多头自注意力机制模块串接起来，使用自注意力模块窗口多头自注意机制模块将输入的浅层特征图划分为不重叠的多个窗口，在给定的窗口中计算自注意力分数，使用多头机制将得到的注意力分数进行组合，使多阶段移动窗口的自注意力机制网络从不同角度理解输入的特征，得到多头自注意力特征图，将多头自注意力特征图送入所述移动窗口多头自注意力机制模块，经移动窗口操作，使原来的窗口与移动后的新窗口产生重叠的部分，计算不同区域间的特征多头自注意力分数；
输出的特征图尺寸仍为
，将特征图输入通道注意力层中，在通道方向上计算权重分数，将计算得到的C个权重分数按通道数量对每个特征图赋予权重，从而能得到不同维度上特征的重要程度，该过程保持特征图尺寸大小不变，进行图像块融合层进行下采样，使得来自上一阶段的特征图的高和宽会减半，维度翻倍，改变特征图尺寸大小使特征图分别变为/>
，/>
，/>
；
通过一个全连接层计算输出第二次减数分裂中期图像、第一次减数分裂中期图像、生发泡期图像、退化卵图像、空透明带图像分别对应的概率分数，每个类别对应一个概率分数，概率分数最大的类别判定为所预测的卵冠丘复合体成熟度类别。
5.一种卵丘细胞复合体成熟度分析装置，其特征在于，包括：
预处理单元，用于对卵冠丘复合体图像进行预处理分类，根据成熟度类别将所述卵冠丘复合体图像分为第二次减数分裂中期图像、第一次减数分裂中期图像、生发泡期图像、退化卵图像、空透明带图像；
数据扩充单元，用于对所述卵冠丘复合体图像进行数据扩充得到数据扩充数据库；
训练单元，用于将所述数据扩充数据库对预设的神经网络模型进行训练得到训练好的成熟度分析神经网络模型，所述成熟度分析神经网络模型用于表征所述卵冠丘复合体图像的成熟度类别；
分析单元，用于获取待检测卵冠丘复合体图像，并送入所述成熟度分析神经网络模型输出所述待检测所述待检测卵冠丘复合体图像的成熟度类别。
6.根据权利要求5所述的一种卵丘细胞复合体成熟度分析装置，其特征在于，所述数据扩充单元具体用于：
第一次减数分裂中期图像进行数据扩充操作得到第一次减数分裂中期图像数据集；
生发泡期图像进行数据扩充操作得到生发泡期图像数据集；
退化卵图像进行数据扩充操作得到退化卵图像数据集；
空透明带图像进行数据扩充操作得到空透明带图像；
将所述第二次减数分裂中期图像、所述第一次减数分裂中期图像数据集、所述生发泡期图像数据集、所述退化卵图像数据集和所述空透明带图像组成得到所述数据扩充数据库。
7.根据权利要求6所述的一种卵丘细胞复合体成熟度分析装置，其特征在于，所述数据扩充操作包括直方图变换、旋转、亮度变化、对比度拉伸、颜色变换、锐化、翻转中的随机选取一种操作。
8.根据权利要求5所述的一种卵丘细胞复合体成熟度分析装置，其特征在于，所述训练单元具体用于：
对卵冠丘复合体图像的成熟度识别采取多层卷积加多阶段移动窗口的自注意力机制网络的融合架构，首先，将所述数据扩充数据库输入浅层特征提取网络，每张卵冠丘复合体图像的尺寸大小为H×W×3，H和W代表卵冠丘复合体图像的高和宽，所述浅层特征提取网络由三层卷积层组成，第一卷积层卷积大小为1×1，经过所述第一卷积层生成大小为H×W×64的第一特征图，将所述第一特征图输入第二卷积层，所述第二卷积层大小为3×3，经过所述第二卷积层生成大小为
的第二特征图，最后将所述第二特征图输入第三卷积层，所述第三卷积层大小为9×9，经过所述第三卷积层生成大小为H×W×64的浅层特征图；
将所述浅层特征图送入多阶段移动窗口的自注意力机制网络中，所述多阶段移动窗口的自注意力机制网络由图像块划分层，四个阶段的自注意力特征提取层及通道注意力层组成，通过所述图像块划分层将所述浅层特征图的H×W×64划分为不重合的图像块集合，每个图像块特征为所有像素值的串联，其中每个patch尺寸为4×4，经过划分后浅层特征图的高和宽变为
，深度变为4×4×64=1024，进入阶段一处理，通过线性嵌入层对每个像素的通道数据进行线性变换，保持浅层特征图的高和宽不变，将输入向量的维度调整成预先设置好的数值，经过线性嵌入层后浅层特征图的形状变为/>
；
将浅层特征图输入第一个移动窗自注意力变换模块，所述第一个移动窗自注意力变换模块由两个自注意力模块窗口多头自注意机制模块和移动窗口多头自注意力机制模块串接起来，使用所述自注意力模块窗口多头自注意机制模块将输入的浅层特征图划分为不重叠的多个窗口，在给定的窗口中计算自注意力分数，使用多头机制将得到的注意力分数进行组合，使多阶段移动窗口的自注意力机制网络从不同角度理解输入的特征，得到多头自注意力特征图，将多头自注意力特征图送入所述移动窗口多头自注意力机制模块，经移动窗口操作，使原来的窗口与移动后的新窗口产生重叠的部分，计算不同区域间的特征多头自注意力分数；
输出的特征图尺寸仍为
，将特征图输入通道注意力层中，在通道方向上计算权重分数，将计算得到的个权重分数按通道数量对每个特征图赋予权重，从而能得到不同维度上特征的重要程度，该过程保持特征图尺寸大小不变，进行图像块融合层进行下采样，使得来自上一阶段的特征图的高和宽会减半，维度翻倍，改变特征图尺寸大小使特征图分别变为/>
，/>
，/>
；
通过一个全连接层计算输出第二次减数分裂中期图像、第一次减数分裂中期图像、生发泡期图像、退化卵图像、空透明带图像分别对应的概率分数，每个类别对应一个概率分数，概率分数最大的类别判定为所预测的卵冠丘复合体成熟度类别。
9.一种计算机设备，其特征在于，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1至4中任一项所述的一种卵丘细胞复合体成熟度分析方法。
10.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1至4中任一项所述的一种卵丘细胞复合体成熟度分析方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310171502.XA CN115861319A (zh) | 2023-02-28 | 2023-02-28 | 一种卵丘细胞复合体成熟度分析方法、装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310171502.XA CN115861319A (zh) | 2023-02-28 | 2023-02-28 | 一种卵丘细胞复合体成熟度分析方法、装置、设备及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115861319A true CN115861319A (zh) | 2023-03-28 |
Family
ID=85659189
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310171502.XA Pending CN115861319A (zh) | 2023-02-28 | 2023-02-28 | 一种卵丘细胞复合体成熟度分析方法、装置、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115861319A (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140134632A1 (en) * | 2011-07-01 | 2014-05-15 | Inserm (Institut National De La Sante Et De La Recherche Medicale) | Methods for determining developmental stage of human cumulus cells |
| CN112200803A (zh) * | 2020-11-04 | 2021-01-08 | 成都朴华科技有限公司 | 精子核蛋白成熟度检测方法及装置 |
| CN113011306A (zh) * | 2021-03-15 | 2021-06-22 | 中南大学 | 连续成熟阶段骨髓细胞图像自动识别方法、系统及介质 |
| CN115601748A (zh) * | 2022-10-31 | 2023-01-13 | 中国科学院长春光学精密机械与物理研究所（Cn） | 卵母细胞成熟度分析方法 |
-
2023
- 2023-02-28 CN CN202310171502.XA patent/CN115861319A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140134632A1 (en) * | 2011-07-01 | 2014-05-15 | Inserm (Institut National De La Sante Et De La Recherche Medicale) | Methods for determining developmental stage of human cumulus cells |
| CN112200803A (zh) * | 2020-11-04 | 2021-01-08 | 成都朴华科技有限公司 | 精子核蛋白成熟度检测方法及装置 |
| CN113011306A (zh) * | 2021-03-15 | 2021-06-22 | 中南大学 | 连续成熟阶段骨髓细胞图像自动识别方法、系统及介质 |
| CN115601748A (zh) * | 2022-10-31 | 2023-01-13 | 中国科学院长春光学精密机械与物理研究所（Cn） | 卵母细胞成熟度分析方法 |
Non-Patent Citations (1)
| Title |
|---|
| 王燕蓉, 宁夏人民出版社 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110245657B (zh) | 病理图像相似性检测方法及检测装置 | |
| JP6777354B1 (ja) | 骨髄細胞標識方法及びシステム | |
| WO2021051875A1 (zh) | 细胞分类方法、装置、介质及电子设备 | |
| JP2021507367A (ja) | 胚の生存率を推定するためのシステムおよび方法 | |
| CN107194158A (zh) | 一种基于图像识别的疾病辅助诊断方法 | |
| CN112508850A (zh) | 基于深度学习的甲状腺细胞病理切片恶性区域的检测方法 | |
| CN110197715B (zh) | 一种用于读片教学的医学影像浏览系统 | |
| CN113487614B (zh) | 胎儿超声标准切面图像识别网络模型的训练方法和装置 | |
| CN112365471B (zh) | 基于深度学习的宫颈癌细胞智能检测方法 | |
| CN105913431A (zh) | 低分辨率医学图像的多图谱分割方法 | |
| CN110660484A (zh) | 骨龄预测方法、装置、介质及电子设备 | |
| CN111652167A (zh) | 一种染色体核型图像智能评价方法及系统 | |
| RU2732895C1 (ru) | Метод для выделения и классификации типов клеток крови с помощью глубоких сверточных нейронных сетей | |
| CN116189866A (zh) | 一种基于数据分析的远程医用护理分析系统 | |
| CN111383222A (zh) | 一种基于深度学习的椎间盘mri图像智能诊断系统 | |
| CN110766665A (zh) | 基于强监督算法和深度学习网络的舌象数据分析方法 | |
| CN114283406A (zh) | 细胞图像识别方法、装置、设备、介质及计算机程序产品 | |
| CN113705595A (zh) | 异常细胞转移程度的预测方法、装置和存储介质 | |
| CN115861319A (zh) | 一种卵丘细胞复合体成熟度分析方法、装置、设备及介质 | |
| CN117152506A (zh) | 基于多尺度特征的三阴性乳腺癌免疫表型预测方法及系统 | |
| Panwar et al. | A review: Exploring the role of ChatGPT in the diagnosis and treatment of oral pathologies | |
| CN115601748A (zh) | 卵母细胞成熟度分析方法 | |
| CN115188413A (zh) | 一种染色体核型分析模块 | |
| Wang et al. | Application of Deep learning in Bone age assessment | |
| CN116091828A (zh) | 一种染色体图像可解释分析方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20230328 |
|
| RJ01 | Rejection of invention patent application after publication |