CN114972167A - 基于时空注意力和跨模态融合的胚胎妊娠预测方法及系统 - Google Patents

基于时空注意力和跨模态融合的胚胎妊娠预测方法及系统 Download PDF

Info

Publication number
CN114972167A
CN114972167A CN202210301488.6A CN202210301488A CN114972167A CN 114972167 A CN114972167 A CN 114972167A CN 202210301488 A CN202210301488 A CN 202210301488A CN 114972167 A CN114972167 A CN 114972167A
Authority
CN
China
Prior art keywords
embryo
data
clinical
fusion
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210301488.6A
Other languages
English (en)
Inventor
涂志刚
李可
尹太郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN202210301488.6A priority Critical patent/CN114972167A/zh
Publication of CN114972167A publication Critical patent/CN114972167A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30044—Fetus; Embryo

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Data Mining & Analysis (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于时空注意力和跨模态融合的胚胎妊娠预测方法及系统，包括采集胚胎培养过程中各发育阶段的胚胎图像，提取患者的临床数据和病历数据；对胚胎图像做预处理和数据增强，得到图像输入数据，对临床数据进行数据清洗和特征工程，得到临床输入数据；将临床输入数据分别输入胚胎质量评估模型和临床医学数据挖掘模型，分别得到胚胎形态学特征向量和临床特征向量；利用跨模态特征融合方式融合两种模态的特征，得到胚胎形态学特征与临床特征的融合特征；将融合特征输入预测器，预测胚胎妊娠概率。本发明的自动分析预测结果具有良好的鲁棒性和可解释性。

Description

基于时空注意力和跨模态融合的胚胎妊娠预测方法及系统
技术领域
本发明涉及医疗人工智能领域，具体地说，涉及一种基于时空注意力和跨模态融合的胚胎妊娠预测方法及系统。
背景技术
全球有相当一部分育龄人口面临着不孕不育和生育能力低下的问题。根据最新的调查，大约13％的女性和10％的男性受不孕症的影响。
体外受精-胚胎移植是辅助生殖技术(ART)中治疗不孕症最有效、最常见的方法之一。在体外受精周期中，从女性卵巢中取出多个成熟卵母细胞，并在实验室通过体外受精(IVF)或卵胞浆内单精子注射(ICSI)进行受精。然后这些受精卵(胚胎)在最佳条件的培养箱中培养。这些胚胎可以在孵化的第3天、第4天或第5天被移植到子宫中，或冷冻保存以备后续的移植。
胚胎质量的好坏直接影响其移植后的妊娠结果。胚胎形态学评估是最有效、最常用的胚胎质量评估方法之一，胚胎学家根据胚胎的内在形态结构，如囊胚腔、内细胞团和滋养层，对胚胎的质量进行分级。因此胚胎学家通常通过胚胎形态学来评估胚胎质量的好坏，选取质量最好的胚胎进行移植。然而，胚胎学家对于胚胎形态学的评估高度主观，对于经验不足的医生来说，胚胎评估十分复杂，难免出现因主观因素对囊胚腔占比大小、内细胞团和滋养层等级评定等造成误判，进而影响胚胎的选择，导致妊娠率降低。
尽管一些基于人工智能技术的胚胎妊娠预测方法被提出，例如现有的授权专利中，CN109214375B、CN109544512B都有提供胚胎妊娠的预测技术。但现有的这些方法仍然具有如下问题：
1.现有方法高度依赖于胚胎学家提出的囊胚分级系统，通常需要多位胚胎学家对数据集进行统一标注。因此缺乏可靠、大量的训练数据，难以在实际工程中应用。
2.现有方法只关注特定时期胚胎的形态，如胚胎发育至囊胚时的形态学特征，或胚胎内部特定的结构，如胚胎的内细胞团和滋养层等。而胚胎的发育是一个动态的过程，因此这些方法无法全面评估胚胎活性。
3.现有方法进行妊娠预测时只关注胚胎形态学特征，忽视了患者的年龄、疾病史等对妊娠结果有影响的重要因素，因此难以在实际临床场景下应用。
发明内容
本发明的目的是提供一种基于时空注意力和跨模态融合的胚胎妊娠预测方法和系统，不仅充分分析胚胎整个发育过程中的形态学特征，从时间和空间上高效地获取胚胎特征，而且充分利用患者的年龄、疾病史等重要临床因素，从而有效、准确地预测胚胎妊娠率。
为了实现上述目的，本发明所提出的胚胎妊娠预测方法包括以下步骤：
S1.收集患者的年龄、疾病史、用药史等临床数据，采集胚胎培养过程中各发育阶段的胚胎图像；
S2.对胚胎图像做统一的预处理和数据增强，得到图像输入数据，对临床数据进行数据清洗和特征工程，得到临床输入数据；
S3.将所述输入数据分别输入胚胎质量评估模型和临床医学数据挖掘模型，得到胚胎形态学特征向量和临床特征；
S4.利用跨模态特征融合技术得到胚胎形态学特征与临床特征的融合特征；
S5.将融合特征输入预测器，预测胚胎妊娠概率。
所述步骤S2的具体子步骤如下：
S201.对胚胎图像做灰度化处理，得到胚胎灰度图。灰度化处理采用公式Gray＝0.299R+0.587G+0.114B；
S202.用Canny算子处理上述胚胎灰度图像，得到原始胚胎图像的二值边缘图像；
S203.利用霍夫变换检测上述二值边缘图像中的圆心，得到圆心的位置坐标；
S204.通过上述圆检测的位置坐标截取原始的胚胎图像，使胚胎分布在图像的正中间且图像分辨率为448*448，得到预处理后的胚胎图像；
S205.对上述预处理后的胚胎图像做数据增强，包括色度、亮度、饱和度、对比度转换，得到图像输入数据；
S206.对临床数据进行数据清洗，包括去除、补全缺失数据，去除、修正错误数据，修正数据格式，去除离群值等，得到清洗后的数据；
S207.对上述清洗后的数据做特征工程，包括数据归一化，数据变换，数据降维，特征选择等，得到临床输入数据；
所述步骤S3的具体子步骤如下：
S301.以ResNet-50作为胚胎质量评估模型的基础网络，在残差块中加入空间注意力模块，将同一胚胎的多个图像输入所述网络，提取不同阶段胚胎的形态学特征；
S302.将所述同一胚胎不同发育阶段的特征进行时域特征融合，并通过时间注意力模块得到最终的胚胎形态学特征向量；
S303.将所述临床输入数据输入到Adaboost模型，得到临床特征向量；
所述步骤S4的具体子步骤如下：
S401.对所述胚胎形态学特征向量进行数据降维处理；
S402.将降维后的形态学特征向量与临床特征向量对齐并拼接；
S403.将所述拼接特征向量输入跨模态特征融合模块，提取融合特征；
为实现上述目的，本发明还提出一种胚胎妊娠预测系统，所述系统包括：
数据预处理模块，用于对同一胚胎的不同发育阶段的胚胎图像进行预处理，得到输入图像，以及对临床数据做数据工程，得到相应的临床输入数据；
胚胎质量评估模块，用于将所述输入图像输入基于时空注意力机制的特征提取网络，得到胚胎完整的形态学特征；
临床数据评估模块，用于将临床输入数据输入到临床医学数据挖掘模型中，得到有效的临床特征；
跨模态特征融合模块，用于将胚胎图像特征和临床特征进行跨模态的数据融合，得到融合妊娠特征；
胚胎妊娠预测模块，用于将所述融合妊娠特征输入预测单元，得到胚胎的妊娠率，并以此辅助医生进行胚胎选择。
与当前胚胎妊娠预测方法与系统相比，本技术方案有以下有益效果：
1.本发明创新性的利用胚胎整个发育过程中不同时期的胚胎图像，以及完整的胚胎结构进行胚胎妊娠预测，避免了因只关注胚胎的囊胚期或只关注胚胎内部部分结构导致的片面分析，从而能更全面、更高效地获得胚胎质量信息，预测胚胎妊娠结局，进而辅助医生快速评估、选择胚胎。
2.本发明创新性的引入临床数据，通过临床医学数据挖掘模型分析临床数据，获取临床特征向量，并将其与胚胎图像特征向量进行跨模态的特征融合，以此来预测妊娠率，提升了本发明的鲁棒性和可解释性。
附图说明
图1是本发明实施例提供的一种胚胎妊娠预测方法的流程图；
图2是本发明实施例中注意力机制的网络示意图；
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处具体实施例的给出仅仅是为了说明目的，并不能理解为对本发明的限定。
针对现有的胚胎妊娠预测方法主要针对囊胚时期的胚胎图像进行分析，无法充分利用胚胎整个发育过程的信息，或只针对胚胎内部囊胚腔、内细胞团、滋养层等特定结构单独进行分析，无法全面捕捉胚胎形态学特征，导致不能准确、可靠地预测胚胎妊娠率的问题，参见图1，图1是本发明一实施例提供的一种时空注意力和跨模态融合的胚胎妊娠预测方法流程示意图，所述方法包括以下步骤：
S1.采集胚胎培养过程中各发育阶段的胚胎图像，获取患者的临床数据和病历数据；
实施例中，采集胚胎发育过程中各时期的胚胎图像。胚胎移植前，在胚胎的不同发育阶段分别采集胚胎图像，在胚胎冷冻前后分别采集胚胎图像；
收集患者的临床医学数据和胚胎病历数据，包括年龄、身高、体重、不孕因素、激素水平等各种影响妊娠的数据，并根据患者将数据对应合并。
S2.对胚胎图像做预处理和数据增强，得到图像输入数据，对临床数据进行数据清洗和特征工程，得到临床输入数据；
1)对胚胎图像做统一的预处理和数据增强，得到图像输入数据。预处理操作如下：
首先采用公式Gray＝0.299R+0.587G+0.114B对胚胎图像做灰度化处理，得到胚胎灰度图像。然后利用Canny算子处理上述胚胎灰度图像，得到原始胚胎图像的二值边缘图像，并利用霍夫变换检测该二值边缘图像中的圆心，得到圆心的位置坐标，最后通过该坐标截取原始的胚胎图像，使胚胎分布在图像的正中间且保持完整，图像分辨率为448*448，得到预处理后的胚胎图像。
对预处理后的胚胎图像进行数据增强，具体包括色度变换、亮度变换、饱和度变换、对比度变换等。
2)对临床数据进行数据清洗和特征工程，得到临床输入数据。数据清洗过程如下：
首先对临床数据进行统计分析，然后根据统计分析结果去除或补全相应的缺失数据，检查并修正错误数据，最后检查并修正数据格式，去除离群值等，得到数据清洗后的临床数据。
对上述数据清洗后的临床数据做特征工程，具体过程包括：
首先对不同特征选择合适的数据归一化公式，包括：
Figure BDA0003563084340000051
其中μ为所有样本数据的均值，σ为所有样本数据的标准差，x为原始的样本数据；
Figure BDA0003563084340000052
Figure BDA0003563084340000053
其中max为样本数据的最大值，min为样本数据的最小值；对相应特征做数据变换，如连续特征离散化；对数据进行数据降维和数据选择，减少临床数据特征数量和维度。
具体实施时，S2可采用以下子步骤实现：
S201.对胚胎图像做灰度化处理，得到胚胎灰度图。灰度化处理采用公式Gray＝0.299R+0.587G+0.114B，其中Gray为灰度，R、G、B分别为相应通道值；
S202.用Canny算子处理上述胚胎灰度图像，得到原始胚胎图像的二值边缘图像；
S203.利用霍夫变换检测上述二值边缘图像中的圆心，得到圆心的位置坐标；
S204.通过上述圆检测的位置坐标截取原始的胚胎图像，使胚胎分布在图像的正中间且图像分辨率为448*448，得到预处理后的胚胎图像；
S205.对上述预处理后的胚胎图像做数据增强，包括色度、亮度、饱和度、对比度转换，得到图像输入数据；
S206.对临床数据进行数据清洗，包括去除、补全缺失数据，去除、修正错误数据，修正数据格式，去除离群值等，得到清洗后的数据；
S207.对上述清洗后的数据做特征工程，包括数据归一化，数据变换，数据降维，特征选择等，得到临床输入数据。
S3.将所述输入数据分别输入胚胎质量评估模型和临床医学数据挖掘模型，分别得到胚胎形态学特征向量和临床特征向量。
1)将胚胎图像数据输入基于时空注意力机制的胚胎质量评估模型，得到胚胎形态学特征，注意力模块结构参见图2。其中，Residual为残差块，由3×3的卷积层和激活层构成；Global pooling为全局池化层，将残差块输出的尺寸为H×W×C的特征图转化为1×1×C(其中H，W，C分别表示特征图的高、宽和通道数)；FC为全连接层，通过缩放参数r降低特征图的通道数为
Figure BDA0003563084340000061
之后将通道数恢复为C；ReLU和Sigmoid分别为两种激活函数；Scale模块将Sigmoid层输出的1×1×C的特征图尺寸恢复至H×W×C，最后将其与输入特征图X相加，所得输出结果记为
Figure BDA0003563084340000062
进一步地，时间注意力的计算方法如下：
Mt(F)＝σ(MLP(AvgPool(F))+MLP(MaxPool(F)))
其中Mt()表示时间注意力，F表示输入特征，σ()表示sigmoid函数，AvgPool()和MaxPool()分别表示平均池化和最大池化，MLP()表示多层感知器。
空间注意力的计算方法如下：
Ms(F′)＝σ(f7×7([AvgPool(F′)；MaxPool(F′)]))
其中Ms()表示空间注意力，F′为时间注意力模块输出的特征图，σ()表示sigmoid函数，f7×7()表示7×7的卷积，AvgPool()和MaxPool()分别表示平均池化和最大池化。
2)将数据清洗和特征工程后的临床数据输入临床医学数据挖掘模型，得到临床特征向量；
具体实施时，S3可采用以下子步骤实现：
S301.以ResNet-50作为胚胎质量评估模型的基础网络，在残差块中加入空间注意力模块，将同一胚胎的多个图像输入所述网络，提取不同阶段胚胎的形态学特征；
S302.将所述同一胚胎不同发育阶段的特征进行时域特征融合，并通过时间注意力模块得到最终的胚胎形态学特征向量；
S303.将所述临床输入数据输入到Adaboost模型，得到临床特征向量。
S4.利用跨模态特征融合技术得到胚胎形态学特征与临床特征的融合特征。融合特征的计算方法如下：
E(F1,F2)＝σ(MLP(Maxpool([f1×1(F1)；f1×1(F2)])))
其中E()表示融合特征，F1和F2分别表示胚胎形态学特征向量和临床特征向量，σ()表示sigmoid函数，MaxPool()表示最大池化，f1×1()表示1×1的卷积。
具体实施时，S4可采用以下子步骤实现：
S401.对所述胚胎形态学特征向量进行数据降维处理；
S402.将降维后的形态学特征向量与临床特征向量对齐并拼接；
S403.将所述拼接特征向量输入跨模态特征融合模块，提取融合特征。
S5.将融合特征输入预测器，预测胚胎妊娠概率。
具体实施时，本发明技术方案提出的方法可由本领域技术人员采用计算机软件技术实现自动运行流程，实现方法的系统装置例如存储本发明技术方案相应计算机程序的计算机可读存储介质以及包括运行相应计算机程序的计算机设备，也应当在本发明的保护范围内。
在一些可能的实施例中，提供一种基于时空注意力和跨模态融合的胚胎妊娠预测系统，包括以下模块：
图像数据处理模块，用于采集胚胎培养过程中各发育阶段的胚胎图像，提取患者的临床数据和病历数据；
临床数据处理模块，用于对胚胎图像做预处理和数据增强，得到图像输入数据，对临床数据进行数据清洗和特征工程，得到临床输入数据；
形态学特征提取模块，用于将临床输入数据分别输入胚胎质量评估模型和临床医学数据挖掘模型，分别得到胚胎形态学特征向量和临床特征向量；
跨模态特征融合模块，用于利用跨模态特征融合方式融合两种模态的特征，得到胚胎形态学特征与临床特征的融合特征；
妊娠结局预测模块，用于将融合特征输入预测器，预测胚胎妊娠概率。
在一些可能的实施例中，提供一种基于时空注意力和跨模态融合的胚胎妊娠预测系统，包括处理器和存储器，存储器用于存储程序指令，处理器用于调用存储器中的存储指令执行如上所述的一种基于时空注意力和跨模态融合的胚胎妊娠预测方法。
在一些可能的实施例中，提供一种基于时空注意力和跨模态融合的胚胎妊娠预测系统，包括可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序执行时，实现如上所述的一种基于时空注意力和跨模态融合的胚胎妊娠预测方法。
以上，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的范围为准。

Claims (5)

1.一种基于时空注意力和跨模态融合的胚胎妊娠预测方法，其特征在于，包括以下步骤：
S1.采集胚胎培养过程中各发育阶段的胚胎图像，提取患者的临床数据和病历数据；
S2.对胚胎图像做预处理和数据增强，得到图像输入数据，对临床数据进行数据清洗和特征工程，得到临床输入数据；
S3.将步骤S2所得临床输入数据分别输入胚胎质量评估模型和临床医学数据挖掘模型，分别得到胚胎形态学特征向量和临床特征向量；
S4.利用跨模态特征融合方式融合两种模态的特征，得到胚胎形态学特征与临床特征的融合特征；
S5.将步骤S4所得融合特征输入预测器，预测胚胎妊娠概率。
2.如权利要求1所述的一种基于时空注意力和跨模态融合的胚胎妊娠预测方法，其特征在于：所述步骤S2包括以下子步骤，
S201.对胚胎图像做灰度化处理，得到胚胎灰度图像；
S202.用Canny算子处理S201所得胚胎灰度图像，得到原始胚胎图像的二值边缘图像；
S203.利用霍夫变换检测S202所得二值边缘图像中的圆心，得到圆心的位置坐标；
S204.通过S203圆心检测所得的位置坐标截取原始的胚胎图像，使胚胎分布在图像的正中间，得到预处理后的胚胎图像；
S205.对S204预处理后的胚胎图像做数据增强，包括色度、亮度、饱和度、对比度转换，得到图像输入数据；
S206.对临床数据进行数据清洗，包括去除、补全缺失数据，去除、修正错误数据，修正数据格式，以及去除离群值，得到清洗后的数据；
S207.对S206所得清洗后的数据做特征工程，包括数据归一化，数据变换，数据降维，以及特征选择，得到临床输入数据。
3.如权利要求1所述的一种基于时空注意力和跨模态融合的胚胎妊娠预测方法，其特征在于：所述步骤S3包括以下子步骤，
S301.以ResNet-50作为胚胎质量评估模型的基础网络，在残差块中加入空间注意力模块，将同一胚胎的多个图像输入所述网络，提取不同阶段胚胎的形态学特征；
S302.将同一胚胎不同发育阶段的特征进行时域特征融合，并通过时间注意力模块得到最终的胚胎形态学特征向量；
S303.将临床输入数据输入到Adaboost模型，得到临床特征向量。
4.如权利要求1所述的一种基于时空注意力和跨模态融合的胚胎妊娠预测方法，其特征在于：所述步骤S4包括以下子步骤，
S401.对所述胚胎形态学特征向量进行数据降维处理；
S402.将降维后的形态学特征向量与临床特征向量对齐并拼接；
S403.将所述拼接特征向量输入跨模态特征融合模块，提取融合特征。
5.一种基于时空注意力和跨模态融合的胚胎妊娠预测系统，其特征在于：包括以下模块，
图像数据处理模块，用于采集胚胎培养过程中各发育阶段的胚胎图像，提取患者的临床数据和病历数据；
临床数据处理模块，用于对胚胎图像做预处理和数据增强，得到图像输入数据，对临床数据进行数据清洗和特征工程，得到临床输入数据；
形态学特征提取模块，用于将临床输入数据分别输入胚胎质量评估模型和临床医学数据挖掘模型，分别得到胚胎形态学特征向量和临床特征向量；
跨模态特征融合模块，用于利用跨模态特征融合方式融合两种模态的特征，得到胚胎形态学特征与临床特征的融合特征；
妊娠结局预测模块，用于将融合特征输入预测器，预测胚胎妊娠概率。
CN202210301488.6A 2022-03-24 2022-03-24 基于时空注意力和跨模态融合的胚胎妊娠预测方法及系统 Pending CN114972167A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210301488.6A CN114972167A (zh) 2022-03-24 2022-03-24 基于时空注意力和跨模态融合的胚胎妊娠预测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210301488.6A CN114972167A (zh) 2022-03-24 2022-03-24 基于时空注意力和跨模态融合的胚胎妊娠预测方法及系统

Publications (1)

Publication Number Publication Date
CN114972167A true CN114972167A (zh) 2022-08-30

Family

ID=82975982

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210301488.6A Pending CN114972167A (zh) 2022-03-24 2022-03-24 基于时空注意力和跨模态融合的胚胎妊娠预测方法及系统

Country Status (1)

Country Link
CN (1) CN114972167A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116433652A (zh) * 2023-05-11 2023-07-14 中南大学 用于确定胚胎移植的妊娠结果的方法、处理器及装置
CN116757967A (zh) * 2023-08-18 2023-09-15 武汉互创联合科技有限公司 胚胎图像碎片去除方法、计算机设备及可读存储介质
CN116883996A (zh) * 2023-09-01 2023-10-13 武汉互创联合科技有限公司 基于旋转等变网络的胚胎发育阶段预测与质量评估系统
CN117995417A (zh) * 2024-01-23 2024-05-07 上海市同济医院 基于机器学习的ivf/icsi预处理方案优化系统

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116433652A (zh) * 2023-05-11 2023-07-14 中南大学 用于确定胚胎移植的妊娠结果的方法、处理器及装置
CN116433652B (zh) * 2023-05-11 2024-02-23 中南大学 用于确定胚胎移植的妊娠结果的方法、处理器及装置
CN116757967A (zh) * 2023-08-18 2023-09-15 武汉互创联合科技有限公司 胚胎图像碎片去除方法、计算机设备及可读存储介质
CN116757967B (zh) * 2023-08-18 2023-11-03 武汉互创联合科技有限公司 胚胎图像碎片去除方法、计算机设备及可读存储介质
CN116883996A (zh) * 2023-09-01 2023-10-13 武汉互创联合科技有限公司 基于旋转等变网络的胚胎发育阶段预测与质量评估系统
CN116883996B (zh) * 2023-09-01 2023-12-08 武汉互创联合科技有限公司 基于旋转等变网络的胚胎发育阶段预测与质量评估系统
CN117995417A (zh) * 2024-01-23 2024-05-07 上海市同济医院 基于机器学习的ivf/icsi预处理方案优化系统
CN117995417B (zh) * 2024-01-23 2024-08-06 上海市同济医院 基于机器学习的ivf/icsi预处理方案优化系统

Similar Documents

Publication Publication Date Title
CN114972167A (zh) 基于时空注意力和跨模态融合的胚胎妊娠预测方法及系统
JP7072067B2 (ja) 胚の生存率を推定するためのシステムおよび方法
US10426442B1 (en) Adaptive image processing in assisted reproductive imaging modalities
CN111279421B (zh) 人类胚胎的自动评价
CN110135231A (zh) 动物面部识别方法、装置、计算机设备和存储介质
US20240185567A1 (en) System and method for outcome evaluations on human ivf-derived embryos
EP3751513A1 (en) Adaptive image processing in assisted reproductive imaging modalities
US20230028645A1 (en) Methods and systems for embryo classification using morpho-kinetic signatures
CN113592896A (zh) 基于图像处理的鱼类投喂方法、系统、设备及存储介质
Kragh et al. Predicting embryo viability based on self-supervised alignment of time-lapse videos
CN116434841A (zh) 基于多模态数据的胚胎评估方法及装置
JP7535572B2 (ja) 生殖補助手順に用いられる品質保証の評価指標の自動評価
CN111401183A (zh) 基于人工智能的细胞体监控方法、系统、装置和电子设备
US10748288B2 (en) Methods and systems for determining quality of an oocyte
CN115036021A (zh) 一种基于空间动力学参数的胚胎发育监控方法
US20240249142A1 (en) Methods and systems for embryo classificiation
RU2800079C2 (ru) Системы и способы оценки жизнеспособности эмбрионов
Zheng et al. Automatic detection of sow estrus using a lightweight real-time detector and thermal images
CN113077457A (zh) 基于延时摄像系统与深度学习算法预测胚胎能否成囊的系统
AU2019101174A4 (en) Systems and methods for estimating embryo viability
RU2810125C1 (ru) Автоматизированная оценка показателей обеспечения качества для процедур вспомогательной репродукции
Sharma et al. Deep learning methods to forecasting human embryo development in time-lapse videos
Eswaran et al. Deep Learning Algorithms for Timelapse Image Sequence-Based Automated Blastocyst Quality Detection
Rajendran et al. O-120 Predicting Embryo Ploidy Status Using Time-lapse Images
US20240312560A1 (en) Systems and methods for non-invasive preimplantation embryo genetic screening

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination