CN109544512B - 一种基于多模态的胚胎妊娠结果预测装置 - Google Patents

Abstract

本发明公开了一种基于多模态的胚胎妊娠结果预测装置，属于医疗人工智能领域，首先获取体外受精后发育至囊胚期的胚胎图像以及对应的妊娠结果，获取胚胎的囊胚、内细胞团和滋养层细胞的三张图片，以妊娠结果为标签，标注数据，作为原始数据。然后使用高斯核函数对图像进行平滑处理，去除部分噪声，再对图像进行归一化操作。之后对图像进行数据增广，作为输入数据。使用多模态方法融合三张图像的图像，使输入图像包含三个评估方面的特征。将融合后的图像传入ResNet‑50中训练，根据目标标签优化网络，迭代至训练完成。有了模型后，在胚胎移植前，拍摄三张图像，即可传入模型预测妊娠结果，根据输出结果选择高成功率的胚胎，即可提高最终妊娠成功率。

Description

一种基于多模态的胚胎妊娠结果预测装置

技术领域

本发明涉及医疗人工智能领域，具体地说，涉及一种基于多模态的胚胎妊娠结果预测装置。

背景技术

我国不孕不育率已经从20年前的2.5％-3％攀升到了12.5％-15％，且呈现出不断增加与年轻化的趋势，据统计，2016年我国不孕不育患者已超5000万。另一方面，二胎政策的开放带来生育高峰，近年来我国每年约有1600万新生儿，其中约有200-240万新生儿因不孕不育无法出生。这直接导致了辅助生殖市场需求的激增与规模的扩大。

辅助生殖技术主要指人工授精和体外受精-胚胎移植(In Vitro Fertilizationand Embryo Transfer，IVF-ET)技术两大类，其中后者是主流选择。在40年间，IVF试管婴儿技术经历了三代变化，第三代试管婴儿技术在解决女性不孕和男性不育基础上，还可通过移植前筛查，满足人们优生优育的需求。

试管婴儿技术采用人工方法让卵细胞和精子在体外受精，并进行早期胚胎发育，然后移植到母体子宫内妊娠发育，成熟后通过正常方式分娩。在移植前，需要对发育至囊胚期的胚胎进行评估，以选择优质胚胎进行胚胎冷冻或胚胎移植。

评判标准主要为囊胚扩张程度与囊胚形态学评分：囊胚扩张程度可以通过囊胚分期来衡量，根据囊胚腔在胚胎中的发育扩张程度，可将囊胚扩张划分为6个时期，分期越高代表囊胚发育越完全，移植评分越高；囊胚形态学评分又可划分为内细胞团分级和滋养层细胞分级，分别代表内细胞团数目的多少和滋养层细胞的疏密，内细胞数目少、滋养层细胞稀疏的囊胚可获得更高的评分。评估后，得分高于设定值的胚胎才会被选中，参与后续移植操作。

然而，上述评估方法使用“多”、“少”、“疏”、“密”等词语来模糊界定分级标准，在实际操作时，往往会由于评估医师的主观认知产生偏差，且不同医师的评分标准也不尽相同，最终获得的胚胎评估指标不甚标准。据统计，目前国际上IVF的整体妊娠率在50％-60％，其中，移植到母体内的胚胎质量是一个主要的影响因素，因此，若能使用计算机对囊胚期胚胎进行更严格、更准确的评估分级，将大大提升胚胎移植后的妊娠成功率。

1998年，LECUN等人首次提出了卷积神经网络(convolutional neural network，CNN)LeNet模型，后被美国许多银行用来识别支票上的手写数字，且准确率很高。直到2012年，CNN模型在ImageNet竞赛中取得第一，从此CNN在图像处理与目标识别领域被广泛应用，成为深度学习方法在图像处理领域的通用神经网络。

深度学习方法在图像处理领域取得了巨大的成就，这也为使用深度学习技术辅助医生进行诊断提供了可能。目前，以深度学习为基础的计算机辅助诊疗(computer aideddiagnosis，CAD)系统，就有着广泛的应用。已有许多系统使用CNN对医学图像建立模型，进行病变区域检测、病变级别分类、病情发展预测等工作。然而，当前尚未有使用深度学习算法，进行高效、准确胚胎妊娠预测的系统。

发明内容

本发明的目的为提供一种基于多模态的胚胎妊娠结果预测装置，在移植母体前使用多模态卷积神经网络对胚胎质量进行评估，预测其移植妊娠成功率，从而选择优质胚胎进行移植，提高母体最终的妊娠成功率。

为了实现上述目的，本发明提供的基于多模态胚胎妊娠结果预测装置包括：存储器和处理器，存储器存储有计算机可执行指令，处理器与存储器通信连接，并配置为执行存储器存储的计算机可执行指令，存储器中还存储有胚胎妊娠结果预测模型；应用时，计算机可执行指令在被执行时，实现以下步骤：

1)依次对囊胚期的囊胚、内细胞团和滋养层细胞三张图像进行去噪处理、数据增广和归一化处理；

2)对同一胚胎的三张样本图像进行多模态融合，将三张H*W*3样本图像进行拼接，获得H*W*3*3四维张量，其中，H为长度，W为宽度，前一个“3”代表颜色通道，后增加的“3”表示三张图像；

3)将处理得到的四维张量输入胚胎妊娠结果预测模型中，获得妊娠成功概率。

作为优选，胚胎妊娠结果预测模型通过以下步骤获得：

a.对于同一胚胎在囊胚期的囊胚、内细胞团和滋养层细胞三张图像，使用胚胎移植到母体后的最终妊娠结果作为三张图像的标签，保存为样本；

b.采用所述步骤1)和步骤2)的方法对样本图像进行处理得到融合后的图像；

c.利用融合后的图像和对应的标签对ResNet-50网络进行训练，获得胚胎妊娠结果预测模型。

上述技术方案中，基于真实临床案例的胚胎图像，分别对胚胎的囊胚、内细胞团和滋养层细胞对焦拍摄，获取三张图片，以妊娠结果为标签，标注数据，作为原始数据。然后对图像进行平滑去噪，之后对图像进行归一化操作，之后进行数据增广，作为输入数据。使用多模态方法融合三张图像，使输入图像包含三个评估方面的特征，使预测结果更加精准。将融合后的图像传入ResNet-50中训练，根据目标标签优化网络，迭代至训练完成。有了模型后，在胚胎移植前，拍摄三张图像，即可传入模型预测妊娠结果，根据输出结果选择高成功率的胚胎，即可提高最终妊娠成功率。

步骤1)中对样本图像进行去噪处理的方法为：使用高斯模糊函数对样本图像进行平滑去噪，其核函数公式为

其中x和y分别表示噪点的像素位置相对图像中心点的横向距离及纵向距离，σ表示高斯模糊函数的方差。

使用高斯函数进行平滑操作，目的在于：对囊胚期胚胎的评估只涉及到内细胞团的多少和上皮滋养层的结构疏密，细胞内部的细节特征无需太多，因此使用高斯函数进行平滑操作，提取小区域中的整体特征，利于后续网络学习，同时也起到图像降噪效果，提高分类的速度和准确率。

作为优选，针对囊胚、内细胞团和滋养层细胞三种图像中的每张图像进行以下步骤：选用三个高斯函数对样本图像分别进行三次平滑操作，并对每张图像平滑后生成的三张图片，进行加权平均，获得一张平滑结果图。优选三个高斯函数的配置分别为：5*5高斯核，σ＝2；3*3高斯核，σ＝1；3*3高斯核，σ＝0.5。

使用三种不同大小、不同方差的高斯核进行平滑操作，目的在于：胚胎内细胞大小不一，使用不同大小的高斯核提取不同大小的细胞整体特征，且方差不同，提取到的区域特征也不尽相同，因此拼接后可融合更加丰富的图像特征，利于后续网络的训练和学习。

具体操作时，将每种原始图像的三张图像分别传入三个高斯核中进行卷积操作，设置步长为1且对边界进行填充，使模糊后的图像尺寸保持不变。经过卷积操作后得到的图像，从上至下其模糊程度越来越低，下面的结果保留了更多细节特征。将三张模糊后的图像相加，求得平均图像。同一样本的三张图像(同一胚胎的囊胚、内细胞团和滋养层细胞三张图像)使用相同高斯核平滑，确保处理后的图像一致。

对去噪处理后的样本图像进行数据增广的方法为：对去噪处理后的样本图像进行随机镜像翻转、水平或垂直压缩，增加数据量。在增广时对同一胚胎的三张图像做相同的变换操作，确保变换后的三张图像，其胚胎位置与形态结构仍然对应。

对经去噪处理和数据增广后的样本图像进行归一化处理的方法为：对上述获得的图像使用如下公式

其中x为三张样本图像中任一图像P中的像素点，μ、σ分别为该图像所有像素的均值、方差，x'为归一化后的值。

作为优选，ResNet-50的网络结构包括依次连接的卷积层、最大池化层、4个block、平均池化层、全连接层和softmax层；其中，block1包括三个残差模块，block2包括四个残差模块，block3包括五个残差模块，block4包括三个残差模块，每个残差模块包括3个卷积操作与3个Relu函数。block指的是操作块。

作为优选，在block2的最后一次卷积操作引入一个1x1x3的卷积核，对第四维度进行卷积操作，将第四维度的大小变为1。

由于使用多模态方法将三张图片融合，网络输入的数据维度多了一维，因此在block2的最后一层中引入一个1x1x3的卷积核，经过该卷积层后，数据即恢复到H*W*3的标准格式，从而减少后续卷积过程中的数据量，加快运行速度。在网络结构的最后，通过一个全连接层和softmax层，将特征图映射为概率，即可输出输入图像对应胚胎最终妊娠成功的概率。

与现有技术相比，本发明的有益效果为：

本发明的基于多模态的胚胎妊娠结果预测装置使用多模态方法融合多种评估因素，考虑到囊胚期胚胎质量的评估涉及到其扩张程度与发育形态，本发明使用三张包含上述胚胎信息的图像，利用多模态方法将其融合，传入模型进行训练，使模型可学习到更加丰富的评估信息，进行更综合的考量，提高分类准确率。

附图说明

图1为本发明实施例的预测装置在进行胚胎妊娠预测时的流程图；

图2为本发明实施例中使用网络模型中的残差模块；

图3为本发明实施例预测胚胎妊娠成功率的网络模型。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，以下结合实施例及其附图对本发明作进一步说明。

实施例

参见图1至图3，本实施例基于多模态胚胎妊娠结果预测装置包括存储器和处理器，存储器存储有计算机可执行指令，处理器与存储器通信连接，并配置为执行存储器存储的计算机可执行指令，存储器中存储有胚胎妊娠结果预测模型。

胚胎妊娠结果预测模型通过以下步骤得到：

S101获取标注数据

从生殖记录中获取同一胚胎发育至囊胚期的三张图像。分别将相机对焦至胚胎的囊胚、内细胞团和滋养层细胞，拍摄图像，此过程保持相机位置不变，确保三张图像中细胞位置相同。同时获取该胚胎移植到母体后，最终的妊娠结果，使用该结果作为标签对三张图像进行标注，保存为样本。

S102图像平滑、去噪

使用三个高斯模糊函数对原图像进行平滑处理，同时去除图像噪声。配置分别为：5*5高斯核(σ＝2)；3*3高斯核(σ＝1)；3*3高斯核(σ＝0.5)。

将原始图像分别传入三个高斯核中进行卷积操作，设置步长为1且对边界进行填充，使模糊后的图像尺寸保持不变。将三张模糊后的图像相加，求得平均图像。同一胚胎的三张图像，使用相同高斯核进行平滑，确保一致性。

S103数据增广

对模糊后的图像进行随机镜像翻转、水平压缩与垂直压缩，增加数据量。在增广时需要注意对同一胚胎的三张图像做相同的变换操作，确保变换后的三张图像，其胚胎位置与形态结构仍然对应。

S104数据归一化

图像归一化，对上述获得的图像做归一化处理，使用如下公式

其中μ为图像所有像素的均值，σ为方差，x为图像P中的像素点，x'为归一化后的值。

S105多模态融合

将同一胚胎的三张图像进行多模态融合，每个胚胎对应三张H*W*3的图像，其中3为颜色通道数，将三张图片在第4维度进行拼接，获得H*W*3*3的张量，传入后续模型训练。其中，H为长度，W为宽度，前一个“3”代表颜色通道，后增加的“3”表示三张图像

S106训练模型

以同一胚胎的三张图片作为输入，经过多模态融合后，将H*W*3*3的张量传入图3所示的ResNet-50网络中进行训练。将H*W*3*3的张量传入后续网络，网络结构如图3所示，包括依次连接的7x7卷积层、最大池化层(Max Pool)、4个block、平均池化层(Avg Poo)l、全连接层(即映射层Fc)和softmax层；其中，block1包括三个残差模块，block2包括四个残差模块，block3包括五个残差模块，block4包括三个残差模块，每个残差模块包括3个卷积操作与3个Relu函数。

由于本发明中使用多模态方法将3张图片融合，网络输入的数据维度多了一维，因此在block2的最后一层中，引入一个1x1x3的卷积核，对第四维度进行卷积操作，将其大小变为1，经过该卷积层后，数据即恢复到H*W*3的标准格式。

在网络结构最后，通过一个全连接层和softmax层，将特征图映射为概率，即可输出输入图像对应胚胎最终妊娠成功的概率。

将输出结果与真实标签作比较，计算模型损失，并使用随机梯度下降法更新网络权值，不断迭代此过程，使用训练数据优化网络的性能。

获得以上胚胎妊娠结果预测模型后，在应用时，将胚胎妊娠结果预测模型存储到存储器中，计算机可执行指令被执行以下步骤以实现对妊娠结果的预测：

1)依次对囊胚期的囊胚、内细胞团和滋养层细胞三张图像进行去噪处理、数据增广和归一化处理；具体方法同S102、S103和S104。

2)对同一胚胎的三张样本图像进行多模态融合，将三张H*W*3样本图像进行拼接，获得H*W*3*3四维张量，其中，H为长度，W为宽度，前一个“3”代表颜色通道，后增加的“3”表示三张图像；同S105。

3)将处理得到的四维张量输入胚胎妊娠结果预测模型中，获得妊娠成功概率。

获得的妊娠成功概率可用于辅助医生筛选优质胚胎进行后续移植操作。

Claims (6)

1.一种基于多模态胚胎妊娠结果预测装置，包括：存储器和处理器，所述存储器存储有计算机可执行指令，所述处理器与所述存储器通信连接，并配置为执行存储器存储的计算机可执行指令，其特征在于：

所述存储器中还存储有胚胎妊娠结果预测模型；

应用时，所述计算机可执行指令在被执行时，实现以下步骤：

1)依次对囊胚期的囊胚、内细胞团和滋养层细胞三张图像进行去噪处理、数据增广和归一化处理；

2)对同一胚胎的三张样本图像进行多模态融合，将三张H*W*3样本图像进行拼接，获得H*W*3*3四维张量，其中，H为长度，W为宽度，前一个“3”代表颜色通道，后增加的“3”表示三张图像；

3)将处理得到的四维张量输入胚胎妊娠结果预测模型中，获得妊娠成功概率；

所述的胚胎妊娠结果预测模型通过以下步骤获得：

a.对于同一胚胎在囊胚期的囊胚、内细胞团和滋养层细胞三张图像，使用胚胎移植到母体后的最终妊娠结果作为三张图像的标签，保存为样本；

b.采用所述步骤1)和步骤2)的方法对样本图像进行处理得到融合后的图像；

c.利用融合后的图像和对应的标签对ResNet-50网络进行训练，获得胚胎妊娠结果预测模型；

所述的ResNet-50的网络结构包括依次连接的卷积层、最大池化层、4个block、平均池化层、全连接层和softmax层；其中，block1包括三个残差模块，block2包括四个残差模块，block3包括五个残差模块，block4包括三个残差模块，每个残差模块包括3个卷积操作与3个Relu函数；在block2的最后一次卷积操作引入一个1x1x3的卷积核，对第四维度进行卷积操作，将第四维度的大小变为1。

2.根据权利要求1所述的基于多模态胚胎妊娠结果预测装置，其特征在于，步骤1)中对样本图像进行去噪处理的方法为：使用高斯模糊函数对样本图像进行平滑去噪，其核函数公式为

其中x和y分别表示某一像素点相对高斯核函数中心点的横向距离及纵向距离，σ表示高斯模糊函数的方差。

3.根据权利要求2所述的基于多模态胚胎妊娠结果预测装置，其特征在于，针对囊胚、内细胞团和滋养层细胞三种图像中的每张图像进行以下步骤：选用三个高斯函数对样本图像分别进行三次平滑操作，并对每张图像平滑后生成的三张图片，进行加权平均，获得一张平滑结果图。

4.根据权利要求3所述的基于多模态胚胎妊娠结果预测装置，其特征在于，所述的三个高斯函数的配置分别为：5*5高斯核，σ＝2；3*3高斯核，σ＝1；3*3高斯核，σ＝0.5。

5.根据权利要求1所述的基于多模态胚胎妊娠结果预测装置，其特征在于，步骤1)中对去噪处理后的样本图像进行数据增广的方法为：对去噪处理后的样本图像进行随机镜像翻转、水平或垂直压缩，增加数据量。

6.根据权利要求1所述的基于多模态胚胎妊娠结果预测装置，其特征在于，步骤1)中采用如下公式对经去噪和数据增广处理的样本图像进行归一化处理：

其中x为三张样本图像中任一图像P中的像素点，μ、σ分别为该图像所有像素的均值、方差，x'为归一化后的值。

Images