CN109214375A - 一种基于分段采样视频特征的胚胎妊娠结果预测装置 - Google Patents

Abstract

本发明公开了一种基于分段采样的视频特征的胚胎妊娠结果预测装置，包括存储器、处理器以及计算机程序，存储器中存有包括n个特征提取模块和融合分类模块的胚胎妊娠结果预测模型，处理器执行所述计算机程序时实现以下步骤：接收胚胎发育视频，并对帧图像进行去噪剔除后，将剩余帧图像分成n段，并在每段中等时间间隔抽取m帧图像；以每个特征提取模块输入m帧图像的方式，将抽取的n*m帧图像分别输入到n个特征提取模块，经特征提取后，提取的n类特征图合并后输入到融合分类模块中，经计算输出胚胎妊娠结果预测概率；其中，n为大于等于4的自然数，m为小于20的自然数。该装置能够根据胚胎发育视频准确地输出胚胎妊娠结果的预测概率。

Description

一种基于分段采样视频特征的胚胎妊娠结果预测装置

技术领域

本发明属于医疗视频处理领域，具体涉及一种基于分段采样的视频特征的胚胎妊娠结果预测装置。

背景技术

辅助生殖技术是人类辅助生殖技术(Assisted Reproductive Technology，ART)的简称，指采用医疗辅助手段使不育夫妇妊娠的技术，包括人工授精(ArtificialInsemination，AI)和体外受精-胚胎移植(In Vitro Fertilization and EmbryoTransfer，IVF-ET)及其衍生技术两大类。在40年间，IVF试管婴儿技术经历了三代变化，第三代试管婴儿技术在解决女性不孕和男性不育基础上，还可通过移植前筛查，满足人们优生优育的需求。

试管婴儿技术采用人工方法让卵细胞和精子在体外受精，并进行早期胚胎发育，然后移植到母体子宫内妊娠发育，成熟后通过正常方式分娩。胚胎发育可以根据时间顺序划分为配子、原核期、卵裂期、囊胚期几个阶段，现有的胚胎评判标准主要是通过观察这几个阶段胚胎的发育速度以及形态学标准，通过对各个标准进行评分来估计胚胎的状态，以选择优质胚胎进行胚胎冷冻或胚胎移植。

评判标准主要为囊胚扩张程度与囊胚形态学评分：囊胚扩张程度可以通过囊胚分期来衡量，根据囊胚腔在胚胎中的发育扩张程度，可将囊胚扩张划分为6个时期，分期越高代表囊胚发育越完全，移植评分越高；囊胚形态学评分又可划分为内细胞团分级和滋养层细胞分级，分别代表内细胞团数目的多少和滋养层细胞的疏密，内细胞数目少、滋养层细胞稀疏的囊胚可获得更高的评分。评估后，得分高于设定值的胚胎才会被选中，参与后续移植操作。

然而，这种人为的评分过程，在实际操作时，往往会由于评估医师的主观认知产生偏差，且不同医师的评分标准也不尽相同，最终获得的胚胎评估指标不甚标准。据统计，目前国际上IVF的整体妊娠率在50％-60％，其中，移植到母体内的胚胎质量是一个主要的影响因素，因此，若能使用计算机对囊胚期胚胎进行更严格、更准确的评估分级，将大大提升胚胎移植后的妊娠成功率。

近年来，深度学习方法在影像处理领域取得了巨大的成就，这也为使用深度学习技术辅助医生进行胚胎发育的预测提供了可能。经调查，以深度学习为基础的计算机辅助诊疗(computer aided diagnosis,CAD)系统，被广泛应用。已有许多系统使用卷积神经网络(convolutional neural network,CNN)对医学图像建立模型，进行病变区域检测、病变级别分类、病情发展预测等工作。然而，当前尚未有使用深度学习算法，进行高效、准确胚胎妊娠预测的系统。

胚胎发育视频是对显微镜下的胚胎影像每隔5分钟进行一次采样构成的连续图片，即每一帧之间的间隔为5分钟。从体外受精成受精卵到发育成囊胚期之前需要经过三到四天的时间，尽管采样的间隔较大，但一个视频仍然有800帧左右的数据，这对于现有的机器学习方法或者是深度学习方法而言是无法进行处理的。一方面，当前的计算能力不能支持数百帧图像的同时处理；另一方面，现有的处理时间序列的模型比如rnn、lstm等，都具有一定的“遗忘性”，不能学习如此长跨度的时间信息。所以，如何从如此冗长的视频数据中提取出有用的关键信息并训练模型提取、处理这些特征是胚胎发育预测的关键问题。

发明内容

本发明的目的是提供了一种基于分段采样的视频特征的胚胎妊娠结果预测装置。当胚胎发育视频被分段处理后输入到该装置，经过计算可以输出准确率较高的胚胎妊娠结果的预测概率，该预测概率能够辅助医生进行胚胎妊娠成功与否的判断。

为实现上述发明目的，本发明提供以下技术方案：

一种基于分段采样的视频特征的胚胎妊娠结果预测装置，包括计算机存储器、计算机处理器以及存储在所述计算机存储器中并可在所述计算机处理器上执行的计算机程序，其特征在于：

所述计算机存储器中存有胚胎妊娠结果预测模型，其包括n个特征提取模块，对n个特征提取模块的输出进行融合和分类的融合分类模块；

所述计算机处理器执行所述计算机程序时实现以下步骤：

接收胚胎发育视频，并对帧图像进行去噪剔除后，将剩余帧图像分成n段，并在每段中等时间间隔抽取m帧图像；

以每个特征提取模块输入m帧图像的方式，将抽取的n*m帧图像分别输入到n个特征提取模块，经特征提取后，提取的n类特征图合并后输入到融合分类模块中，经计算输出胚胎妊娠结果预测概率；

其中，n为大于等于4的自然数，m为小于20的自然数。

该装置中，通过分段提取的手段，有效地提取了胚胎发育视频信息，根据这些视频帧图像特征来预测胚胎妊娠结果概率，该预测概率能够辅助医生进行胚胎妊娠成功与否的判断。

其中，所述胚胎妊娠结果预测模型的获得过程为：

建立训练集：将每个胚胎发育视频样本转换成帧图像，并对帧图像进行去噪剔除后，将剩余帧图像分成n段，并在每段中等时间间隔抽取m帧图像，将获得的n*m帧图像和胚胎发育视频样本对应的标签作为一个训练样本，构成训练集；

建立网络结构：以n个并联的P3D网络作为n个特征提取网络，n个特征提取网络的输出连接对n个输出进行融合和分类的融合分类网络，其中，融合分类网络包括以次连接的至少一个卷积层、全连接层和分类器；

训练网络结构：以每个特征提取网络输入m帧图像的方式，将每个训练样本中n*m帧图像分别输入n个特征提取网络中，在标签的监督下，对n个特征提取网路和融合分类网络进行训练，获得对应的n个特征提取模块以及融合分类模块，组成胚胎妊娠结果预测模型。

为了降低甚至避免噪声帧图像影响胚胎妊娠结果预测，需要对视频帧图像进行噪声剔除，具体地，所述对帧图像进行去噪剔除包括：

计算每一帧图像的像素平均值，将像素平均值小于像素阈值的帧图像作为噪声图像剔除。

本发明是根据胚胎发育视频预测胚胎妊娠结果，帧图像之间的时间因素也影响最终的胚胎妊娠结果预测，为了提升胚胎妊娠结果预测准确性，在每段中随机抽取连续的m帧图像。

其中，所述P3D网络包括依次连接的至少1个网络单元，每个网络单元包括P3D-A模块、P3D-B模块、P3D-C模块中的一者，或者至少两者依次连接，或三者任意顺序连接；

其中，P3D-A模块包括依次连接的卷积模块P3D-A₁、卷积模块P3D-A₂、卷积模块P3D-A₃、卷积模块P3D-A₄，和对卷积模块P3D-A₁的输入特征图和卷积模块P3D-A₄的输出特征图做叠加的叠加操作；

P3D-B模块包括卷积模块P3D-B₁，并列连接卷积模块P3D-B₁输出的卷积模块P3D-B₂、卷积模块P3D-B₃，同时连接卷积模块P3D-B₂和卷积模块P3D-B₃输出的卷积模块P3D-B₄，以及对卷积模块P3D-B₄输出特征图和卷积模块P3D-B₁输入特征图做叠加的叠加操作；

P3D-C模块依次连接的卷积模块P3D-C₁、卷积模块P3D-C₂、卷积模块P3D-C₃，对卷积模块P3D-C₂输出特征图和卷积模块P3D-C₃输出特征图做叠加的叠加操作，连接叠加操作结果的卷积模块P3D-C₄，以及对卷积模块P3D-C₁输入特征图和卷积模块P3D-C₄输出特征图做叠加的叠加操作。

在一个实施例方式中，当将胚胎发育视频帧图像分成与配子、原核期、卵裂期、囊胚期对应的4段时，所述胚胎妊娠结果预测模型的网络结构包括：以4个并联的P3D网络作为配子期特征提取网路、原核期特征提取网络、卵裂期特征提取网络、囊胚期特征提取网络，对4个特征提取网络的输出进行融合和分类的融合分类网络，其中，所述P3D网络包括依次连接的至少1个网络单元，每个网络单元包括依次连接的P3D-A模块、P3D-B模块、P3D-C模块；所述融合分类网络包括依次连接的2个卷积层、1个全连接层和1个分类器。对该网络结构进行训练，即确定网络结构参数，获得胚胎妊娠结果预测模型。

具体地，胚胎妊娠结果预测装置中存储的胚胎妊娠结果预测模型包括4个并联的配子期特征提取模块、原核期特征提取模块、卵裂期特征提取模块、囊胚期特征提取模块，对4个模块的输出进行融合和分类的融合分类模块；

应用时，接收胚胎发育视频，并对帧图像进行去噪剔除后，将剩余帧图像按照配子、原核期、卵裂期、囊胚期分成4段，并在每段中随机抽取连续16帧图像；

将抽取的4*16帧图像分别输入对应的配子期特征提取模块、原核期特征提取模块、卵裂期特征提取模块、囊胚期特征提取模块，经特征提取后，提取的4类特征图合并后输入到融合分类模块中，经计算输出胚胎妊娠结果预测概率。

所述胚胎妊娠结果预测模型可以在线下训练完成，然后存储在胚胎妊娠结果预测装置中；或在线上训练完成，且每次应用时接收的待预测的胚胎发育视频经处理后可以作为训练样本，对胚胎妊娠结果预测模型做优化更新。

为了提升预测准确度，需要对特征提取模块输出的特征图进行融合，即将所有特征提取模块输出的特征图在时间维度上合并后输入到融合分类模块。

优选地，所述分类器为Logistic分类器、softmax分类器或SVM分类器。

本发明中，将胚胎发育视频分成多段后，将每段视频对应的帧图像输入到对应的特征提取模型中进行时间、空间维度的特征提取。由于胚胎在较短时间内的变化不太大，这种分段采样的方法使得本发明能够在使用较少数据进行特征提取的同时保留视频的整体信息。然后，再将不同分段提取出的特图征按照时间维度合并在一起后通过融合分类模块得到预测结果。该装置能够根据长视频预测胚胎妊娠结果，且提升了胚胎妊娠结果的预测准确度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动前提下，还可以根据这些附图获得其他附图。

图1为胚胎体外发育的过程示意图；

图2为实施例中的一张胚胎图像实例；

图3为实施例中的胚胎妊娠结果预测模型的网络结构示意图；

图4为图3中P3D网络的逻辑结构示意图；

图5为图3中P3D网络中P3D-A模块、P3D-B模块、P3D-C模块的结构示意图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。

本实施例提供了一种基于分段采样的视频特征的胚胎妊娠结果预测装置，包括计算机存储器、计算机处理器以及存储在所述计算机存储器中并可在所述计算机处理器上执行的计算机程序，所述计算机存储器中存有胚胎妊娠结果预测模型，该预测模型在线上或线下通过以下三个阶段获得：

阶段1：胚胎发育视频的接收与预处理

接收体外受精发育的胚胎从如图1所示的原核期到囊胚期之间三到四天的胚胎发育视频。为了转换成模型可用的数据形式，本实施例将连续的胚胎发育视频胚胎发育提取成一帧帧如图2所示的图像，每个胚胎发育视频得到700～800帧的连续图像。许多视频存在镜头晃动或者视频结尾屏幕内容为空白的情况，为了防止后面进行随机抽样时抽取到这些帧，本实施例计算了每一帧图像的像素平均值，将像素平均值小于像素阈值外的帧图像删除，实现对帧图像的预处理。

阶段2：训练集的构建

由于胚胎发育视频较长，无法用模型直接获取整体的特征，因此本实施例首先将胚胎发育视频样本划为4等分，分别对应配子、原核期、卵裂期、囊胚期，然后，在每段视频对应的预处理后的帧图像中，随机抽取连续的16帧作为该段视频的采样帧图像，其中，采样帧图像为250*250的灰度图像。这样，获得的4*16帧的帧图像胚胎发育视频样本对应的标签作为一个训练样本，构成训练集。本实施例中，若胎发育视频样本中的胚胎能够胚胎妊娠成功，则对应的标签为1，若胚胎能够胚胎妊娠失败，则对应的标签为0。

阶段3：胚胎妊娠结果预测模型的构建

本实施例中，胚胎妊娠结果预测模型

本实施例中，构建的胚胎妊娠结果预测模型的网络结构由P3D卷积神经网络以及用于结果预测的融合分类模块构成。如图3所示，具体的网络结构包括：

以4个并联的P3D网络作为配子期特征提取网路、原核期特征提取网络、卵裂期特征提取网络、囊胚期特征提取网络，对4个特征提取网络的输出进行融合和分类的融合分类网络。其中，如图4所示，P3D网络包括依次连接的至少1个网络单元，每个网络单元包括依次连接的P3D-A模块、P3D-B模块、P3D-C模块；融合分类网络包括依次连接的2个卷积层、1个全连接层和1个分类器。

如图5所示，P3D-A模块由两条分支组成，左边一条分支的输出即为输入的恒等映射，右边一条分支由卷积模块P3D-A₁、卷积模块P3D-A₂、卷积模块P3D-A₃、组成。卷积模块P3D-A₁为一个滤波器尺寸为1*1*1，卷积步长为1的卷积层conv-A₁以及1个ReLU激活层构成，卷积层conv-A₁的作用是减少通道数量，从而减少下面的卷积操作的计算量。卷积模块P3D-A₂为一个滤波器尺寸为1*3*3，卷积步长为1的卷积层conv-A₂以及1个ReLU激活层，卷积层相当于一个2D的卷积，用于提取空间维度上的特征，而没有融合时间维度的信息。卷积模块P3D-A₃包括滤波器尺寸为3*1*1的卷积层conv-A₃和1个ReLU激活层，其中，3表示在时间维度上的卷积尺寸，卷积层conv-A₃用于提取时间维度的特征。可以看到，由滤波器尺寸为1*3*3的卷积层conv-A₂和滤波器尺寸为3*1*1的卷积层conv-A₃可以达到滤波器尺寸为3*3*3的层的效果，也就是说，可以看成这里使用了两个2d卷积实现了3d卷积的效果，这样大大的减少了模型的参数，同时能够取得较好的效果。卷积模块P3D-A₄包括一个滤波器尺寸为1*1*1的卷积层，将特征图的通道增加到原来的数量，从而保持信息量不变。左右两个分支的特征图经过相加输出作为下一个模块的输入。

如图5所示，P3D-B模块采用了与P3D-A模块一样的残差网络的结构，包括左边的恒等映射分支和右边的特征提取分支，其中，右边分支的卷积层conv-B₁、卷积层conv-B₂、卷积层conv-B₃、卷积层conv-B₄的结构分别与卷积层conv-A₁、卷积层conv-A₂、卷积层conv-A₃、卷积层conv-A₄相同，但使用了不同的组合方式，具体地，将两个用于空间以及时间维度上特征提取的卷积层conv-B₂和卷积层conv-B₃并行排列。

如图5所示，P3D-C模块采用了与P3D-A模块一样的残差网络的结构，包括左边的恒等映射分支和右边的特征提取分支，其中，右边分支的卷积层conv-C₁、卷积层conv-C₂、卷积层conv-C₃、卷积层conv-C₄的结构分别与卷积层conv-A₁、卷积层conv-A₂、卷积层conv-A₃、卷积层conv-A₄相同，但使用了不同的组合方式，具体地，在3*1*1的卷积层conv-C₃基础上增加了一个残差网络的结构。

P3D-A模块、P3D-B模块、P3D-C模块中，由于没有池化层且滤波器的滑动步长为1，所以特征图的尺寸在输入前后没有发生变化，特征图尺寸的变化实际上是发生在模块之间的池化层。随着网络深度的增加，特征图的通道数也不断增加，伴随着特征图尺寸的减小，使得特征图的信息越来越抽象，可以用于作为分类器的输入。

每一个视频分段采样的16帧被输入到上述P3D网络中，4个P3D网络将产生4个输出，假设每个输出的特征图的维度为[N,C,1,H,W]，其中，N代表视频数量，C代表通道数，1代表时间维度的尺寸(视频输入时该维度值为16，经过网络的特征融合之后改维度值缩小至1)，H、W分别代表特征图的高和宽(与输入尺寸对比有一定比例的缩小)。本实施例将4个输出的特征图在时间维度上进行合并，得到特征图维度为[N,C,4,H,W]。

虽然将4个分段的输出特征图按时间维度进行了合并，但各个分段的信息仍然是独立的。因此，本实施例采用融合分类网络对分段信息进行融合和分类，如图1所示，融合分类网络包括两层滤波器尺寸为3*1*1，滑动步长为2*1*1的卷积层，用于融合各个分段之间的信息，得到特征图维度为[N,C,1,H,W]，还包括将输入维度为N*C*1*H*W的特征图进行全连接计算，输出维度为2的全连接层；还包括用于对全连接层的输出进行预测结果计算的softmax分类器，softmax分类器的尺寸为[N,2]，其中2分别表该胚胎在移植后不能成功妊娠的概率以及能够成功妊娠的概率，两者相加为1。

如图3所示的网络结构构件完毕后，利用上述构建好的训练集对网络结构进行训练，将网络预测的概率值与标签值进行对比，运用Binary Cross Entropy Loss计算两者之间的差异，然后对loss进行反向传递，得到网络结构的参数梯度，然后使用SGD优化器对参数进行优化。进行一定次数的迭代之后将网络结构训练至收敛，并将网络结构参数保存，获得由配子期特征提取模块、原核期特征提取模块、卵裂期特征提取模块、囊胚期特征提取模块、融合分类模块组成的胚胎妊娠结果预测模型。

获得的胚胎妊娠结果预测模型存储在胚胎妊娠结果预测装置的存储器中，应用时，接收胚胎发育视频，并对帧图像进行去噪剔除后，将剩余帧图像按照配子、原核期、卵裂期、囊胚期分成4段，并在每段中随机抽取连续16帧图像；

将抽取的4*16帧图像分别输入对应的配子期特征提取模块、原核期特征提取模块、卵裂期特征提取模块、囊胚期特征提取模块，经特征提取后，提取的4类特征图合并后输入到融合分类模块中，经计算输出胚胎妊娠结果预测概率。

当上述胚胎妊娠结果预测模型在线训练时，每次应用时接收的待预测的胚胎发育视频经处理后作为训练样本，对胚胎妊娠结果预测模型做优化更新。

上述胚胎妊娠结果预测模型能够根据长视频预测胚胎妊娠结果，且能够获得准确度较高的胚胎妊娠结果的预测概率，在获得胚胎妊娠结果预测概率后，医生可以参考概率值进行决策。

本实施例中的计算机处理器可以为任意型号的处理器，存储器可以为随机存取储器(RAM)、只读存储器(ROM)、闪存(Flash Memory)、先进先出存储器(FIFO)以及先进后出存储器(FILO)等。

以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于分段采样的视频特征的胚胎妊娠结果预测装置，包括计算机存储器、计算机处理器以及存储在所述计算机存储器中并可在所述计算机处理器上执行的计算机程序，其特征在于：

所述计算机存储器中存有胚胎妊娠结果预测模型，其包括n个特征提取模块，对n个特征提取模块的输出进行融合和分类的融合分类模块；

所述计算机处理器执行所述计算机程序时实现以下步骤：

接收胚胎发育视频，并对帧图像进行去噪剔除后，将剩余帧图像分成n段，并在每段中等时间间隔抽取m帧图像；

以每个特征提取模块输入m帧图像的方式，将抽取的n*m帧图像分别输入到n个特征提取模块，经特征提取后，提取的n类特征图合并后输入到融合分类模块中，经计算输出胚胎妊娠结果预测概率；

其中，n为大于等于4的自然数，m为小于20的自然数。

2.如权利要求1所述的基于分段采样的视频特征的胚胎妊娠结果预测装置，其特征在于，所述胚胎妊娠结果预测模型的获得过程为：

建立训练集：将每个胚胎发育视频样本转换成帧图像，并对帧图像进行去噪剔除后，将剩余帧图像分成n段，并在每段中等时间间隔抽取m帧图像，将获得的n*m帧图像和胚胎发育视频样本对应的标签作为一个训练样本，构成训练集；

建立网络结构：以n个并联的P3D网络作为n个特征提取网络，n个特征提取网络的输出连接对n个输出进行融合和分类的融合分类网络，其中，融合分类网络包括以次连接的至少一个卷积层、全连接层和分类器；

训练网络结构：以每个特征提取网络输入m帧图像的方式，将每个训练样本中n*m帧图像分别输入n个特征提取网络中，在标签的监督下，对n个特征提取网路和融合分类网络进行训练，获得对应的n个特征提取模块以及融合分类模块，组成胚胎妊娠结果预测模型。

3.如权利要求1或2所述的基于分段采样的视频特征的胚胎妊娠结果预测装置，其特征在于，所述对帧图像进行去噪剔除包括：

计算每一帧图像的像素平均值，将像素平均值小于像素阈值的帧图像作为噪声图像剔除。

4.如权利要求1或2所述的基于分段采样的视频特征的胚胎妊娠结果预测装置，其特征在于，在每段中随机抽取连续的m帧图像。

5.如权利要求2所述的基于分段采样的视频特征的胚胎妊娠结果预测装置，其特征在于，所述P3D网络包括依次连接的至少1个网络单元，每个网络单元包括P3D-A模块、P3D-B模块、P3D-C模块中的一者，或者至少两者依次连接，或三者任意顺序连接；

其中，P3D-A模块包括依次连接的卷积模块P3D-A₁、卷积模块P3D-A₂、卷积模块P3D-A₃、卷积模块P3D-A₄，和对卷积模块P3D-A₁的输入特征图和卷积模块P3D-A₄的输出特征图做叠加的叠加操作；

P3D-B模块包括卷积模块P3D-B₁，并列连接卷积模块P3D-B₁输出的卷积模块P3D-B₂、卷积模块P3D-B₃，同时连接卷积模块P3D-B₂和卷积模块P3D-B₃输出的卷积模块P3D-B₄，以及对卷积模块P3D-B₄输出特征图和卷积模块P3D-B₁输入特征图做叠加的叠加操作；

P3D-C模块依次连接的卷积模块P3D-C₁、卷积模块P3D-C₂、卷积模块P3D-C₃，对卷积模块P3D-C₂输出特征图和卷积模块P3D-C₃输出特征图做叠加的叠加操作，连接叠加操作结果的卷积模块P3D-C₄，以及对卷积模块P3D-C₁输入特征图和卷积模块P3D-C₄输出特征图做叠加的叠加操作。

6.如权利要求5所述的基于分段采样的视频特征的胚胎妊娠结果预测装置，其特征在于，所述胚胎妊娠结果预测模型的网络结构包括：以4个并联的P3D网络作为配子期特征提取网路、原核期特征提取网络、卵裂期特征提取网络、囊胚期特征提取网络，对4个特征提取网络的输出进行融合和分类的融合分类网络，其中，所述P3D网络包括依次连接的至少1个网络单元，每个网络单元包括依次连接的P3D-A模块、P3D-B模块、P3D-C模块；所述融合分类网络包括依次连接的2个卷积层、1个全连接层和1个分类器。

7.如权利要求6所述的基于分段采样的视频特征的胚胎妊娠结果预测装置，其特征在于，所述胚胎妊娠结果预测模型包括4个并联的配子期特征提取模块、原核期特征提取模块、卵裂期特征提取模块、囊胚期特征提取模块，对4个模块的输出进行融合和分类的融合分类模块；

应用时，接收胚胎发育视频，并对帧图像进行去噪剔除后，将剩余帧图像按照配子、原核期、卵裂期、囊胚期分成4段，并在每段中随机抽取连续16帧图像；

将抽取的4*16帧图像分别输入对应的配子期特征提取模块、原核期特征提取模块、卵裂期特征提取模块、囊胚期特征提取模块，经特征提取后，提取的4类特征图合并后输入到融合分类模块中，经计算输出胚胎妊娠结果预测概率。

8.如权利要求1或7所述的基于分段采样的视频特征的胚胎妊娠结果预测装置，其特征在于，将所有特征提取模块输出的特征图在时间维度上合并后输入到融合分类模块。

9.如权利要求2或6所述的基于分段采样的视频特征的胚胎妊娠结果预测装置，其特征在于，所述分类器为Logistic分类器、softmax分类器或SVM分类器。

10.如权利要求2或6所述的基于分段采样的视频特征的胚胎妊娠结果预测装置，所述胚胎妊娠结果预测模型在线下训练完成，然后存储在胚胎妊娠结果预测装置中；

或在线上训练完成，且每次应用时接收的待预测的胚胎发育视频经处理后作为训练样本，对胚胎妊娠结果预测模型做优化更新。