CN116823831A - 基于循环特征推理的胚胎图像碎片去除系统 - Google Patents

Abstract

本发明公开了基于循环特征推理的胚胎图像碎片去除系统，包括图像数据集构建模块、胚胎图像碎片去除模型构建模块、模型预训练模块、模型精训练模块和图像处理模块。本发明通过构建胚胎图像碎片去除模型，对碎片区域的特征推理，用更好的特征填充碎片掩码区域，分为预训练、精训练两个阶段，获取训练后的网络和参数，以有效解决胚胎图像中的碎片问题。

Description

基于循环特征推理的胚胎图像碎片去除系统

技术领域

本发明涉及人工智能技术领域，具体地指一种基于循环特征推理的胚胎图像碎片去除系统。

背景技术

胚胎图像碎片去除是一个很重要的图像处理任务，用于清除胚胎图像中不必要的碎片，从而提高胚胎形态学特征的可靠性。胚胎图像碎片去除的目的是保留有关胚胎形态学特征的重要信息，同时去除碎片，从而提高后续的胚胎评估和预测准确性。近年来，深度学习算法在图像中得到了广泛应用。

通过利用卷积神经网络（CNN）、自编码器（Autoencoder）和生成对抗网络（GAN）等深度学习模型，可以自动学习图像中有用信息和噪声之间的差异，并准确地去除噪声。这些模型可以通过大量数据的训练，从而提高准确性和鲁棒性。总之，胚胎图像碎片去除是胚胎评估和预测的重要预处理步骤，可以提高胚胎形态学特征的可靠性。计算机视觉技术和深度学习算法是实现胚胎图像碎片去除的技术，可以学习图像中有用信息和噪声之间的差异，自适应地去除碎片，从而提高胚胎评估和预测的准确性和鲁棒性。

然而，胚胎在体外培养的过程中，可以经常看到一种“没有核分裂的细胞分裂”现象，也即碎片。它是由细胞外膜包裹的一种无核胞质结构。由于碎片是动态发生的，在胚胎内的位置会出现移动，有时碎片会掺入到细胞中，在胚胎图像中，碎片如同斑块镶嵌于其中，降低胚胎图像的信噪比，对后续胚胎图像预测产生严重干扰。

发明内容

本发明针对现有技术的不足之处，提出一种基于循环特征推理的胚胎图像碎片去除系统，通过对碎片区域的特征推理，填充碎片掩码区域，以有效解决胚胎图像中的碎片问题。

为实现上述目的，本发明设计的基于循环特征推理的胚胎图像碎片去除系统，其特殊之处在于，所述系统包括图像数据集构建模块、胚胎图像碎片去除模型构建模块、模型预训练模块、模型精训练模块和图像处理模块；

所述图像数据集构建模块：存储胚胎图像样本数据集，取设定比例的图像数据，对胚胎主体定位后，将图像中的碎片打掩码，得到精训练数据集；

所述胚胎图像碎片去除模型构建模块：用于构建胚胎图像碎片去除模型，所述胚胎图像碎片去除模型由局部卷积层、循环特征推理模块和解码卷积构成；

所述模型预训练模块：用于使用没有碎片的胚胎数据集对所述胚胎图像碎片去除模型进行预训练，获取网络初始化参数；

所述模型精训练模块：使用精训练数据集对所述胚胎图像碎片去除模型进行精训练，并完成测试集预测和结果评估；

所述图像处理模块：将待处理的胚胎图像输入至经过测试的胚胎图像碎片去除模型得到碎片去除处理结果。

进一步地，所述胚胎图像碎片去除模型的局部卷积层用于确定每次递归中对胚胎图像打掩码的碎片区域。

更进一步地，所述胚胎图像碎片去除模型的循环特征推理模块进行循环卷积操作，识别要处理的区域后进行特征推理，经过多次的循环特征推理，使得在处理大的碎片区域时，经过掩码后产生的空洞被更好的特征填补。

更进一步地，所述循环特征推理模块包含两个局部卷积、八个编码器、三个解码器、注意力模块和特征融合模块。

更进一步地，所述特征融合模块中，输出特征图中的数值只从相应位置被填满的特征图中计算出来；处理过程为：将定义为由特征推理模块生成的第i个特征图，N为大于1的自然数，/>定义为特征图/>中第z个通道中x，y位置的特征值，/>定义为特征图/>中第z个通道中x，y位置的掩码值，/>是特征图/>的二进制掩码，输出特征图/>的值/>被定义为：

。

更进一步地，所述局部卷积层在卷积计算后更新掩码并重新对图像作规范化处理，具体操作为：表示由局部卷积层生成的特征图，/>表示第z个通道中x，y位置的特征值，/>和/>分别是以（x，y）位置为中心的输入特征斑块和输入掩码斑块，I为与输入掩码斑块大小相同的单位矩阵，由局部卷积层计算的特征图表示为：

为局部卷积层的第z个卷积核，T代表转秩，sum()代表求和运算，/>代表逐点乘积，b为卷积偏置；

由该层产生的新掩码值表示为：

，

通过上述方程，在每个局部卷积层之后得到更新后的新掩模。

更进一步地， 所述胚胎图像碎片去除模型采用基于CNN和注意力机制的网络，注意力机制的设计为：

测量每对特征像素之间的余弦相似度，j是循环特征推理模块当前循环的次数，/>是相对于/>的同一特征区域，/>分别为位置/>和/>的特征像素向量，/>为2范数，用于求取向量长度，/>为单位特征像素向量，/>即求两个向量夹角余弦值；

；

对相邻区域的目标像素的相似度进行平均滤波来平滑相似度，k为平均滤波的窗口宽度，为平均滤波后的平滑相似度，p，q为临时变量，用于取k×k大小窗口中的相似度：

最后，注意力得分被用来重建特征图新特征图的计算方法为：

上式中，W、H分别为参与特征区域计算的宽度和高度，softmax为归一化指数函数，为计算后的新特征图，/>为原始特征图。

更进一步地，所述图像数据集构建模块使用YOLO-FastestV2对每张图像进行了胚胎细胞定位，得到定位后的胚胎图像，并对碎片区域打掩码，形成精训练数据集。

本发明还提出一种设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述的基于循环特征推理的胚胎图像碎片去除系统。

本发明另外提出一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现上述的基于循环特征推理的胚胎图像碎片去除系统。

本发明提出的基于循环特征推理的胚胎图像碎片去除系统，其有益效果包括：

1、在卵裂球分裂过程中，碎片的形状和大小是动态变化的，本发明将图像中的碎片区域制作一个掩码标签，这样做可以更好地捕捉区域特征和信息；

2、本发明提出的去除不同形状大小的胚胎碎片的AI模型为端到端模型，能够自动地去除不同形状大小的胚胎碎片，预测过程中无需人工干预；

3、本发明使用网络模型对每张图像进行了胚胎细胞定位，以解决时差培养箱提供的光源条不稳定，拍摄的胚胎图像出现忽亮忽暗，造成其他成像区域干扰的问题。

4、本发明提出的AI模型根据循环特征推理网络，进行碎片区域的特征推理，用更好的特征填充碎片掩码区域，以有效地解决碎片问题便于对卵裂球的进一步操作。

附图说明

图1为本发明基于循环特征推理的胚胎图像碎片去除系统的胚胎图像碎片去除的流程图；

图2为胚胎图像碎片去除模型的网络处理原理图；

图3为胚胎图像碎片去除模型的网络结构图；

图4为胚胎图像碎片去除结果示意图，其中，(a)原始图像、(b)定位后图像、(c)碎片区域的掩码、(d)模型处理后结果。

具体实施方式

以下结合附图和具体实施例对本发明作进一步的详细描述。

如图1所示，本发明提出的基于循环特征推理的胚胎图像碎片去除系统，包括图像数据集构建模块、胚胎图像碎片去除模型构建模块、模型预训练模块、模型精训练模块和图像处理模块；

图像数据集构建模块：存储胚胎图像样本数据集，取设定比例的图像数据，对胚胎主体定位后，将图像中的碎片打掩码，得到精训练数据集；

胚胎图像碎片去除模型构建模块：用于构建胚胎图像碎片去除模型，胚胎图像碎片去除模型由局部卷积层、循环特征推理模块和解码卷积构成；

模型预训练模块：用于使用没有碎片的胚胎数据集对所述胚胎图像碎片去除模型进行预训练，获取网络初始化参数；

模型精训练模块：使用精训练数据集对所述胚胎图像碎片去除模型进行精训练，并完成测试集预测和结果评估；

图像处理模块：将待处理的胚胎图像输入至经过测试的胚胎图像碎片去除模型得到碎片去除处理结果。

下面对基于循环特征推理的胚胎图像碎片去除系统各模块的构建过程进行说明。

（一）构建图像数据集：

收集含有卵裂球的胚胎图像，构建原始胚胎图像数据集。本发明收集了413520张D1~D3胚胎图像，并组织了多名胚胎学家完成数据集标注。考虑到时差培养箱中拍摄的图像长宽比相同，且胚胎在孔中摆放的位置各不相同，可以通过图像处理中旋转，翻转的技术对图像进行扩充，丰富胚胎姿态的多样性；考虑到时差培养箱在拍摄时会受到灯光环境的影响，调整图像的亮度、对比度以扩充数据集，增强对训练模型对不同光照环境下胚胎图像的识别能力。通过随机采用不同的处理方法，得到训练集。为了避免其他成像区域的干扰，在将图像送入网络模型之前，使用YOLO-FastestV2对每张图像进行了胚胎细胞定位，得到定位后的胚胎图像，对定位后胚胎图像的碎片区域进行打掩码操作，得到对应的掩码，形成精训练数据集，形成的精训练数据集是一个胚胎图像对应一个掩码；对没有碎片的胚胎图像，形成预训练数据集。

（二）构建胚胎图像碎片去除模型：

本发明提出的胚胎图像碎片去除模型，在本实施例中，采用基于CNN和注意力机制的网络构成，网络总体上是一个CNN，称为循环特征推理网络，该网络由局部卷积层、循环特征推理模块和解码卷积构成。

具体而言，局部卷积层是一个基本模块，用于确定每次递归中要更新的区域，即确定胚胎图像中打掩码的碎片区域。局部卷积层在卷积计算后更新掩码并重新对图像作规范化处理，表示由部分卷积层生成的特征图。/>表示第z个通道中x，y位置的特征值。和/>分别是以（x，y）位置为中心的输入特征斑块和输入掩码斑块（其大小与部分卷积的卷积核相同，卷积核的大小为7×7）。

由局部卷积层计算的特征图表示为：

上式中，为局部卷积层的第z个卷积核，T代表转秩，sum()代表求和运算，/>代表逐点乘积，I为与输入掩码斑块大小相同的单位矩阵，b为卷积偏置。

同样地，由该层产生的新掩码值表示为：

通过上述方程，在每个部分卷积层之后得到更新后的新掩模。

本发明提出的循环特征推理模块与以往的图像掩码一步填充到位不同，此模块类似循环卷积网络，特征图第一次输入到循环特征推理模块得到的输出结果会第二次再输入到循环特征推理模块里。第二次特征推理则在第一次填充的特征图的基础上进一步填充更合理的值。这样经过多次循环后，进入到特征融合环节。

循环特征推理模块包含两个部分卷积、八个编码器、三个解码器、注意力模块和特征融合模块。循环特征推理模块先进行区域识别功能，在确定了要处理的区域后进行特征推理。特征推理的目标是用尽可能多的高质量特征值来填充已确定的区域，高质量的特征不仅能产生更好的最终结果，而且还有利于后续推理，这样一来，经过多次的循环特征推理，任意数量的特征图都可以被合并，这使得在处理较大的碎片区域时，经过掩码后产生更大的空洞能被更好的特征填补。

循环特征推理模块进行数据处理的具体过程如下：假设输入特征为，经过两层部分卷积层后得到识别特征/>，/>经过由八个编码器、注意力模块和三个解码器组成的特征推理层后，得到推理后的特征/>；然后特征/>再作为两层部分卷积层的输入特征，经过上述的过程，得到再一次的推理特征/>；在本发明中，为了保证模型效果和平衡计算资源，循环推理次数N设置为6，则经过循环特征推理，得到6个特征图分别为/>，/>，/>，/>，，/>。在最后的特征融合模块阶段，如果我们直接使用最后一张特征图（/>）来生成输出，就会出现特征消失的情况，在早期迭代中生成的信号也会被破坏。为了解决这个问题，我们必须将中间的特征图合并。然而，直接对所有特征图进行求和，会消除图像的细节，因为不同特征图中的空洞区域是不一致的，突出的信号会被平滑化。因此，本发明使用一个自适应的特征合并方案来解决这个问题。输出特征图中的数值只从相应位置被填满的特征图中计算出来。形式上，将/>定义为由特征推理模块生成的第i个特征图，/>定义为特征图/>中第z个通道中x，y位置的特征值，/>定义为特征图/>中第z个通道中x，y位置的掩码值，/>是特征图/>的二进制掩码（非0即1）。输出特征图/>的值/>则被定义为：

循环特征推理模块的多次循环相互独立，所以在每次循环中分别应用注意力机制。因此，可以防止注意力机制每次循环中独立计算互相关分数的相互干扰。在本发明的设计中，每个像素的最终成分决定如下：

首先，测量每对特征像素之间的余弦相似度，j是循环特征推理模块当前循环的次数，/>是相对于/>的同一特征区域，/>分别为位置/>和/>的特征像素向量，/>为2范数，用于求取向量长度，/>为单位特征像素向量，/>即求两个向量夹角余弦值，表达式为：

，

在得到每对特征像素之间的余弦相似度之后，通过下面公式对相邻区域的目标像素的相似度进行平均滤波来平滑相似度，即使用平均池化函数avg_pool2d实现，/>为平均滤波后的平滑相似度，p，q为临时变量，用于取k×k大小窗口中的相似度，平均滤波的窗口大小为3×3，则公式中k=3，

最后，注意力得分被用来重建特征图。新特征图的计算方法如下：

，

上式中，W、H分别为参与特征区域计算的宽度和高度，softmax为归一化指数函数，为计算后的新特征图，/>为原始特征图。

在循环特征推理模块前后分别设置2个部分卷积层和4个解码卷积层。2个部分卷积层先进行特征的上采样，4个解码卷积层为了对循环特征推理模块输出的特征进行降采样。循环特征推理模块的递归次数设置为6以简化训练。注意力机制模块被放在特征推理模块的倒数第三层之后。

（三）模型预训练：

使用没有碎片的胚胎数据集对所述胚胎图像碎片去除模型进行预训练，获取网络初始化参数。

（四）模型精训练和测试：

使用含有碎片掩码的精训练数据集对本文的网络进行训练，获取训练后的网络和参数。将测试集中的胚胎图像作为训练网络的输入，模型会输出去除碎片后的胚胎图像，评估结果图片。

（五）图像处理：

将待处理的胚胎图像输入至经过测试的胚胎图像碎片去除模型得到碎片去除处理结果，处理结果如图4所示，图中，(a)列表示原始图像、(b) 列表示定位后图像、(c) 列表示碎片区域的掩码、(d) 列表示模型处理后结果。

本发明还提出一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现上述的基于循环特征推理的胚胎图像碎片去除系统。

本说明书未作详细描述的内容属于本领域专业技术人员公知的现有技术。

最后需要说明的是，以上具体实施方式仅用以说明本专利技术方案而非限制，尽管参照较佳实施例对本专利进行了详细说明，本领域的普通技术人员应当理解，可以对本专利的技术方案进行修改或者等同替换，而不脱离本专利技术方案的精神和范围，其均应涵盖在本专利的权利要求范围当中。

Claims (8)

1.基于循环特征推理的胚胎图像碎片去除系统，其特征在于：所述系统包括图像数据集构建模块、胚胎图像碎片去除模型构建模块、模型预训练模块、模型精训练模块和图像处理模块；

所述图像数据集构建模块：存储胚胎图像样本数据集，取设定比例的图像数据，对胚胎主体定位后，将图像中的碎片打掩码，得到精训练数据集；

所述胚胎图像碎片去除模型构建模块：用于构建胚胎图像碎片去除模型，所述胚胎图像碎片去除模型由局部卷积层、循环特征推理模块和解码卷积构成；

所述模型预训练模块：用于使用没有碎片的胚胎数据集对所述胚胎图像碎片去除模型进行预训练，获取网络初始化参数；

所述模型精训练模块：使用精训练数据集对所述胚胎图像碎片去除模型进行精训练，并完成测试集预测和结果评估；

所述图像处理模块：将待处理的胚胎图像输入至经过测试的胚胎图像碎片去除模型得到碎片去除处理结果。

2.根据权利要求1所述的基于循环特征推理的胚胎图像碎片去除系统，其特征在于：所述胚胎图像碎片去除模型的局部卷积层用于确定每次递归中对胚胎图像打掩码的碎片区域。

3.根据权利要求1所述的基于循环特征推理的胚胎图像碎片去除系统，其特征在于：所述胚胎图像碎片去除模型的循环特征推理模块进行循环卷积操作，识别要处理的区域后进行特征推理，经过多次的循环特征推理，使得在处理大的碎片区域时，经过掩码后产生的空洞被更好的特征填补。

4.根据权利要求3所述的基于循环特征推理的胚胎图像碎片去除系统，其特征在于：所述循环特征推理模块包含两个局部卷积、八个编码器、三个解码器、注意力模块和特征融合模块。

5.根据权利要求4所述的基于循环特征推理的胚胎图像碎片去除系统，其特征在于：所述特征融合模块中，输出特征图中的数值只从相应位置被填满的特征图中计算出来；处理过程为：将定义为由特征推理模块生成的第i个特征图，N为大于1的自然数，/>定义为特征图/>中第z个通道中x，y位置的特征值，/>定义为特征图/>中第z个通道中x，y位置的掩码值，/>是特征图/>的二进制掩码，输出特征图/>的值/>被定义为：

。

6.根据权利要求2所述的基于循环特征推理的胚胎图像碎片去除系统，其特征在于：所述局部卷积层在卷积计算后更新掩码并重新对图像作规范化处理，具体操作为：表示由局部卷积层生成的特征图，/>表示第z个通道中x，y位置的特征值，/>和/>分别是以（x，y）位置为中心的输入特征斑块和输入掩码斑块，I为与输入掩码斑块大小相同的单位矩阵，由局部卷积层计算的特征图表示为：

上式中，为局部卷积层的第z个卷积核，T代表转秩，sum()代表求和运算，/>代表逐点乘积，b为卷积偏置；

由该层产生的新掩码值表示为：

通过上述方程，在每个局部卷积层之后得到更新后的新掩模。

7.根据权利要求1所述的基于循环特征推理的胚胎图像碎片去除系统，其特征在于：所述胚胎图像碎片去除模型采用基于CNN和注意力机制的网络，注意力机制的设计为：

测量每对特征像素之间的余弦相似度，j是循环特征推理模块当前循环的次数，/>是相对于/>的同一特征区域，/>分别为位置/>和/>的特征像素向量，/>为2范数，用于求取向量长度，/>为单位特征像素向量，/>即求两个向量夹角余弦值：

；

对相邻区域的目标像素的相似度进行平均滤波来平滑相似度，k为平均滤波的窗口宽度，为平均滤波后的平滑相似度，p，q为临时变量，用于取k×k大小窗口中的相似度：

注意力得分被用来重建特征图，计算方法为：

，

上式中，W、H分别为参与特征区域计算的宽度和高度，softmax为归一化指数函数，为计算后的新特征图，/>为原始特征图。

8.根据权利要求1所述的基于循环特征推理的胚胎图像碎片去除系统，其特征在于：所述图像数据集构建模块使用YOLO-FastestV2对每张图像进行了胚胎细胞定位，得到定位后的胚胎图像，并对碎片区域打掩码，形成精训练数据集。