CN114936974A - 基于注意力机制的半监督oct图像去噪方法及装置 - Google Patents

Abstract

本公开描述了一种基于注意力机制的半监督OCT图像去噪方法及装置，该方法中，去噪网络包括第一网络和具有注意力机制的第二网络，在训练中，获取与第一网络对应的分别针对无标签的第一子集和有标签的第二子集的第一预测集和第二预测集、以及与第二网络对应的分别针对第一子集和第二子集的第三预测集和第四预测集，基于第一子集和第三预测集、以及基于第二子集和第二预测集分别确定第一网络的两个损失函数，基于第一子集和第一预测集、以及基于第二子集和第四预测集分别确定第二网络的两个损失函数，利用上述损失函数训练去噪网络以获得用于对OCT图像进行去噪的经训练网络。由此，能够利用少量标签数据实现对OCT图像进行去噪。

Description

基于注意力机制的半监督OCT图像去噪方法及装置

技术领域

本公开大体涉及人工智能图像处理领域，具体涉及一种基于注意力机制的半监督OCT图像去噪方法及装置。

背景技术

近年来，光学相干断层成像(Optical Coherence Tomography，OCT)被广泛应用于医疗领域。例如，OCT对眼科疾病的辅助诊断有着重要意义。OCT可以利用光的相干性原理实现非侵入式的快速扫描成像，进而获得高分辨率且高灵敏度的OCT图像。在OCT图像中常常含有较多的噪点，容易影响图像质量，降低OCT图像的可量化性。在阅片过程中，OCT图像的噪点往往会掩盖掉一些细微但重要的局部信息，从而影响临床医生的判断，甚至导致误诊。因此，OCT图像的去噪有着重要的研究意义和临床价值。

在现有技术中，自然图像的去噪常常使用传统的非局部均值滤波或变换域滤波等方法。对于OCT图像，专利文献1(CN111402174A)以及专利文献2(CN109345469A)公开了利用大量的重复采样的图像叠加作为学习样本训练神经网络，并利用训练后的神经网络对OCT图像进行去噪的方法。

然而，自然图像的去噪方法用于OCT图像去噪的效果不佳，容易丢失细节信息，进而使去噪后的OCT图像失真。另外，专利文献1和专利文献2的方法需要大量的重复采样的图像以获得标签数据，数据采集难度大。

发明内容

本公开是有鉴于上述的状况而提出的，其目的在于提供一种能够利用少量标签数据实现对OCT图像进行去噪的基于注意力机制的半监督OCT图像去噪方法及装置。

为此，本公开第一方面提供了一种基于注意力机制的半监督OCT图像去噪方法，包括：获取待去噪OCT图像；确定经训练的去噪网络，所述去噪网络包括第一网络和具有注意力机制模块的第二网络，其中，获取样本集，所述样本集包括无标签数据的第一子集和有标签数据的第二子集，利用所述第一网络和所述第二网络分别对所述样本集进行预测，得到与所述第一网络对应的针对所述第一子集的第一预测集和针对所述第二子集的第二预测集、以及与所述第二网络对应的针对所述第一子集的第三预测集和针对所述第二子集的第四预测集，基于所述第一子集和所述第三预测集确定所述第一网络的第一损失函数，并基于所述第二子集和所述第二预测集确定所述第一网络的第二损失函数，基于所述第一子集和所述第一预测集确定所述第二网络的第三损失函数，并基于所述第二子集和所述第四预测集确定所述第二网络的第四损失函数，基于所述第一损失函数和所述第二损失函数训练所述第一网络，基于所述第三损失函数和所述第四损失函数训练所述第二网络，以获得所述经训练的去噪网络；并且将所述待去噪OCT图像输入所述经训练的去噪网络进行去噪以确定针对所述待去噪OCT图像的去噪图像。在这种情况下，利用双向损失函数对去噪网络进行训练，能够利用少量标签数据实现对OCT图像进行去噪，进而能够大幅降低数据采集要求，具有高度可重复性和临床使用价值。另外，去噪网络的第二网络具有注意力机制模块，能够对OCT图像的全局上下文信息进行融合，进而能够对OCT图像这种较大的图像进行快速地计算。

另外，在本公开第一方面所涉及的方法中，可选地，所述注意力机制模块基于移动窗口的多头注意力机制，所述注意力机制模块的多层感知器具有深度卷积层。在这种情况下，基于移动窗口能够将注意力计算限制在了局部窗口且不同窗口之间能够交互，进而去噪网络不仅能够对OCT图像的全局上下文信息进行融合，还能够同时保留局部细节，并且能够进一步提高计算速度。另外，深度卷积层能够使通道数未发生改变，进而能够进一步增强去噪网络获取局部细节的能力。另外，相比于卷积层的优势是深度卷积层能够降低参数量和运算成本。

另外，在本公开第一方面所涉及的方法中，可选地，所述多头注意力机制设置在所述注意力机制模块的层归一化层之间，所述层归一化层用于将该层归一化层的输入归一化到0至1之间，所述深度卷积层设置在所述多层感知器的图像反表征层和图像表征层之间。在这种情况下，层归一化层能够降低由于计算结果过大，导致梯度爆炸的风险。另外，深度卷积层能够对图像反表征层的输出进行深度卷积操作。

另外，在本公开第一方面所涉及的方法中，可选地，所述第二网络具有编码器和解码器，所述编码器包括多个编码块，所述解码器包括与所述多个编码块对应的多个解码块，各个编码块和各个解码块均具有所述注意力机制模块，各个编码块的注意力机制模块用于接收该编码块的输入，各个解码块的注意力机制模块用于生成该解码块的输出。由此，能够获得具有注意力机制模块且为编解码结构的第二网络。

另外，在本公开第一方面所涉及的方法中，可选地，所述第一网络和所述第二网络为网络结构不同的卷积神经网络。由此，能够获得基于卷积和注意力机制的双流网络架构的去噪网络。

另外，在本公开第一方面所涉及的方法中，可选地，对所述样本集进行归一化处理和数据扩增处理，所述数据扩增处理包括平移、翻转、旋转、对比度变换和亮度变换中的至少一种处理。在这种情况下，通过归一化处理能够将样本集中的样本的格式和大小进行统一。另外，通过数据扩增处理，能够抑制去噪网络过拟合。另外，对比度变换和亮度变换还能够模拟在不同环境下获取训练图像，进而能够使最终获得的经训练网络具有更好的鲁棒性。

另外，在本公开第一方面所涉及的方法中，可选地，获得所述第二子集中的样本的标签数据包括，通过对目标对象的同一位置进行多次扫描以获取包括多张待训练OCT图像的图像集，基于所述图像集确定所述图像集对应的去噪图像，并且将所述图像集对应的去噪图像作为所述图像集中的待训练OCT图像的标签数据，将所述图像集中的待训练OCT图像作为所述第二子集中的样本。由此，能够获得第二子集中的样本以及对应的标签数据。

另外，在本公开第一方面所涉及的方法中，可选地，对所述样本集中的样本进行分块处理以获取多个分块图像并作为第二样本集，利用所述第二样本集训练所述去噪网络以获得所述经训练的去噪网络。在这种情况下，能够增大样本集，并且通过分块处理能够使分块图像与去噪网络的输入的尺寸相匹配，进而能够减少对样本的尺寸进行调整的操作。

本公开第二方面提供了一种基于注意力机制的半监督OCT图像去噪装置，包括获取模块、网络模块和去噪模块；所述获取模块用于获取待去噪OCT图像；所述网络模块用于确定经训练的去噪网络，所述去噪网络包括第一网络和具有注意力机制模块的第二网络，其中，所述网络模块用于获取样本集，所述样本集包括无标签数据的第一子集和有标签数据的第二子集，利用所述第一网络和所述第二网络分别对所述样本集进行预测，得到与所述第一网络对应的针对所述第一子集的第一预测集和针对所述第二子集的第二预测集、以及与所述第二网络对应的针对所述第一子集的第三预测集和针对所述第二子集的第四预测集，基于所述第一子集和所述第三预测集确定所述第一网络的第一损失函数，并基于所述第二子集和所述第二预测集确定所述第一网络的第二损失函数，基于所述第一子集和所述第一预测集确定所述第二网络的第三损失函数，并基于所述第二子集和所述第四预测集确定所述第二网络的第四损失函数，基于所述第一损失函数和所述第二损失函数训练所述第一网络，基于所述第三损失函数和所述第四损失函数训练所述第二网络，以获得所述经训练的去噪网络；以及所述去噪模块用于将所述待去噪OCT图像输入所述经训练的去噪网络进行去噪以确定针对所述待去噪OCT图像的去噪图像。在这种情况下，利用双向损失函数对去噪网络进行训练，能够利用少量标签数据实现对OCT图像进行去噪，能够大幅降低数据采集要求，具有高度可重复性和临床使用价值。另外，去噪网络的第二网络具有注意力机制模块，能够对OCT图像的全局上下文信息进行融合，进而能够对OCT图像这种较大的图像进行快速地计算。

另外，在本公开第二方面所涉及的装置中，可选地，所述注意力机制模块基于移动窗口的多头注意力机制，所述注意力机制模块的多层感知器具有深度卷积层。在这种情况下，基于移动窗口能够将注意力计算限制在了局部窗口且不同窗口之间能够交互，进而去噪网络不仅能够对OCT图像的全局上下文信息进行融合，还能够同时保留局部细节，并且能够进一步提高计算速度。另外，深度卷积层能够使通道数未发生改变，进而能够进一步增强去噪网络获取局部细节的能力。另外，相比于卷积层的优势是深度卷积层能够降低参数量和运算成本。

根据本公开，提供一种能够利用少量标签数据实现对OCT图像进行去噪的基于注意力机制的半监督OCT图像去噪方法及装置。

附图说明

现在将仅通过参考附图的例子进一步详细地解释本公开，其中：

图1是示出了本公开示例所涉及的去噪环境的示例性的示意图。

图2是示出了本公开示例所涉及的去噪网络的示例性的框图。

图3是示出了本公开示例所涉及的移动窗口的示意图。

图4是示出了本公开示例所涉及的注意力机制模块的示例性的框图。

图5是示出了本公开示例所涉及的多层感知器的示例性的框图。

图6是示出了本公开示例所涉及的基于UNet的第二网络的示例性的框图。

图7是示出了本公开示例所涉及的训练方法的示例的流程图。

图8是示出了本公开示例所涉及的基于注意力机制的半监督OCT图像去噪方法的示例性的流程图。

图9是示出了本公开示例所涉及的基于注意力机制的半监督OCT图像去噪装置的示例性的框图。

具体实施方式

以下，参考附图，详细地说明本公开的优选实施方式。在下面的说明中，对于相同的部件赋予相同的符号，省略重复的说明。另外，附图只是示意性的图，部件相互之间的尺寸的比例或者部件的形状等可以与实际的不同。需要说明的是，本公开中的术语“包括”和“具有”以及它们的任何变形，例如所包括或所具有的一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可以包括或具有没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。本公开所描述的所有方法可以以任何合适的顺序执行，除非在此另有指示或者与上下文明显矛盾。

本文中的术语“电路”可以指硬件电路和/或硬件电路和软件的组合。在本公开中术语“网络”能够处理输入并且提供相应输出。

本公开的示例提出了一种训练网络和OCT图像去噪的方案。该方案能够利用少量标签数据实现对OCT图像进行去噪。具体地，该方案可以利用大量的无标签数据的样本(以下可以简称为无标签样本)和少量的有标签数据的样本(以下可以简称为有标签样本)，对包括第一网络和第二网络的去噪网络进行训练并获得分别由第一网络和第二网络生成的伪标签数据，对于无标签样本，将第一网络和第二网络各自生成的伪标签数据作为对方的标签数据以分别获取第一网络和第二网络针对无标签样本的损失函数，并结合针对有标签样本的损失函数对去噪网络进行训练，最终获得能够对OCT图像进行去噪的经训练的去噪网络。由此，能够利用少量标签数据实现对OCT图像进行去噪。

另外，在一些示例中，第二网络可以具有注意力机制模块(也即，注意力机制模块可以是基于注意力机制的)。在这种情况下，能够对OCT图像的全局上下文信息进行融合，进而能够对OCT图像这种较大的图像进行快速地计算。

在一些示例中，注意力机制模块可以是基于移动窗口的多头注意力机制(Multi-head Attention)。在这种情况下，基于移动窗口能够将注意力计算限制在了局部窗口且不同窗口之间能够交互，进而去噪网络不仅能够对OCT图像的全局上下文信息进行融合，还能够同时保留局部细节，并且能够进一步提高计算速度。

在一些示例中，注意力机制模块的多层感知器(MLP，Multilayer Perceptron，也可以称为前馈神经网络)可以具有深度卷积层(depth-wise block)。在这种情况下，深度卷积层能够使通道数未发生改变，进而能够进一步增强去噪网络获取局部细节的能力。另外，相比于卷积层的优势是深度卷积层能够降低参数量和运算成本。

需要说明的是，本公开的方案也可以不仅限于OCT图像。本公开的方案还可以适用于其他医学图像的去噪。

以下将结合附图来详细描述本公开的示例。图1是示出了本公开示例所涉及的去噪环境100的示例性的示意图。如图1所示，去噪环境100可以包括计算设备110。计算设备110可以是具有计算能力的任何设备。例如，计算设备110可以为云服务器、个人计算机、大型机和分布式计算系统等。

计算设备110可以获取输入120并利用网络130生成与输入120对应的输出140。在一些示例中，输入120可以为医学图像(例如OCT图像)，输出140可以为预测结果(例如，去噪图像或伪标签数据)、训练参数(例如，权重)、或性能指标(例如，准确率、错误率、敏感性和特异性)等。

在一些示例中，去噪环境100还可以包括网络训练装置和网络应用装置(未图示)。网络训练装置可以用于实施训练网络130的训练方法以获取经训练网络(也即，经训练的去噪网络200(稍后描述))。网络应用装置可以用于实施利用经训练网络获取预测结果的相关方法，以对相应的数据(例如，待去噪OCT图像)进行预测以获取预测结果(例如，针对待去噪OCT图像的去噪图像)。

另外，在网络训练阶段，网络130可以是去噪网络200。在网络应用阶段，网络130可以是经训练网络(未图示)。也即，经训练网络可以是对去噪网络200进行训练后获得的网络。经训练网络可以用于接收待去噪OCT图像并对待去噪OCT图像进行去噪以确定针对该待去噪OCT图像的去噪图像。也即，对于经训练网络，预测结果可以为针对待去噪OCT图像的去噪图像。

图2是示出了本公开示例所涉及的去噪网络200的示例性的框图。图3是示出了本公开示例所涉及的移动窗口的示意图。

本公开涉及的去噪网络200可以用于对OCT图像进行去噪。在一些示例中，去噪网络200可以是基于深度学习的神经网络。优选地，去噪网络200可以是卷积神经网络。

如图2所示，去噪网络200可以包括第一网络210和第二网络220。第一网络210可以用于对输入图像进行去噪以获得针对该输入图像的第一输出。第二网络220可以用于对输入图像进行去噪以获得针对该输入图像的第二输出。另外，在网络训练阶段输入图像可以为样本，第一输出和第二输出可以为预测去噪图像(也可以称为伪标签数据)，在网络应用阶段输入图像可以为待去噪OCT图像，第一输出和第二输出可以为去噪图像。

在一些示例中，去噪网络200中的第一网络210的数量可以为一个或多个。在一些示例中，去噪网络200中的第二网络220的数量可以为一个或多个。

在一些示例中，第一网络210和第二网络220的网络结构可以不同。在这种情况下，去噪网络200能够学习不同的网络结构下的偏差，进而能够从多个维度减小偏差以获得去噪效果更佳的去噪图像。在一些示例中，第一网络210和第二网络220可以为网络结构不同的卷积神经网络。优选地，第一网络210可以是卷积神经网络，第二网络220可以是基于注意力机制的卷积神经网络。由此，能够获得基于卷积和注意力机制的双流网络架构的去噪网络200。

在一些示例中，第一网络210的网络结构可以是基于具有编解码结构的卷积神经网络。例如，第一网络210的网络结构可以基于UNet。另外，第一网络210的网络结构的层数没有特别地限制，可以是任意多层。

在一些示例中，第二网络220可以具有注意力机制模块222(参见图2)。在这种情况下，能够对OCT图像的全局上下文信息进行融合，进而能够对OCT图像这种较大的图像进行快速地计算。以下结合附图详细描述第二网络220的注意力机制模块222。

在一些示例中，注意力机制模块222可以基于多头注意力机制。在这种情况下，多头注意力机制有利于去噪网络200关注不同方面的信息以获得更丰富的特征信息。

在一些示例中，注意力机制模块222可以基于移动窗口的多头注意力机制。在这种情况下，能够将注意力限制在一定范围内以降低计算量，使去噪网络200不仅能够对OCT图像的全局上下文信息进行融合，还能够同时保留局部细节，并且能够进一步提高计算速度。

在一些示例中，上述的移动窗口之间可以不重叠。由此，能够进一步降低计算量。例如，如图3所示，在连续的两个注意力机制模块222中，可以在第一个注意力机制模块222中将特征图P1分割成预设大小的多个不重叠的窗口(例如，多个不重叠的窗口可以包括窗口P111、窗口P112、窗口P113和窗口P114)，然后在下一个注意力机制模块222中可以改变窗口的分区以跨越第一个注意力机制模块222的多个不重叠的窗口的边界，从而将特征图P1分割成多个新窗口(例如，多个新窗口可以包括窗口P121、窗口P122、窗口P123、窗口P124、窗口P125、窗口P126、窗口P127、窗口P128和窗口P129)，以此来实现窗口之间的交互。

在一些示例中，注意力机制模块222可以被实现为注意力机制模块300。图4是示出了本公开示例所涉及的注意力机制模块300的示例性的框图。

如图4所示，基于移动窗口的多头注意力机制340可以设置在注意力机制模块300的层归一化(Layer Norm)层320之间。层归一化层320可以用于将该层归一化层320的输入归一化到0至1之间。在这种情况下，能够降低由于计算结果过大，导致梯度爆炸的风险。具体地，注意力机制模块300可以包括两个层归一化层320(即第一层归一化层322和第二层归一化层324)、基于移动窗口的多头注意力机制340和多层感知器360，其中，基于移动窗口的多头注意力机制340可以设置在注意力机制模块300的两个层归一化层320之间。

图5是示出了本公开示例所涉及的多层感知器360的示例性的框图。

如上所述，注意力机制模块222的多层感知器可以具有深度卷积层。在一些示例中，深度卷积层可以设置在多层感知器的图像反表征层和图像表征层之间。由此，深度卷积层能够对图像反表征层的输出进行深度卷积操作。作为示例，如图5所示，图4中的多层感知器360可以包括第一卷积层361、图像反表征层362、深度卷积层363、图像表征层364和第二卷积层365。另外，第一卷积层361可以用于增加特征图的尺寸，第二卷积层365可以用于使多层感知器360输出的特征图与输入多层感知器360的特征图的尺寸相匹配。深度卷积层363可以用于在每个通道上进行二维卷积操作。图像表征层364可以用于将二维的特征图通过全连接层转成一维的图像特征，图像反表征层362可以用于实现与图像表征层364相反的过程。也即，图像反表征层362可以用于将一维的图像特征转成二维的特征图。

在一些示例中，第二网络220的网络结构可以是基于具有编解码结构的卷积神经网络。例如，第二网络220的网络结构可以基于UNet。另外，第二网络220的网络结构的层数没有特别地限制，可以是任意多层。

在一些示例中，第二网络220可以具有编码器和解码器(未图示)。编码器可以用于在不同尺度上提取的特征图。解码器可以用于将在不同尺度上提取的特征图进行融合以获取融合特征图。在一些示例中，解码器的输出(也即，最后输出的融合特征图)可以经由一个卷积层后获得伪标签数据或去噪图像。

在一些示例中，编码器可以包括多个编码块，解码器可以包括与多个编码块对应的多个解码块。也即，解码器的结构可以与编码器的结构对称，一个编码块可以对应一个解码块。在一些示例中，各个编码块可以提取一个尺度的特征图。在一些示例中，多个编码块提取的特征图的尺度(也可以称为大小)可以依次递减，多个解码块获取的融合特征图的尺度可以依次递增。

如上所述，在一些示例中，第二网络220可以具有注意力机制模块222。具体地，各个编码块和各个解码块可以均具有注意力机制模块222。由此，能够获得具有注意力机制模块222且为编解码结构的第二网络220。

在一些示例中，各个编码块的注意力机制模块222可以用于接收该编码块的输入。在一些示例中，编码块还可以包括最大池化层。也即，编码块可以包括注意力机制模块222和最大池化层。在一些示例中，编码块可以包括两次注意力机制模块222和一次最大池化层。

在一些示例中，各个解码块的注意力机制模块222可以用于生成该解码块的输出。在一些示例中，解码块还可以包括上采样卷积层(也即，反卷积层)。也即，解码块可以包括上采样卷积层和注意力机制模块222。在一些示例中，解码块可以包括一次上采样卷积层和两次注意力机制模块222。

在一些示例中，多个编码块可以依次连接，并且多个解码块可以依次连接。在一些示例中，最后一个编码块可以与第一个解码块进行连接。在一些示例中，最后一个编码块的输出可以经由若干次(例如两次)注意力机制模块222而与第一个解码块连接。

在一些示例中，相对应的编码块和解码块可以连接。在这种情况下，解码块的输入还可以包括与该解码块对应的编码块的输出。也即，各个解码块的输入可以包括前一个解码块的输出、以及与该解码块对应的编码块的输出。在一些示例中，相对应的编码块和解码块之间可以通过跳跃连接层进行连接。

图6是示出了本公开示例所涉及的基于UNet的第二网络400的示例性的框图。

以下UNet为例，对第二网络220被实现为第二网络400进行描述。如图6所示，作为基于UNet的第二网络220的一个示例，第二网络400使用两层的Unet结构，并不表示对本公开示例的限制。需要说明的是，第二网络400中的注意力机制模块可以被实现为上述的注意力机制模块222的各种实施方式。

如图6所示，第二网络400可以包括编码块420、编码块440、注意力机制模块492、注意力机制模块494、解码块460、解码块480和卷积层496。

输入图像(例如，样本或待去噪OCT图像)在编码块420可以经由注意力机制模块432、注意力机制模块452和一次最大池化层472以提取特征图并作为后一个编码块440的输入，且编码块420的注意力机制模块452与对应的解码块480的注意力机制模块438进行连接。另外，最后一个编码块440的最大池化层474的输出可以经由注意力机制模块492和注意力机制模块494后与第一个解码块460的上采样卷积层476进行连接。另外，编码块440可以包括注意力机制模块434、注意力机制模块454和一次最大池化层474。具体内容参见编码块420的描述，此处不再赘述。

继续参考图6，解码块480的输入可以包括对应的编码块420的注意力机制模块452的输出和前一个解码块460的输出，其中，前一个解码块460的输出经由上采样卷积层478后与对应的编码块420的注意力机制模块452的输出进行融合后，再经由注意力机制模块438和注意力机制模块458以获取融合特征图。另外，第一个解码块460的输入可以包括最后一个编码块440的注意力机制模块454的输出和最后一个编码块440的最大池化层474的输出经由注意力机制模块492和注意力机制模块494的输出。另外，最后一个解码块480的输出可以经由一次卷积层496后获得输出图像(例如，伪标签数据或去噪图像)。在一些示例中，卷积层496也可以不是必须的。

继续参考图6，解码块460可以包括注意力机制模块436、注意力机制模块456和一次上采样卷积层476。具体内容参见解码块480的描述，此处不再赘述。

如上所述，经训练网络可以是对去噪网络200进行训练后获得的网络。本公开的示例涉及的去噪网络200的训练方法可以简称为训练方法或网络训练方法。图7是示出了本公开示例所涉及的训练方法的示例的流程图。例如，训练方法可以由图1所示的计算设备110来执行。

一般而言，医学图像(例如OCT图像)本身采集难度大，医学图像的标注的工作量大，难度也较高。在一些方法中，如果需要大量重复采集OCT图像以确定样本的标注数据才能实现相关网络的训练，可能会降低实用性。

本公开的示例涉及的训练方法可以利用包括有标签样本和无标签样本的样本集，对包括第一网络210和第二网络220的去噪网络200进行训练并获得分别由第一网络210和第二网络220生成的伪标签数据，对于无标签样本，将第一网络210和第二网络220各自生成的伪标签数据作为对方的标签数据以分别获取第一网络210和第二网络220针对无标签样本的损失函数，并结合针对有标签样本的损失函数对去噪网络200进行训练，最终获得能够对OCT图像进行去噪的经训练网络。在这种情况下，能够利用少量标签数据实现对OCT图像进行去噪。另外，去噪网络200的第二网络220可以具有注意力机制模块222。在这种情况下，能够对OCT图像的全局上下文信息进行融合，进而能够对OCT图像这种较大的图像进行快速地计算。

在一些示例中，如图7所示，训练方法可以包括获取样本集(步骤S120)、利用去噪网络200的第一网络210和第二网络220分别对样本集进行预测以获取多个预测集(步骤S140)、基于多个预测集确定多个损失函数(步骤S160)、基于多个损失函数对去噪网络200的第一网络210和第二网络220进行训练以获得经训练网络(步骤S180)。

参考图7，本实施方式中，在步骤S120中，可以获取样本集。样本集可以包括多个样本。本实施方式中，样本可以为待训练OCT图像(以下可以简称为训练图像)。

另外，样本集中可以允许少量样本具有标签数据(也可以称为金标准)。也即，样本集中可以一部分样本具有标签数据。样本的标签数据可以为针对该样本的去噪图像。

具体地，样本集可以包括第一子集和第二子集，其中，第一子集中的样本无标签数据，第二子集中的样本有标签数据。也即，样本集可以包括无标签数据的第一子集和有标签数据的第二子集。由此，能够获得无标签样本和有标签样本。

在一些示例中，第一子集的样本数量可以大于第二子集的样本数量。在这种情况下，由于无标签样本更容易获取，能够进一步提高实用性。具体地，第一子集的样本数量可以远远大于第二子集的样本数量。例如，第一子集的样本数量与第二子集的样本数量的比例可以为10:1。

如上所述，第二子集中的样本有标签数据。样本的标签数据可以为针对该样本的去噪图像。在一些示例中，可以基于由对目标对象(例如，需要进行眼底疾病检查的用户)的同一位置(例如，眼底的一些部位)进行多次扫描而获得的多张训练图像获取样本的标签数据。

具体地，在获取样本的标签数据中，可以通过对目标对象的同一位置进行多次扫描以获取图像集，该图像集可以包括多张训练图像，基于该图像集确定该图像集对应的去噪图像，并且可以将该去噪图像作为该图像集中的训练图像的标签数据，将该图像集中的训练图像作为第二子集中的样本。由此，能够获得第二子集中的样本以及对应的标签数据。

在一些示例中，在基于图像集确定该图像集对应的去噪图像中，可以对该图像集中的多张训练图像进行配准叠加以获取该图像集对应的去噪图像。具体地，可以将该图像集中的任意一张训练图像作为基准图像，对该图像集中的其他训练图像与该基准图像进行配准，并对符合配准要求的训练图像以及该基准图像求平均以获取平均图像，将平均图像作为该图像集对应的去噪图像。例如，配准要求可以为上述的其他训练图像与基准图像的相似度大于预设相似度。

在一些示例中，可以将图像集中的各张训练图像分别作为基准图像以获取各张训练图像对应的去噪图像，并基于该图像集中的多张训练图像对应的多张去噪图像确定该图像集对应的去噪图像。在这种情况下，能够进一步提高该图像集对应的去噪图像的去噪效果，进而使去噪网络200能够基于图像质量较佳的标签数据进行训练。

在一些示例中，可以采集多张训练图像作为第一子集中的样本，并采集多个图像集，基于各个图像集确定各个图像集对应的去噪图像并作为各个图像集中训练图像的标签数据，将多个图像集中的训练图像作为第二子集中的样本，其中，每个图像集可以包括由对目标对象的同一位置进行多次扫描而获得的多张训练图像(也即，一个图像集中的多张训练图像可以对应同一位置)，多个图像集对应的位置可以不同。由此，能够获得无标签数据的第一子集和有标签数据的第二子集。

在一些示例中，在步骤S120中，可以对样本集进行预处理。在这种情况下，后续能够利用预处理后的样本集对去噪网络200进行训练。由此，能够提高去噪网络200的性能。

在一些示例中，在预处理中，可以对样本集进行归一化处理。在一些示例中，在归一化处理中，可以将样本集中的样本的格式和大小进行统一。

在一些示例中，在预处理中，可以对样本集进行数据扩增处理。在一些示例中，数据扩增处理可以包括平移、翻转(例如上下翻转或左右翻转)、旋转、对比度变换和亮度变换中的至少一种处理。在这种情况下，能够抑制去噪网络200过拟合。另外，对比度变换和亮度变换还能够模拟在不同环境下获取训练图像，进而能够使最终获得的经训练网络具有更好的鲁棒性。在一些示例中，可以对样本集中的样本(例如，第二子集中的样本)的标签数据进行与该样本相同的数据扩增处理。在这种情况下，能够使样本和样本的标签数据保持一致，有利于确定去噪网络200的损失。

在一些示例中，可以对样本集中的样本进行分块处理以获取多个分块图像并作为第二样本集。在这种情况下，后续能够利用第二样本集训练去噪网络200以获得经训练网络。也即，可以利用多个分块图像对去噪网络200进行训练。在这种情况下，能够增大样本集，并且通过分块处理能够使分块图像与去噪网络200的输入的尺寸相匹配，能够减少进行对样本的尺寸进行调整的操作。

在一些示例中，在分块处理中，可以随机或按预设分块顺序从样本集中的样本中截取图像块以获取多个分块图像。在一些示例中，可以对样本集中的样本的标签数据进行与该样本相同的分块处理。在这种情况下，能够使样本和样本的标签数据保持一致，有利于确定去噪网络200的损失。

继续参考图7，本实施方式中，在步骤S140中，可以利用去噪网络200的第一网络210和第二网络220分别对样本集进行预测以获取多个预测集。去噪网络200具体内容参见上文去噪网络200的相关描述，此次不再赘述。

在一些示例中，在每轮对去噪网络200进行训练时，可以利用去噪网络200的第一网络210和第二网络220分别对样本集进行预测以获取多个预测集。由此，能够获得伪标签数据。例如，可以遍历样本集以对样本集中的样本进行预测以获取各个样本对应的伪标签数据。

另外，多个预测集可以由第一网络210、第二网络220、第一子集和第二子集确定。在一些示例中，多个预测集可以包括第一预测集、第二预测集、第三预测集和第四预测集。

本实施方式中，第一预测集可以为与第一网络210对应的针对第一子集的预测集。也即，第一预测集可以为第一网络210对第一子集进行预测而获得的预测集。第一预测集可以包括第一子集中的样本对应的伪标签数据。由此，能够获得第一网络210针对无标签样本的预测结果。第二预测集可以为与第一网络210对应的针对第二子集的预测集。也即，第二预测集可以为第一网络210对第二子集进行预测而获得的预测集。第二预测集可以包括第二子集中的样本对应的伪标签数据。由此，能够获得第一网络210针对有标签样本的预测结果。

本实施方式中，第三预测集可以为与第二网络220对应的针对第一子集的预测集。也即，第三预测集可以为第二网络220对第一子集进行预测而获得的预测集。第三预测集可以包括第一子集中的样本对应的伪标签数据。由此，能够获得第二网络220对无标签样本的预测结果。第四预测集可以为与第二网络220对应的针对第二子集的预测集。也即，第四预测集可以为第二网络220对第二子集进行预测而获得的预测集。第四预测集可以包括第二子集中的样本对应的伪标签数据。由此，能够获得第二网络220对有标签样本的预测结果。

继续参考图7，本实施方式中，在步骤S160中，可以基于多个预测集确定多个损失函数。

在一些示例中，可以利用去噪网络200的损失函数对去噪网络200进行训练。在一些示例中，去噪网络200的损失函数可以由第一网络210的损失函数和第二网络220的损失函数确定。

如上所述，样本集可以包括第一子集和第二子集。在一些示例中，第一网络210的损失函数可以由针对第一子集的第一损失函数和针对第二子集的第二损失函数确定。具体地，可以基于第一子集和由第二网络220获得的第三预测集确定第一网络210的第一损失函数，并基于第二子集和第二预测集确定第一网络210的第二损失函数。在这种情况下，能够确定第一网络210针对有标签样本的第二损失函数，并且能够结合第二网络220确定第一网络210针对无标签样本的第一损失函数。

在一些示例中，可以通过比较第一子集中的样本在第一预测集中的伪标签数据与第三预测集中的伪标签数据的相似程度以确定第一损失函数。在一些示例中，可以通过比较第二子集中样本的标签数据与该样本在第二预测集中的伪标签数据的相似程度以确定第二损失函数。

在一些示例中，第二网络220的损失函数可以由针对第一子集的第三损失函数和针对第二子集的第四损失函数确定。具体地，可以基于第一子集和由第一网络210获得的第一预测集确定第二网络220的第三损失函数，并基于第二子集和第四预测集确定第二网络220的第四损失函数。在这种情况下，能够确定第二网络220针对有标签样本的第四损失函数，并且能够结合第一网络210确定第二网络220针对无标签样本的第三损失函数。

在一些示例中，可以通过比较第一子集中的样本在第三预测集中的伪标签数据与第一预测集中的伪标签数据的相似程度以确定第三损失函数。在一些示例中，可以通过比较第二子集中样本的标签数据与该样本在第四预测集中的伪标签数据的相似程度以确定第四损失函数。

在一些示例中，确定上述的相似程度的方法可以包括但不限于结构相似性度量、距离(例如，欧式距离或余弦距离)、直方图或哈希算法等。例如，可以通过计算标签数据与伪标签数据的距离以确定标签数据与伪标签数据的相似程度。又例如，可以通过比较样本在两个不同预测集中的伪标签数据的距离以确定相似程度。

如上所述，可以基于第一子集和由第二网络220获得的第三预测集确定第一网络210的第一损失函数，并基于第二子集和第二预测集确定第一网络210的第二损失函数，并且可以基于第一子集和由第一网络210获得的第一预测集确定第二网络220的第三损失函数，并基于第二子集和第四预测集确定第二网络220的第四损失函数。在这种情况下，能够对无标签样本设置双向损失函数进行交互计算，对有标签样本根据标签数据进行损失计算，进而后续利用少量标签数据训练能够获得经训练网络，以对OCT图像进行去噪。

继续参考图7，本实施方式中，在步骤S180中，可以基于步骤S170获得的多个损失函数对去噪网络200的第一网络210和第二网络220进行训练以获得经训练网络。

如上所述，可以利用去噪网络200的损失函数对去噪网络200进行训练。在一些示例中，在步骤S180中，可以基于第一损失函数和第二损失函数训练第一网络210，基于第三损失函数和第四损失函数训练第二网络220，以获得经训练网络。

在一些示例中，可以利用上述的多个损失函数对去噪网络200进行训练直至符合停止训练条件，以获得经训练网络。例如，停止训练条件可以为去噪网络200对应的总损失没有下降或训练的轮次达到预设次数。另外，总损失可以为一轮训练中，第一网络210的损失和第二网络220的损失之和。第一网络210的损失和第二网络220的损失可以分别由各自的损失函数确定。

以下，结合附图详细描述本公开涉及的基于注意力机制的半监督OCT图像去噪方法(有时也可以简称为去噪方法、图像去噪方法或半监督去噪方法)。去噪方法中涉及的经训练网络可以由上述的训练方法进行训练而获得。图8是示出了本公开示例所涉及的基于注意力机制的半监督OCT图像去噪方法的示例性的流程图。

在一些示例中，如图8所示，去噪方法可以包括获取待去噪OCT图像(步骤S220)、确定经训练网络(步骤S240)、以及将待去噪OCT图像输入经训练网络进行去噪以确定针对待去噪OCT图像的去噪图像(步骤S260)。

本实施方式中，在步骤S220中，可以获取待去噪OCT图像。在一些示例中，待去噪OCT图像的颜色可以为灰色或伪彩色。

本实施方式中，在步骤S240中，可以确定经训练网络。经训练网络可以由上述的训练方法进行训练而获得。具体内容参见上述的训练方法的相关描述。

本实施方式中，在步骤S260中，可以将待去噪OCT图像输入步骤S240获得的经训练网络进行去噪以确定针对待去噪OCT图像的去噪图像(也即，预测结果)。在一些示例中，经训练网络的预测结果可以为第一网络210和第二网络220中的任意一个网络的预测结果。在另一些示例中，可以将经训练网络中的第一网络210和第二网络220中置信度最高的预测结果作为经训练网络的预测结果。在另一些示例中，可以对经训练网络中的第一网络210和第二网络220的预测结果求平均并作为经训练网络的预测结果。

如上所述，可以利用多个分块图像对去噪网络200进行训练。在另一些示例中，可以对待去噪OCT图像进行分块处理以获取多个待去噪图像块，将待去噪图像块输入步骤S240获得的经训练网络进行去噪以确定针对待去噪图像块的去噪图像，进而基于待去噪图像块的去噪图像确定针对待去噪OCT图像的去噪图像。例如，可以对针对待去噪图像块的去噪图像进行拼接以确定针对待去噪OCT图像的去噪图像。

以下，结合附图详细描述本公开涉及的基于注意力机制的半监督OCT图像去噪装置500(有时也可以简称为去噪装置500、图像去噪装置500或半监督去噪装置500等。本公开涉及的去噪装置500用于实施上述的去噪方法。图9是示出了本公开示例所涉及的基于注意力机制的半监督OCT图像去噪装置500的示例性的框图。

如图9所示，在一些示例中，去噪装置500可以包括获取模块520、网络模块540和去噪模块560。

本实施方式中，获取模块520可以用于获取待去噪OCT图像。具体内容参见步骤S220中的相关描述。

本实施方式中，网络模块540可以用于确定经训练网络。网络模块540可以用于实施上述的训练方法以获得经训练网络。具体内容参见上述的训练方法的相关描述。

本实施方式中，去噪模块560可以用于将待去噪OCT图像输入网络模块540获得的经训练网络进行去噪以确定针对待去噪OCT图像的去噪图像。在另一些示例中，去噪模块560可以用于对待去噪OCT图像进行分块处理以获取多个待去噪图像块，将待去噪图像块输入网络模块540获得的经训练网络进行去噪以确定针对待去噪图像块的去噪图像，进而基于待去噪图像块的去噪图像确定针对待去噪OCT图像的去噪图像。具体内容参见步骤S260中的相关描述。

本公开还涉及电子设备，电子设备可以包括至少一个处理电路。至少一个处理电路被配置为执行上述的训练方法或去噪方法中的一个或多个步骤。

本公开还涉及计算机可读存储介质，该计算机可读存储介质可以存储有至少一个指令，至少一个指令被处理器执行时实现上述的训练方法或去噪方法中的一个或多个步骤。

本公开涉及的去噪方法及去噪装置500，利用对去噪网络200进行训练获得的经训练网络对OCT图像进行去噪。该去噪网络200包括第一网络210和第二网络220，利用包括有标签样本和无标签样本的样本集对去噪网络200进行训练，对于无标签样本，将第一网络210和第二网络220各自生成的伪标签数据作为对方的标签数据以分别获取第一网络210和第二网络220针对无标签样本的损失函数，并结合针对有标签样本的损失函数对去噪网络200进行训练，最终获得能够对OCT图像进行去噪的经训练网络。也即，利用双向损失函数对去噪网络200进行训练。在这种情况下，能够利用少量标签数据实现对OCT图像进行去噪，进而能够大幅降低数据采集要求，具有高度可重复性和临床使用价值。另外，去噪网络200的第二网络220具有注意力机制模块222，能够对OCT图像的全局上下文信息进行融合，进而能够对OCT图像这种较大的图像进行快速地计算。

虽然以上结合附图和示例对本公开进行了具体说明，但是可以理解，上述说明不以任何形式限制本公开。本领域技术人员在不偏离本公开的实质精神和范围的情况下可以根据需要对本公开进行变形和变化，这些变形和变化均落入本公开的范围内。

Claims (10)

1.一种基于注意力机制的半监督OCT图像去噪方法，其特征在于，包括：获取待去噪OCT图像；确定经训练的去噪网络，所述去噪网络包括第一网络和具有注意力机制模块的第二网络，其中，获取样本集，所述样本集包括无标签数据的第一子集和有标签数据的第二子集，利用所述第一网络和所述第二网络分别对所述样本集进行预测，得到与所述第一网络对应的针对所述第一子集的第一预测集和针对所述第二子集的第二预测集、以及与所述第二网络对应的针对所述第一子集的第三预测集和针对所述第二子集的第四预测集，基于所述第一子集和所述第三预测集确定所述第一网络的第一损失函数，并基于所述第二子集和所述第二预测集确定所述第一网络的第二损失函数，基于所述第一子集和所述第一预测集确定所述第二网络的第三损失函数，并基于所述第二子集和所述第四预测集确定所述第二网络的第四损失函数，基于所述第一损失函数和所述第二损失函数训练所述第一网络，基于所述第三损失函数和所述第四损失函数训练所述第二网络，以获得所述经训练的去噪网络；并且将所述待去噪OCT图像输入所述经训练的去噪网络进行去噪以确定针对所述待去噪OCT图像的去噪图像。

2.根据权利要求1所述的方法，其特征在于：

所述注意力机制模块基于移动窗口的多头注意力机制，所述注意力机制模块的多层感知器具有深度卷积层。

3.根据权利要求2所述的方法，其特征在于：

所述多头注意力机制设置在所述注意力机制模块的层归一化层之间，所述层归一化层用于将该层归一化层的输入归一化到0至1之间，所述深度卷积层设置在所述多层感知器的图像反表征层和图像表征层之间。

4.根据权利要求1所述的方法，其特征在于：

所述第二网络具有编码器和解码器，所述编码器包括多个编码块，所述解码器包括与所述多个编码块对应的多个解码块，各个编码块和各个解码块均具有所述注意力机制模块，各个编码块的注意力机制模块用于接收该编码块的输入，各个解码块的注意力机制模块用于生成该解码块的输出。

5.根据权利要求1所述的方法，其特征在于：

所述第一网络和所述第二网络为网络结构不同的卷积神经网络。

6.根据权利要求1所述的方法，其特征在于：

对所述样本集进行归一化处理和数据扩增处理，所述数据扩增处理包括平移、翻转、旋转、对比度变换和亮度变换中的至少一种处理。

7.根据权利要求1所述的方法，其特征在于：

获得所述第二子集中的样本的标签数据包括，

通过对目标对象的同一位置进行多次扫描以获取包括多张待训练OCT图像的图像集，

基于所述图像集确定所述图像集对应的去噪图像，并且

将所述图像集对应的去噪图像作为所述图像集中的待训练OCT图像的标签数据，将所述图像集中的待训练OCT图像作为所述第二子集中的样本。

8.根据权利要求1所述的方法，其特征在于：

对所述样本集中的样本进行分块处理以获取多个分块图像并作为第二样本集，利用所述第二样本集训练所述去噪网络以获得所述经训练的去噪网络。

9.一种基于注意力机制的半监督OCT图像去噪装置，其特征在于，包括获取模块、网络模块和去噪模块；所述获取模块用于获取待去噪OCT图像；所述网络模块用于确定经训练的去噪网络，所述去噪网络包括第一网络和具有注意力机制模块的第二网络，其中，所述网络模块用于获取样本集，所述样本集包括无标签数据的第一子集和有标签数据的第二子集，利用所述第一网络和所述第二网络分别对所述样本集进行预测，得到与所述第一网络对应的针对所述第一子集的第一预测集和针对所述第二子集的第二预测集、以及与所述第二网络对应的针对所述第一子集的第三预测集和针对所述第二子集的第四预测集，基于所述第一子集和所述第三预测集确定所述第一网络的第一损失函数，并基于所述第二子集和所述第二预测集确定所述第一网络的第二损失函数，基于所述第一子集和所述第一预测集确定所述第二网络的第三损失函数，并基于所述第二子集和所述第四预测集确定所述第二网络的第四损失函数，基于所述第一损失函数和所述第二损失函数训练所述第一网络，基于所述第三损失函数和所述第四损失函数训练所述第二网络，以获得所述经训练的去噪网络；以及所述去噪模块用于将所述待去噪OCT图像输入所述经训练的去噪网络进行去噪以确定针对所述待去噪OCT图像的去噪图像。

10.根据权利要求9所述的装置，其特征在于：

所述注意力机制模块基于移动窗口的多头注意力机制，所述注意力机制模块的多层感知器具有深度卷积层。

Images