CN115760622A - 一种拼接显微图像的无监督自适应条纹校正方法 - Google Patents

Abstract

本发明提供了一种拼接显微图像的无监督自适应条纹校正方法，包括以下步骤：步骤S1：对带条纹的拼接显微图像进行数据预处理；步骤S2：构造非配对的正负样本作为训练数据；步骤S3：设计对生成结果进行评估的判别器；步骤S4：训练对抗式网络模型；步骤S5：对给定的待修复图像进行从局部到整体的校正，以滑动窗口的方式重叠地将图像块输入到条纹校正模块，输出校正块；最后将所有的校正块合并，形成最终的校正结果。该方法不需要调整光学仪器的设置，且不依赖估计的物理参数或原始拼接信息。该方法可适用于大多数成像实验中训练数据不足的情况。

Description

一种拼接显微图像的无监督自适应条纹校正方法

技术领域

本发明涉及显微镜图像处理以及计算机视觉技术领域，特别是一种拼接显微图像的无监督自适应条纹校正方法。

背景技术

荧光显微镜是生物医学研究中不可缺少的工具，可用于获取细胞内生物过程、组织病理诊断的高空间分辨率信息。目前获得大尺度高分辨显微图像最常见的方法是连续拼接多个视场(FOVs)。然而，荧光显微图像目前仍然存在阴影或渐晕的现象，也就是不均匀照明，通常反映为从光轴中心到边缘的亮度强度衰减。因此拼接后的荧光图像中经常会出现条纹、阴影、甚至是伪影，尤其会产生于无标记或大尺度拼接图像的弱信号区域。根据以往的研究成果，即使是最稳定的商用非线性光学显微成像设备，在获取的图像中也可能存在多种的条纹问题。在忽略光照校正的情况下，往往会导致图像中细胞的误检和漏检率增加。因此拼接后产生的条纹不仅降低了图像质量，还严重地给下游的定量分析带来巨大偏差。

在光学成像实验中，这些信息的真实记录不仅取决于所使用的光学显微镜器件，还取决于样品制备的质量、实验持续的时间和图像后处理算法。虽然成像质量也可以通过超快激光器、高数值孔径的物镜、高精度的载物台、高灵敏探测器等硬件去优化，然而显微系统的配置需要专业的光学工程师来操作。提高激光功率可以更大程度地激发荧光信号，但高功率也会增加样本光损伤的风险。此外商业显微镜软件可以放大扫描仪的扫描范围，只对中间无阴影的视场进行成像，或是增加相邻两块区域的拼接重叠。尽管如此，缩放单个区域会导致最终拼接图像尺寸变小。因此，图像后处理方法是条纹校正的首选方案。

现有的条纹校正算法可以分为前瞻性和回顾性方法。前瞻性方法需要在图像采集过程中去额外收集参考图像来估计目标图像的有效光照变化。在单次实验操作中，成像参数会随着样本的类型、质量，甚至激光器的功率而变化。因此，在确保与实际数据相同的实验条件下及有效的成像时间内，获取准确的参考图像是很难的。回顾性方法仅利用实际采集的图像数据来进行校正，或通过大量的图像数据集构建校正模型来更准确地获取光照变化。但是这些方法均只适用于从图像中心开始的强度衰减情况，即均匀的阴影条纹。随着深度学习技术的发展，基于深度神经网络的模型也可以应用于这项任务。然而，现有的深度学习方法都是基于监督学习，需要原始拼接前图像和专家修复的结果，以形成大量的配对图像来训练模型。这类过于依赖大量监督训练数据的方法限制了其在实际场景中的应用。

发明内容

有鉴于此，本发明的目的在于提供一种拼接显微图像的无监督自适应条纹校正方法，该方法不需要调整光学仪器的设置，且不依赖估计的物理参数或原始拼接信息。该方法可适用于大多数成像实验中训练数据不足的情况。

为实现上述目的，本发明采用如下技术方案：一种拼接显微图像的无监督自适应条纹校正方法，包括以下步骤：

步骤S1：对带条纹的拼接显微图像进行数据预处理，根据条纹和伪影的位置对原图进行分块；利用干净的显微图像合成出条纹和伪影，根据条纹和伪影的位置对原图进行分块；

步骤S2：使用临近采样的策略，采样出足够的异常块和正常块，构造非配对的正负样本作为训练数据；

步骤S3：设计条纹校正模块、条纹合成模块，以及设计对生成结果进行评估的判别器；

步骤S4：基于步骤S2设计的模块，设计循环的对抗式训练的网络结构，并利用步骤S1获得的训练集来训练对抗式网络模型；

步骤S5：对给定的待修复图像进行从局部到整体的校正，以滑动窗口的方式重叠地将图像块输入到条纹校正模块，输出校正块；最后将所有的校正块合并，形成最终的校正结果。

在一较佳的实施例中，步骤S1具体包括以下步骤：

步骤S11：根据拼接图像中水平条纹和垂直条纹的位置，将处于条纹区域的图像块采样为异常块；对于存在伪影的图像，将处于伪影区域的图像块采样为异常块；

步骤S12：按照荧光显微图像中存在的条纹，制造出模拟条纹的遮罩I_M，将干净图像中的每个视场作为I_R，将每个视场都和遮罩结合，形成条纹；按照荧光显微图像中存在的气泡伪影，制造出模拟气泡的遮罩I_M，随机选择干净图像中的部分区域图作为I_R，将该区域和遮罩结合，形成气泡；按照荧光显微图像中存在的失焦伪影，制造出模拟失焦的遮罩I_M，选择干净图像中的角落区域图作为I_R，将该区域和遮罩结合，形成失焦；具体表达式如下：

I_S＝I_R*(1-α)*I_M

其中，I_M是条纹或伪影的遮罩，I_R是干净图像中的部分图，I_S是合成出条纹或伪影的结果图，α是调整遮罩程度的参数；

按照荧光显微图像中存在的扫描伪影，制造出模拟扫描伪影的遮罩I_M，将干净图像的一半区域作为I_R，将其和遮罩结合，形成扫描伪影；具体表达式如下：

I_S＝I_R+β*I_M*255

其中，I_M是扫描伪影的遮罩，I_R是干净图像中的一半区域，I_S是合成出扫描伪影的结果图，β是调整遮罩程度的参数。

在一较佳的实施例中，步骤S2具体包括以下步骤：

步骤S21：采用临近采样的策略，从临近条纹的非条纹区域采样出正常块；对于水平条纹上的异常块沿垂直方向选择离条纹最近的图像块，作为其相应的正常块；对于垂直条纹上的异常块沿水平方向选择离条纹最近的图像块，作为其相应的正常块；对于水平和垂直条纹交界处的异常块，选择离其最近的对角线上的图像块作为相应的正常块；对于伪影区域，从临近的无伪影区域进行采样，作为其对应的正常块；

步骤S22：根据步骤S21采集出足够的异常块和正常块，构造非配对的正负样本作为训练数据。

在一较佳的实施例中，步骤S3具体包括以下步骤：

步骤S31：设计条纹校正网络和条纹合成网络，两个网络结构相同，是基于编码器和解码器的网络结构，分为三个阶段，由下采样层、中间层和上采样层组成；网络的输入为图像块I，输出为校正后的图像块或合成条纹的图像块

将原图像块输入到卷积层，进行图像到特征图的转换，得到C×H×W的特征图F₀，具体的表达式为：

F₀＝Conv(I)

其中，I表示输入的图像块；

第一阶段的下采样层由卷积层组成；F₀每经过一个卷积层特征图尺寸变为原来的一半，通道数变为原来的两倍，最后得到

的低层次视觉特征图F₁，计算公式如下：

F₁＝Conv(Conv(F₀)))

第二阶段的中间层由残差块ResnetBlock堆叠组成，用来提取可描述细胞组织成分的高层语义特征；残差块结构相同，由两个卷积层组成；通过堆叠的ResnetBlock来增强特征，计算公式为：

E₀＝F₁+Cony(Conv(F₁))

E₁＝E₀+Conv(Conv(E₀))

……

E₈＝E₇+Conv(Conv(E₇))

其中，E₀、E₁、...、E₈表示每个残差块的输出特征，将最后一个残差块输出的特征E₈作为中间层增强后的特征F₂；

第三阶段的上采样层由反卷积层组成，用于整合前几层提取到的特征；F₂每经过一个卷积层特征图尺寸变为原来的两倍，通道数变为原来的一半，最后得到C×H×W的特征图F₃，计算公式如下：

F₃＝ConvTranspose(ConvTranspose(F₂)))

将F₃输入到激活函数为Tanh的卷积层，完成图像到特征图的转换，重建到图像块原始的维度上，计算公式如下：

其中，

表示输出的图像块；

步骤S32：设计两个结构相同的判别器网络，由五个卷积层组成；判别器网络的输入为图像块I，经过三个卷积核为4×4，步长为2的卷积层，再经过两个卷积核为4×4，步长为1的卷积层，得到一个通道数为1的判别图，作为图像块I的评估结果。

在一较佳的实施例中，步骤S4具体包括以下步骤：

步骤S41：设计循环的网络结构；记步骤S21设计的条纹校正网络和条纹合成网络分别为G_C和G_S；循环的结构由两条分支组成，分别以步骤S2中采样的异常块和正常块作为输入；第一条分支将异常块I_X输入到条纹校正网络G_C中，得到校正块I′_Y，再将其输入到条纹合成网络G_S，得到合成块I′_X；第二条分支将正常块I_Y输入到条纹合成网络G_S中，得到合成块I″_X，再将其输入到条纹校正网络G_C，得到校正块I″_Y；

步骤S42：设计对抗式训练的网络结构；记步骤S32设计的两个判别器网络分别为D_Y和D_X；判别器D_Y以正常块I_Y作为参考，评估校正块I′_Y的质量；判别器D_X以异常块I_X作为参考，评估合成块I″_X的质量；通过G_C、G_S和D_Y、D_X的生成对抗，来提高G_C的条纹校正能力和G_S的条纹合成能力；

步骤S43：根据循环的对抗式训练的网络的损失函数，利用反向传播方法计算网络中各参数的梯度，并更新参数；所述损失函数如下：

L_cons＝E_X||G_S(G_C(X))-X||₁+E_Y||G_C(G_S(Y))-Y||₁

L＝λL_cons+L_adv

其中，E是计算异常块X和正常块Y分布的期望值，L_cons为循环结构的一致性损失函数，

和

分别是条纹校正网络G_C和条纹合成网络G_S的对抗损失，λ为平衡损失的参数，L是条纹校正网络和条纹合成网络的损失函数；

和

分别是判别器D_Y和D_X的损失函数。

在一较佳的实施例中，步骤S5具体包括以下步骤：

步骤S51：在给定的待修复图像I_in中，以滑动窗口的方式重叠地将待修复图的每个图像块输入到训练好的条纹校正模型中，输出校正后的图像块，并对图像块所覆盖区域的校正次数N加1；

步骤S52：将校正后的图像块合并得到合并图I_merge，按照每个区域重叠校正的次数F，对校正后的图像块间重叠的区域取均值操作，得到最终的校正结果I_out，计算公式为：

I_out＝I_merge/N。

与现有技术相比，本发明具有以下有益效果：本方法利用目标图像自身采样的正常块来校正其相邻的异常块，解决了以往方法需要大量训练数据或监督式训练的局限，实现自适应地处理拼接荧光图像中存在的各种条纹和伪影问题，有效提高了受条纹和伪影影响的荧光病理图像在下游分析的价值。

附图说明

图1为本发明优选实施例的方法整体流程示意图；

图2为本发明优选实施例中对拼接显微图像的无监督自适应条纹校正方法示意图；

图3为本发明优选实施例网络模型结构示意图。

具体实施方式

下面结合附图及实施例对本发明做进一步说明。

应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式；如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

一种拼接显微图像的无监督自适应条纹校正方法，如图1、图2、图3所示，包括以下步骤：

步骤S1：对带条纹的拼接显微图像进行数据预处理，根据条纹和伪影的位置对原图进行分块；利用干净的显微图像合成出条纹和伪影，根据条纹和伪影的位置对原图进行分块；

步骤S2：使用临近采样的策略，采样出足够的异常块和正常块，构造非配对的正负样本作为训练数据；

步骤S3：设计条纹校正模块、条纹合成模块，以及设计对生成结果进行评估的判别器；

步骤S4：基于步骤S2设计的模块，设计循环的对抗式训练的网络结构，并利用步骤S1获得的训练集来训练对抗式网络模型；

步骤S5：对给定的待修复图像进行从局部到整体的校正，以滑动窗口的方式重叠地将图像块输入到条纹校正模块，输出校正块。最后将所有的校正块合并，形成最终的校正结果。

在本实施例中，步骤S1具体包括以下步骤：

步骤S11：采用无标记的多光子显微镜图像MPM，根据图像中水平条纹和垂直条纹的位置，将处于条纹区域的图像块采样为异常块。对于存在伪影的图像，将处于伪影区域的图像块采样为异常块。每个异常块尺寸相同，均为256×256像素；

步骤S12：基于干净的SRS图像数据，根据存在条纹或伪影的MPM图像，来合成条纹和伪影问题。给的一张带条纹的MPM图像，将其所有视场的像素值累计求和，算均值后归一化至0到1，得到条纹的遮罩I_M，将SRS图像中的每个视场作为I_R，将每个视场都和遮罩结合，形成条纹；按照MPM图像中存在的气泡伪影，利用scipy.ndimage中的gaussian_filter函数，制造出不均匀气泡的遮罩I_M，随机选择SRS图像中的部分区域图作为I_R，将该区域和遮罩结合，形成气泡；按照MPM图像中存在的失焦伪影，利用scipy.ndimage中的gaussian_filter函数，制造出不均匀失焦的遮罩I_M，选择SRS图像中的角落区域图作为I_R，将该区域和遮罩结合，形成失焦。具体表达式如下：

I_S＝I_R*(1-α)*I_M

其中，I_M是条纹或伪影的遮罩，I_R是SRS图像中的部分图，I_S是合成出条纹或伪影的结果图，α是调整遮罩程度的参数。

按照荧光显微图像中存在的扫描伪影，利用女性卵巢癌图像Ovarian的蓝通道图作为基础，制造出模拟扫描伪影的遮罩I_M，将SRS图像的一半区域作为I_R，将其和遮罩结合，形成扫描伪影。具体表达式如下：

I_S＝I_R+β*I_M*255

其中，I_M是扫描伪影的遮罩，I_R是SRS图像中的一半区域，I_S是合成出扫描伪影的结果图，β是调整遮罩程度的参数。

在本实施例中，步骤S2具体包括以下步骤：

步骤S21：采用临近采样的策略，从临近条纹的非条纹区域采样出正常块。对于水平条纹上的异常块沿垂直方向选择离条纹最近的图像块，作为其相应的正常块；对于垂直条纹上的异常块沿水平方向选择离条纹最近的图像块，作为其相应的正常块；对于水平和垂直条纹交界处的异常块，选择离其最近的对角线上的图像块作为相应的正常块；对于伪影区域，从临近的无伪影区域进行采样，作为其对应的正常块。每个正常块尺寸相同，均为256×256像素；

步骤S22：根据步骤S21采集出足够的异常块和正常块，构造非配对的正负样本作为训练数据，其中正负样本的数量和图片大小均相同。

在本实施例中，步骤S3具体包括以下步骤：

步骤S31：设计条纹校正网络和条纹合成网络，两个网络结构相同，是基于编码器和解码器的网络结构，分为三个阶段，由下采样层、中间层和上采样层组成。网络的输入为图像块I，输出为校正后的图像块或合成条纹的图像块

将原图像块输入到一个卷积核为7×7，激活函数为ReLU的卷积层，进行图像到特征图的转换，得到C×H×W的特征图F₀，具体的表达式为：

F₀＝Conv(I)

其中，I表示输入的图像块。

第一阶段的下采样层由两个卷积核为3×3，步长为2的卷积层组成。F₀每经过一个卷积层特征图尺寸变为原来的一半，通道数变为原来的两倍，最后得到

的低层次视觉特征图F₁，计算公式如下：

F₁＝Conv(Conv(F₀)))

第二阶段的中间层由9个堆叠的残差块ResnetBlock组成，用来提取可描述细胞组织成分的高层语义特征。残差块结构相同，由两个卷积核为3×3，步长为1的卷积层组成。通过9个堆叠的ResnetBlock来增强特征，计算公式为：

E₀＝F₁+Cony(Conv(F₁))

E₁＝E₀+Conv(Conv(E₀))

……

E₈＝E₇+Conv(Conv(E₇))

其中，E₀、E₁、...、E₈表示每个残差块的输出特征，将最后一个残差块输出的特征E₈作为中间层增强后的特征F₂。

第三阶段的上采样层由两个卷积核为3×3，步长为2的反卷积层组成，用于整合前几层提取到的特征。F₂每经过一个卷积层特征图尺寸变为原来的两倍，通道数变为原来的一半，最后得到C×H×W的特征图F₃，计算公式如下：

F₃＝ConvTranspose(ConvTranspose(F₂)))

将F₃输入到一个卷积核为7×7，激活函数为Tanh的卷积层，完成图像到特征图的转换，重建到图像块原始的维度上，计算公式如下：

其中，

表示输出的图像块；

步骤S32：设计两个结构相同的判别器网络，由五个卷积层组成。判别器网络的输入为图像块I，经过三个卷积核为4×4，步长为2的卷积层，再经过两个卷积核为4×4，步长为1的卷积层，得到一个通道数为1的判别图，作为图像块I的评估结果。

在本实施例中，步骤S4具体包括以下步骤：

步骤S41：设计循环的网络结构。记步骤S21设计的条纹校正网络和条纹合成网络分别为G_C和G_S。循环的结构由两条分支组成，分别以步骤S2中采样的异常块和正常块作为输入。第一条分支将异常块I_X输入到条纹校正网络G_C中，得到校正块I′_Y，再将其输入到条纹合成网络G_S，得到合成块I′_X；第二条分支将正常块I_Y输入到条纹合成网络G_S中，得到合成块I″_X，再将其输入到条纹校正网络G_C，得到校正块I″_Y；

步骤S42：设计对抗式训练的网络结构。记步骤S32设计的两个判别器网络分别为D_Y和D_X。判别器D_Y以正常块I_Y作为参考，评估校正块I′_Y的质量；判别器D_X以异常块I_X作为参考，评估合成块I″_X的质量。通过G_C、G_S和D_Y、D_X的生成对抗，来提高G_C的条纹校正能力和G_S的条纹合成能力；

步骤S43：根据循环的对抗式训练的网络的损失函数，利用反向传播方法计算网络中各参数的梯度，并利用Adam优化算法更新参数；所述损失函数如下：

L_cons＝E_X||G_S(G_C(X))-X||₁+E_Y||G_C(G_S(Y))-Y||₁

L＝λL_cons+L_adv

其中，E是计算异常块X和正常块Y分布的期望值，L_cons为循环结构的一致性损失函数，

和

分别是条纹校正网络G_C和条纹合成网络G_S的对抗损失，λ为平衡损失的参数，L是条纹校正网络和条纹合成网络的损失函数；

和

分别是判别器D_Y和D_X的损失函数。

在本实施例中，步骤S5具体包括以下步骤：

步骤S51：在给定的待修复图像I_in中，以滑动窗口的方式重叠地将待修复图的每个图像块输入到训练好的条纹校正模型中，输出校正后的图像块，并对图像块所覆盖区域的校正次数N加1；

步骤S52：将校正后的图像块合并得到合并图I_merge，按照每个区域重叠校正的次数F，对校正后的图像块间重叠的区域取均值操作，得到最终的校正结果I_out，计算公式为：

I_out＝I_merge/N。

本实施例提供的以上程序设计方案可以代码化的形式存储在计算机可读取存储介质中，并以计算机程序的方式进行实现，并通过计算机硬件输入计算所需的基本参数信息，并输出计算结果。

本领域内的技术人员应明白，本发明的实施例可提供为方法、装置、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(装置)、和计算机程序产品的流程图来描述的。应理解可由计算机程序指令实现流程图中的每一流程、以及流程图中的流程结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程图中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程中指定的功能的步骤。

以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例。但是凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。

本专利不局限于上述最佳实施方式，任何人在本专利的启示下都可以得出其它各种形式的拼接显微图像的无监督自适应条纹校正方法，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本专利的涵盖范围。

Claims (6)

1.一种拼接显微图像的无监督自适应条纹校正方法，其特征在于，包括以下步骤：

步骤S1：对带条纹的拼接显微图像进行数据预处理，根据条纹和伪影的位置对原图进行分块；利用干净的显微图像合成出条纹和伪影，根据条纹和伪影的位置对原图进行分块；

步骤S2：使用临近采样的策略，采样出足够的异常块和正常块，构造非配对的正负样本作为训练数据；

步骤S3：设计条纹校正模块、条纹合成模块，以及设计对生成结果进行评估的判别器；

步骤S4：基于步骤S2设计的模块，设计循环的对抗式训练的网络结构，并利用步骤S1获得的训练集来训练对抗式网络模型；

步骤S5：对给定的待修复图像进行从局部到整体的校正，以滑动窗口的方式重叠地将图像块输入到条纹校正模块，输出校正块；最后将所有的校正块合并，形成最终的校正结果。

2.根据权利要求1所述的一种拼接显微图像的无监督自适应条纹校正方法，其特征在于：步骤S1具体包括以下步骤：

步骤S11：根据拼接图像中水平条纹和垂直条纹的位置，将处于条纹区域的图像块采样为异常块；对于存在伪影的图像，将处于伪影区域的图像块采样为异常块；

步骤S12：按照荧光显微图像中存在的条纹，制造出模拟条纹的遮罩I_M，将干净图像中的每个视场作为I_R，将每个视场都和遮罩结合，形成条纹；按照荧光显微图像中存在的气泡伪影，制造出模拟气泡的遮罩I_M，随机选择干净图像中的部分区域图作为I_R，将该区域和遮罩结合，形成气泡；按照荧光显微图像中存在的失焦伪影，制造出模拟失焦的遮罩I_M，选择干净图像中的角落区域图作为I_R，将该区域和遮罩结合，形成失焦；具体表达式如下：

I_S＝I_R*(1-α)*I_M

其中，I_M是条纹或伪影的遮罩，I_R是干净图像中的部分图，I_S是合成出条纹或伪影的结果图，α是调整遮罩程度的参数；

按照荧光显微图像中存在的扫描伪影，制造出模拟扫描伪影的遮罩I_M，将干净图像的一半区域作为I_R，将其和遮罩结合，形成扫描伪影；具体表达式如下：

I_S＝I_R+β*I_M*255

其中，I_M是扫描伪影的遮罩，I_R是干净图像中的一半区域，I_S是合成出扫描伪影的结果图，β是调整遮罩程度的参数。

3.根据权利要求1所述的一种拼接显微图像的无监督自适应条纹校正方法，其特征在于：步骤S2具体包括以下步骤：

步骤S21：采用临近采样的策略，从临近条纹的非条纹区域采样出正常块；对于水平条纹上的异常块沿垂直方向选择离条纹最近的图像块，作为其相应的正常块；对于垂直条纹上的异常块沿水平方向选择离条纹最近的图像块，作为其相应的正常块；对于水平和垂直条纹交界处的异常块，选择离其最近的对角线上的图像块作为相应的正常块；对于伪影区域，从临近的无伪影区域进行采样，作为其对应的正常块；

步骤S22：根据步骤S21采集出足够的异常块和正常块，构造非配对的正负样本作为训练数据。

4.根据权利要求1所述的一种拼接显微图像的无监督自适应条纹校正方法，其特征在于：步骤S3具体包括以下步骤：

步骤S31：设计条纹校正网络和条纹合成网络，两个网络结构相同，是基于编码器和解码器的网络结构，分为三个阶段，由下采样层、中间层和上采样层组成；网络的输入为图像块I，输出为校正后的图像块或合成条纹的图像块

将原图像块输入到卷积层，进行图像到特征图的转换，得到C×H×W的特征图F₀，具体的表达式为：

F₀＝Conv(I)

其中，I表示输入的图像块；

第一阶段的下采样层由卷积层组成；F₀每经过一个卷积层特征图尺寸变为原来的一半，通道数变为原来的两倍，最后得到

的低层次视觉特征图F₁，计算公式如下：

F₁＝Conv(Conv(F₀)))

第二阶段的中间层由残差块ResnetBlock堆叠组成，用来提取可描述细胞组织成分的高层语义特征；残差块结构相同，由两个卷积层组成；通过堆叠的ResnetBlock来增强特征，计算公式为：

E₀＝F₁+Conv(Conv(F₁))

E₁＝E₀+Conv(Conv(E₀))

……

E₈＝E₇+Conv(Conv(E₇))

其中，E₀、E₁、...、E₈表示每个残差块的输出特征，将最后一个残差块输出的特征E₈作为中间层增强后的特征F₂；

第三阶段的上采样层由反卷积层组成，用于整合前几层提取到的特征；F₂每经过一个卷积层特征图尺寸变为原来的两倍，通道数变为原来的一半，最后得到C×H×W的特征图F₃，计算公式如下：

F₃＝ConvTranspose(ConvTranspose(F₂)))

将F₃输入到激活函数为Tanh的卷积层，完成图像到特征图的转换，重建到图像块原始的维度上，计算公式如下：

其中，

表示输出的图像块；

步骤S32：设计两个结构相同的判别器网络，由五个卷积层组成；判别器网络的输入为图像块I，经过三个卷积核为4×4，步长为2的卷积层，再经过两个卷积核为4×4，步长为1的卷积层，得到一个通道数为1的判别图，作为图像块I的评估结果。

5.根据权利要求3所述的一种拼接显微图像的无监督自适应条纹校正方法，其特征在于：步骤S4具体包括以下步骤：

步骤S41：设计循环的网络结构；记步骤S21设计的条纹校正网络和条纹合成网络分别为G_C和G_S；循环的结构由两条分支组成，分别以步骤S2中采样的异常块和正常块作为输入；第一条分支将异常块I_X输入到条纹校正网络G_C中，得到校正块I′_Y，再将其输入到条纹合成网络G_S，得到合成块I′_X；第二条分支将正常块I_Y输入到条纹合成网络G_S中，得到合成块I″_X，再将其输入到条纹校正网络G_C，得到校正块I″_Y；

步骤S42：设计对抗式训练的网络结构；记步骤S32设计的两个判别器网络分别为D_Y和D_X；判别器D_Y以正常块I_Y作为参考，评估校正块I′_Y的质量；判别器D_X以异常块I_X作为参考，评估合成块I″_X的质量；通过G_C、G_S和D_Y、D_X的生成对抗，来提高G_C的条纹校正能力和G_S的条纹合成能力；

步骤S43：根据循环的对抗式训练的网络的损失函数，利用反向传播方法计算网络中各参数的梯度，并更新参数；所述损失函数如下：

L_cons＝E_X||G_S(G_C(X))-X||₁+E_Y||G_C(G_S(Y))-Y||₁

L＝λL_cons+L_adv

其中，E是计算异常块X和正常块Y分布的期望值，L_cons为循环结构的一致性损失函数，

和

分别是条纹校正网络G_C和条纹合成网络G_S的对抗损失，λ为平衡损失的参数，L是条纹校正网络和条纹合成网络的损失函数；

和

分别是判别器D_Y和D_X的损失函数。

6.根据权利要求1所述的一种拼接显微图像的无监督自适应条纹校正方法，其特征在于：步骤S5具体包括以下步骤：

步骤S51：在给定的待修复图像I_in中，以滑动窗口的方式重叠地将待修复图的每个图像块输入到训练好的条纹校正模型中，输出校正后的图像块，并对图像块所覆盖区域的校正次数N加1；

步骤S52：将校正后的图像块合并得到合并图I_merge，按照每个区域重叠校正的次数F，对校正后的图像块间重叠的区域取均值操作，得到最终的校正结果I_out，计算公式为：

I_out＝I_merge/N。

Images