CN110415194B - 一种弓形虫高倍显微图像生成方法及系统 - Google Patents

Abstract

本发明公开一种弓形虫高倍显微图像生成方法及系统，方法包括：通过VGG网络提取低倍数显微图像的第一鉴别特征信息；将低倍数显微图像的鉴别特征信息作为输入采用循环对抗生成网络Cycle GAN生成对应的高倍数显微图像；通过VGG网络提取高倍数显微图像中的第二鉴别特征信息；基于第一鉴别特征信息和所述第二鉴别特征信息计算二者的欧氏距离；基于欧式距离对所述Cycle GAN进行训练，得到训练后的Cycle GAN；采用训练后的Cycle GAN将所述低倍数显微图像转换为高倍数显微图像。本发明中的上述方法利用低倍图像对高倍图像进行自动生成，同时在生成过程中能够保留自身鉴别信息，最大程度上重建低倍镜下的弓形虫细节，并应用于弓形虫体外观察和诊断。

Description

一种弓形虫高倍显微图像生成方法及系统

技术领域

本发明涉及图像处理领域，特别是涉及一种弓形虫高倍显微图像生成方法及系统。

背景技术

弓形虫(Toxoplasma gondii)是一种普遍存在的单细胞原生动物寄生虫，全世界三分之一的人类受到弓形虫的慢性感染，而且多数弓形虫对人类的感染是终生的，一些研究表明，由弓形虫引起的疾病已成为世界上最大的健康问题之一。然而，在1000倍显微镜下观察弓形虫需要油浸操作，操作步骤复杂，不利于观察，且落后地区缺乏相关高精度设备，无法有效观察1000倍镜下的弓形虫。而400倍镜下观察操作简单，无需油浸操作，且设备普遍，但是400倍镜下的观察弓形虫的清晰度不高。

目前，深度学习技术应用在应用在显微图像重构领域，显著提高了显微图像重构的效率，但是，现有技术中并没有人提出过针对弓形虫的高倍显微图像生成的解决方案。在对弓形虫的研究过程中，本方法主要研究利用400倍显微镜下弓形虫数据自动生成1000倍图像，进行弓形虫图像高倍重建，并提升弓形虫显微观察的清晰度，提高临床诊断的准确性。

发明内容

本发明的目的是提供一种弓形虫高倍显微图像生成方法及系统，利用低倍图像对高倍图像进行自动生成，同时在生成过程中能够保留自身鉴别信息，最大程度上重建低倍镜下的弓形虫细节。

为实现上述目的，本发明提供了如下方案：

一种弓形虫高倍显微图像生成方法，所述生成方法包括：

通过VGG网络提取低倍数显微图像的第一鉴别特征信息；

将低倍数显微图像的第一鉴别特征信息作为输入采用循环对抗生成网络CycleGAN生成对应的高倍数显微图像；所述Cycle GAN中包含两个生成器G_s2t、G_t2s和两个鉴别器D_s、D_t；

通过VGG网络提取高倍数显微图像中的第二鉴别特征信息；

基于所述第一鉴别特征信息和所述第二鉴别特征信息计算二者的欧氏距离；

基于所述欧式距离对所述Cycle GAN进行训练，得到训练后的Cycle GAN；

采用所述训练后的Cycle GAN将所述低倍数显微图像转换为高倍数显微图像。

可选的，在所述将低倍数显微图像的鉴别特征信息作为输入采用循环对抗生成网络Cycle GAN生成对应的高倍数显微图像之前还包括：

对所述Cycle GAN中的循环一致损失进行优化。

可选的，对所述Cycle GAN中的循环一致损失进行优化具体包括：

计算Cycle GAN中的循环一致损失；

对所述循环一致损失进行优化。

可选的，所述计算Cycle GAN中的循环一致损失具体采用以下公式：

其中，S表示低显微倍数图像，T表示高显微倍数图像，G_s2t、G_t2s分别两个生成器，D_s、D_t分别表示两个鉴别器。

可选的，对所述循环一致损失进行优化具体采用以下公式：

δ^(L)＝-(S-G_t2s(G_s2t(S)))⊙f'(z_{g_t2s} ^(L))

-(T-G_s2t(G_t2s(T)))⊙f'(z_{g_s2t} ^(L))

-(1-log(D_s(S))-log(1-D_s(G_t2s(G_s2t(S)))))⊙f'(z_{d_s2t} ^(L))

-(1-log(D_t(T))-log(1-D_t(G_s2t(G_t2s(T)))))⊙f'(z_{d_s2t} ^(L))

δ^(l)＝((W^(l+1))^Tδ^(l+1))⊙f'(z^(l))

其中，W^(l)表示第l-1层到l层的权重矩阵，z^(l)＝W^(l)a^(l-1)+b^(l)，z^(l)表示第l层神经元的状态，z_{g_t2s} ^(L)、z_{g_s2t} ^(L)、z_{d_t2s} ^(L)、z_{d_s2t} ^(L)分别表示在G_t2s、G_s2t、D_s、D_t网络中输出层神经元的状态，a^(l)＝f(z^(l))，a^(l)表示第l层神经元的输出值，a^(l-1)表示第l-1层神经元的输出值，S表示低显微倍数图像，T表示高显微倍数图像，G_s2t、G_t2s分别两个生成器，D_s、D_t分别表示两个鉴别器，b^(l)表示第l-1层到l层的偏置，δ^(l)表示第l层的梯度，δ^(l+1)表示第l+1层的梯度，W^(l+1)表示第l+1层的权重。

可选的，对所述循环一致损失进行优化后还包括:

对权重矩阵W^(l)和b^(l)进行更新优化，直到满足预先迭代次数，具体公式如下：

可选的，基于所述第一鉴别特征信息和所述第二鉴别特征信息计算二者的欧氏距离具体采用以下公式：

其中，n表示图片数量，C(S)表示第一鉴别特征信息，

表示第二鉴别特征信息。

可选的，所述预先迭代次数为5000次。

可选的，所述低倍数显微图像为弓形虫低倍数显微图像。

本发明另外提供一种弓形虫高倍显微图像生成系统，所述系统包括：

第一鉴别特征信息提取模块，用于通过VGG网络提取低倍数显微图像的第一鉴别特征信息；

高倍数显微图像生成模块，用于将低倍数显微图像的第一鉴别特征信息作为输入采用循环对抗生成网络Cycle GAN生成对应的高倍数显微图像；所述Cycle GAN中包含两个生成器G_s2t、G_t2s和两个鉴别器D_s、D_t；

第二鉴别特征信息提取模块，用于通过VGG网络提取高倍数显微图像中的第二鉴别特征信息；

欧氏距离计算模块，用于基于所述第一鉴别特征信息和所述第二鉴别特征信息计算二者的欧氏距离；

训练模块，用于基于所述欧式距离对所述Cycle GAN进行训练，得到训练后的Cycle GAN；

转换模块，用于采用所述训练后的Cycle GAN将所述低倍数显微图像转换为高倍数显微图像。

根据本发明提供的具体实施例，本发明公开了以下技术效果：

本发明中的上述方法及系统先使用VGG网络(Visual Geometry Group Network)提取低倍数显微图像的鉴别特征信息。随后将此低倍数显微图像使用循环生成对抗网络(Cycle Generative Adversarial Networks,Cycle GAN)生成对应的高倍数显微图像，再使用相同的VGG网络对高倍数显微图像提取鉴别特征，最后Cycle GAN中的鉴别损失、生成损失和针对鉴别特征的鉴别损失对网络进行联合优化。本发明对于处理低倍显微镜下模糊图像的重建，生成高倍数的镜下效果，使用Cycle GAN对图像数据进行风格转换，同时用鉴别信息保留项避免损失图像生成过程中的鉴别信息，这使得本发明中的上述方法不仅利用低倍图像可以对高倍图像进行自动生成，同时在生成过程中能够保留自身鉴别信息，最大程度上重建低倍镜下的弓形虫细节。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例弓形虫高倍显微图像生成方法流程图；

图2为本发明实施例Cycle GAN结构示意图；

图3为本发明实施例400倍镜下弓形虫形态图；

图4为本发明实施例1000倍镜下弓形虫形态图；

图5为本发明实施例弓形虫高倍显微图像生成系统结构示意图；

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的是提供一种弓形虫高倍显微图像生成方法及系统，利用低倍图像对高倍图像进行自动生成，同时在生成过程中能够保留自身鉴别信息，最大程度上重建低倍镜下的弓形虫细节。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

本发明先使用VGG网络(Visual Geometry Group Network)提取低倍数显微图像的鉴别特征信息。随后将此低倍数显微图像使用循环生成对抗网络(Cycle GenerativeAdversarial Networks,Cycle GAN)生成对应的高倍数显微图像，再使用相同的VGG网络对高倍数显微图像提取鉴别特征，最后Cycle GAN中的鉴别损失、生成损失和针对鉴别特征的鉴别损失对网络进行联合优化。本发明对于处理低倍显微镜下模糊图像的重建，生成高倍数的镜下效果。

本发明在DCGAN中有个三项关键约束，通过他们的共同作用，来确保最后清晰的高倍图像重建效果。约束一是通过优化Cycle GAN中的循环一致损失(Cycle ConsistencyLoss)来使低显微倍数图像生成相应的高真实性的高显微倍数图像。约束二是先将源域中的图片S(即低显微倍数图像)经过VGG-16网络得到其特征x_s，并将其对应生成的图像

(即高显微倍数图像)经过相同的VGG-16网络得到其特征

最后通过计算并最小化二者之间的欧氏距离

来使新生成的高显微倍数图像

尽可能的保留原始低显微倍数图像S的鉴别信息，减少对原始图像S中鉴别信息的损失，对目标域中的图像T同样有此约束，其通过生成器转变为低倍图像

对原图和生成图的特征x_t和

需要最小化两者距离

从而最大网络生成图像的鉴别信息保留程度。约束三是利用生成对抗网络的思想对生成的高(低)倍图像进行生成对抗训练，提升模型的生成效果。

图1为本发明实施例弓形虫高倍显微图像生成方法流程图，如图1所示，所述方法包括：

步骤101：通过VGG网络提取低倍数显微图像的第一鉴别特征信息。

具体的，本发明中的低倍数显微图像为弓形虫低倍数显微图像。

步骤102：将低倍数显微图像的第一鉴别特征信息作为输入采用循环对抗生成网络Cycle GAN生成对应的高倍数显微图像；所述Cycle GAN中包含两个生成器G_s2t、G_t2s和两个鉴别器D_s、D_t。

Cycle GAN融合了两个GAN，两个GAN网络互为镜像并构成了一个环形网络，在Cycle GAN中有两个生成器G_s2t、G_t2s和两个鉴别器D_s、D_t，G_s2t负责将低显微倍数图像S向着高显微倍数方向生成对应图片。G_t2s负责将高显微倍数图像T向着低显微倍数方向生成对应图片。其主要的网络流程为：一循环是先将低显微倍数图像S通过G_s2t生成

经过D_t鉴别之后，再将

通过G_t2s生成S，随后经过D_s鉴别。另一循环是先将高显微倍数图像T通过G_t2s生成

经过D_s鉴别之后，再将

通过G_s2t生成T，随后经过D_t鉴别。其Cycle GAN结构如图2所示。

步骤103：通过VGG网络提取高倍数显微图像中的第二鉴别特征信息。

步骤104：基于所述第一鉴别特征信息和所述第二鉴别特征信息计算二者的欧氏距离。

具体采用以下公式：

其中，n表示图片数量，C(S)表示第一鉴别特征，

表示第二鉴别特征。

步骤105：基于所述欧式距离对所述Cycle GAN进行训练，得到训练后的CycleGAN。

步骤106：采用所述训练后的Cycle GAN将所述低倍数显微图像转换为高倍数显微图像。

具体的，在所述将低倍数显微图像的鉴别特征信息作为输入采用循环对抗生成网络Cycle GAN生成对应的高倍数显微图像之前还包括：

对所述Cycle GAN中的循环一致损失进行优化。

其中，对所述Cycle GAN中的循环一致损失进行优化具体包括：

计算Cycle GAN中的循环一致损失；

对所述循环一致损失进行优化。

所述计算Cycle GAN中的循环一致损失具体采用以下公式：

其中，S表示低显微倍数图像，T表示高显微倍数图像，G_s2t、G_t2s分别两个生成器，D_s、D_t分别表示两个鉴别器。

对所述循环一致损失进行优化具体采用以下公式：

δ^(L)＝-(S-G_t2s(G_s2t(S)))⊙f'(z_{g_t2s} ^(L))

-(T-G_s2t(G_t2s(T)))⊙f'(z_{g_s2t} ^(L))

-(1-log(D_s(S))-log(1-D_s(G_t2s(G_s2t(S)))))⊙f'(z_{d_s2t} ^(L))

-(1-log(D_t(T))-log(1-D_t(G_s2t(G_t2s(T)))))⊙f'(z_{d_s2t} ^(L))

δ^(l)＝((W^(l+1))^Tδ^(l+1))⊙f'(z^(l))

其中，W^(l)表示第l-1层到l层的权重矩阵，z^(l)＝W^(l)a^(l-1)+b^(l)，z^(l)表示第l层神经元的状态，z_{g_t2s} ^(L)、z_{g_s2t} ^(L)、z_{d_t2s} ^(L)、z_{d_s2t} ^(L)分别表示在G_t2s、G_s2t、D_s、D_t网络中输出层神经元的状态，a^(l)＝f(z^(l))，a^(l)表示第l层神经元的输出值，a^(l-1)表示第l-1层神经元的输出值，S表示低显微倍数图像，T表示高显微倍数图像，G_s2t、G_t2s分别两个生成器，D_s、D_t分别表示两个鉴别器，b^(l)表示第l-1层到l层的偏置，δ^(l)表示第l层的梯度，δ^(l+1)表示第l+1层的梯度，W^(l+1)表示第l+1层的权重。

具体的，对所述循环一致损失进行优化后还包括:

对权重矩阵W^(l)和b^(l)进行更新优化，直到满足预先迭代次数，具体公式如下：

其中，所述预先迭代次数为5000次。

在具体应用时：

从不与Cycle GAN训练重叠的低倍数显微图像训练数据级中，抽取一批训练样本。用S＝{s₁,s₂,...,s_K,...,s_N}表示抽取到并经过预处理的图像训练数据集，其中N表示训练数据集S含有数据的总数，即图片数量，s_i,i∈{1,2,...,N}表示S中第i个数据样本。使用C_s从S中提取特征，得到对应的特征空间C_s(S)＝{C_s(s₁),...,C_s(s_k),...,C_s(s_n)}，其中C_s(s_i),i＝1,2,...,n表示从第i个数据样本中提取出的特征。随后将S通过Cycle GAN获取

即原图像S对应的高显微倍数图像。其中n表示

集含数据的总数，即图片数量，

表示

中第i个数据样本。使用C_t从

中提取特征，得到对应的特征空间

其中

表示从

第i个数据样本中提取出的特征。对于采集数据，可以包含任何已知且合理的数据采集方法。对于数据预处理，可以包含但不限于裁剪、降噪、灰度处理以及数据增强等任何已知且合理的图像预处理方法。本发明可以包含多种或不包含以上说明中涵盖的数据预处理方法。

将C_s(S)与

对应的计算两者之间的欧氏距离

公式如下：

此公式用来作为鉴别损失。通过对其的优化，使新生成的高显微倍数图像

尽可能的保留原始低显微倍数图像S的信息，减少对原始图像S信息的缺失，从而增加网络生成的高显微倍数图像的信息准确度。

最后，将需要处理的低显微倍数图片x输入生成器G_s2t便可得到高显微倍数图像y。效果图见图3中的(a)部分、(b)部分，以及图4。

图5为本发明实施例弓形虫高倍显微图像生成系统结构示意图，如图5所示，所述系统包括：

第一鉴别特征信息提取模块201，用于通过VGG网络提取低倍数显微图像的第一鉴别特征信息；

高倍数显微图像生成模块202，用于将低倍数显微图像的鉴别特征信息作为输入采用循环对抗生成网络Cycle GAN生成对应的高倍数显微图像；所述Cycle GAN中包含两个生成器G_s2t、G_t2s和两个鉴别器D_s、D_t；

第二鉴别特征信息提取模块203，用于通过VGG网络提取高倍数显微图像中的第二鉴别特征信息；

欧氏距离计算模块204，用于基于所述第一鉴别特征信息和所述第二鉴别特征信息计算二者的欧氏距离；

训练模块205，用于基于所述欧式距离对所述Cycle GAN进行训练，得到训练后的Cycle GAN；

转换模块206，用于采用所述训练后的Cycle GAN将所述低倍数显微图像转换为高倍数显微图像。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (7)

1.一种弓形虫高倍显微图像生成方法，其特征在于，所述生成方法包括：

通过VGG网络提取低倍数显微图像的第一鉴别特征信息；

对Cycle GAN中的循环一致损失进行优化，具体包括：

计算Cycle GAN中的循环一致损失；

对所述循环一致损失进行优化，具体采用以下公式：

δ^(L)＝-(S-G_t2s(G_s2t(S)))⊙f′(z_{g_t2s} ^(L)) -(T-G_s2t(G_t2s(T)))⊙f′(z_{g_s2t} ^(L))-(1-log(D_s(S))-log(1-D_s(G_t2s(G_s2t(S)))))⊙f′(z_{d_s2t} ^(L))-(1-log(D_t(T))-log(1-D_t(G_s2t(G_t2s(T)))))⊙f′(z_{d_s2t} ^(L))

δ^(l)＝((W^(l+1))^Tδ^(l+1))⊙f′(z^(l))

其中，W^(l)表示第l-1层到l层的权重矩阵，z^(l)＝W^(l)a^(l-1)+b^(l)，z^(l)表示第l层神经元的状态，z_{g_t2s} ^(L)、z_{g_s2t} ^(L)、z_{d_t2s} ^(L)、z_{d_s2t} ^(L)分别表示在G_t2s、G_s2t、D_s、D_t网络中输出层神经元的状态，L表示网络的输出层，l＝1，2，...，L，a^(l)＝f(z^(l))，a^(l)表示第l层神经元的输出值，a^(l-1)表示第l-1层神经元的输出值，S表示低显微倍数图像，T表示高显微倍数图像，G_s2t、G_t2s分别表示两个生成器，D_s、D_t分别表示两个鉴别器，b^(l)表示第l-1层到l层的偏置，δ^(l)表示第l层的梯度，δ^(l+1)表示第l+1层的梯度，δ^(L)表示第L层的梯度，W^(l+1)表示第l+1层的权重；

将低倍数显微图像的第一鉴别特征信息作为输入采用循环对抗生成网络Cycle GAN生成对应的高倍数显微图像；所述Cycle GAN中包含两个生成器G_s2t、G_t2s和两个鉴别器D_s、D_t；

通过VGG网络提取高倍数显微图像中的第二鉴别特征信息；

基于所述第一鉴别特征信息和所述第二鉴别特征信息计算二者的欧氏距离；

基于所述欧氏 距离对所述Cycle GAN进行训练，得到训练后的Cycle GAN；

采用所述训练后的Cycle GAN将所述低倍数显微图像转换为高倍数显微图像。

2.根据权利要求1所述的弓形虫高倍显微图像生成方法，其特征在于，所述计算CycleGAN中的循环一致损失具体采用以下公式：

其中，S表示低显微倍数图像，T表示高显微倍数图像，G_s2t、G_t2s分别表示两个生成器，D_s、D_t分别表示两个鉴别器。

3.根据权利要求1所述的弓形虫高倍显微图像生成方法，其特征在于，对所述循环一致损失进行优化后还包括:

对权重矩阵W^(l)和b^(l)进行更新优化，直到满足预先迭代次数，具体公式如下：

其中μ表示学习率，N表示训练样本的个数。

4.根据权利要求1所述的弓形虫高倍显微图像生成方法，其特征在于，基于所述第一鉴别特征信息和所述第二鉴别特征信息计算二者的欧氏距离具体采用以下公式：

其中，n表示图片数量，C(S)表示第一鉴别特征信息，

表示第二鉴别特征信息。

5.根据权利要求3所述的弓形虫高倍显微图像生成方法，其特征在于，所述预先迭代次数为5000次。

6.根据权利要求1所述的弓形虫高倍显微图像生成方法，其特征在于，所述方法用于弓形虫显微观察。

7.一种弓形虫高倍显微图像生成系统，其特征在于，所述系统包括：

第一鉴别特征信息提取模块，用于通过VGG网络提取低倍数显微图像的第一鉴别特征信息；

高倍数显微图像生成模块，用于对Cycle GAN中的循环一致损失进行优化，并将低倍数显微图像的第一鉴别特征信息作为输入采用循环对抗生成网络Cycle GAN生成对应的高倍数显微图像；所述Cycle GAN中包含两个生成器G_s2t、G_t2s和两个鉴别器D_s、D_t；对所述CycleGAN中的循环一致损失进行优化，具体包括：

计算Cycle GAN中的循环一致损失；

对所述循环一致损失进行优化，具体采用以下公式：

δ^(L)＝-(S-G_t2s(G_s2t(S)))⊙f′(z_{g_t2s} ^(L))-(T-G_s2t(G_t2s(T)))⊙f′(z_{g_s2t} ^(L))-(1-log(D_s(S))-log(1-D_s(G_t2s(G_s2t(S)))))⊙f′(z_{d_s2t} ^(L))-(1-log(D_t(T))-log(1-D_t(G_s2t(G_t2s(T)))))⊙f′(z_{d_s2t} ^(L))

δ^(l)＝((W^(l+1))^Tδ^(l+1))⊙f′(z^(l))

其中，W^(l)表示第l-1层到l层的权重矩阵，z^(l)＝W^(l)a^(l-1)+b^(l)，z^(l)表示第l层神经元的状态，z_{g_t2s} ^(L)、z_{g_s2t} ^(L)、z_{d_t2s} ^(L)、z_{d_s2t} ^(L)分别表示在G_t2s、G_s2t、D_s、D_t网络中输出层神经元的状态，L代表网络的输出层，l＝1，2，...，L，a^(l)＝f(z^(l))，a^(l)表示第l层神经元的输出值，a^(l-1)表示第l-1层神经元的输出值，S表示低显微倍数图像，T表示高显微倍数图像，G_s2t、G_t2s分别表示两个生成器，D_s、D_t分别表示两个鉴别器，b^(l)表示第l-1层到l层的偏置，δ^(l)表示第l层的梯度，δ^(l+1)表示第l+1层的梯度，δ^(L)表示第L层的梯度，W^(l+1)表示第l+1层的权重；

第二鉴别特征信息提取模块，用于通过VGG网络提取高倍数显微图像中的第二鉴别特征信息；

欧氏距离计算模块，用于基于所述第一鉴别特征信息和所述第二鉴别特征信息计算二者的欧氏距离；

训练模块，用于基于所述欧氏 距离对所述Cycle GAN进行训练，得到训练后的CycleGAN；

转换模块，用于采用所述训练后的Cycle GAN将所述低倍数显微图像转换为高倍数显微图像。

Images