CN109919831B - 一种用于将视网膜眼底图像在不同图像域中迁移的方法、电子设备及计算机可读存储介质 - Google Patents

Abstract

本发明实施例涉及一种用于将视网膜眼底图像在不同图像域中迁移的方法、电子设备及计算机可读存储介质。方法包括：获取被表示在第一图像域中、待被迁移到第二图像域的眼底图像，第一图像域与第二图像域具有不同的成像参数；以及将眼底图像输入循环生成对抗网络的一生成器，以生成被表示在第二图像域中的目标图像，循环生成对抗网络由镜像对称的两个生成对抗网络组合形成并且生成器为两个生成对抗网络经对抗训练而得到的最优生成器。本发明实施例还提供构建循环生成对抗网络以及优化其生成器和鉴别器的方案。通过本发明实施例，实现了不同眼底相机设备采集的眼底图像之间的整体轮廓风格迁移。

Description

一种用于将视网膜眼底图像在不同图像域中迁移的方法、电 子设备及计算机可读存储介质

技术领域

本发明总体上涉及眼底图像处理领域，具体涉及一种用于将视网膜眼底图像在不同图像域中迁移的方法、电子设备及计算机可读存储介质。

背景技术

视网膜眼底图像被眼科医生广泛地用于糖尿病视网膜病变、老年性黄斑变性和青光眼等常见视网膜疾病的早期检测和诊断。随着科学技术的迅速发展，基于视网膜图像的自动化分析越来越成为早期发现眼科疾病的重要筛选工具。在自动化眼底疾病筛查算法中，眼底图像中病灶区域的标注对自动化筛查算法的实现具有重要意义。然而，目前的视网膜疾病筛查算法所用的眼底图像基本上是基于台式眼底图像进行的标注。传统的台式眼底相机体积庞大、结构复杂且价格昂贵，要求病人直立端坐，这对于卧床不起以及偏远地区的病人来说是非常困难的。

近年来，手持式眼底相机因其轻巧便携、价格低廉等优势而迅速获得医生和家庭的青睐。但是由于手持式设备缺少专业的标注数据、图像数据量较少，并且手持式眼底图像和台式眼底图像在亮度、颜色、模糊程度等各方面成像较大的差异，使得基于手持式眼底图像的自动化疾病筛查系统目前难以实现。所期望的是，提供一种能够使得视网膜眼底图像在不同眼底设备之间风格迁移的方案。

发明内容

针对上述问题，本发明的实施例提供一种用于将视网膜眼底图像在不同图像域中迁移的方法、电子设备及计算机可读存储介质，实现了视网膜眼底图像在不同眼底设备之间风格迁移。

在本发明的第一方面，提供一种用于将视网膜眼底图像在不同图像域中迁移的方法。该方法包括：获取被表示在第一图像域中、待被迁移到第二图像域的眼底图像，第一图像域与第二图像域具有不同的成像参数；以及将眼底图像输入循环生成对抗网络的一生成器，以生成被表示在第二图像域中的目标图像，循环生成对抗网络由镜像对称的两个生成对抗网络组合形成并且生成器为两个生成对抗网络经对抗训练而得到的最优生成器。

在某些实施例中，方法还包括：构建循环生成对抗网络，循环生成对抗网络包括第一生成器和第二生成器以及第一鉴别器和第二鉴别器；接收训练图像集，训练图像集包括被表示在第一图像域中的第一眼底图像集和被表示在第二图像域中的第二眼底图像集；以及利用两个生成对抗网络和用于对眼底图像分割视杯视盘的目标检测器，对第一眼底图像集和第二眼底图像集进行处理，以优化第一生成器、第二生成器、第一鉴别器和第二鉴别器。

在某些实施例中，对第一眼底图像集和第二眼底图像集进行处理包括：将第一眼底图像集中的第一眼底图像输入由第一生成器、第二生成器和第一鉴别器构成的第一生成对抗网络以对第一眼底图像进行处理，并且将第二眼底图像集中的第二眼底图像输入由第二生成器、第一生成器和第二鉴别器构成的第二生成对抗网络以对第二眼底图像进行处理；计算第一生成对抗网络的第一鉴别器损失函数和第一生成器损失函数以及第二生成对抗网络的第二鉴别器损失函数和第二生成器损失函数；以及基于第一鉴别器损失函数和第一生成器损失函数以及第二鉴别器损失函数和第二生成器损失函数，调整第一生成器、第二生成器、第一鉴别器和第二鉴别器的参数。

在某些实施例中，将第一眼底图像输入第一生成对抗网络进行处理包括：通过第一生成器将第一眼底图像转换为第一目标图像，第一目标图像为第一眼底图像在第二图像域中的表示；通过第二生成器将第一目标图像转换为第一重构图像，第一重构图像为第一目标图像在第一图像域中的表示；以及通过第一鉴别器对第一目标图像和第二眼底图像进行鉴别，以判断第一目标图像是否被真实表示在第二图像域中。

在某些实施例中，将第二眼底图像输入第二生成对抗网络进行处理包括：通过第二生成器将第二眼底图像转换为第二目标图像，第二目标图像为第二眼底图像在第一图像域中的表示；通过第一生成器将第二目标图像转换为第二重构图像，第二重构图像为第二目标图像在第二图像域中的表示；以及通过第二鉴别器对第二目标图像和第一眼底图像进行鉴别，以判断第二目标图像是否被真实表示在第一图像域中。

在某些实施例中，调整第一生成器、第二生成器、第一鉴别器和第二鉴别器的参数包括：调整第一生成器、第二生成器、第一鉴别器和第二鉴别器的参数，使得最大化第一鉴别器损失函数和第二鉴别器损失函数以及最小化第一生成器损失函数和第二生成器损失函数。

在某些实施例中，对第一眼底图像集和第二眼底图像集进行处理还包括：将第一眼底图像和第一目标图像分别输入用于分割视杯视盘的目标检测器，以分别相应地得到第一分割掩模和第二分割掩模；基于第一分割掩模和第二分割掩模，计算第一分割损失函数；将第二眼底图像和第二目标图像分别输入目标检测器，以分别相应地得到第三分割掩模和第四分割掩模；以及基于第三分割掩模和第四分割掩模，计算第二分割损失函数。

在某些实施例中，调整第一生成器、第二生成器、第一鉴别器和第二鉴别器的参数包括：调整第一生成器、第二生成器、第一鉴别器和第二鉴别器的参数，使得最大化第一鉴别器损失函数和第二鉴别器损失函数以及最小化第一生成器损失函数、第二生成器损失函数、第一分割损失函数和第二分割损失函数。

在某些实施例中，计算第一生成器损失函数以及第二生成器损失函数包括：根据下式计算第一生成器损失函数L_cyc1，

L_cyc1(G_AB，G_BA，A)＝E_A～source[||A-G_BA(G_AB(A))||_l]

并且根据下式计算第二生成器损失函数L_cyc2，

L_cyc2(G_BA，G_AB，B)＝E_B～target[||B-G_AB(G_BA(B))||_l]

其中A表示第一眼底图像，B表示第二眼底图像，G_AB表示第一生成器，G_BA表示第二生成器，E_A～source表示关于第一图像域的期望函数，E_B～target表示关于第二图像域的期望函数，并且通过l范数限制第一重构图像与第一眼底图像尽可能相似以及第二重构图像与第二眼底图像尽可能相似。

在本发明的第二方面，提供一种电子设备，包括：处理器；以及存储有指令的存储器，指令在被处理器执行时促使设备执行动作，动作包括根据本发明第一方面所描述的操作。

在本发明的第三方面，提供一种计算机可读存储介质，其存储有机器可读的指令，指令在由机器执行时使得机器执行根据本发明第一方面所描述的方法。

本发明的实施例提出的用于将视网膜眼底图像在不同图像域中迁移的方案，基于循环生成对抗网络和分割网络相结合而进行风格迁移，能够有效地生成不同风格的眼底图像。

附图说明

图1示出根据本发明的一个实施例的眼底图像风格迁移单向生成对抗网络结构的示意图；

图2示出根据本发明的一个实施例的眼底图像风格迁移循环生成对抗网络结构的示意图；

图3示出根据本发明的一个实施例的M-Net网络分割视杯视盘过程的示意图；

图4示出根据本发明的一个实施例的用于将视网膜眼底图像在不同图像域中迁移的方法的流程图；

图5示出根据本发明的一个实施例的优化循环生成对抗网络以用于将视网膜眼底图像在不同图像域中迁移的过程的流程图；以及

图6示出适合实现本发明的实施例的电子设备的方框图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。但本领域技术人员知晓，本发明并不局限于附图和以下实施例。

如本文中所述，术语“包括”及其各种变体可以被理解为开放式术语，其意味着“包括但不限于”。术语“基于”可以被理解为“至少部分地基于”。术语“一个实施例”可以被理解为“至少一个实施例”。术语“另一实施例”可以被理解为“至少一个其它实施例”。

如前所述，当前视网膜眼底图像可以由不同的眼底成像设备(例如眼底相机)而生成，不同眼底成像设备所生成的眼底图像在亮度、颜色、模糊程度等各方面存在较大的成像差异，本文中将这种差异称之为风格差异，由不同眼底成像设备所生成的眼底图像称之为相应的不同图像域中的眼底图像。

在糖尿病视网膜病变、老年性黄斑变性和青光眼等常见视网膜疾病的早期检测和诊断应用中，存在将某一风格或某一域的眼底图像转换为另一风格的眼底图像的需求，从而为诸如图像标注等操作提供基础。

本发明实施例提供将视网膜眼底图像在不同图像域中迁移的技术方案，考虑采用循环生成对抗网络作为基础迁移结构，并进一步通过考虑杯盘分割损失函数，使得风格迁移生成更为真实的眼底图像，以有效满足上述需求，进而使得基于例如手持式眼底图像的自动化疾病筛查系统得以实现。

下面结合附图对本发明实施例作进一步描述。本发明实施例提出的循环生成对抗网络由两个镜像对称的生成对抗网络组合形成的环形神经网络，包含两个生成器G_AB,G_BA和两个鉴别器D_A,D_B。图1示出了根据本发明的一个实施例的眼底图像风格迁移单向生成对抗网络结构100的示意图。

在本实施例中，从由例如台式眼底相机采集的真实图像110(记为源域或第一图像域的眼底图像A)转换为例如手持式相机采集的眼底图像130(目标域或第二图像域)。这一过程的实现需要利用两个生成器(G_AB和G_BA)进行源域和目标域的相互转换，其中，真实的源域图像110经过生成器G_AB120生成类似目标域的图像130,表示为G_AB(A)。为了使生成的目标域图像G_AB(A)在风格上尽可能与真实的目标域图像150(记为目标域或第二图像域的眼底图像B)相似，网络中的鉴别器D_B160被用于鉴别生成数据的真假，其尝试或期望分辨出输入源是生成器生成的数据还是目标域真实的数据，输出判决结果170。

对应的鉴别器损失函数可表示为：

L_GAN1(G_AB，D_B，A，B)＝E_B～target[D_B(B)]+E_A～source[(1-D_B(G_AB(A)))] (1)

其中E表示关于相应图像域的期望函数。通过寻求该损失函数的最大值来训练获得鉴别器D_B的最优参数值。同时，为了使生成的目标域图像G_AB(A)在结构上尽可能保持与真实的源域图像110一致，生成器G_BA被用于获得循环重构的源域图像180，表示为G_BA(G_AB(A))。

由此，网络生成器对应的损失函数可表示为：

L_cyc1(G_AB，G_BA，A)＝E_A～source[||A-G_BA(G_AB(A))||_l] (2)

其中||||_l表示l范数，即通过l范数来限制经由生成器G_AB和G_BA循环重构的图像与源域图像尽可能相似。

基于上述的单向生成对抗网络结构，图2示出了根据本发明的一个实施例的眼底图像风格迁移循环生成对抗网络结构200的示意图，其包含从源域眼底图像A风格迁移为目标域眼底图像B的网络架构，以及从目标域风格迁移为源域的网络架构，其中两个单向生成对抗网络共用两个生成器G_AB，G_BA和两个鉴别器D_A，D_B，其网络架构分别与网络100类似。

如图所示，在从A到B风格迁移的网络架构中，眼底图像A 201经过生成器G_AB203生成类似目标域B域的图像205，即图像A的目标图像。同时，图像A的目标图像205经过生成器G_BA207生成图像A的重构图像209，并且图像A的目标图像205与眼底图像B 221输入到鉴别器D_B211，得到判决结果213。判决结果213可以表征鉴别器211判定输入的图像是否为目标域真实数据，在理想的平衡状态中，鉴别器总是不确定其输入是否是真实的，此时判决值可以大约为0.5。

另一方面，在从B到A风格迁移的网络架构中，眼底图像B 221经过生成器G_BA207生成类似目标域A域的图像223，即图像B的目标图像。同时，图像B的目标图像223经过生成器G_AB203生成图像B的重构图像225，并且图像B的目标图像223与眼底图像A 201输入到鉴别器D_A227，得到判决结果229。

因而，同理对于从目标域B风格转换为源域A，其鉴别器损失函数L_GAN2和生成器损失函数L_cyc2可分别表示为如下：

L_GAN2(G_BA，D_A，B，A)＝E_A～source[D_A(A)]+E_B～target[(1-D_A(G_BA(B)))] (3)

L_cyc2(G_BA，G_AB，B)＝E_B～target[||B-G_AB(G_BA(B))||_l] (4)

最后循环生成对抗网络的损失函数可由两个鉴别器以及两个生成器的损失函数相加获得，表示为下式：

L_GAN(G_AB，G_BA，D_A，D_B)＝L_GAN1(G_AB，D_B，A，B)

+L_GAN2(G_BA，D_A，B，A)

+L_cyc1(G_AB，G_BA，A)

+L_cyc2(G_BA，G_AB，B) (5)

在训练过程中，不断地优化两个生成器和两个鉴别器的参数，使得鉴别器损失函数L_GAN1和L_GAN2分别找到最大值，同时生成器损失函数L_cyc1和L_cyc2分别找到最小值。在此基础上，可以实现不同眼底相机设备采集的数据之间的整体轮廓风格迁移。

发明人进一步注意到，采用上述的循环生成对抗网络能实现整体轮廓上的风格迁移，但其可能会导致一些细节信息的失真，例如，生成的眼底图中的杯盘区域与源域的图像出现较大偏差。由于视网膜眼底图中的视杯视盘信息为青光眼等的诊断提供极其重要的信息，一旦生成的眼底图与源域眼底出现偏差直接会导致标注无法使用，这样的风格迁移即失去意义。

本发明实施例进一步提出利用分割视杯视盘的分割结果作为损失函数，并将其用于对生成的眼底图像加以限制。在一个实施例中，采用M_Net分割网络对眼底图像进行视杯视盘分割。图3示出了根据本发明的一个实施例的M-Net网络分割视杯视盘过程300的示意图。视网膜眼底图像经过M-Net分割后，可以得到相应的视杯和视盘。

根据本发明的实施例，循环生成对抗网络在生成眼底图像后，将生成的眼底图像和源域的眼底图像分别送入M_Net分割网络，两者的分割掩模计算损失函数进而来对生成网络加以限制，使得生成网络能够生成逼近真实的图像。

M_Net杯盘分割损失函数可以表示如下：

L_disc(G_AB，G_BA，A，B)＝L_MSE(M(G_AB(A))，M(A))+L_MSE(M(G_BA(B))，M(B)) (6)

其中M()表示M_net网络生成的分割掩模，L_MSE表示均方误差MSE回归损失函数。上式右边分别表示由域A生成域B和域B生成域A的损失函数。

作为示例，在图2所示的循环生成对抗网络结构200中，将眼底图像A 201和生成的图像A的目标图像205分别输入M_Net分割网络，可以得到两者的分割掩模。另一方面，将眼底图像B 221和生成的图像B的目标图像223分别输入M_Net分割网络，可以得到两者的分割掩模。之后，根据上述式(6)可以得到M_Net杯盘分割损失函数。

由此，循环生成对抗网络可以进一步地由上式(6)对生成的眼底图像加以限制。换言之，循环生成对抗网络的损失函数式(5)进一步地可以表示为L_GAN(G_AB，G_BA，D_A，D_B)＝L_GAN1(G_AB，D_B，A，B)

+L_GAN2(G_BA，D_A，B，A)

+L_cyc1(G_AB，G_BA，A)

+L_cyc2(G_BA，G_AB，B)

+L_disc(G_AB，G_BA,A,B) (7)

在训练过程中，不断地优化两个生成器和两个鉴别器的参数，使得鉴别器损失函数L_GAN1和L_GAN2分别找到最大值，同时生成器损失函数L_cyc1和L_cyc2以及杯盘分割损失函数L_disc分别找到最小值。在此基础上，可以实现不同眼底相机设备采集的数据之间的整体轮廓风格迁移并且使得生成网络能够生成逼近真实的图像。

可以理解，本发明并不限于使用M_Net分割网络来分割视杯视盘，可以利用其他目标检测的方法分割视杯视盘，例如fast-rcnn方法等。

结合上述描述，图4示出了根据本发明的一个实施例的用于将视网膜眼底图像在不同图像域中迁移的方法400的流程图，方法400可以在任何能够执行图像处理的电子设备处实现。

在410，获取被表示在第一图像域中、待被迁移到第二图像域的眼底图像。如前所述，第一图像域与第二图像域具有不同的成像参数。该眼底图像可以是台式视网膜眼底图像，希望被迁移到另一台式视网膜眼底图像或手持式视网膜眼底图像，或者是手持式视网膜眼底图像，希望被迁移到台式视网膜眼底图像或另一手持式视网膜眼底图像。

在420，将眼底图像输入循环生成对抗网络的一生成器，以生成被表示在第二图像域中的目标图像。循环生成对抗网络由镜像对称的两个生成对抗网络组合形成并且生成器为两个生成对抗网络经对抗训练而得到的最优生成器。

在一个实施例中，循环生成对抗网络如网络结构200所示，其是由两个镜像对称的生成对抗网络组合形成的环形神经网络，包括第一生成器和第二生成器以及第一鉴别器和第二鉴别器。当需要进行视网膜眼底图像整体轮廓上的风格迁移时，可以将某一图像域的眼底图像输入到循环生成对抗网络，从而得到转换后的另一图像域中的眼底图像。例如，对于源域为台式眼底图像A，通过如上所构建和优化的生成器G_AB，将得到被表示在目标域为手持式眼底图像域中的眼底图像。或者，对于源域为手持式眼底图像B，通过如上所构建和优化的生成器G_BA，将得到被表示在目标域为台式眼底图像域中的眼底图像。

根据本发明的实施例，方法400还包括创建循环生成对抗网络以及训练得到最优生成器和最优鉴别器的过程。图5示出了根据本发明的一个实施例的优化循环生成对抗网络以用于将视网膜眼底图像在不同图像域中迁移的过程500的流程图。

在510，构建包括第一生成器和第二生成器以及第一鉴别器和第二鉴别器的循环生成对抗网络。然后，在520，接收训练图像集，训练图像集包括被表示在第一图像域中的第一眼底图像集和被表示在第二图像域中的第二眼底图像集。

根据本发明的实施例，用于构建循环生成对抗网络以用于不同风格视网膜眼底图像之间迁移或转换的训练图像集包括不同图像域的真实图像。作为示例，第一图像域中的眼底图像可以是台式眼底相机成像的眼底图像，第二图像域中的眼底图像可以是手持式眼底相机或者另一台式眼底相机成像的眼底图像。

在530，利用两个生成对抗网络和用于对眼底图像分割视杯视盘的目标检测器，对第一眼底图像集和第二眼底图像集进行处理，以优化第一生成器、第二生成器、第一鉴别器和第二鉴别器。

在该步骤中，可以将第一眼底图像集中的第一眼底图像输入由第一生成器、第二生成器和第一鉴别器构成的第一生成对抗网络进行处理，并且将第二眼底图像集中的第二眼底图像输入由第二生成器、第一生成器和第二鉴别器构成的第二生成对抗网络进行处理。

具体而言，通过第一生成器将第一眼底图像转换为第一目标图像，第一目标图像为第一眼底图像在第二图像域中的表示。在一个实施例中，源域的眼底图像A经过生成器GAB生成类似目标域的图像，即图像A的目标图像，该目标图像为眼底图像A在目标域中的表示。

接着，通过第二生成器将第一目标图像转换为第一重构图像，第一重构图像为第一目标图像在第一图像域中的表示。在一个实施例中，将得到的图像A的目标图像经过生成器GAB生成图像A的重构图像，该重构图像为图像A的目标图像在源域中的表示。

然后,将第一目标图像和第二眼底图像输入第一鉴别器，以判断第一目标图像是否被真实表示在第二图像域中。在一个实施例中，图像A的目标图像与眼底图像B被输入到鉴别器D_B，得到判决结果。该判决结果可以表征鉴别器D_B判定输入的图像是否为目标域真实数据。

根据本发明的实施例，类似地针对镜像的相应单向生成对抗网络执行操作。在一个实施例中，通过上述第二生成器将上述第二眼底图像转换为第二目标图像，第二目标图像为第二眼底图像在第一图像域中的表示。接着，通过第一生成器将第二目标图像转换为第二重构图像，第二重构图像为第二目标图像在第二图像域中的表示。然后，将第二目标图像和第一眼底图像输入第二鉴别器，以判断第二目标图像是否被真实表示在第一图像域中。此过程类似于参考图2所描述的从目标域B风格转换为源域A的过程。

优化生成器和鉴别器的过程可以如下进行。计算第一生成对抗网络的第一鉴别器损失函数和第一生成器损失函数以及第二生成对抗网络的第二鉴别器损失函数和第二生成器损失函数。然后，可以根据第一鉴别器损失函数和第一生成器损失函数以及第二鉴别器损失函数和第二生成器损失函数，调整第一生成器、第二生成器、第一鉴别器和第二鉴别器的参数。

在一个实施例中，第一生成对抗网络中的第一鉴别器损失函数可以如上述式(1)，通过寻求该损失函数的最大值来训练获得鉴别器D_B的最优参数值。第一生成器损失函数可以如上述式(2)，通过寻求该损失函数的最小值来训练获得G_AB,G_BA的最优参数值。

可以理解，通过对训练图像集中的每个视网膜眼底图像进行如上的处理，能够训练得到单向生成对抗网络，基于该单向生成对抗网络可以实现从某一源图像域到某一目标图像域的单向图像风格迁移。

在训练过程中，第二鉴别器损失函数可以如上述式(3)，通过寻求该损失函数的最大值来训练获得第二鉴别器的最优参数值。第一生成器损失函数可以如上述式(4)，通过寻求该损失函数的最小值来训练获得生成器的最优参数值。

进一步地，可以根据最终循环生成对抗网络的损失函数式(5)，在训练过程中，不断地优化两个生成器和两个鉴别器的参数，使得鉴别器损失函数L_GAN1和L_GAN2分别找到最大值，同时生成器损失函数L_cyc1和L_cyc2分别找到最小值。

根据本发明的进一步实施例，在训练过程中，过程500还包括利用分割视杯视盘的分割结果作为损失函数，并将其用于对生成的眼底图像加以限制。可以根据最终循环生成对抗网络的损失函数式(7)，在训练过程中，不断地优化两个生成器和两个鉴别器的参数，具体过程如前所述，在此不再赘述。

本发明实施例提出的视网膜眼底图像在不同图像域之间迁移的方案，利用创建的循环生成对抗网络，可以至少实现台式和手持式眼底图像之间的风格迁移，从而在图像标注应用中能够有效地获取带标注的眼底图像，为手持式眼底的疾病筛查的前期研究提供了一种解决方案。进一步地，在风格迁移过程中，针对图像本身特性，采用杯盘分割损失函数来使得生成的眼底图像更加真实，为后期的视网膜眼底疾病筛查的提供了更可靠的数据。此外，本发明实施例泛化能力强，不仅能用于台式和手持式眼底图像的之间的风格迁移，也可用于台式与台式眼底图像之间的迁移，为数据增广等用途提供强有力手段。

图6示出了适合实现本发明的实施例的电子设备600的方框图。设备600可以作为显示设备的一部分或者与显示设备关联的装置。如图所示，设备600包括处理器610。处理器610控制设备600的操作和功能。例如，在某些实施例中，处理器610可以借助于与其耦合的存储器620中所存储的指令630来执行各种操作。存储器620可以是适用于本地技术环境的任何合适的类型，并且可以利用任何合适的数据存储技术来实现，包括但不限于基于半导体的存储器件、磁存储器件和系统、光存储器件和系统。尽管图6中仅仅示出了一个存储器单元，但是在设备600中可以有多个物理不同的存储器单元。

处理器610可以是适用于本地技术环境的任何合适的类型，并且可以包括但不限于通用计算机、专用计算机、微控制器、数字信号控制器(DSP)以及基于控制器的多核控制器架构中的一个或多个多个。设备600也可以包括多个处理器610。

当设备600作为显示设备的一部分或者充当与显示设备关联的装置时，处理器610在执行指令630时促使显示设备执行动作，以实现上文参考图1-5描述的方法400和过程500。根据本发明的实施例，所述动作包括：获取被表示在第一图像域中、待被迁移到第二图像域的眼底图像，第一图像域与第二图像域具有不同的成像参数；以及将眼底图像输入循环生成对抗网络的一生成器，以生成被表示在第二图像域中的目标图像，循环生成对抗网络由镜像对称的两个生成对抗网络组合形成并且生成器为两个生成对抗网络经对抗训练而得到的最优生成器。

在某些实施例中，动作还包括：构建循环生成对抗网络，循环生成对抗网络包括第一生成器和第二生成器以及第一鉴别器和第二鉴别器；接收训练图像集，训练图像集包括被表示在第一图像域中的第一眼底图像集和被表示在第二图像域中的第二眼底图像集；以及利用两个生成对抗网络和用于对眼底图像分割视杯视盘的目标检测器，对第一眼底图像集和第二眼底图像集进行处理，以优化第一生成器、第二生成器、第一鉴别器和第二鉴别器。

在某些实施例中，对第一眼底图像集和第二眼底图像集进行处理包括：将第一眼底图像集中的第一眼底图像输入由第一生成器、第二生成器和第一鉴别器构成的第一生成对抗网络以对第一眼底图像进行处理，并且将第二眼底图像集中的第二眼底图像输入由第二生成器、第一生成器和第二鉴别器构成的第二生成对抗网络以对第二眼底图像进行处理；计算第一生成对抗网络的第一鉴别器损失函数和第一生成器损失函数以及第二生成对抗网络的第二鉴别器损失函数和第二生成器损失函数；以及基于第一鉴别器损失函数和第一生成器损失函数以及第二鉴别器损失函数和第二生成器损失函数，调整第一生成器、第二生成器、第一鉴别器和第二鉴别器的参数。

在某些实施例中，将第一眼底图像输入第一生成对抗网络进行处理包括：通过第一生成器将第一眼底图像转换为第一目标图像，第一目标图像为第一眼底图像在第二图像域中的表示；通过第二生成器将第一目标图像转换为第一重构图像，第一重构图像为第一目标图像在第一图像域中的表示；以及通过第一鉴别器对第一目标图像和第二眼底图像进行鉴别，以判断第一目标图像是否被真实表示在第二图像域中。

在某些实施例中，将第二眼底图像输入第二生成对抗网络进行处理包括：通过第二生成器将第二眼底图像转换为第二目标图像，第二目标图像为第二眼底图像在第一图像域中的表示；通过第一生成器将第二目标图像转换为第二重构图像，第二重构图像为第二目标图像在第二图像域中的表示；以及通过第二鉴别器对第二目标图像和第一眼底图像进行鉴别，以判断第二目标图像是否被真实表示在第一图像域中。

在某些实施例中，对第一眼底图像集和第二眼底图像集进行处理还包括：将第一眼底图像和第一目标图像分别输入用于分割视杯视盘的目标检测器，以分别相应地得到第一分割掩模和第二分割掩模；基于第一分割掩模和第二分割掩模，计算第一分割损失函数；将第二眼底图像和第二目标图像分别输入目标检测器，以分别相应地得到第三分割掩模和第四分割掩模；以及基于第三分割掩模和第四分割掩模，计算第二分割损失函数。

在某些实施例中，调整第一生成器、第二生成器、第一鉴别器和第二鉴别器的参数包括：调整第一生成器、第二生成器、第一鉴别器和第二鉴别器的参数，使得最大化第一鉴别器损失函数和第二鉴别器损失函数以及最小化第一生成器损失函数、第二生成器损失函数、第一分割损失函数和第二分割损失函数。

本发明的实施例还提供一种计算机可读存储介质，其存储有机器可读的指令，指令在由机器执行时使得机器执行根据本发明所描述的方法。

本领域技术人员可以理解，在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。

计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或它们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

以上，对本发明的实施方式进行了说明。但是，本发明不限定于上述实施方式。凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种用于将视网膜眼底图像在不同图像域中迁移的方法，其特征在于，包括：

获取被表示在第一图像域中、待被迁移到第二图像域的眼底图像，所述第一图像域与所述第二图像域具有不同的成像参数；以及

将所述眼底图像输入循环生成对抗网络的一生成器，以生成被表示在所述第二图像域中的目标图像，所述循环生成对抗网络由镜像对称的两个生成对抗网络组合形成并且所述生成器为所述两个生成对抗网络经对抗训练而得到的最优生成器，

其中，所述循环生成对抗网络包括第一生成器和第二生成器以及第一鉴别器和第二鉴别器，构建所述循环生成对抗网络包括：

接收训练图像集，所述训练图像集包括被表示在所述第一图像域中的第一眼底图像集和被表示在所述第二图像域中的第二眼底图像集；以及

利用所述两个生成对抗网络和用于对眼底图像分割视杯视盘的目标检测器，对所述第一眼底图像集和所述第二眼底图像集进行处理，以优化所述第一生成器、所述第二生成器、所述第一鉴别器和所述第二鉴别器。

2.根据权利要求1所述的方法，其特征在于，其中对所述第一眼底图像集和所述第二眼底图像集进行处理包括：

将所述第一眼底图像集中的第一眼底图像输入由所述第一生成器、所述第二生成器和所述第一鉴别器构成的第一生成对抗网络以对所述第一眼底图像进行处理，并且将所述第二眼底图像集中的第二眼底图像输入由所述第二生成器、所述第一生成器和所述第二鉴别器构成的第二生成对抗网络以对所述第二眼底图像进行处理；

计算所述第一生成对抗网络的第一鉴别器损失函数和第一生成器损失函数以及所述第二生成对抗网络的第二鉴别器损失函数和第二生成器损失函数；以及

基于所述第一鉴别器损失函数和第一生成器损失函数以及所述第二鉴别器损失函数和第二生成器损失函数，调整所述第一生成器、所述第二生成器、所述第一鉴别器和所述第二鉴别器的参数。

3.根据权利要求2所述的方法，其特征在于，其中将所述第一眼底图像输入所述第一生成对抗网络进行处理包括：

通过所述第一生成器将所述第一眼底图像转换为第一目标图像，所述第一目标图像为所述第一眼底图像在所述第二图像域中的表示；

通过所述第二生成器将所述第一目标图像转换为第一重构图像，所述第一重构图像为所述第一目标图像在所述第一图像域中的表示；以及

通过所述第一鉴别器对所述第一目标图像和所述第二眼底图像进行鉴别，以判断所述第一目标图像是否被真实表示在所述第二图像域中。

4.根据权利要求3所述的方法，其特征在于，其中将所述第二眼底图像输入所述第二生成对抗网络进行处理包括：

通过所述第二生成器将所述第二眼底图像转换为第二目标图像，所述第二目标图像为所述第二眼底图像在所述第一图像域中的表示；

通过所述第一生成器将所述第二目标图像转换为第二重构图像，所述第二重构图像为所述第二目标图像在所述第二图像域中的表示；以及

通过所述第二鉴别器对所述第二目标图像和所述第一眼底图像进行鉴别，以判断所述第二目标图像是否被真实表示在所述第一图像域中。

5.根据权利要求2-4中任一项所述的方法，其特征在于，其中调整所述第一生成器、所述第二生成器、所述第一鉴别器和所述第二鉴别器的参数包括：

调整所述第一生成器、所述第二生成器、所述第一鉴别器和所述第二鉴别器的参数，使得最大化所述第一鉴别器损失函数和所述第二鉴别器损失函数以及最小化所述第一生成器损失函数和所述第二生成器损失函数。

6.根据权利要求4所述的方法，其特征在于，其中对所述第一眼底图像集和所述第二眼底图像集进行处理还包括：

将所述第一眼底图像和所述第一目标图像分别输入所述目标检测器，以分别相应地得到第一分割掩模和第二分割掩模；

基于所述第一分割掩模和所述第二分割掩模，计算第一分割损失函数；

将所述第二眼底图像和所述第二目标图像分别输入所述目标检测器，以分别相应地得到第三分割掩模和第四分割掩模；以及

基于所述第三分割掩模和所述第四分割掩模，计算第二分割损失函数。

7.根据权利要求6所述的方法，其特征在于，其中调整所述第一生成器、所述第二生成器、所述第一鉴别器和所述第二鉴别器的参数包括：

调整所述第一生成器、所述第二生成器、所述第一鉴别器和所述第二鉴别器的参数，使得最大化所述第一鉴别器损失函数和所述第二鉴别器损失函数以及最小化所述第一生成器损失函数、所述第二生成器损失函数、所述第一分割损失函数和所述第二分割损失函数。

8.根据权利要求4所述的方法，其特征在于，其中计算第一生成器损失函数以及第二生成器损失函数包括：

根据下式计算所述第一生成器损失函数L_cyc1，

L_cyc1(G_AB，G_BA，A)＝E_A～source[||A-G_BA(G_AB(A))||_l]

并且根据下式计算所述第二生成器损失函数L_cyc2，

L_cyc2(G_BA，G_AB，B)＝E_B～targee[||B-G_AB(G_BA(B))||_l]

其中A表示所述第一眼底图像，B表示所述第二眼底图像，G_AB表示所述第一生成器，G_BA表示所述第二生成器，E_A～source表示关于第一图像域的期望函数，E_B～target表示关于第二图像域的期望函数，并且通过l范数限制所述第一重构图像与所述第一眼底图像尽可能相似以及所述第二重构图像与所述第二眼底图像尽可能相似。

9.一种电子设备，其特征在于，包括：

处理器；以及

存储有指令的存储器，所述指令在被所述处理器执行时促使所述设备执行根据权利要求1-8中任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，其存储有机器可读的指令，所述指令在由所述机器执行时使得所述机器执行根据权利要求1-8中任一项所述的方法。