CN111539940B - 超广角眼底图像生成方法及设备 - Google Patents

Abstract

本发明提供一种超广角眼底图像生成方法及设备，其中一种模型训练方法包括：获取多个训练数据，所述训练数据包括普通眼底图像和超广角眼底图像；利用所述多个训练数据对神经网络进行训练，使其根据所述普通眼底图像生成与所述超广角眼底图像足够相似的图像。

Description

超广角眼底图像生成方法及设备

技术领域

本发明涉及医学图像处理领域，具体涉及一种超广角眼底图像生成方法及设备。

背景技术

眼底检查可用于发现糖尿病视网膜病变(DR)、年龄相关性黄斑变性(AMD)和青光眼等视网膜疾病。然而，白内障、玻璃体混浊等屈光间质较弱的疾病，由于光路阻塞，往往很难通过传统的眼底相机进行检查。21世纪初，超广角眼底成像技术首次投入市场使用，图像的拍摄范围可以检查200°范围内的视网膜，通常能够覆盖到眼底的80％的区域。而传统的视网膜摄像机只能达到大约30°-60°。

超广角成像可以覆盖更大的视网膜区域，可以筛查更多来自周边视网膜的病理改变，如视网膜变性、脱离、出血、渗出等。图1是一张超广角眼底照片，其中圆圈内的部分代表了传统眼底相机所能覆盖的眼底范围(相当于圆圈内是普通眼底图像)。由图可见，传统眼底相机检查范围有限，一些在周围的病变并不能被检测到。

在大数据驱动算法的时代，数据的稀缺性一直是医疗图像处理需要攻克的难题之一。与常规眼底照片相比，尽管超广角照片拥有着诸多优势，但由于其目前普及率较低，并且可公开的数据不多，能够用于训练机器学习模型的样本图像数量十分有限。

发明内容

有鉴于此，本发明提供一种超广角眼底图像生成模型训练方法，包括：

获取多个训练数据，所述训练数据包括普通眼底图像和超广角眼底图像；利用所述多个训练数据对神经网络进行训练，使其根据所述普通眼底图像生成与所述超广角眼底图像足够相似的图像。

可选地，同一个训练数据中的普通眼底图像和超广角眼底图像拍摄自同一眼球。

可选地，所述神经网络为生成对抗网络，包括两个生成器和一个鉴别器，其中第一生成器用于根据所述普通眼底图像生成超广角眼底图像，第二生成器用于根据生成的超广角眼底图像重建普通眼底图像，所述鉴别器用于判断生成的超广角眼底图像是否为训练数据中的图像，训练过程中根据所述生成器的损失函数以及所述鉴别器的损失函数优化所述生成对抗网络的参数。

可选地，同一个训练数据中的普通眼底图像和超广角眼底图像拍摄自不同的眼球。

可选地，所述神经网络为生成对抗网络，包括两个生成器和两个鉴别器，其中第一生成器用于根据所述普通眼底图像生成超广角眼底图像，第二生成器用于根据生成的超广角眼底图像重建普通眼底图像；所述第二生成器还用于根据所述超广角眼底图像生成普通眼底图像，所述第一生成器还用于根据生成的普通眼底图像重建超广角眼底图像；

第一鉴别器用于判断生成的超广角眼底图像是否为训练数据中的图像，第二鉴别器用于判断生成的普通眼底图像是否为训练数据中的图像，训练过程中根据所述两个生成器的损失函数以及所述两个鉴别器的损失函数优化所述生成对抗网络的参数。

可选地，获取训练数据中的超广角眼底图像的步骤包括：

获取超广角眼底照片；

利用分割网络对去除所述超广角眼底照片中的干扰影像保留眼底影像，得到所述超广角眼底图像。

本发明还提供一种生成超广角眼底图像的方法，包括：

获取普通眼底图像，利用上述方法训练的神经网络根据所述普通眼底图像生成超广角眼底图像。

可选地，所述神经网络为生成对抗网络，利用所述生成对抗网络中的第一生成器根据所述普通眼底图像生成超广角眼底图像。

相应地，本发明提供一种超广角眼底图像生成模型训练设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行上述超广角眼底图像生成模型训练方法。

相应地，本发明提供一种生成超广角眼底图像的设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行上述生成超广角眼底图像的方法。

根据本发明提供的超广角眼底图像生成模型训练方法及设备，通过由普通眼底图像和超广角眼底图像组成的训练数据，使神经网络学习普通眼底图像和超广角眼底图像的映射关系，使训练后的网络可以根据任何给定的普通眼底图像生成超广角眼底图像，本方案训练的模型可以有效解决训练数据稀缺的问题。

根据本发明提供的生成超广角眼底图像的方法及设备，由于普通眼底图像相对比较丰富，使用生成对抗网络根据大量的普通眼底图像可以生成大量的超广角眼底图像，并且生成的图像可保留普通眼底图像的一些特征，使其包含丰富各异的医学信息，本方案可作为本领域中十分有效的数据增强手段，有助于扩充已有的超广角眼底数据，为超广角模型的训练提供更多的数据，提升模型检测视网膜疾病的表现，对实现更为精准高效的超广角眼底自动化筛查提供可靠的数据来源。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为超广角眼底图像与普通眼底图像的对比示意图；

图2是一张普通眼底图像；

图3是一张超广角眼底图像；

图4为本发明实施例中的一种生成对抗网络的结构示意图；

图5为本发明实施例中的另一种生成对抗网络的结构示意图；

图6为本发明实施例中的第三种生成对抗网络的结构示意图；

图7为本发明实施例中分割超广角眼底图像的结果；

图8为本发明实施例中训练分割网络所使用的标注图像；

图9为本发明实施例中生成超广角眼底图像的示意图。

具体实施方式

下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，需要说明的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。

本发明实施例提供一种超广角眼底图像生成模型训练方法，本方法可以由计算机或服务器等电子设备执行，使用训练数据训练一个用于生成超广角眼底图像的神经网络作为所述模型。

首先获取多个训练数据，各个训练数据分别包括一个普通眼底图像和一个超广角眼底图像。图2示出了一个普通眼底图像，在本领域中也称为常规眼底图像或者眼底图像，是通过一般的视网膜摄像机拍摄的范围约在30°-60°的眼底影像。图3出了一个超广角眼底图像，该图像通常能够覆盖到眼底80％的区域，拍摄范围约为200°。两种眼底图像的主要区别是拍摄范围不同，所使用的拍摄设备不同，对此可简称两种眼底图像具有不同的模态。同一训练数据中的两种眼底图像可以拍摄自同一人的同一眼球，也即这两张图像是高度匹配的；或者，同一训练数据中的两种眼底图像也可以拍摄自不同人的眼球。

本实施例训练模型的目的是使其能够基于一张普通眼底图像生成一个超广角眼底图像，并且尽可能保留图像中如血管、视盘和黄斑等组织或病灶的纹路和轮廓等特征。为了实施本方案，可以采用具有编码器-解码器结构的神经网络，利用多个训练数据对神经网络进行训练，使其学习普通眼底图像与超广角眼底图像的映射关系。网络中的编码器提取训练数据中的普通眼底图像中的特征数据，由解码器根据特征数据重建眼底图像，通过大量数据及损失函数优化网络中的参数，使其重建的眼底图像尽可能接近训练数据中的超广角眼底图像的模态。

为了得到更优质的转换结果，可以使用生成对抗网络(Generative AdversarialNetwork,GAN)，包括至少一个生成器(Generator)和至少一个鉴别器(Discriminator)，在此基础上还有一些变形的网络比如DCGAN、CGAN、ProGAN等等，本发明实施例可以使用基础的GAN或者各种变形的网络。

使用训练数据对生成对抗网络进行训练，图4示出了一个基本的网络结构示意图，生成器41被配置为根据训练数据中的普通眼底图像A生成超广角眼底图像B’，鉴别器42被配置为判断生成器所生成的超广角眼底图像B’是否与训练数据中的超广角眼底图B像足够相似，或者表达为鉴别器42用于判断生成器所生成的超广角眼底图像B’是否是真实的超广角眼底图，并将这个信息反馈至生成器41，然后通过逐次分别提高生成器41与鉴别器42的能力以期达到使生成器41能以假乱真的能力。对于图4所示的结构，至少需要设置鉴别器的损失函数，公式为二分类的损失。

为了提高效率和准确性，可采用如图5所示的网络结构，该网络包括第一生成器51、第二生成器52和鉴别器53。其中第一生成器51被配置为根据训练数据中的普通眼底图像A生成超广角眼底图像B’，第二生成器52被配置为根据生成的超广角眼底图像B’重建普通眼底图像Ar。鉴别器53被配置为判断生成的超广角眼底图像B’是否为训练数据中的图像。训练过程需要用到两个损失函数，即生成器的损失函数和鉴别器的损失函数。在本实施例中，生成器的损失函数作用是使重建的普通眼底图像Ar与训练数据中的普通眼底图像A尽可能地相似；生成的超广角眼底图像B’和训练数据中的超广角眼底图像都输入到鉴别器53中，鉴别器的损失函数为二分类损失。

根据本发明实施例提供的超广角眼底图像生成模型训练方法，基于生成对抗网络以及由普通眼底图像和超广角眼底图像组成的训练数据，使生成对抗网络学习普通眼底图像和超广角眼底图像的映射关系，使训练后的网络可以根据任何给定的普通眼底图像生成超广角眼底图像。

现实中，由于超广角眼底拍照设备普及较晚，超广角眼底图像稀缺，因此可能较难获得大量拍摄自同一人的同一眼球的普通眼底图像和超广角眼底图像。另外，由于两种图像的拍摄范围不同，即使是拍摄自同一人的两种眼底图像也并不是一一对应的图像。由于两种眼底图像的匹配度不够高，这可能使普通的生成对抗网络生成的超广角眼底图像不够准确，进而影响到后续的应用。

为此，本发明实施例提供一种超广角眼底图像生成模型训练方法，本方法使用如图6所示的网络结构，该网络包括两个生成器和两个鉴别器，其中第一生成器61被配置为根据训练数据中的普通眼底图像A生成超广角眼底图像B’，第二生成器62被配置为根据生成的超广角眼底图像B’重建普通眼底图像Ar。第二生成器62还用于根据训练数据中的超广角眼底图像B生成普通眼底图像A’，第一生成器61还用于根据生成的普通眼底图像A’重建超广角眼底图像Br。

第一鉴别器63被配置为判断生成的超广角眼底图像B’是否为训练数据中的图像，第二鉴别器64被配置为判断生成的普通眼底图像A’是否为训练数据中的图像。训练过程中根据两个生成器的损失函数以及两个鉴别器的损失函数优化生成对抗网络的参数。

图6所示的网络结构本质上是两个镜像对称的图5所示网络构成的一个环形网络。两个网络共享两个生成器，并各自设置一个判别器，即共有两个判别器和两个生成器。参考图5所示网络的损失函数，一个网络有生成器的损失函数和鉴别器的损失函数这两个loss，图6所示的网络结构则有四个loss：

1.adversarial loss，首先为了尽可能让生成器生成的数据接近于真实的数据分布，需要使用到GAN里通用的loss：

其中，G用于生成类似于超广角眼底图像模态的图像。训练中，X表示输入的普通眼底图像模态，生成的结果G(X)应当尽可能接近于Y(超广角眼底图像)模态，判别器Dy用于判别生成样本的真假。与GAN的公式一样，因此，对于X->Y，需要优化：

反之亦然，对于Y->X:

2.cycle consistency loss，用于让两个生成器生成的眼底图像之间不要相互矛盾。adversarial loss只可以保证生成器生成的眼底图像与真实样本同分布，此外还期望对应的域之间的图像是一一对应的，即可以实现X->Y->X。这样，生成的Y样本更为鲁棒，可以更接近真实的Y样本。cycle consistency loss为：

3.整体loss：

整体loss为三者的加权和，其中λ为超参数，可进行人为调整。

4.identity loss，具体为：

由于卷积神经网络通过对纹理信息等进行语义的捕捉，对颜色的敏感度不高。identity loss则用来规范颜色的迁移，防止同一特征出现颜色混杂的情况。

根据本发明实施例提供的超广角眼底图像生成模型训练方法，基于改进结构的生成对抗网络以及由普通眼底图像和超广角眼底图像组成的训练数据，使生成对抗网络能够学习普通眼底图像和超广角眼底图像的普适性映射关系，学习的目标是普通眼底图像和超广角眼底图像的风格之间的变换而非具体的一一映射关系，因此本方案不依赖两种图像的匹配性，具有较强的适应性，使训练后的网络可以生成更接近于真实的超广角眼底图像。

此外，由于超广角眼底在拍摄眼底时通常会捕捉到一些干扰信息，例如眼皮、睫毛等，而常规眼底相机则并不存在以上情况，为提高转化的有效性，可以在准备训练数据时将这些干扰物去除掉。

具体地，在获取训练数据时所得到的原始的超广角眼底照片如图7所示，其中第一行的各个照片中分别包括面积和位置不同的干扰影像。

本实施例采用分割网络去除超广角眼底照片中的干扰影像保留眼底影像，以获得图7中第二行的超广角眼底图像。分割网络具体可以是如u-net的网络，在训练时，先通过标注工具手工精确地标注出眼底的位置，然后将眼底和干扰影像分别设置成白色区域与黑色区域，以保证使用训练完的模型也可以达到相同的效果，即如图8所示，将干扰部分全部使用黑色遮挡。使用标注数据对分割网络进行训练后，使其能够执行如图7所示的分割处理。

本发明实施例提供一种生成超广角眼底图像的方法，利用经过训练的上述生成对抗网络来获得超广角眼底图像。在使用时，取图4所示的生成器41，或者图5所示的第一生成器51，或者图6所示的第一生成器61。如图9所示，将获取的普通眼底图像输入生成器，即可得到超广角眼底图像。

根据本发明提供的生成超广角眼底图像的方法，由于普通眼底图像相对比较丰富，使用生成对抗网络根据大量的普通眼底图像可以生成大量的超广角眼底图像，并且生成的图像可保留普通眼底图像的一些特征，使其包含丰富各异的医学信息，本方案可作为本领域中十分有效的数据增强手段，有助于扩充已有的超广角眼底数据，为超广角模型的训练提供更多的数据，提升模型检测视网膜疾病的表现，对实现更为精准高效的超广角眼底自动化筛查提供可靠的数据来源。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (7)

1.一种超广角眼底图像生成模型训练方法，其特征在于，包括：

获取多个训练数据，所述训练数据包括普通眼底图像和超广角眼底图像；利用所述多个训练数据对神经网络进行训练，使其根据所述普通眼底图像生成与所述超广角眼底图像足够相似的图像

其中，同一个训练数据中的普通眼底图像和超广角眼底图像拍摄自同一眼球；以及所述神经网络为生成对抗网络，包括两个生成器和一个鉴别器，其中第一生成器用于根据所述普通眼底图像生成超广角眼底图像，第二生成器用于根据生成的超广角眼底图像重建普通眼底图像，所述鉴别器用于判断生成的超广角眼底图像是否为训练数据中的图像，训练过程中根据所述生成器的损失函数以及所述鉴别器的损失函数优化所述生成对抗网络的参数。

2.一种超广角眼底图像生成模型训练方法，其特征在于，包括：

获取多个训练数据，所述训练数据包括普通眼底图像和超广角眼底图像；利用所述多个训练数据对神经网络进行训练，使其根据所述普通眼底图像生成与所述超广角眼底图像足够相似的图像；

其中同一个训练数据中的普通眼底图像和超广角眼底图像拍摄自不同的眼球；

所述神经网络为生成对抗网络，包括两个生成器和两个鉴别器，其中第一生成器用于根据所述普通眼底图像生成超广角眼底图像，第二生成器用于根据生成的超广角眼底图像重建普通眼底图像；所述第二生成器还用于根据所述超广角眼底图像生成普通眼底图像，所述第一生成器还用于根据生成的普通眼底图像重建超广角眼底图像；

第一鉴别器用于判断生成的超广角眼底图像是否为训练数据中的图像，第二鉴别器用于判断生成的普通眼底图像是否为训练数据中的图像，训练过程中根据所述两个生成器的损失函数以及所述两个鉴别器的损失函数优化所述生成对抗网络的参数。

3.根据权利要求1或2所述的方法，其特征在于，获取训练数据中的超广角眼底图像的步骤包括：

获取超广角眼底照片；

利用分割网络对去除所述超广角眼底照片中的干扰影像保留眼底影像，得到所述超广角眼底图像。

4.一种生成超广角眼底图像的方法，其特征在于，包括：

获取普通眼底图像，利用权利要求1-3中任一项所述方法训练的神经网络根据所述普通眼底图像生成超广角眼底图像。

5.根据权利要求4述的方法，其特征在于，所述神经网络为生成对抗网络，利用所述生成对抗网络中的第一生成器根据所述普通眼底图像生成超广角眼底图像。

6.一种超广角眼底图像生成模型训练设备，其特征在于，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行如权利要求1-3中任意一项所述的超广角眼底图像生成模型训练方法。

7.一种生成超广角眼底图像的设备，其特征在于，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行如权利要求4或5所述的生成超广角眼底图像的方法。

Images