CN110705611A - 眼底图像样本扩展方法、装置、介质及电子设备 - Google Patents

Abstract

本公开涉及眼底图像数据处理领域，具体涉及一种眼底图像样本扩展方法、眼底图像样本扩展装置、计算机可读存储介质及电子设备。在本公开示例性实施方式提供的眼底图像样本扩展方法中，通过构建基于神经网络的编码器、转码器和解码器等模型可以将不同数据来源获得的数据量较少的眼底图像样本进行扩展，从而得到数据量增加并且数据来源分布均匀的眼底图像样本，基于扩展后的眼底图像样本对相关机器学习模型进行训练可以提高模型的数据来源泛化能力，在提高模型使用效果的同时，可以降低样本采集和标注成本，提高模型训练效率。

Description

眼底图像样本扩展方法、装置、介质及电子设备

技术领域

本公开涉及眼底图像数据处理领域，具体涉及一种眼底图像样本扩展方法、眼底图像样本扩展装置、计算机可读存储介质及电子设备。

背景技术

目前，人工智能在眼底图像病灶识别方面已取得重大进展。以深度卷积神经网络为核心的机器学习算法已可以通过对眼底图像的学习与分析诊断青光眼、糖尿病性视网膜病变以及老年黄斑变性等疾病。但模型的准确性严重依赖训练数据集，泛化能力差。在实际影像的采集过程中，眼底图像通常来自于不同型号的眼底照相机，这就会导致图像的大小，颜色分布等信息存在差异性。

通常业内在训练模型的时候都是基于单一设备采集的眼底图像，其算法性能会在多设备采集的图像上大大降低。针对多数据源数据分布不一致问题，现有方法主要通过标注多个数据源作为训练数据而提升模型的泛化能力，该方法需要耗费巨大的人力资源以及训练的时间成本。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开的目的在于提供一种眼底图像样本扩展方法、眼底图像样本扩展装置、计算机可读存储介质及电子设备，进而至少在一定程度上克服因眼底图像样本数据分布不均而导致的模型训练成本高、模型泛化能力差等技术问题。

根据本公开的一个方面，提供一种眼底图像样本扩展方法，该方法包括：

获取基于第一眼底图像数据源的第一眼底图像初始样本以及基于第二眼底图像数据源的第二眼底图像初始样本；

分别对所述第一眼底图像初始样本和所述第二眼底图像初始样本进行特征提取以得到具有第一数据源特征的第一眼底图像初始特征数据和具有第二数据源特征的第二眼底图像初始特征数据；

将所述第一眼底图像初始特征数据转换为具有第二数据源特征的第二眼底图像扩展特征数据，并将所述第二眼底图像初始特征数据转换为具有第一数据源特征的第一眼底图像扩展特征数据；

分别对所述第一眼底图像扩展特征数据和所述第二眼底图像扩展特征数据进行图像还原以得到对应于所述第一眼底图像数据源的第一眼底图像扩展样本和对应于所述第二眼底图像数据源的第二眼底图像扩展样本。

在本公开的一些示例性实施方式中，基于以上技术方案，获取基于第一眼底图像数据源的第一眼底图像初始样本以及基于第二眼底图像数据源的第二眼底图像初始样本，包括：

采集眼底图像，并获取所述眼底图像的数据来源信息；

根据所述数据来源信息判断各个所述眼底图像的数据来源是否为第一眼底图像数据源、第二眼底图像数据源或者待确定眼底图像数据源；

将数据来源为所述第一眼底图像数据源的眼底图像确定为第一眼底图像初始样本，并将数据来源为第二眼底图像数据源的眼底图像确定为第二眼底图像初始样本；

将数据来源为所述待确定眼底图像数据源的眼底图像输入至预先训练的眼底图像分类模型，并根据所述眼底图像分类模型的输出结果将该眼底图像确定为第一眼底图像初始样本、第二眼底图像初始样本或者噪声样本。

在本公开的一些示例性实施方式中，基于以上技术方案，所述第一眼底图像数据源是采用近红外光线作为光源拍摄得到的眼底图像数据集，所述第二眼底图像数据源是采用无赤光线作为光源拍摄得到的眼底图像数据集。

在本公开的一些示例性实施方式中，基于以上技术方案，分别对所述第一眼底图像初始样本和所述第二眼底图像初始样本进行特征提取以得到具有第一数据源特征的第一眼底图像初始特征数据和具有第二数据源特征的第二眼底图像初始特征数据，包括：

确定预先训练的基于卷积神经网络的第一编码器和基于卷积神经网络的第二编码器；

将所述第一眼底图像初始样本输入所述第一编码器，以由所述第一编码器对所述第一眼底图像初始样本进行特征提取后得到具有第一数据源特征的第一眼底图像初始特征数据；

将所述第二眼底图像初始样本输入所述第二编码器，以由所述第二编码器对所述第二眼底图像初始样本进行特征提取后得到具有第二数据源特征的第二眼底图像初始特征数据。

在本公开的一些示例性实施方式中，基于以上技术方案，将所述第一眼底图像初始特征数据转换为具有第二数据源特征的第二眼底图像扩展特征数据，并将所述第二眼底图像初始特征数据转换为具有第一数据源特征的第一眼底图像扩展特征数据，包括：

确定预先训练的基于残差网络的第一转码器和基于残差网络的第二转码器；

将所述第一眼底图像初始特征数据输入所述第一转码器，以由所述第一转码器将所述第一眼底图像初始特征数据转换为具有第二数据源特征的第二眼底图像扩展特征数据；

将所述第二眼底图像初始特征数据输入所述第二转码器，以由所述第二转码器将所述第二眼底图像初始特征数据转换为具有第一数据源特征的第一眼底图像扩展特征数据。

在本公开的一些示例性实施方式中，基于以上技术方案，分别对所述第一眼底图像扩展特征数据和所述第二眼底图像扩展特征数据进行图像还原以得到对应于所述第一眼底图像数据源的第一眼底图像扩展样本和对应于所述第二眼底图像数据源的第二眼底图像扩展样本，包括：

确定基于反卷积神经网络的对应于所述第一编码器的第二解码器以及基于反卷积神经网络的对应于所述第二编码器的第一解码器；

将所述第一眼底图像扩展特征数据输入所述第一解码器，以由所述第一解码器对所述第一眼底图像扩展特征数据进行图像还原以得到对应于所述第一眼底图像数据源的第一眼底图像扩展样本；

将所述第二眼底图像扩展特征数据输入所述第二解码器，以由所述第二解码器对所述第二眼底图像扩展特征数据进行图像还原以得到对应于所述第二眼底图像数据源的第二眼底图像扩展样本。

在本公开的一些示例性实施方式中，基于以上技术方案，所述第一编码器、所述第二编码器、所述第一转码器、所述第二转码器、所述第一解码器以及所述第二解码器通过以下步骤训练得到：

构建用于判断输入图像是否来自第一眼底图像数据源的第一判别器以及用于判断输入图像是否来自第二眼底图像数据源的第二判别器；

将所述第一编码器、所述第一转码器、所述第二解码器以及所述第二判别器依次连接组成第一生成对抗网络，并将所述第二编码器、所述第二转码器、所述第一解码器以及所述第一判别器依次连接组成第二生成对抗网络；

利用同一损失函数对所述第一生成对抗网络和所述第二生成对抗网络进行联合训练。

根据本公开的一个方面，提供一种眼底图像样本扩展装置，该装置包括：

初始样本获取模块，被配置为获取基于第一眼底图像数据源的第一眼底图像初始样本以及基于第二眼底图像数据源的第二眼底图像初始样本；

特征提取模块，被配置为分别对所述第一眼底图像初始样本和所述第二眼底图像初始样本进行特征提取以得到具有第一数据源特征的第一眼底图像初始特征数据和具有第二数据源特征的第二眼底图像初始特征数据；

特征数据转换模块，被配置为将所述第一眼底图像初始特征数据转换为具有第二数据源特征的第二眼底图像扩展特征数据，并将所述第二眼底图像初始特征数据转换为具有第一数据源特征的第一眼底图像扩展特征数据；

图像还原模块，被配置为分别对所述第一眼底图像扩展特征数据和所述第二眼底图像扩展特征数据进行图像还原以得到对应于所述第一眼底图像数据源的第一眼底图像扩展样本和对应于所述第二眼底图像数据源的第二眼底图像扩展样本。

根据本公开的一个方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以上任一所述的眼底图像样本扩展方法。

根据本公开的一个方面，提供一种电子设备，包括处理器和存储器；其中，存储器用于存储所述处理器的可执行指令，所述处理器被配置为经由执行所述可执行指令来执行以上任一所述的眼底图像样本扩展方法。

在本公开的示例性实施方式中，通过构建基于神经网络的编码器、转码器和解码器等模型可以将不同数据来源获得的数据量较少的眼底图像样本进行扩展，从而得到数据量增加并且数据来源分布均匀的眼底图像样本，基于扩展后的眼底图像样本对相关机器学习模型进行训练可以提高模型的数据来源泛化能力，在提高模型使用效果的同时，可以降低样本采集和标注成本，提高模型训练效率。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了在本公开的一些示例性实施方式中眼底图像样本扩展方法的步骤流程图。

图2示出了在本公开的一些示例性实施方式中获取眼底图像初始样本的步骤流程图。

图3示出了在本公开的一些示例性实施方式中对眼底图像初始样本进行特征提取的步骤流程图。

图4示出了在本公开的一些示例性实施方式中对眼底图像初始特征数据进行数据转换的步骤流程图。

图5示出了在本公开的一些示例性实施方式中对眼底图像扩展特征数据进行图像还原的步骤流程图。

图6示出了在本公开的一些示例性实施方式中对样本扩展中涉及的相关模型进行训练的步骤流程图。

图7示出了本公开示例性实施方式中眼底图像样本扩展装置的组成框图。

图8示意性示出本公开示例性实施方式中一种程序产品的示意图。

图9示意性示出本公开示例性实施方式中一种电子设备的模块示意图。

具体实施方式

现在将参考附图更全面地描述示例实施例。然而，示例实施例能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施例使得本公开将更加全面和完整，并将示例实施例的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。

此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

本公开的示例性实施方式中首先提供一种眼底图像样本扩展方法，该方法可以用于对不同数据来源的眼底图像样本进行数据扩展，从而提高眼底图像的分布均匀性。利用数据扩展后的眼底图像样本作为训练样本对机器学习模型进行训练，能够降低模型训练成本，并提高模型泛化能力。

举例而言，在本领域的相关技术中，可以基于眼底图像训练样本集对眼底图像分割模型进行训练，以利用训练完成的眼底图像分割模型对眼底图像中的视杯和视盘进行分割，进而能够帮助医生对眼部疾病进行准确诊断和病理分析。如果眼底图像训练样本集中包括分别来自两种眼底图像数据源的眼底图像样本，其中第一眼底图像数据源的眼底图像样本数量较多，而第二眼底图像数据源的眼底图像样本数量较少，那么在使用训练得到的眼底图像分割模型执行眼底图像分割任务时，相比于第二眼底图像数据源的眼底图像，第一眼底图像数据源的眼底图像在一般情况下会获得更好的分割效果。简而言之，如果某一数据源的训练样本相对较少，那么在模型的适用效果上也会相对较差。因此，训练样本的分布情况将直接影响眼底图像分割模型对于不同数据源的眼底图像的图像分割能力。

使用本公开示例性实施方式提供的眼底图像样本扩展方法，可以对训练样本集中来自不同眼底图像数据源的眼底图像样本进行扩展，使得训练样本集中的眼底图像样本能够获得相对均匀的来源分布，进而能够使眼底图像分割模型获得相对均衡的对不同数据源的眼底图像的图像分割能力，亦即能够提高眼底图像分割模型的泛化能力。

下面结合具体的示例性实施方式对本公开技术方案的各个方面做出详细说明该。

图1示出了在本公开的一些示例性实施方式中眼底图像样本扩展方法的步骤流程图。

如图1所示，在本公开的一些示例性实施方式中眼底图像样本扩展方法主要可以包括以下步骤：

步骤S110.获取基于第一眼底图像数据源的第一眼底图像初始样本以及基于第二眼底图像数据源的第二眼底图像初始样本。

在本示例性实施方式中可以针对第一眼底图像数据源和第二眼底图像数据源两种数据来源的眼底图像进行样本扩展。其中，第一眼底图像数据源可以是由一种眼底照相机(例如Zeiss Visucam 500眼底照相机)以及与该眼底照相机具有相似拍摄效果的其他眼底照相机拍摄得到的眼底图像组成的样本数据集，第二眼底图像数据源可以是由另一种眼底照相机(例如Canon CR-2眼底照相机)以及与该眼底照相机具有相似拍摄效果的其他眼底照相机拍摄得到的眼底图像组成的样本数据集。又例如，第一眼底图像数据源可以是由一种眼底照相机在某一成像模式下拍摄得到的眼底图像组成的样本数据集，第二眼底图像数据源可以是同一种眼底照相机在另一种成像模式下拍摄得到的眼底图像组成的样本数据集。

步骤S120.分别对第一眼底图像初始样本和第二眼底图像初始样本进行特征提取以得到具有第一数据源特征的第一眼底图像初始特征数据和具有第二数据源特征的第二眼底图像初始特征数据。

对于数据来源不同的眼底图像而言，其自身图像数据内将在一定程度上具有能够体现数据来源的特征，例如对应第一眼底图像数据源的第一数据源特征和对应第二眼底图像数据源的第二数据源特征。两种数据源特征在表象上体现为图像的色彩分布等细节信息的差异，而在本质上体现的是两种数据来源的深层特征差异。针对步骤S110中获取到的第一眼底图像初始样本和第二眼底图像初始样本，本步骤将分别对其进行特征提取以得到第一眼底图像初始特征数据和第二眼底图像初始特征数据。

步骤S130.将第一眼底图像初始特征数据转换为具有第二数据源特征的第二眼底图像扩展特征数据，并将第二眼底图像初始特征数据转换为具有第一数据源特征的第一眼底图像扩展特征数据。

在获得第一眼底图像初始特征数据和第二眼底图像初始特征数据后，本步骤将对二者进行特征迁移，例如可以保留两种初始特征数据共同具有的共享特征，而对差异特征可以建立映射关系以实现两种初始特征数据的相互转换。在对两种数据源眼底图像的深层次差异特征建立映射以进行特征转换的过程中，还需要保留初始眼底图像的部分浅层特征(如眼底图像中目标对象的大小和形状等特征)，以便缩小扩展样本与初始样本的偏差，避免出现过大的特征偏移。

步骤S140.分别对第一眼底图像扩展特征数据和第二眼底图像扩展特征数据进行图像还原以得到对应于第一眼底图像数据源的第一眼底图像扩展样本和对应于第二眼底图像数据源的第二眼底图像扩展样本。

经过特征数据的转换后可以得到第一眼底图像扩展特征数据和第二眼底图像扩展特征数据，然后利用与步骤S120中进行的特征提取相反的过程，分别对第一眼底图像扩展特征数据和第二眼底图像扩展特征数据进行图像还原，从而能够得到对应于第一眼底图像数据源的第一眼底图像扩展样本和对应于第二眼底图像数据源的第二眼底图像扩展样本。在经过本步骤的图像还原后，步骤S110中获取到的每一个第一眼底图像初始样本都将对应生成一个第二眼底图像扩展样本，而每一个第二眼底图像初始样本也都将对应生成一个第一眼底图像扩展样本。

利用本公开示例性实施方式提供的眼底图像样本扩展方法可以将不同数据来源获得的数量较少的眼底图像样本进行扩展，以得到数量增加并且数据来源分布均匀的眼底图像样本，基于扩展后的眼底图像样本对相关机器学习模型进行训练可以提高模型的数据来源泛化能力，在提高模型使用效果的同时，可以降低样本采集和标注成本，提高模型训练效率。

图2示出了在本公开的一些示例性实施方式中获取眼底图像初始样本的步骤流程图。

如图2所示，在以上示例性实施方式的基础上，步骤S110.获取基于第一眼底图像数据源的第一眼底图像初始样本以及基于第二眼底图像数据源的第二眼底图像初始样本，可以包括以下步骤：

步骤S210.采集眼底图像，并获取眼底图像的数据来源信息。

本步骤首先采集一定数量的眼底图像，同时可以获取每个眼底图像的数据来源信息，该数据来源信息可以包括拍摄每个眼底图像所使用的眼底照相机的类型、品牌和型号等信息，也可以包括在拍摄眼底图像时所使用的拍照模式、拍照参数以及光源信息等等。

步骤S220.根据数据来源信息判断各个眼底图像的数据来源是否为第一眼底图像数据源、第二眼底图像数据源或者待确定眼底图像数据源。

根据每个眼底图像的数据来源信息可以对其数据来源做出判断，具体可以将每个眼底图像的数据来源判定为第一眼底图像数据源、第二眼底图像数据源或者待确定眼底图像数据源。举例而言，第一眼底图像数据源可以是采用近红外光线作为光源拍摄得到的眼底图像数据集，第二眼底图像数据源是采用无赤光线作为光源拍摄得到的眼底图像数据集，而待确定眼底图像数据源可以包括除第一眼底图像数据源和第二眼底图像数据源以外的其他数据源。除此之外，对于数据来源信息缺失的眼底图像而言，也可以将其数据来源判定为待确定眼底图像数据源。

步骤S230.将数据来源为第一眼底图像数据源的眼底图像确定为第一眼底图像初始样本，并将数据来源为第二眼底图像数据源的眼底图像确定为第二眼底图像初始样本。

根据步骤S220中对于数据来源的判定结果可以对眼底图像进行分类，其中数据来源为第一眼底图像数据源的眼底图像被直接确定为第一眼底图像初始样本，数据来源为第二眼底图像数据源的眼底图像将被直接确定为第二眼底图像初始样本，而数据来源为待确定眼底图像数据源的眼底图像将通过下一步骤做进一步地判断和分类。

步骤S240.将数据来源为待确定眼底图像数据源的眼底图像输入至预先训练的眼底图像分类模型，并根据眼底图像分类模型的输出结果将该眼底图像确定为第一眼底图像初始样本、第二眼底图像初始样本或者噪声样本。

对于判定数据来源为待确定眼底图像数据源的眼底图像而言，本步骤可以将其输入至预先训练得到的眼底图像分类模型中，该眼底图像分类模型能够对输入的眼底图像进行特征识别和匹配进而能够将其分类至可能的数据来源标签下，同时可以输出每个数据来源标签的分类概率。如果第一眼底图像数据源的分类概率较高，便可以将眼底图像确定为第一眼底图像初始样本；如果第二眼底图像数据源的分类概率较高，便可以将眼底图像确定为第二眼底图像初始样本；而如果第一眼底图像数据源和第二眼底图像数据源的分类概率均较低，那么可以将眼底图像确定为噪声样本，将其从原始样本集中剔除。

图3示出了在本公开的一些示例性实施方式中对眼底图像初始样本进行特征提取的步骤流程图。

如图3所示，在以上示例性实施方式的基础上，步骤S120.分别对第一眼底图像初始样本和第二眼底图像初始样本进行特征提取以得到具有第一数据源特征的第一眼底图像初始特征数据和具有第二数据源特征的第二眼底图像初始特征数据，可以包括以下步骤：

步骤S310.确定预先训练的基于卷积神经网络的第一编码器和基于卷积神经网络的第二编码器。

步骤S320.将第一眼底图像初始样本输入第一编码器，以由第一编码器对第一眼底图像初始样本进行特征提取后得到具有第一数据源特征的第一眼底图像初始特征数据。

步骤S330.将第二眼底图像初始样本输入第二编码器，以由第二编码器对第二眼底图像初始样本进行特征提取后得到具有第二数据源特征的第二眼底图像初始特征数据。

为了对眼底图像初始样本进行准确高效的特征提取，本示例性实施方式可以预先训练用于对第一眼底图像初始样本进行特征提取的第一编码器和用于对第二眼底图像初始样本进行特征提取的第二编码器。第一编码器和第二编码器可以采用具有相同模型结构的卷积神经网络，在利用不同的训练数据对卷积神经网络进行训练后即可得到具有不同模型参数的第一编码器和第二编码器。举例而言，本示例性实施方式可以将具有3个色彩通道的尺寸为256*256像素的眼底图像初始样本作为输入图像，然后由不同大小的卷积核在输入图像上移动并提取特征形成特征图谱。一个卷积层输出的特征图谱将作为下一个卷积层的输入，以进行更深层次的特征提取，在卷积过程中还可以加入非线性激活层(ReLU层)或者批量归一化层(BN层)。在经过逐层卷积后最终可以输出由256个尺寸为64*64的特征向量组成的眼底图像初始特征数据。

图4示出了在本公开的一些示例性实施方式中对眼底图像初始特征数据进行数据转换的步骤流程图。

如图4所示，在以上示例性实施方式的基础上，步骤S130.将第一眼底图像初始特征数据转换为具有第二数据源特征的第二眼底图像扩展特征数据，并将第二眼底图像初始特征数据转换为具有第一数据源特征的第一眼底图像扩展特征数据，可以包括以下步骤：

步骤S410.确定预先训练的基于残差网络的第一转码器和基于残差网络的第二转码器。

步骤S420.将第一眼底图像初始特征数据输入第一转码器，以由第一转码器将第一眼底图像初始特征数据转换为具有第二数据源特征的第二眼底图像扩展特征数据。

步骤S430.将第二眼底图像初始特征数据输入第二转码器，以由第二转码器将第二眼底图像初始特征数据转换为具有第一数据源特征的第一眼底图像扩展特征数据。

为了实现对两种数据源特征的相互转换，本示例性实施方式可以预先训练用于将第一眼底图像初始特征数据转换为第二眼底图像扩展特征数据的第一转码器和用于将第二眼底图像初始特征数据转换为第一眼底图像扩展特征数据的第二转码器。第一转码器和第二转码器可以采用具有相同结构的卷积神经网络，尤其可以采用卷积神经网络中的残差网络(ResNet)，在利用不同的训练数据对残差网络进行训练后即可得到具有不同模型参数的第一转码器和第二转码器。在将眼底图像初始特征数据输入到残差网络中后，同样由多个卷积层对其进行卷积处理，并且可以将最终的卷积输出结果与最初输出的眼底图像初始特征数据进行叠加以得到眼底图像扩展特征数据。通过残差连接可以在进行特征数据转换的同时保留部分原始特征，以避免出现过大的特征偏差。

图5示出了在本公开的一些示例性实施方式中对眼底图像扩展特征数据进行图像还原的步骤流程图。

如图5所示，在以上示例性实施方式的基础上，步骤S140.分别对第一眼底图像扩展特征数据和第二眼底图像扩展特征数据进行图像还原以得到对应于第一眼底图像数据源的第一眼底图像扩展样本和对应于第二眼底图像数据源的第二眼底图像扩展样本，可以包括以下步骤：

步骤S510.确定基于反卷积神经网络的对应于第一编码器的第二解码器以及对应于第二编码器的第一解码器。

步骤S520.将第一眼底图像扩展特征数据输入第一解码器，以由第一解码器对第一眼底图像扩展特征数据进行图像还原以得到对应于第一眼底图像数据源的第一眼底图像扩展样本。

步骤S530.将第二眼底图像扩展特征数据输入第二解码器，以由第二解码器对第二眼底图像扩展特征数据进行图像还原以得到对应于第二眼底图像数据源的第二眼底图像扩展样本。

为了实现对眼底图像扩展特征数据的图像还原，本示例性实施方式可以预先确定用于从第一眼底图像扩展特征数据还原得到第一眼底图像扩展样本的第一解码器以及用于从第二眼底图像扩展特征数据还原得到第二眼底图像扩展样本的第二解码器。第一解码器可以采用与第二编码器具有镜像结构和相同模型参数的反卷积神经网络，而第二解码器则可以采用与第一编码器具有镜像结构和相同模型参数的反卷积神经网络。在此基础上，第一编码器可以通过卷积、池化等操作对第一眼底图像初始样本进行特征提取得到第一眼底图像初始特征数据，而第二解码器则可以通过镜像化的反卷积和反池化等操作对由第一眼底图像初始特征数据转码得到的第二眼底图像扩展特征数据进行图像还原得到第二眼底图像扩展样本。与之相对应的，第二编码器可以通过卷积、池化等操作对第二眼底图像初始样本进行特征提取得到第二眼底图像初始特征数据，而第一解码器则可以通过镜像化的反卷积和反池化等操作对由第二眼底图像初始特征数据转码得到的第一眼底图像扩展特征数据进行图像还原得到第一眼底图像扩展样本。在经过第一解码器和第二解码器做图像还原后，可以得到与第一眼底图像初始样本相同数量的第二眼底图像扩展样本，同时可以得到与第二眼底图像初始样本相同数量的第一眼底图像扩展样本。

图6示出了在本公开的一些示例性实施方式中对样本扩展中涉及的相关模型进行训练的步骤流程图。

如图6所示，在以上示例性实施方式的基础上，第一编码器、第二编码器、第一转码器、第二转码器、第一解码器以及第二解码器可以通过以下步骤训练得到：

步骤S610.构建用于判断输入图像是否来自第一眼底图像数据源的第一判别器以及用于判断输入图像是否来自第二眼底图像数据源的第二判别器。

在依次经过编码、转码和解码过程后，可以根据第一眼底图像初始样本转换得到与之具有相同数量的第二眼底图像扩展样本，同时可以根据第二眼底图像初始样本转换得到与之具有相同数量的第一眼底图像扩展样本。本步骤可以构建相应的第一判别器和第二判别器，可以评估两种眼底图像初始样本和两种眼底图像扩展样本相互之间的转换效果。

步骤S620.将第一编码器、第一转码器、第二解码器以及第二判别器依次连接组成第一生成对抗网络，并将第二编码器、第二转码器、第一解码器以及第一判别器依次连接组成第二生成对抗网络。

基于步骤S610中构建的第二判别器，结合第一编码器、第一转码器和第二解码器，可以共同组成第一生成对抗网络，通过对相关模型进行联合训练，可以在提高第二判别器判别能力的同时，逐渐提高转换生成的第二眼底图像扩展样本与原始的第二眼底图像初始样本之间的相似度。与此同时，基于步骤S610中构建的第一判别器，结合第二编码器、第二转码器和第一解码器，可以共同组成第二生成对抗网络，通过对相关模型进行联合训练，可以在提高第一判别器判别能力的同时，逐渐提高转换生成的第一眼底图像扩展样本与原始的第一眼底图像初始样本之间的相似度。

步骤S630.利用同一损失函数对第一生成对抗网络和第二生成对抗网络进行联合训练。

第一眼底图像初始样本向第二眼底图像扩展样本的转换过程以及第二眼底图像初始样本向第一眼底图像扩展样本的转换过程是两个相反的转换过程，为了提高两个转换过程的转换一致程度，本步骤利用同一个损失函数对第一生成对抗网络和第二生成对抗网络进行联合训练。该损失函数具体可以由三个部分构成，即第一生成对抗网络的第一网络损失函数、第二生成对抗网络的第二网络损失函数以及一个转换损失函数。其中，第一网络损失函数和第二网络又分别包括两个部分，即对应生成眼底图像扩展样本部分的重建损失函数和对应判别眼底图像扩展样本部分的判别损失函数。重建损失函数可以采用L1loss损失函数或者L2loss损失函数，判别损失函数可以采用二分类损失函数。转换损失函数主要包括对第一眼底图像扩展样本进行二次转换的期望值以及对第二眼底图像扩展样本进行二次转换的期望值。

需要说明的是，虽然以上示例性实施方式以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或者必须执行全部的步骤才能实现期望的结果。附加地或者备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。

在本公开的示例性实施方式中，还提供一种眼底图像样本扩展装置，如图7所示，眼底图像样本扩展装置700主要可以包括：初始样本获取模块710、特征提取模块720、特征数据转换模块730和图像还原模块740。

初始样本获取模块710被配置为获取基于第一眼底图像数据源的第一眼底图像初始样本以及基于第二眼底图像数据源的第二眼底图像初始样本；

特征提取模块720被配置为分别对所述第一眼底图像初始样本和所述第二眼底图像初始样本进行特征提取以得到具有第一数据源特征的第一眼底图像初始特征数据和具有第二数据源特征的第二眼底图像初始特征数据；

特征数据转换模块730被配置为将所述第一眼底图像初始特征数据转换为具有第二数据源特征的第二眼底图像扩展特征数据，并将所述第二眼底图像初始特征数据转换为具有第一数据源特征的第一眼底图像扩展特征数据；

图像还原模块740被配置为分别对所述第一眼底图像扩展特征数据和所述第二眼底图像扩展特征数据进行图像还原以得到对应于所述第一眼底图像数据源的第一眼底图像扩展样本和对应于所述第二眼底图像数据源的第二眼底图像扩展样本。

在本公开的一些示例性实施方式中，基于以上技术方案，初始样本获取模块710可以进一步包括：

眼底图像采集模块，被配置为采集眼底图像，并获取所述眼底图像的数据来源信息；

数据来源判断模块，被配置为根据所述数据来源信息判断各个所述眼底图像的数据来源是否为第一眼底图像数据源、第二眼底图像数据源或者待确定眼底图像数据源；

初始样本确定模块，被配置为将数据来源为所述第一眼底图像数据源的眼底图像确定为第一眼底图像初始样本，并将数据来源为第二眼底图像数据源的眼底图像确定为第二眼底图像初始样本；

眼底图像分类模块，被配置为将数据来源为所述待确定眼底图像数据源的眼底图像输入至预先训练的眼底图像分类模型，并根据所述眼底图像分类模型的输出结果将该眼底图像确定为第一眼底图像初始样本、第二眼底图像初始样本或者噪声样本。

在本公开的一些示例性实施方式中，基于以上技术方案，所述第一眼底图像数据源是采用近红外光线作为光源拍摄得到的眼底图像数据集，所述第二眼底图像数据源是采用无赤光线作为光源拍摄得到的眼底图像数据集。

在本公开的一些示例性实施方式中，基于以上技术方案，特征提取模块720可以进一步包括：

编码器确定模块，被配置为确定预先训练的基于卷积神经网络的第一编码器和基于卷积神经网络的第二编码器；

第一编码模块，被配置为将所述第一眼底图像初始样本输入所述第一编码器，以由所述第一编码器对所述第一眼底图像初始样本进行特征提取后得到具有第一数据源特征的第一眼底图像初始特征数据；

第二编码模块，被配置为将所述第二眼底图像初始样本输入所述第二编码器，以由所述第二编码器对所述第二眼底图像初始样本进行特征提取后得到具有第二数据源特征的第二眼底图像初始特征数据。

在本公开的一些示例性实施方式中，基于以上技术方案，特征数据转换模块730可以进一步包括：

转码器确定模块，被配置为确定预先训练的基于残差网络的第一转码器和基于残差网络的第二转码器；

第一转码模块，被配置为将所述第一眼底图像初始特征数据输入所述第一转码器，以由所述第一转码器将所述第一眼底图像初始特征数据转换为具有第二数据源特征的第二眼底图像扩展特征数据；

第二转码模块，被配置为将所述第二眼底图像初始特征数据输入所述第二转码器，以由所述第二转码器将所述第二眼底图像初始特征数据转换为具有第一数据源特征的第一眼底图像扩展特征数据。

在本公开的一些示例性实施方式中，基于以上技术方案，图像还原模块740可以进一步包括：

解码器确定模块，被配置为确定基于反卷积神经网络的对应于所述第一编码器的第二解码器以及基于反卷积神经网络的对应于所述第二编码器的第一解码器；

第一解码模块，被配置为将所述第一眼底图像扩展特征数据输入所述第一解码器，以由所述第一解码器对所述第一眼底图像扩展特征数据进行图像还原以得到对应于所述第一眼底图像数据源的第一眼底图像扩展样本；

第二解码模块，被配置为将所述第二眼底图像扩展特征数据输入所述第二解码器，以由所述第二解码器对所述第二眼底图像扩展特征数据进行图像还原以得到对应于所述第二眼底图像数据源的第二眼底图像扩展样本。

在本公开的一些示例性实施方式中，基于以上技术方案，所述第一编码器、所述第二编码器、所述第一转码器、所述第二转码器、所述第一解码器以及所述第二解码器通过模型训练装置训练得到，该模型训练装置可以包括：

判别器构建模块，被配置为构建用于判断输入图像是否来自第一眼底图像数据源的第一判别器以及用于判断输入图像是否来自第二眼底图像数据源的第二判别器；

网络连接模块，被配置为将所述第一编码器、所述第一转码器、所述第二解码器以及所述第二判别器依次连接组成第一生成对抗网络，并将所述第二编码器、所述第二转码器、所述第一解码器以及所述第一判别器依次连接组成第二生成对抗网络；

联合训练模块，被配置为利用同一损失函数对所述第一生成对抗网络和所述第二生成对抗网络进行联合训练。

上述眼底图像样本扩展装置的具体细节已经在对应的眼底图像样本扩展方法中进行了详细的描述，因此此处不再赘述。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

在本公开的示例性实施方式中，还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时可实现本公开的上述的眼底图像样本扩展方法。在一些可能的实施方式中，本公开的各个方面还可以实现为一种程序产品的形式，其包括程序代码；该程序产品可以存储在一个非易失性存储介质(可以是CD-ROM、U盘或者移动硬盘等)中或网络上；当所述程序产品在一台计算设备(可以是个人计算机、服务器、终端装置或者网络设备等)上运行时，所述程序代码用于使所述计算设备执行本公开中上述各示例性实施例中的方法步骤。

参见图8所示，根据本公开的实施方式的用于实现上述方法的程序产品800，其可以采用便携式紧凑磁盘只读存储器(CD-ROM)并包括程序代码，并可以在计算设备(例如个人计算机、服务器、终端装置或者网络设备等)上运行。然而，本公开的程序产品不限于此。在本示例性实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

所述程序产品可以采用一个或者多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。

可读存储介质例如可以为但不限于电、磁、光、电磁、红外线或半导体的系统、装置或器件、或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件或者上述的任意合适的组合。

可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任意可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如C语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户计算设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络(包括局域网(LAN)或广域网(WAN)等)连接到用户计算设备；或者，可以连接到外部计算设备，例如利用因特网服务提供商来通过因特网连接。

在本公开的示例性实施方式中，还提供一种电子设备，所述电子设备包括至少一个处理器以及至少一个用于存储所述处理器的可执行指令的存储器；其中，所述处理器被配置为经由执行所述可执行指令来执行本公开中上述各示例性实施例中的方法步骤。

下面结合图9对本示例性实施方式中的电子设备900进行描述。电子设备900仅仅为一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

参见图9所示，电子设备900以通用计算设备的形式表现。电子设备900的组件可以包括但不限于：至少一个处理单元910、至少一个存储单元920、连接不同系统组件(包括处理单元910和存储单元920)的总线930、显示单元940。

其中，存储单元920存储有程序代码，所述程序代码可以被处理单元910执行，使得处理单元910执行本公开中上述各示例性实施例中的方法步骤。

存储单元920可以包括易失性存储单元形式的可读介质，例如随机存取存储单元921(RAM)和/或高速缓存存储单元922，还可以进一步包括只读存储单元923(ROM)。

存储单元920还可以包括具有一组(至少一个)程序模块925的程序/实用工具924，这样的程序模块包括但不限于：操作系统、一个或者多个应用程序、其他程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

总线930可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用各种总线结构中的任意总线结构的局域总线。

电子设备900也可以与一个或多个外部设备1000(例如键盘、指向设备、蓝牙设备等)通信，还可以与一个或者多个使得用户可以与该电子设备900交互的设备通信，和/或与使得该电子设备900能与一个或多个其他计算设备进行通信的任何设备(例如路由器、调制解调器等)通信。这种通信可以通过输入/输出(I/O)接口950进行。并且，电子设备900还可以通过网络适配器960与一个或者多个网络(例如局域网(LAN)、广域网(WAN)和/或公共网络，例如因特网)通信。如图9所示，网络适配器960可以通过总线930与电子设备900的其他模块通信。应当明白，尽管图中未示出，可以结合电子设备900使用其他硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

本领域技术人员能够理解，本公开的各个方面可以实现为系统、方法或程序产品。因此，本公开的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由所附的权利要求指出。

上述所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中，如有可能，各实施例中所讨论的特征是可互换的。在上面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组件、材料等。在其它情况下，不详细示出或描述公知结构、材料或者操作以避免模糊本公开的各方面。

Claims (10)

1.一种眼底图像样本扩展方法，其特征在于，包括：

获取基于第一眼底图像数据源的第一眼底图像初始样本以及基于第二眼底图像数据源的第二眼底图像初始样本；

分别对所述第一眼底图像初始样本和所述第二眼底图像初始样本进行特征提取以得到具有第一数据源特征的第一眼底图像初始特征数据和具有第二数据源特征的第二眼底图像初始特征数据；

将所述第一眼底图像初始特征数据转换为具有第二数据源特征的第二眼底图像扩展特征数据，并将所述第二眼底图像初始特征数据转换为具有第一数据源特征的第一眼底图像扩展特征数据；

分别对所述第一眼底图像扩展特征数据和所述第二眼底图像扩展特征数据进行图像还原以得到对应于所述第一眼底图像数据源的第一眼底图像扩展样本和对应于所述第二眼底图像数据源的第二眼底图像扩展样本。

2.根据权利要求1所述的眼底图像样本扩展方法，其特征在于，获取基于第一眼底图像数据源的第一眼底图像初始样本以及基于第二眼底图像数据源的第二眼底图像初始样本，包括：

采集眼底图像，并获取所述眼底图像的数据来源信息；

根据所述数据来源信息判断各个所述眼底图像的数据来源是否为第一眼底图像数据源、第二眼底图像数据源或者待确定眼底图像数据源；

将数据来源为所述第一眼底图像数据源的眼底图像确定为第一眼底图像初始样本，并将数据来源为第二眼底图像数据源的眼底图像确定为第二眼底图像初始样本；

将数据来源为所述待确定眼底图像数据源的眼底图像输入至预先训练的眼底图像分类模型，并根据所述眼底图像分类模型的输出结果将该眼底图像确定为第一眼底图像初始样本、第二眼底图像初始样本或者噪声样本。

3.根据权利要求2所述的眼底图像样本扩展方法，其特征在于，所述第一眼底图像数据源是采用近红外光线作为光源拍摄得到的眼底图像数据集，所述第二眼底图像数据源是采用无赤光线作为光源拍摄得到的眼底图像数据集。

4.根据权利要求1-3中任意一项所述的眼底图像样本扩展方法，其特征在于，分别对所述第一眼底图像初始样本和所述第二眼底图像初始样本进行特征提取以得到具有第一数据源特征的第一眼底图像初始特征数据和具有第二数据源特征的第二眼底图像初始特征数据，包括：

确定预先训练的基于卷积神经网络的第一编码器和基于卷积神经网络的第二编码器；

将所述第一眼底图像初始样本输入所述第一编码器，以由所述第一编码器对所述第一眼底图像初始样本进行特征提取后得到具有第一数据源特征的第一眼底图像初始特征数据；

将所述第二眼底图像初始样本输入所述第二编码器，以由所述第二编码器对所述第二眼底图像初始样本进行特征提取后得到具有第二数据源特征的第二眼底图像初始特征数据。

5.根据权利要求4所述的眼底图像样本扩展方法，其特征在于，将所述第一眼底图像初始特征数据转换为具有第二数据源特征的第二眼底图像扩展特征数据，并将所述第二眼底图像初始特征数据转换为具有第一数据源特征的第一眼底图像扩展特征数据，包括：

确定预先训练的基于残差网络的第一转码器和基于残差网络的第二转码器；

将所述第一眼底图像初始特征数据输入所述第一转码器，以由所述第一转码器将所述第一眼底图像初始特征数据转换为具有第二数据源特征的第二眼底图像扩展特征数据；

将所述第二眼底图像初始特征数据输入所述第二转码器，以由所述第二转码器将所述第二眼底图像初始特征数据转换为具有第一数据源特征的第一眼底图像扩展特征数据。

6.根据权利要求5所述的眼底图像样本扩展方法，其特征在于，分别对所述第一眼底图像扩展特征数据和所述第二眼底图像扩展特征数据进行图像还原以得到对应于所述第一眼底图像数据源的第一眼底图像扩展样本和对应于所述第二眼底图像数据源的第二眼底图像扩展样本，包括：

确定基于反卷积神经网络的对应于所述第一编码器的第二解码器以及基于反卷积神经网络的对应于所述第二编码器的第一解码器；

将所述第一眼底图像扩展特征数据输入所述第一解码器，以由所述第一解码器对所述第一眼底图像扩展特征数据进行图像还原以得到对应于所述第一眼底图像数据源的第一眼底图像扩展样本；

将所述第二眼底图像扩展特征数据输入所述第二解码器，以由所述第二解码器对所述第二眼底图像扩展特征数据进行图像还原以得到对应于所述第二眼底图像数据源的第二眼底图像扩展样本。

7.根据权利要求6所述的眼底图像样本扩展方法，其特征在于，所述第一编码器、所述第二编码器、所述第一转码器、所述第二转码器、所述第一解码器以及所述第二解码器通过以下步骤训练得到：

构建用于判断输入图像是否来自第一眼底图像数据源的第一判别器以及用于判断输入图像是否来自第二眼底图像数据源的第二判别器；

将所述第一编码器、所述第一转码器、所述第二解码器以及所述第二判别器依次连接组成第一生成对抗网络，并将所述第二编码器、所述第二转码器、所述第一解码器以及所述第一判别器依次连接组成第二生成对抗网络；

利用同一损失函数对所述第一生成对抗网络和所述第二生成对抗网络进行联合训练。

8.一种眼底图像样本扩展装置，其特征在于，包括：

初始样本获取模块，被配置为获取基于第一眼底图像数据源的第一眼底图像初始样本以及基于第二眼底图像数据源的第二眼底图像初始样本；

特征提取模块，被配置为分别对所述第一眼底图像初始样本和所述第二眼底图像初始样本进行特征提取以得到具有第一数据源特征的第一眼底图像初始特征数据和具有第二数据源特征的第二眼底图像初始特征数据；

特征数据转换模块，被配置为将所述第一眼底图像初始特征数据转换为具有第二数据源特征的第二眼底图像扩展特征数据，并将所述第二眼底图像初始特征数据转换为具有第一数据源特征的第一眼底图像扩展特征数据；

图像还原模块，被配置为分别对所述第一眼底图像扩展特征数据和所述第二眼底图像扩展特征数据进行图像还原以得到对应于所述第一眼底图像数据源的第一眼底图像扩展样本和对应于所述第二眼底图像数据源的第二眼底图像扩展样本。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-7中任意一项所述的眼底图像样本扩展方法。

10.一种电子设备，其特征在于，包括：

处理器；

存储器，用于存储所述处理器的可执行指令；

其中，所述处理器被配置为经由执行所述可执行指令来执行权利要求1-7中任意一项所述的眼底图像样本扩展方法。

Images