CN115937038A

CN115937038A - 一种基于wgan-gp模型的网格形变数据增强方法

Info

Publication number: CN115937038A
Application number: CN202211682574.2A
Authority: CN
Inventors: 李静; 胡鹏; 沈南燕
Original assignee: University of Shanghai for Science and Technology
Current assignee: University of Shanghai for Science and Technology
Priority date: 2022-12-27
Filing date: 2022-12-27
Publication date: 2023-04-07

Abstract

本发明公开了一种基于WGAN‑GP模型的网格形变数据增强方法，涉及图像处理、数据增强技术领域，包括：构建训练数据集和测试数据集；构建WGAN‑GP模型；基于训练数据集训练WGAN‑GP模型；使用测试数据集评估模型性能，确定网格形变数据增强模型；将随机噪声分别与医疗内窥镜图像作为输入，输出对应的形变网格，将医疗内窥镜图像分别和形变网格进行warp操作得到数据增强后的医疗内窥镜图像。本发明构建WGAN‑GP模型自动生成形变网格，通过形变网格对医疗内窥镜图像进行形变增强，增强后的医疗内窥镜图像真实且具有一定多样性，有效解决数据样本稀缺和数据样本不均衡的问题，进而提高基于医疗内窥镜图像的人工智能算法模型精度及泛化性。

Description

一种基于WGAN-GP模型的网格形变数据增强方法

技术领域

本发明涉及图像处理、数据增强技术领域，更具体的说是涉及一种基于WGAN-GP模型的网格形变数据增强方法。

背景技术

近年来，AI技术在医学影像分析、医疗决策等场景领域得到广泛应用，驱动传统医疗研究迈进了全新的阶段。作为“AI+医学”的一个重要研究方向，AI驱动的医学影像分析技术日趋成熟。然而，由于医学影像数据比较敏感和隐私，且高质量的数据标注工作非常困难，大部分医学影像数据集规模都较小，这也限制了AI模型在医学影像分析领域的应用。数据增强技术通过对已有医学影像数据(尤其是数量有限的类别)进行数据扩充，使得数据样本更加丰富、类别更加均衡，有效提升AI模型(尤其是深度神经网络模型)在医学影像分析领域中的任务性能。

目前在医疗内窥镜图像数据增强技术领域中，平移、翻转、旋转、缩放、裁剪、仿射变换等几何变换技术常被用于对已有的医疗内窥镜图像进行数据增强；这类传统方法在一定程度上缓解了数据样本不足的问题，但这类方法依赖于人为预设参数，且无法针对医疗内窥镜图像进行专门设计，导致增强后的图像数据真实性较差，进而导致增强后的数据对后续的病灶诊断、病灶分割等任务精度提升有限。近年来，生成对抗网络(GAN)因其强大的图像生成能力，逐渐被应用在医学影像数据增强领域，GAN通过输入随机噪声直接生成逼真的医学影像，以达到扩充医学影像数据集的目的；然而通过GAN模型直接生成医学影像，这类模型的训练需要大量的数据基础，医疗内窥镜图像数据这类医学影像数据因其敏感性和隐私性，数据集规模往往较小，所以这类方法并不适用。

因此，提出一种数据样本量需求小，且能够自动生成形变网格对医疗内窥镜图像进行形变增强以达到扩充数据集的目的的网格形变数据增强方法，使增强后的医疗内窥镜图像真实且具有一定多样性是本领域技术人员亟需解决的问题。

发明内容

有鉴于此，本发明提供了一种基于WGAN-GP模型的网格形变数据增强方法，该方法针对医疗内窥镜图像的特点，通过构建WGAN-GP模型自动生成形变网格，进而通过形变网格对医疗内窥镜图像进行形变增强以达到扩充数据集的目的，增强后的医疗内窥镜图像真实且具有一定多样性，为了实现上述目的，本发明采用如下技术方案：

本发明通过WGAN-GP模型直接生成形变网格，进而通过形变网格与医疗内窥镜图像进行warp操作后得到数据增强后的医疗内窥镜图像，并非通过模型直接生成图像，降低了模型训练过程的数据样本量需求；同时在模型训练的损失函数中设计了平滑形变项和病变区域LA大形变项，其中平滑形变项约束模型产生平滑形变，保证了形变的真实性和合理性，病变区域LA大形变项鼓励病变区域产生较大形变，保证了病变区域形变的显著性和多样性。

一种基于WGAN-GP模型的网格形变数据增强方法，包括以下步骤：

S1：构建训练数据集和测试数据集，将归一化后的医疗内窥镜图像数据按照7:3的比例划分为训练集X_train和测试集X_test，将训练集图像及其相对应的病变区域LA标注打包成训练数据集；

S2：构建WGAN-GP模型，所述WGAN-GP模型包括基于残差结构的生成器网络Net_G和基于残差结构的判别器网络Net_D；

S3：基于训练数据集迭代训练WGAN-GP模型，设置WGAN-GP模型中判别器网络Net_D和生成器网络Net_G的损失函数，分别通过损失函数交替迭代优化判别器网络Net_D和生成器网络Net_G，直至模型收敛，保存模型参数；

S4：使用医疗内窥镜图像测试集X_test评估训练完成后的生成器网络Net_G，评估性能符合需求的生成器网络Net_G即为网格形变数据增强模型model_aug；

S5：采样满足标准正态分布的随机噪声{z₁，z₂，…，z_k}，分别将随机噪声{z₁，z₂，…，z_k}与医疗内窥镜图像X作为网格形变数据增强模型model_aug的模型输入，输出对应的形变网格{g₁，g₂，…，g_k}，将医疗内窥镜图像X分别和形变网格{g₁，g₂，…，g_k}进行warp操作后得到数据增强后的医疗内窥镜图像{X_{aug_1}，X_{aug_2}，…，X_{aug_k}}。

可选的，所述步骤S2中所述生成器网络Net_G为基于残差结构的卷积神经网络，包含第一残差结构块、第二残差结构块、上采样块、卷积层、批归一化层、最大值池化层、线性层、reshape层以及Tanh激活函数，其中第一残差结构块和第二残差结构块由卷积层、批归一化层、LeakyReLU激活函数交替串联组成，并通过残差连接将低层输出与高层输出进行连接；上采样块由卷积层、批归一化层、LeakyReLU激活函数、上采样层交替串联组成。

可选的，生成器网络Net_G的输入为医疗内窥镜图像训练集X_train和随机噪声z，生成器网络Net_G的输出为形变网格g。

可选的，所述步骤S2中所述判别器网络Net_D为基于残差结构的卷积神经网络，包含第三残差结构块、第四残差结构块、卷积层、层归一化层、最大值池化层、自适应平均池化层、reshape层以及线性层，其中第三残差结构块和第四残差结构块由卷积层、层归一化层、ReLU激活函数交替串联组成，并通过残差连接将低层输出与高层输出进行连接。

可选的，判别器网络Net_D的输入为医疗内窥镜图像训练集X_train和形变图像X_{train_aug}，判别器网络Net_D的输出为对应的值Net_D(X_train)和Net_D(X_{train_aug})。

可选的，所述步骤S3具体包含以下步骤：

S3-1：初始化生成器网络Net_G和判别器网络Net_D；

S3-2：将医疗内窥镜图像训练集X_train和随机噪声z作为Net_G的输入，输出形变网格g；

S3-3：将医疗内窥镜图像训练集X_train和形变网格g进行warp操作得到形变图像X_{train_aug}，将医疗内窥镜图像训练集X_train和形变图像X_{train_aug}输入判别器网络Net_D，输出对应的值Net_D(X_train)和Net_D(X_{train_aug})；

S3-4：构造判别器网络Net_D的损失函数为L_D＝L_m+λ₁×L_{Grad_penalty}，其中L_D1＝-Net_D(X_train)+Net_D(X_{train_aug})，L_{Grad_penalty}为梯度惩罚项，λ₁为权重参数；

S3—5：构造生成器网络Net_G的损失函数为L_G＝L_G1+λ₂×L_smooth+λ₃×L_{LA_deform}，其中L_G1＝-Net_D(X_{train_aug})，L_smooth为平滑形变项，L_{LA_deform}为病变区域LA大形变项，λ₂和λ₃为权重参数；

S3-6：构造训练过程中监测指标项L_monitor＝Net_D(X_train)-Net_D(X_{train_aug})，用于观察WGAN-GP模型的训练趋势；

S3-7：分别通过损失函数L_D和L_G交替迭代优化判别器网络Net_D和生成器网络Net_G，观察监测指标项L_monitor的收敛情况，当监测指标项L_monitor曲线收敛时停止模型训练，保存训练后的判别器网络Net_D和生成器网络Net_G的模型参数。

可选的，所述步骤S3-5中所述平滑形变项L_smooth为约束生成器网络Net_G产生平滑形变的损失函数项，

其中N为△g内像素点个数，p表示△g内任意一点，p_x和p_y分别为p在X方向和Y方向的位置，△g＝g-g₀，g₀为原图-原图的形变网格。

可选的，所述步骤S3-5中所述病变区域LA大形变项L_{LA_deform}为鼓励病变区域LA产生较大形变的损失函数项，

其中N为△g内像素点个数，R为△g内属于病变区域LA位置的任意一点，R′为△g内不属于病变区域LA位置的任意一点，a为常数(a＞1)，△g＝g-g₀，g₀为原图-原图的形变网格。

经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种基于WGAN-GP模型的网格形变数据增强方法，具有以下优点：

1.本发明针对医疗内窥镜图像实际采集过程中病人的呼吸或者移动会导致器官组织产生局部位移或变形等特点，该方法通过构建WGAN-GP模型自动生成形变网格，进而通过形变网格对医疗内窥镜图像进行形变增强，增强后的医疗内窥镜图像真实且具有一定多样性。

2.本发明方法通过WGAN-GP模型直接生成形变网格，进而通过形变网格对医疗内窥镜图像进行形变增强，并非通过模型直接生成图像，降低了模型训练过程的数据样本量需求。

3.本发明方法在模型训练的损失函数中设计了平滑形变项和病变区域LA大形变项，其中平滑形变项约束模型产生平滑形变，保证了形变的真实性和合理性，病变区域LA大形变项鼓励病变区域产生较大形变，保证了病变区域形变的显著性和多样性。

4.本发明方法不仅可以对医疗内窥镜图像进行数据增强，还可以对相应的病变区域标签进行同步的数据增强，有效扩充医疗内窥镜图像及其病变区域标注数据集，进而解决数据样本稀缺和数据样本不均衡的问题；利用扩充后的数据集训练人工智能算法模型(尤其是深度神经网络模型)进行病变诊断、病变分割等医学图像任务，可以有效提高最终模型精度及泛化性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为一种基于WGAN-GP模型的网格形变数据增强方法的示意图；

图2为本发明中生成器网络Net_G的模型结构图；

图3为第一残差结构块的结构图；

图4为第二残差结构块的结构图；

图5为上采样块的结构图；

图6为本发明中医疗内窥镜图像训练集X_train和形变网格g进行warp操作的示意图；

图7为本发明中判别器网络Net_D的模型结构图；

图8为第三残差结构块的结构图；

图9为第四残差结构块的结构图；

图10为一种基于WGAN-GP模型的网格形变数据增强方法在胃肠道内窥镜数据集上的应用示例。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示为本发明提供的一种基于WGAN-GP模型的网格形变数据增强方法，该方法具体包括以下步骤：

S1：构建训练数据集和测试数据集，包括将归一化后的医疗内窥镜图像数据按照7∶3的比例划分为训练集X_train和测试集X_test，将训练集图像及其相对应的病变区域LA标注打包成训练数据集。

医疗内窥镜图像数据以RGB格式存储，将图像各颜色通道数值都除以255，使其数值归一化到0-1，将归一化后的医疗内窥镜图像数据按照7：3的比例划分为训练集X_train和测试集X_test，医疗内窥镜图像训练集X_train用于训练WGAN-GP模型，医疗内窥镜图像测试集X_test用于评估训练完成后的WGAN-GP模型。

所构建的训练数据集还包括与医疗内窥镜图像训练集X_train相对应的病变区域LA标注，病变区域LA标注以二值图方式存储，病变区域内像素用1表示，病变区域外像素用0表示。

S2：构建WGAN-GP模型，所述WGAN-GP模型包括基于残差结构的生成器网络Net_G和基于残差结构的判别器网络Net_D。

生成器网络Net_G的模型结构如图2所示，该网络为基于残差结构的卷积神经网络，由第一残差结构块(如图3所示)、第二残差结构块(如图4所示)、上采样块(如图5所示)、卷积层、批归一化层、最大值池化层、线性层、reshape层以及Tanh激活函数组成；第一残差结构块和第二残差结构块由卷积层、批归一化层、LeakyReLU激活函数交替串联组成，并通过残差连接将低层输出与高层输出进行连接；输入特征图经过第一残差结构块后输出特征图尺寸不变，而输入特征图经过第二残差结构块后输出特征图尺寸缩小为原来的

上采样块由卷积层、批归一化层、LeakyReLU激活函数、上采样层交替串联组成。

生成器网络Net_G的输入为医疗内窥镜图像训练集X_train和随机噪声z(z分布满足标准正态分布，即均数为0、标准差为1的正态分布N(0，1))，生成器网络Net_G的输出为形变网格g；医疗内窥镜图像训练集X_train(size＝3×512×512为例)经过对应的卷积层、批归一化层、最大值池化层、第一残差结构块和第二残差结构块后，输出特征图F_X的size＝128×64×64；随机噪声z(以维度＝100为例)经过对应的线性层、reshape层和第一残差结构块后，输出特征图F_z的size＝128×64×64；将特征图F_X和F_z沿通道维度进行拼接，拼接后特征图F_X+z的size＝256×64×64；将F_X+z经过3个上采样块、卷积层和Tanh激活函数，调整维度顺序后输出size＝512×512×2的形变网格g。

图6为医疗内窥镜图像训练集X_train和形变网格g进行warp操作的示意图，如图所示，形变网格g是大小为(H，W，2)的数组，其中H，W分别为医疗内窥镜图像训练集X_train长和宽方向的尺寸；以H＝W＝512为例，即形变网格g为size＝(512，512，2)的数组。

形变网格g在(h，w)处对应的值(g_1(h，w)，g_2(h,w))指示形变图像X_{train_aug}在(h，w)处对应的像素值由医疗内窥镜图像训练集X_train在(g_1(h，w)，g_2(h,w))处对应的像素值决定，即

形变网格g的数值范围为[-1，1]，对应于医疗内窥镜图像训练集X_train最左上、最左下、最右上、最右下的位置分别用(-1，-1)、(-1，1)、(1，-1)、(1，1)来表示。

形变网格g指示的坐标(g_1(h，w)，g_2(h,w))的数值范围在[-1，1]之间，需要根据一个浮点型的坐标值在医疗内窥镜图像训练集X_train中对像素值进行采样，本方法采用双线性插值的方法进行填充，即医疗内窥镜图像训练集X_train在(g_1(h，w)，g_2(h,w))处对应的像素值

由(g_1(h，w)，g_2(h,w))周围的四个像素值采用双线性插值方法计算得到。

判别器网络Net_D的模型结构如图7所示，该网络为基于残差结构的卷积神经网络，由第三残差结构块(如图8所示)、第四残差结构块(如图9所示)、卷积层、层归一化层、最大值池化层、自适应平均池化层、reshape层以及线性层组成；第三残差结构块和第四残差结构块由卷积层、层归一化层、ReLU激活函数交替串联组成，并通过残差连接将低层输出与高层输出进行连接；输入特征图经过第三残差结构块后输出特征图尺寸不变，而输入特征图经过第四残差结构块后输出特征图尺寸缩小为原来的

判别器网络Net_D的输入为医疗内窥镜图像训练集X_train和形变图像X_{train_aug}，判别器网络NetD的输出为对应的值Net_D(X_train)和Net_D(X_{train_aug})；医疗内窥镜图像训练集X_train和形变图像X_{train_aug}(size＝3×512×512为例)输入判别器网络Net_D后，经过卷积层、层归一化层、最大值池化层、第三残差结构块和2个第四残差结构块后，特征图尺寸逐渐减小，通道数逐渐增加，特征图size变为256×32×32；接着经过自适应平均池化层后特征图size变为256×1×1，经reshape层降维后经过2个线性层，最终输出对应的值Net_D(X_train)和Net_D(X_{train_aug})。

S3：基于训练数据集迭代训练WGAN-GP模型，设置WGAN-GP模型中判别器网络Net_D和生成器网络Net_G的损失函数，分别通过损失函数交替迭代优化判别器网络Net_D和生成器网络Net_G，直至模型收敛，保存模型参数。

S3-1：使用kaiming_normal参数初始化方式分别初始化生成器网络Net_G和判别器网络Net_D的参数。

S3-2：将医疗内窥镜图像训练集X_train和随机噪声z作为生成器网络Net_G的输入，输出形变网格g。

S3-3：将医疗内窥镜图像训练集X_train和形变网格g进行warp操作得到形变图像X_{train_aug}，将医疗内窥镜图像训练集X_train和形变图像X_{train_aug}输入判别器网络Net_D，输出对应的值Net_D(X_train)和Net_D(X_{train_aug})。

S3-4：构造判别器网络Net_D的损失函数为L_D＝L_D1+λ₁×L_{Grad_penalty}，其中L_D1＝-Net_D(X_train)+Net_D(X_{train_aug})，L_{Grad_penalty}为梯度惩罚项，λ₁为权重参数。

WGAN-GP模型的迭代优化过程是一个极大极小博弈问题，即寻找生成器网络Net_G和判别器网络Net_D之间的平衡点；生成器网络Net_G的目标是使输出的形变网格g与医疗内窥镜图像训练集X_train进行warp操作后得到的形变图像X_{train_aug}的分布尽可能接近于医疗内窥镜图像训练集X_train的分布；而判别器网络Net_D的目标则是尽可能区分开医疗内窥镜图像训练集X_train和形变图像X_{train_aug}；不断交替迭代训练生成器网络Net_G和判别器网络Net_D，最终达到平衡点。

在WGAN-GP模型的训练过程中，使用W＝Net_D(X_train)-Net_D(X_{train_aug})来近似表示医疗内窥镜图像训练集X_train分布与形变图像X_{train_aug}分布之间的Wasserstein距离，即W越小，形变图像X_{train_aug}的分布越接近于医疗内窥镜图像训练集X_train的分布。

判别器网络Net_D的目标是尽可能区分开医疗内窥镜图像训练集X_train和形变图像X_{train_aug}，即使得W＝Net_D(X_train)-Net_D(X_{train_aug})尽可能大，则判别器网络Net_D损失函数的第一部分可表示为L_D1＝-Net_D(X_train)+Net_D(X_{train_aug})。

使用W＝Net_D(X_train)-Net_D(X_{train_aug})来近似表示医疗内窥镜图像训练集X_train和形变图像X_{train_aug}分布之间的Wasserstein距离，需要满足Lipschitz连续条件，因此在判别器网络Net_D的损失函数中引入梯度惩罚项

其中

随机数β∈[0，1)。

因此，将判别器网络NetD的损失函数定义为：L_D＝L_D1+λ₁×L_{Grad_penalty}，其中λ₁为权重参数。

S3-5：构造生成器网络Net_G的损失函数为L_G＝L_G1+λ₂×L_smooth+λ₃×L_{LA_deform}，其中L_G1＝-Net_D(X_{train_aug})，L_smooth为平滑形变项，L_{LA_deform}为病变区域LA大形变项，λ₂和λ₃为权重参数。

生成器网络Net_G的目标是使形变图像X_{train_aug}的分布尽可能接近于医疗内窥镜图像训练集X_train的分布，即使得W＝Net_D(X_train)-Net_D(X_{train_aug})尽可能小，因为Net_D(X_train)这一项与生成器网络Net_G无关，所以生成器网络Net_G损失函数的第一部分可表示为L_G1＝-Net_D(X_{train_aug})。

为了使得生成器网络Net_G输出的形变网格g所对应的形变更加真实且平滑，在生成器网络Net_G的损失函数中引入了平滑形变项以约束生成器网络NetG产生平滑形变，

其中N为△g内像素点个数，p表示△g内任意一点，p_x和p_y分别为p在X方向和Y方向的位置，△g＝g-g0，g₀为原图-原图的形变网格。

为了使得生成器网络Net_G输出的形变网格g所对应的形变在病变区域LA处产生较大形变，在生成器网络Net_G的损失函数中引入了病变区域LA大形变项；在所构造的病变区域LA大形变项损失函数中，对病变区域LA标注区域和非病变区域LA标注区域的形变量赋予不同的权重，即

因此，将生成器网络Net_G的损失函数定义为：L_G＝L_G1+λ₂×L_smooth+λ₃×L_{LA_deform}，其中λ₂和λ₃为权重参数。

S3-6：构造训练过程中监测指标项L_monitor＝Net_D(X_train)-Net_D(X_{train_aug})，用于观察WGAN-GP模型的训练趋势。

每一个训练周期内，通过损失函数L_D迭代优化判别器网络Net_D，通过损失函数L_G迭代优化生成器网络Net_G，相关训练参数如下表所示：

S4：使用医疗内窥镜图像测试集X_test评估训练完成后的生成器网络Net_G，评估性能符合需求的生成器网络Net_G即为网格形变数据增强模型model_aug。

S5：采样满足标准正态分布的随机噪声{z₁，z₂，…，z_k}，分别将随机噪声{z₁，z₂，…，z_k)与医疗内窥镜图像X作为网格形变数据增强模型model_aug的模型输入，输出对应的形变网格{g₁，g₂，…，g_k)，将医疗内窥镜图像X分别和形变网格{g₁，g₂，…，g_k}进行warp操作后得到数据增强后的医疗内窥镜图像{X_{aug_1}，X_{aug_2}，…，X_{aug_k}}。

如图10所示为本发明提供的基于WGAN-GP模型的网格形变数据增强方法在胃肠道内窥镜息肉分割数据集上的应用示例，可见本方法不仅可以对内窥镜图像进行数据增强，还可以对相应的病变区域标签进行同步的数据增强。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims

1.一种基于WGAN-GP模型的网格形变数据增强方法，其特征在于，包括以下步骤：

S5：采样满足标准正态分布的随机噪声{z₁,z₂,…,z_k}，分别将随机噪声{z₁,z₂,…,z_k}与医疗内窥镜图像X作为网格形变数据增强模型model_aug的模型输入，输出对应的形变网格{g₁,g₂,…,g_k}，将医疗内窥镜图像X分别和形变网格{g₁,g₂,…,g_k}进行warp操作后得到数据增强后的医疗内窥镜图像X_{aug_1},X_{aug_2},…,X_{aug_k}}。

2.根据权利要求1所述的一种基于WGAN-GP模型的网格形变数据增强方法，其特征在于，步骤S2中所述生成器网络Net_G为基于残差结构的卷积神经网络，包含第一残差结构块、第二残差结构块、上采样块、卷积层、批归一化层、最大值池化层、线性层、reshape层以及Tanh激活函数，其中第一残差结构块和第二残差结构块由卷积层、批归一化层、LeakyReLU激活函数交替串联组成，并通过残差连接将低层输出与高层输出进行连接；上采样块由卷积层、批归一化层、LeakyReLU激活函数、上采样层交替串联组成。

3.根据权利要求2所述的一种基于WGAN-GP模型的网格形变数据增强方法，其特征在于，所述生成器网络Net_G的输入为医疗内窥镜图像训练集X_train和随机噪声z，生成器网络Net_G的输出为形变网格g。

4.根据权利要求1所述的一种基于WGAN-GP模型的网格形变数据增强方法，其特征在于，步骤S2中所述判别器网络Net_D为基于残差结构的卷积神经网络，包含第三残差结构块、第四残差结构块、卷积层、层归一化层、最大值池化层、自适应平均池化层、reshape层以及线性层，其中第三残差结构块和第四残差结构块由卷积层、层归一化层、ReLU激活函数交替串联组成，并通过残差连接将低层输出与高层输出进行连接。

5.根据权利要求4所述的一种基于WGAN-GP模型的网格形变数据增强方法，其特征在于，所述判别器网络Net_D的输入为医疗内窥镜图像训练集X_train和形变图像X_{train_aug}，判别器网络Net_D的输出为对应的值Net_D(X_train)和Net_D(X_{train_aug})。

6.根据权利要求1所述的一种基于WGAN-GP模型的网格形变数据增强方法，其特征在于，步骤S3具体包含以下步骤：

S3-1：初始化生成器网络Net_G和判别器网络Net_D；

S3-4：构造判别器网络Net_D的损失函数为L_D＝L_D1+λ₁×L_{Grad_penalty}，其中L_D1＝-Net_D(X_train)+Net_D(X_{train_aug})，L_{Grad_penalty}为梯度惩罚项，λ₁为权重参数；

S3-5：构造生成器网络Net_G的损失函数为L_G＝L_G1+λ₂×L_smooth+λ₃×L_{LA_deform}，其中L_G1＝-Net_D(X_{train_aug})，L_smooth为平滑形变项，L_{LA_deform}为病变区域LA大形变项，λ₂和λ₃为权重参数；

7.根据权利要求6所述的一种基于WGAN-GP模型的网格形变数据增强方法，其特征在于，步骤S3-5中所述平滑形变项L_smooth为约束生成器网络Net_G产生平滑形变的损失函数项，

其中N为Δg内像素点个数，p表示Δg内任意一点，p_x和p_y分别为p在X方向和Y方向的位置，Δg＝g-g₀，g₀为原图-原图的形变网格。

8.根据权利要求6所述的一种基于WGAN-GP模型的网格形变数据增强方法，其特征在于，步骤S3-5中所述病变区域LA大形变项L_{LA_deform}为鼓励病变区域LA产生较大形变的损失函数项，

其中N为Δg内像素点个数，R为Δg内属于病变区域LA位置的任意一点，R'为Δg内不属于病变区域LA位置的任意一点，α为常数(α>1)，Δg＝g-g₀，g₀为原图-原图的形变网格。