CN115938546A - 一种早期胃癌图像合成方法、系统、设备及存储介质 - Google Patents

Abstract

本发明公开了一种早期胃癌图像合成方法、系统、设备及存储介质，涉及图像数据处理技术领域，解决现有早期胃癌数据收集困难以及普通数据增广方法产生的早期胃癌数据多样性差的问题，包括采集并标注正常胃图像数据和早期胃癌图像数据；正常胃图像和早期胃癌图像有效视野提取；创建生成对抗网络模型，并使用正常胃图像和早期胃癌图像的有效视野来训练该生成对抗网络模型；加载生成对抗网络模型，根据输入的正常胃图像生成对应的早期胃癌图像；本发明设计一种生成对抗网络模型，将正常胃图像合成为早期胃癌图像数据，由于正常胃图像具备大量不同形态，因此相比普通的几何变换、颜色抖动方法增广得到的数据具备更好的多样性。

Description

一种早期胃癌图像合成方法、系统、设备及存储介质

技术领域

本发明涉及图像数据处理技术领域，更具体的是涉及基于生成对抗网络的早期胃癌图像合成技术领域。

背景技术

胃癌(Gastric cancer, GC)是一种世界范围内致死率第三高的恶性疾病。因为早期胃癌症状轻微，被诊断出来的时候通常已经到了晚期，其5年生存率低于30%。如果在胃癌早期采取相应的治疗，其5年生存率可以提升到95%以上。因此早期胃癌的检测对于降低胃癌致死率具有极其重要意义。胃镜检查是早期胃癌诊断的主要手段。由于早期胃癌通常只表现出黏膜上的一些细微变化，因此早期胃癌检测的敏感性一般相对较低。此外，具有丰富临床经验和熟练操作技巧的医生目前仍然较为缺乏，这一情况在欠发达地区更为严重。近年来，基于神经网络的人工智能方法在胃癌早期诊断中取得了许多成功的应用。然而，现有神经网络方法高度依赖大量胃图像数据。尽管正常胃图像数据较为常见，早期胃癌图像数据在临床中的收集非常困难并且成本极高。这严重制约了早期胃癌神经网络模型的性能以及相关的实际临床应用。

现有的技术方案主要通过数据增广方法来生成早期胃癌图像，比如对内镜图像运用旋转、放大、平移，或者颜色调整等图像处理方法来产生新的图像。这种方法快捷易用，可以在模型训练阶段一边加载早期胃癌图像数据，一边增广生成更多的早期胃癌图像数据。此外，通过在收集的早期胃癌图像数据上训练生成对抗网络也可以实现内镜图像数据的生成。这种方法首先学习早期胃癌图像数据的分布，进而在这个学习到的分布上进行采样，从而产生在分布上具有相似性的早期胃癌图像。

数据增广方法对已有早期胃癌图像进行处理，所生成的图像是基于原图像的一个简单修改，因此新生成的图像数据在早期胃癌病灶特征等方面变化微小，为模型训练带来的新的信息量比较局限。此外，由于早期胃癌图像难以收集，通过数据增广方法来生成的早期胃癌图像数据同样也非常有限。而通过生成对抗网络来学习早期胃癌数据分布，然后进行采样的方法，在数据规模较小的情况下，容易出现模式坍塌问题，从而影响生成的早期胃癌图像数据的质量。

发明内容

本发明的目的在于：为了解决上述早期胃癌数据收集困难以及普通数据增广方法产生的早期胃癌数据多样性差的问题，本发明提供一种早期胃癌图像合成方法、系统、设备及存储介质。

本发明为了实现上述目的具体采用以下技术方案：一种基于生成对抗网络的早期胃癌图像合成方法，包括以下步骤：

步骤1、采集并标注正常胃图像数据和早期胃癌图像数据；

步骤2、正常胃图像和早期胃癌图像有效视野提取；

步骤3、创建生成对抗网络模型，并使用正常胃图像和早期胃癌图像的有效视野来训练该生成对抗网络模型；

步骤4、加载生成对抗网络模型，根据输入的正常胃图像生成对应的早期胃癌图像。

本申请的技术方案中，无需收集配对的数据，极大减少了数据采集和标注成本，设计一种生成对抗网络模型，将正常胃图像合成为早期胃癌图像数据，利用正常胃图像收集较为容易的特点，通过所设计的模型即可合成大量早期胃癌图像数据；设计一种训练生成对抗网络模型的损失函数，使得合成图像的整体内容和正常胃图像相似，并且局部病灶内容和早期胃癌图像相似，目的在于使得网络所合成的早期胃癌图像在视觉上接近真实的早期胃癌图像，提升合成图像的真实度；由于正常胃图像具备大量不同形态，因此相比普通的几何变换、颜色抖动方法增广得到的数据具备更好的多样性。

进一步的，采集并标注正常胃图像数据和早期胃癌图像数据，具体包括如下步骤：

步骤11、录制并收集胃镜检查视频流，筛选出包含早期胃癌病变以及正常胃部图像的视频片段；

步骤12、从上述视频片段中抽取相应包含早期胃癌病变区域的视频帧，并随机抽取正常胃部的视频帧；

步骤13、将上述视频帧的数据集划分为训练集、验证集和测试集三个部分。

更进一步的，正常胃图像和早期胃癌图像有效视野提取，具体包括如下步骤：

步骤21、使用矩形框对训练集中胃图像的有效视野区域进行标注；

步骤22、构建YOLOv7目标检测模型，YOLOv7目标检测模型接收步骤21中标注的训练集中胃图像作为输入，输出结果用于对预先定义的锚框进行坐标和高宽变换，通过最小化回归和分类目标函数来实现YOLOv7目标检测模型的训练（训练过程中通过观察步骤A中标注的验证集在YOLOv7目标检测模型上的回归和分类目标函数值的变化情况来评估模型是否已经训练好），保存训练好的YOLOv7目标检测模型；

步骤23、使用训练好的YOLOv7目标检测模型，将步骤13中的验证集和测试集胃镜检查图像作为输入，YOLOv7目标检测模型输出变换参数，将预定义的锚框变换为有效视野区域位置的矩形框表示，并通过非极大值抑制来去除冗余的检测框，得到验证集和测试集胃镜图像中的有效视野区域。

更进一步的，步骤3中，创建生成对抗网络模型，使用步骤21中矩形框标注提取训练集正常图像的有效视野，以及步骤23中训练好的YOLOv7目标检测模型提取的测试集和验证集正常图像的有效视野来训练生成对抗网络模型，具体包括如下步骤：

步骤31、使用残差块和Inception块构建生成对抗网络模型中的生成器1，其中残差块和Inception块形成一个组，在生成器1中交替使用，对于生成器1，下采样部分使用6组残差块和Inception块，其中第1,3,5组残差块的步长设置为2，实现特征图的下采样，在上采样部分使用9组Inception块和残差块，其中第1,4,7组残差块前加入上采样块，上采样步长设置为2，上采样方法设定为双线性插值；生成器2的网络结构采用和生成器1相同的设定，将步骤21中从训练集中正常胃图像上标注的有效视野区域的图像作为生成器1的输入，其输出的早期胃癌图像将会作为生成器2的新的输入；

步骤32、生成器1接收步骤21中从训练集中正常胃图像上标注的有效视野区域的图像作为输入，合成早期胃癌图像作为输出，对于生成器1合成的早期胃癌图像，和真实早期胃癌图像一起送入到Inception类型的判别器1中，通过交替最小化第一对抗损失函数的方式来更新判别器1和生成器1的参数，当更新判别器1中的卷积层和全连接层参数时，固定生成器1的参数；而在更新生成器1中卷积层的参数时，固定判别器1的参数，判别器1和生成器1的参数更新交替进行，具体的，第一对抗损失函数的形式化描述如下：

上式中表示步骤21中从训练集中正常胃图像上标注的有效视野区域的图像，表示合成的早期胃癌图像，和分别表示正常胃图像和早期胃癌图像的数据分布，和分别表示生成器1和判别器1，在生成器的参数的学习过程中，并且对进行最小化优化；而在判别器的参数的学习过程中，对进行最小化优化；

步骤33、生成器2接收生成器1合成的早期胃癌图像作为输入，重建正常胃图像作为输出，生成器2重建的正常胃图像，和真实的正常胃图像一起送入到Inception类型的判别器2中，通过交替进行最小化最大化第二对抗损失函数的方式来更新判别器2，以及生成器1和生成器2的参数，判别器2中的卷积层和全连接层参数作为第一部分，对其通过最大化第二对抗损失函数来更新，此时生成器1和生成器2的参数作为第二部分被固定；而在通过最小化第二对抗损失函数更新生成器1和生成器2中卷积层的参数时，判别器2的参数作为第一部分被固定，生成器1、生成器2和判别器2的参数更新过程分别通过最小化最大化第二对抗损失函数的方式交替进行，具体的生成器1，生成器2和判别器2的第二对抗损失函数如下：

上式中表示输入的正常胃图像，表示正常胃图像的数据分布，,和分别表示生成器1，生成器2和判别器2，在生成器的参数学习过程中，对进行最小化优化，在判别器的参数的学习过程中，对进行最大化优化；

步骤34、使用步骤21中的训练集中图像的有效视野并通过步骤32和步骤33的学习方式对生成对抗网络模型完成一轮训练后(每张图像训练一次)，使用步骤23中得到的验证集正常图像的有效视野作为输入，使用上述训练过的生成对抗网络模型合成早期胃癌图像，并计算合成的早期胃癌图像和和步骤23中获得的验证集早期胃癌图像之间的FID值，当FID值相比前一轮出现上升时，停止训练，并获取前一轮训练得到的生成对抗网络模型作为最终的模型。

更进一步的，步骤4中，加载生成对抗网络模型，根据输入的正常胃图像生成对应的早期胃癌图像，具体包括如下步骤:

步骤41、加载训练好的生成对抗网络模型；

步骤42、将步骤23中的测试集正常胃图像的有效视野区域输入到步骤41加载的生成对抗网络模型来合成早期胃癌图像。

一种基于生成对抗网络的早期胃癌图像合成系统，包括：

图像数据收集模块，用于采集并标注正常胃图像数据和早期胃癌图像数据；

图像有效视野提取模块，用于正常胃图像和早期胃癌图像有效视野提取；

创建及模型训练模块，用于创建生成对抗网络模型，并使用正常胃图像和

早期胃癌图像的有效视野来训练该生成对抗网络模型；

加载生成对抗网络模型，用于根据输入的正常胃图像生成对应的早期胃癌图像。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行所述方法的步骤。

一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行所述方法的步骤。

本发明的有益效果如下：

1、本发明无需收集配对的数据，极大减少了数据采集和标注成本；

2、本发明采用正常胃图像作为条件输入，可提升合成图像质量并且减少模式坍塌问题；

3、本发明可以将大量正常胃图像有效利用起来辅助胃早癌识别；

4、本发明能够根据收集的正常胃图像和早期胃癌图像数据学习图像合成模型，实现正常胃图像到早期胃癌图像的合成，克服早期胃癌图像收集困难的问题；

5、本发明通过所设计构建的生成器和判别器网络结构，能够有效提取正常胃图像和早期胃癌图像中的深层多尺度特征，进一步通过所构建的对抗训练方法，在无需配对数据情况下，实现高质量的正常胃图像到早期胃癌图像的合成，辅助医生在较早的时期对早期胃癌的病变发展情况进行预测。

附图说明

图1是本发明一种基于生成对抗网络的早期胃癌图像合成方法的流程图；

图2是本发明正常胃图像和早期胃癌图像有效视野提取流程图；

图3是本发明用于早期胃癌图像合成的生成对抗网络模型。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。

因此，基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1

如图1到3所示，本实施例提供一种基于生成对抗网络的早期胃癌图像合成方法，包括以下步骤：

步骤1、采集并标注正常胃图像数据和早期胃癌图像数据，具体包括如下步骤：

步骤11、录制并收集胃镜检查视频流，筛选出包含早期胃癌病变以及正常胃部图像的视频片段；

步骤12、从上述视频片段中抽取相应包含早期胃癌病变区域的视频帧，并随机抽取正常胃部的视频帧；

步骤13、将上述视频帧的数据集划分为训练集、验证集和测试集三个部分；

步骤2、正常胃图像和早期胃癌图像有效视野提取，具体包括如下步骤：

步骤21、使用矩形框对训练集中胃图像的有效视野区域进行标注；

步骤22、构建YOLOv7目标检测模型，YOLOv7目标检测模型接收步骤21中标注的训练集中胃图像作为输入，输出结果用于对预先定义的锚框进行坐标和高宽变换，通过最小化回归和分类目标函数来实现YOLOv7目标检测模型的训练（训练过程中通过观察步骤A中标注的验证集在YOLOv7目标检测模型上的回归和分类目标函数值的变化情况来评估模型是否已经训练好），保存训练好的YOLOv7目标检测模型；

步骤23、使用训练好的YOLOv7目标检测模型，将步骤13中的验证集和测试集胃镜检查图像作为输入，YOLOv7目标检测模型输出变换参数，将预定义的锚框变换为有效视野区域位置的矩形框表示，并通过非极大值抑制来去除冗余的检测框，得到验证集和测试集胃镜图像中的有效视野区域；

步骤3、使用步骤21中矩形框标注提取训练集正常图像的有效视野，以及步骤23中训练好的YOLOv7目标检测模型提取的测试集和验证集正常图像的有效视野来训练生成对抗网络模型，具体包括如下步骤：

步骤31、使用残差块和Inception块构建生成对抗网络模型中的生成器1，其中残差块和Inception块形成一个组，在生成器1中交替使用，对于生成器1，下采样部分使用6组残差块和Inception块，其中第1,3,5组残差块的步长设置为2，实现特征图的下采样，在上采样部分使用9组Inception块和残差块，其中第1,4,7组残差块前加入上采样块，上采样步长设置为2，上采样方法设定为双线性插值；生成器2的网络结构采用和生成器1相同的设定，将步骤21中从训练集中正常胃图像上标注的有效视野区域的图像作为生成器1的输入，其输出的早期胃癌图像将会作为生成器2的新的输入；

步骤32、生成器1接收步骤21中从训练集中正常胃图像上标注的有效视野区域的图像作为输入，合成早期胃癌图像作为输出，对于生成器1合成的早期胃癌图像，和真实早期胃癌图像一起送入到Inception类型的判别器1中，通过交替最小化第一对抗损失函数的方式来更新判别器1和生成器1的参数，当更新判别器1中的卷积层和全连接层参数时，固定生成器1的参数；而在更新生成器1中卷积层的参数时，固定判别器1的参数，判别器1和生成器1的参数更新交替进行，具体的，第一对抗损失函数的形式化描述如下：

上式中表示步骤21中从训练集中正常胃图像上标注的有效视野区域的图像，表示合成的早期胃癌图像，和分别表示正常胃图像和早期胃癌图像的数据分布，和分别表示生成器1和判别器1，在生成器的参数的学习过程中，并且对进行最小化优化；而在判别器的参数的学习过程中，对进行最小化优化；

步骤33、生成器2接收生成器1合成的早期胃癌图像作为输入，重建正常胃图像作为输出，生成器2重建的正常胃图像，和真实的正常胃图像一起送入到Inception类型的判别器2中，通过交替进行最小化最大化第二对抗损失函数的方式来更新判别器2，以及生成器1和生成器2的参数，判别器2中的卷积层和全连接层参数作为第一部分，对其通过最大化第二对抗损失函数来更新，此时生成器1和生成器2的参数作为第二部分被固定；而在通过最小化第二对抗损失函数更新生成器1和生成器2中卷积层的参数时，判别器2的参数作为第一部分被固定，生成器1、生成器2和判别器2的参数更新过程分别通过最小化最大化第二对抗损失函数的方式交替进行，具体的生成器1，生成器2和判别器2的第二对抗损失函数如下：

上式中表示输入的正常胃图像，表示正常胃图像的数据分布，,和分别表示生成器1，生成器2和判别器2，在生成器的参数学习过程中，对进行最小化优化，在判别器的参数的学习过程中，对进行最大化优化；

步骤34、使用步骤21中的训练集中图像的有效视野并通过步骤32和步骤33的学习方式对生成对抗网络模型完成一轮训练后(每张图像训练一次)，使用步骤23中得到的验证集正常图像的有效视野作为输入，使用上述训练过的生成对抗网络模型合成早期胃癌图像，并计算合成的早期胃癌图像和和步骤23中获得的验证集早期胃癌图像之间的FID值，当FID值相比前一轮出现上升时，停止训练，并获取前一轮训练得到的生成对抗网络模型作为最终的模型；

步骤4、加载生成对抗网络模型，根据输入的正常胃图像生成对应的早期胃癌图像，具体包括如下步骤:

步骤41、加载训练好的生成对抗网络模型；

步骤42、将步骤23中的测试集正常胃图像的有效视野区域输入到步骤41加载的生成对抗网络模型来合成早期胃癌图像。

实施例2

如图1到3所示，一种基于生成对抗网络的早期胃癌图像合成系统，包括：

图像数据收集模块，用于采集并标注正常胃图像数据和早期胃癌图像数据，具体包括如下步骤：

步骤11、录制并收集胃镜检查视频流，筛选出包含早期胃癌病变以及正常胃部图像的视频片段；

步骤12、从上述视频片段中抽取相应包含早期胃癌病变区域的视频帧，并随机抽取正常胃部的视频帧；

步骤13、将上述视频帧的数据集划分为训练集、验证集和测试集三个部分；

图像有效视野提取模块，用于正常胃图像和早期胃癌图像有效视野提取，具体包括如下步骤：

步骤21、使用矩形框对训练集中胃图像的有效视野区域进行标注；

步骤22、构建YOLOv7目标检测模型，YOLOv7目标检测模型接收步骤21中标注的训练集中胃图像作为输入，输出结果用于对预先定义的锚框进行坐标和高宽变换，通过最小化回归和分类目标函数来实现YOLOv7目标检测模型的训练（训练过程中通过观察步骤A中标注的验证集在YOLOv7目标检测模型上的回归和分类目标函数值的变化情况来评估模型是否已经训练好），保存训练好的YOLOv7目标检测模型；

步骤23、使用训练好的YOLOv7目标检测模型，将步骤13中的验证集和测试集胃镜检查图像作为输入，YOLOv7目标检测模型输出变换参数，将预定义的锚框变换为有效视野区域位置的矩形框表示，并通过非极大值抑制来去除冗余的检测框，得到验证集和测试集胃镜图像中的有效视野区域；

创建及模型训练模块，用于创建生成对抗网络模型，使用步骤21中矩形框标注提取训练集正常图像的有效视野，以及步骤23中训练好的YOLOv7目标检测模型提取的测试集和验证集正常图像的有效视野来训练生成对抗网络模型，具体包括如下步骤：

步骤31、使用残差块和Inception块构建生成对抗网络模型中的生成器1，其中残差块和Inception块形成一个组，在生成器1中交替使用，对于生成器1，下采样部分使用6组残差块和Inception块，其中第1,3,5组残差块的步长设置为2，实现特征图的下采样，在上采样部分使用9组Inception块和残差块，其中第1,4,7组残差块前加入上采样块，上采样步长设置为2，上采样方法设定为双线性插值；生成器2的网络结构采用和生成器1相同的设定，将步骤21中从训练集中正常胃图像上标注的有效视野区域的图像作为生成器1的输入，其输出的早期胃癌图像将会作为生成器2的新的输入；

步骤32、生成器1接收步骤21中从训练集中正常胃图像上标注的有效视野区域的图像作为输入，合成早期胃癌图像作为输出，对于生成器1合成的早期胃癌图像，和真实早期胃癌图像一起送入到Inception类型的判别器1中，通过交替最小化第一对抗损失函数的方式来更新判别器1和生成器1的参数，当更新判别器1中的卷积层和全连接层参数时，固定生成器1的参数；而在更新生成器1中卷积层的参数时，固定判别器1的参数，判别器1和生成器1的参数更新交替进行，具体的，第一对抗损失函数的形式化描述如下：

上式中表示步骤21中从训练集中正常胃图像上标注的有效视野区域的图像，表示合成的早期胃癌图像，和分别表示正常胃图像和早期胃癌图像的数据分布，和分别表示生成器1和判别器1，在生成器的参数的学习过程中，并且对进行最小化优化；而在判别器的参数的学习过程中，对进行最小化优化；

步骤33、生成器2接收生成器1合成的早期胃癌图像作为输入，重建正常胃图像作为输出，生成器2重建的正常胃图像，和真实的正常胃图像一起送入到Inception类型的判别器2中，通过交替进行最小化最大化第二对抗损失函数的方式来更新判别器2，以及生成器1和生成器2的参数，判别器2中的卷积层和全连接层参数作为第一部分，对其通过最大化第二对抗损失函数来更新，此时生成器1和生成器2的参数作为第二部分被固定；而在通过最小化第二对抗损失函数更新生成器1和生成器2中卷积层的参数时，判别器2的参数作为第一部分被固定，生成器1、生成器2和判别器2的参数更新过程分别通过最小化最大化第二对抗损失函数的方式交替进行，具体的生成器1，生成器2和判别器2的第二对抗损失函数如下：

上式中表示输入的正常胃图像，表示正常胃图像的数据分布，,和分别表示生成器1，生成器2和判别器2，在生成器的参数学习过程中，对进行最小化优化，在判别器的参数的学习过程中，对进行最大化优化；

步骤34、使用步骤21中的训练集中图像的有效视野并通过步骤32和步骤33的学习方式对生成对抗网络模型完成一轮训练后(每张图像训练一次)，使用步骤23中得到的验证集正常图像的有效视野作为输入，使用上述训练过的生成对抗网络模型合成早期胃癌图像，并计算合成的早期胃癌图像和和步骤23中获得的验证集早期胃癌图像之间的FID值，当FID值相比前一轮出现上升时，停止训练，并获取前一轮训练得到的生成对抗网络模型作为最终的模型；

加载生成对抗网络模型，用于根据输入的正常胃图像生成对应的早期胃癌图像，具体包括如下步骤:

步骤41、加载训练好的生成对抗网络模型；

步骤42、将步骤23中的测试集正常胃图像的有效视野区域输入到步骤41加载的生成对抗网络模型来合成早期胃癌图像。

实施例3

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行基于生成对抗网络的早期胃癌图像合成方法的步骤。

其中，所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。

所述存储器至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或D界面显示存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，所述存储器可以是所述计算机设备的内部存储单元，例如该计算机设备的硬盘或内存。在另一些实施例中，所述存储器也可以是所述计算机设备的外部存储设备，例如该计算机设备上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。当然，所述存储器还可以既包括所述计算机设备的内部存储单元也包括其外部存储设备。本实施例中，所述存储器常用于存储安装于所述计算机设备的操作系统和各类应用软件，例如所述基于生成对抗网络的早期胃癌图像合成方法的程序代码等。此外，所述存储器还可以用于暂时地存储已经输出或者将要输出的各类数据。

所述处理器在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器通常用于控制所述计算机设备的总体操作。本实施例中，所述处理器用于运行所述存储器中存储的程序代码或者处理数据，例如运行所述基于生成对抗网络的早期胃癌图像合成方法的程序代码。

实施例4

一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行基于生成对抗网络的早期胃癌图像合成方法的步骤。

其中，所述计算机可读存储介质存储有界面显示程序，所述界面显示程序可被至少一个处理器执行，以使所述至少一个处理器执行如上述的基于生成对抗网络的早期胃癌图像合成方法的步骤。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器或者网络设备等)执行本申请实施例所述基于生成对抗网络的早期胃癌图像合成方法。

Claims (8)

1.一种基于生成对抗网络的早期胃癌图像合成方法，其特征在于，包括以下步骤：

步骤1、采集并标注正常胃图像数据和早期胃癌图像数据；

步骤2、正常胃图像和早期胃癌图像有效视野提取；

步骤3、创建生成对抗网络模型，并使用正常胃图像和早期胃癌图像的有效视野来训练该生成对抗网络模型；

步骤4、加载生成对抗网络模型，根据输入的正常胃图像生成对应的早期胃癌图像。

2.根据权利要求1所述的一种基于生成对抗网络的早期胃癌图像合成方法，其特征在于，采集并标注正常胃图像数据和早期胃癌图像数据，具体包括如下步骤：

步骤11、录制并收集胃镜检查视频流，筛选出包含早期胃癌病变以及正常胃部图像的视频片段；

步骤12、从上述视频片段中抽取相应包含早期胃癌病变区域的视频帧，并随机抽取正常胃部的视频帧；

步骤13、将上述视频帧的数据集划分为训练集、验证集和测试集三个部分。

3.根据权利要求2所述的一种基于生成对抗网络的早期胃癌图像合成方法，其特征在于，正常胃图像和早期胃癌图像有效视野提取，具体包括如下步骤：

步骤21、使用矩形框对训练集中胃图像的有效视野区域进行标注；

步骤22、构建YOLOv7目标检测模型，YOLOv7目标检测模型接收步骤21中标注的训练集中胃图像作为输入，输出结果用于对预先定义的锚框进行坐标和高宽变换，通过最小化回归和分类目标函数来实现YOLOv7目标检测模型的训练，保存训练好的YOLOv7目标检测模型；

步骤23、使用训练好的YOLOv7目标检测模型，将步骤13中的验证集和测试集胃镜检查图像作为输入，YOLOv7目标检测模型输出变换参数，将预定义的锚框变换为有效视野区域位置的矩形框表示，并通过非极大值抑制来去除冗余的检测框，得到验证集和测试集胃镜图像中的有效视野区域。

4.根据权利要求3所述的一种基于生成对抗网络的早期胃癌图像合成方法，其特征在于，步骤3中，创建生成对抗网络模型，使用步骤21中矩形框标注提取训练集正常图像的有效视野，以及步骤23中训练好的YOLOv7目标检测模型提取的测试集和验证集正常图像的有效视野来训练生成对抗网络模型，具体包括如下步骤：

步骤31、使用残差块和Inception块构建生成对抗网络模型中的生成器1，其中残差块和Inception块形成一个组，在生成器1中交替使用，对于生成器1，下采样部分使用6组残差块和Inception块，其中第1,3,5组残差块的步长设置为2，实现特征图的下采样，在上采样部分使用9组Inception块和残差块，其中第1,4,7组残差块前加入上采样块，上采样步长设置为2，上采样方法设定为双线性插值；生成器2的网络结构采用和生成器1相同的设定，将步骤21中从训练集中正常胃图像上标注的有效视野区域的图像作为生成器1的输入，其输出的早期胃癌图像将会作为生成器2的新的输入；

步骤32、生成器1接收步骤21中从训练集中正常胃图像上标注的有效视野区域的图像作为输入，合成早期胃癌图像作为输出，对于生成器1合成的早期胃癌图像，和真实早期胃癌图像一起送入到Inception类型的判别器1中，通过交替最小化第一对抗损失函数的方式来更新判别器1和生成器1的参数，当更新判别器1中的卷积层和全连接层参数时，固定生成器1的参数；而在更新生成器1中卷积层的参数时，固定判别器1的参数，判别器1和生成器1的参数更新交替进行，具体的，第一对抗损失函数的形式化描述如下：

上式中表示步骤21中从训练集中正常胃图像上标注的有效视野区域的图像，表示合成的早期胃癌图像，和分别表示正常胃图像和早期胃癌图像的数据分布，和分别表示生成器1和判别器1，在生成器的参数的学习过程中，并且对进行最小化优化；而在判别器的参数的学习过程中，对进行最小化优化；

步骤33、生成器2接收生成器1合成的早期胃癌图像作为输入，重建正常胃图像作为输出，生成器2重建的正常胃图像，和真实的正常胃图像一起送入到Inception类型的判别器2中，通过交替进行最小化最大化第二对抗损失函数的方式来更新判别器2，以及生成器1和生成器2的参数，判别器2中的卷积层和全连接层参数作为第一部分，对其通过最大化第二对抗损失函数来更新，此时生成器1和生成器2的参数作为第二部分被固定；而在通过最小化第二对抗损失函数更新生成器1和生成器2中卷积层的参数时，判别器2的参数作为第一部分被固定，生成器1、生成器2和判别器2的参数更新过程分别通过最小化最大化第二对抗损失函数的方式交替进行，具体的生成器1，生成器2和判别器2的第二对抗损失函数如下：

上式中表示输入的正常胃图像，表示正常胃图像的数据分布，,和分别表示生成器1，生成器2和判别器2，在生成器的参数学习过程中，对进行最小化优化，在判别器的参数的学习过程中，对进行最大化优化；

步骤34、使用步骤21中的训练集中图像的有效视野并通过步骤32和步骤33的学习方式对生成对抗网络模型完成一轮训练后，使用步骤23中得到的验证集正常图像的有效视野作为输入，使用上述训练过的生成对抗网络模型合成早期胃癌图像，并计算合成的早期胃癌图像和和步骤23中获得的验证集早期胃癌图像之间的FID值，当FID值相比前一轮出现上升时，停止训练，并获取前一轮训练得到的生成对抗网络模型作为最终的模型。

5.根据权利要求4所述的一种基于生成对抗网络的早期胃癌图像合成方法，其特征在于，步骤4中，加载生成对抗网络模型，根据输入的正常胃图像生成对应的早期胃癌图像，具体包括如下步骤:

步骤41、加载训练好的生成对抗网络模型；

步骤42、将步骤23中的测试集正常胃图像的有效视野区域输入到步骤41加载的生成对抗网络模型来合成早期胃癌图像。

6.一种基于生成对抗网络的早期胃癌图像合成系统，其特征在于，包括：

图像数据收集模块，用于采集并标注正常胃图像数据和早期胃癌图像数据；

图像有效视野提取模块，用于正常胃图像和早期胃癌图像有效视野提取；

创建及模型训练模块，用于创建生成对抗网络模型，并使用正常胃图像和

早期胃癌图像的有效视野来训练该生成对抗网络模型；

加载生成对抗网络模型，用于根据输入的正常胃图像生成对应的早期胃癌图像。

7.一种计算机设备，其特征在于：包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至5中任一项所述方法的步骤。

8.一种计算机可读存储介质，其特征在于：存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1至5中任一项所述方法的步骤。

Images