CN115919231B - 一种基于内镜图像深度卷积网络模型的训练方法，应用及装置 - Google Patents

Abstract

本发明提供一种基于内镜图像深度卷积网络模型的训练方法，应用及装置，包括：收集结直肠癌患者的带有结直肠镜图像作为数据集，标记数据集图像的结直肠癌的dMMR或pMMR类型状态；对数据集进行预处理和数据增强；基于resnet50模型输入数据集并使用迁移学习和渐进式调整大小的方式提高训练效率，得到结肠癌MMR分类器；对结直肠癌MMR分类器进行验证和测试，获取训练好的MMR‑Scopy模型，对图像的dMMR和pMMR的概率进行预测。该方法使用迁移学习和渐进式调整大小的方式，大幅提高了模型训练的效率，并且基于训练好的模型能够对结直肠癌的dMMR和pMMR类型的概率进行预测。

Description

一种基于内镜图像深度卷积网络模型的训练方法，应用及 装置

技术领域

本发明设计图像处理领域，更具体地，涉及一种基于内镜图像深度卷积网络模型的训练方法，应用及装置。

背景技术

结直肠癌(Colorectalcancer:CRC)是全球发病率第三高(6.1％)和死亡率第二高(9.2％)的癌症。在中国，结直肠癌是仅次于肺癌和胃癌的第三大高发癌症。根据统计数据显示，每年新发病例42.92万人，死亡病例28.14万人，防控形势严峻。

结直肠癌患者一般具有dMMR和MSI，dMMR(mismatchrepairdeficiency)是指错配修复功能缺陷，MSI(microsatelliteinstability)是指微卫星不稳定。MMR(mismatchrepair)是指错配修复功能，这是一种DNA修复途径，其缺陷(即dMMR)会导致细胞内大量的基因发生变异，并且无法修复。在结直肠癌患者中15％是错配修复缺陷肿瘤。错配修复缺陷导致人体无法修复某些类别的突变，进而导致变负荷和微卫星不稳定(MSI-H)。MMR系统在参与DNA修复时可涉及到多个错配修复蛋白，包括MutS(MSH2、MSH3和MSH6等)和MutL(MLH1、MLH3、PMS1和PMS2)两大家族。其中，MLH1、MSH2、MSH6及PMS2是MMR的主导蛋白。这4种主要的MMR蛋白中的≥1种表达缺失判定为错配修复缺陷(dMMR)，全部阳性则判定为错配修复基因完整(pMMR)。

随着免疫治疗的迅速发展，dMMR和MSI已经成为针对结直肠癌治疗的重要领域。目前的检测指南建议对所有的新诊断的结直肠癌进行MMR和MSI状态的普遍检测来检测是否患结直肠癌。然而，在普遍检测中对于不匹配修复蛋白MLH1、MSH2、MSH6和PMS2的免疫组化，以及使用五种微卫星标记物对微卫星改变进行基于聚合酶链反应(PCR)的评估都非常耗时且成本高昂。

目前，结肠镜检测是结直肠癌最为有效、安全、可靠、低成本和简便的检测方法之一，能为癌症诊断提供肠道肿瘤的活检信息。在结肠镜检测的过程中，能观察到dMMR形态学特征，包括：粘液过多、坏死范围扩大和肿瘤部位升高等。为了快速且效率地识别结肠镜图像中的dMMR形态学特征，根据dMMR形态学特征完成dMMR/MSI检测，业内人士基于深度学习算法开发出结直肠癌诊断模型，尝试利用结直肠癌诊断模型替代dMMR/MSI分子检测。结直肠癌诊断模型诊断结直肠癌首先要通过结肠镜图像进行训练，然后根据拟诊断结肠镜图像中的息肉、腺瘤、恶性肿瘤病变以及具有不同浸润深度的肿瘤识别dMMR/MSI状态，最后根据dMMR/MSI状态分类结肠镜图像，并且诊断结直肠癌。结直肠癌诊断模型不断地迭代更新，现有的结直肠癌诊断模型已基本完善，能通过结肠镜图像实现结直肠癌诊断，诊断的准确率也维持在较高水平。然而随着结直肠癌诊断模型应用逐渐增多，结直肠癌诊断模型的缺陷也纷纷涌现，其中尤为突出的就是模型训练周期过长，难以在短时间内投入使用，给医院创造经济效益。若减少诊断模型的训练时间，又会导致准确率下降，延误患者病情。现有的结直肠癌诊断模型训练周期过长，导致使用效果不佳，已成为了行业迫切要解决的问题之一。因此，目前亟需一种训练周期短、诊断准确率高的深度学习模型训练方法。

发明内容

本发明旨在克服上述现有技术的至少一种缺陷，提出一种基于内镜图像深度卷积网络模型训练方法，应用及装置，通过卷积网络快速训练结直肠癌诊断模型，用于对dMMR和pMMR的概率进行预测。

本发明采用的技术方案为：

提供一种基于内镜图像深度卷积网络模型的训练方法，用于训练包含MMR内镜分类器的学习模型，包括：

S1：收集结直肠癌患者的带有结直肠镜图像的结肠镜检查程序报告，病理报告和IHC测试报告，根据报告给图像标记结直肠癌dMMR或pMMR状态；

S2：将收集的结肠镜图像，删除黑色背景，裁剪边框以保留中心图像；

S3：将中心图像馈送到结直肠肿瘤分类器中进行预分析，提取符合标准的结直肠肿瘤图像；

S4：将提取的结直肠肿瘤图像进行预处理；

S5：将图像分为dMMR及pMMR平衡的训练数据集，验证数据集和测试数据集，并对其进行数据增强操作；

S6：将训练数据集的dMMR和pMMR信息输入到resnet50模型中进行数据增强和模型训练，并使用迁移学习和渐进式调整大小的方式提高训练效率，获得结直肠癌MMR分类器；

S7：基于验证数据集和测试数据集验证和测试结直肠癌MMR分类器，并根据结果更新结直肠癌MMR分类器的精度，获取训练好的MMR-Scopy模型，用于对输入的结直肠癌图像dMMR和pMMR的概率进行预测。

本发明通过使用带有dMMR和pMMR状态的图像数据集对resnet50模型进行训练，其中，对图像数据集进行预处理的数据增强操作，提高模型训练的精度；并且所述resnet50模型在ImageNet中进行预训练，对于resnet50模型采用迁移学习和渐进式调整大小的方式来进行训练，提高了训练的效率；还使用了验证数据集和测试数据集来更新模型，进一步提高模型的精度，提高训练好的MMR-Scopy模型对于结直肠癌图像dMMR和pMMR的概率的预测的准确率。

进一步的，所述预处理包括：

随机剪裁图像的不同部分，然后采用挤压方法将剪裁出来的图像压缩为460x460像素，剪裁面积占图像面积的65％～80％。

通过随机剪裁和挤压至同一大小的方式来标准化模型的输入，使图像应用归一化，是图像的数据的平均值和标准差都为1。

进一步的，所述数据增强的操作包括：

将图像转换为大小224×224的新图像；

将图像水平或垂直翻转；

将图像进行随机放大，随机放大的倍率为0.9～1；将图像进行随机缩小，随机缩小的倍率1～1.2；

将图像进行随机旋转，随机旋转的最大角度为30度；

随机调整图像的亮度变化，最大变化为20％，亮度和对比度的调整概率为0.75的随机仿射变换；

将图像进行随机翘曲变换。

所述224×224为图像的宽度和高度；数据增强为将当前的图像集，选取上述数据增强中的进行增强操作，产生新的数据图像并与增强前的图像集合并成新的图像集，数据增强能根据需要做多次增强操作；通过进行数据增强，增加训练数据集，验证数据集和测试数据集的数据量，使卷积网络中的训练更全面，提高训练精度。

具体的，使用数据增强为训练数据集，验证数据集和测试数据集的每个图像创建四个测试时间增强版本(TTA4)，四个增强版本的增强操作为从上述数据增强操作中选取的四个增强操作，创建增强版本的图像数据集，将增强版本的图像数据集输入到模型中，预测每个TTA4创建的图像的dMMR和pMMR的概率，汇总肿瘤部位每个图像的dMMR和pMMR概率，以得出肿瘤部位是dMMR或pMMR的平均概率，将其二分法化为dMMR或pMMR的最终预测；用验证数据集和测试数据集对训练好的MMR-Scopy模型进行验证和测试，汇总和平均验证数据集，测试数据集的AUROC，准确性，NPV，灵敏度和特异性。

进一步的，步骤S6中所述对于训练数据集的数据增强包括：

基于cutmix策略对训练数据集中的图像进行数据增强，所述cutmix策略的alpha参数介于0.5-1之间。

cutmix的具体操作为，在训练数据集之间进行剪切和粘贴补丁，并使地面实况标签与补丁的面积成比例地混合，具体表现为，将数据集之间的图像进行剪切，将剪切的图片作为补丁贴到其他图像中，所述剪切粘贴区域的百分比的alpha参数介于0.5-1之间，并且在剪切的过程中，将地面实况标签(即dMMR标签或pMMR标签)成比例的融入到补丁中，使经过cutmix后的图像都具有一定的标签，使用cutmix进行数据增强，并使用该数据训练模型，能够提高模型的性能和对输入损坏的鲁棒性。

进一步的，所述渐进式调整大小训练分为九个阶段，具体为：

S601：输入图像的大小调整为64×64像素，然后在应用随机变换以进行增强后调整为224x224像素，所述resnet50在这个输入集上微调了10个epochs，Cutmix的alpha参数设置为0.5，用于控制重叠区域大小，并开始训练；

S602：输入图像的大小调整为128×128像素，然后在应用随机变换以进行增强后调整为224x224像素，上一步的模型在此输入集上微调11个epochs，cutmix的alpha参数设置为0.5；

S603:输入图像的大小调整为224×224像素，然后在应用随机变换以进行增强后调整为224x224像素，上一步的模型在此输入集上微调12个epochs，cutmix的alpha参数设置为0.5；

S604：输入图像的大小调整为224×224像素，然后在应用随机变换进行增强后调整为448x448像素，上一步的模型在这个输入集上微调了13个epochs，cutmix的alpha参数设置为0.55；

S605：输入图像的大小调整为448×448像素，然后在应用随机变换进行增强后调整为448x448像素，上一步的模型在这个输入集上微调了14个epochs，cutmix设置为0.75；

S606：输入图像的大小调整为448×448像素，然后在应用随机变换进行增强后调整为448x448像素，上一步的模型在这个输入集上微调了15个epochs，cutmix的alpha参数设置为1.0；

S607：输入图像的大小调整为672×672像素，然后在应用随机变换进行增强后调整为448x448像素。上一步的模型在这个输入集上微调了16个epochs，cutmix的alpha参数设置为0.5；

S608：输入图像的大小调整为672×672像素，然后在应用随机变换以进行增强后调整为448x448像素，上一步的模型在这个输入集上微调了17个epochs，cutmix的alpha参数设置为1.0；

S609：输入图像的大小调整为460×460像素，然后在应用随机变换以进行增强后调整为448x448像素，上一步的模型在这个输入集上微调了18个epochs，cutmix的alpha参数设置为1.0。

进一步的，所述渐进式调整大小微调包括：

将预训练模型的最后一层为MMR的新分类层；

使用1cycle方法训练新的最终层2个epochs，冻结除最终层以外的层；

解冻整个网络在给定的epochs使用1cycle方法训练整个网络。

所述渐进式调整大小为最初使用较小的图像对网络进行微调，并且随着训练进行，输入的图像的大小逐渐增加；具体的，将训练数据集图像分辨率进行排序，排序为：64×64、128×128、224×224、448×448、672×672、460×460，并将这些不同分辨率的图像输入渐进式调整大小的九个阶段中；其中不同层学习的特征与输入图像大小无关，并且图像的全局特征仍然存在于具有不同像素分辨率的相同大小的图像中；在每个阶段使用1cycle方法来选择最佳学习率，以低值的学习率开始训练，增加学习率值到一个非常大的值，然后再降低到比初始值低得多的值，具体为在1cycle中使用余弦退火方法，从LR_MAX/25到LR_MAX,然后在到LR_MAX/10000，通过余弦退火的方法能够为模型选择更合适的学习率，提高模型的训练效率。网络的不同层之间采用不同的学习率，学习率的范围介于1e-0.5～0.001之间，其中最后一层使用较大的学习率0.001，较早的层使用较小到的学习率1e-5，使模型学习在最后一层更快地发生，而早期层中的权重变化更慢。渐进式训练采用九个阶段来训练模型，并且使用1cycle方法结合余弦退火来选择最合适的学习率，将大多数epochs的训练花费在较小的图像上，提高训练的效率，使用大图像完成训练提高模型训练的精度。

本发明还提供一种基于内镜图像深度卷积网络模型的应用方法，将输入患者结直肠癌预处理和数据增强的彩色内镜图像集输入上述权利要求1-6所述训练好MMR-Scopy模型中，预测图像集中每个图像dMMR和pMMR的概率；

根据每个图像dMMR和pMMR的概率使用基于梯度的分类激活图Grad-CAM算法生成图像可视化的热图。

进一步的，所述预处理包括裁剪彩色内镜图的黑边，使彩色内镜图裁剪前和裁剪后的像素大小及比例保持一致。

所述患者结直肠癌图像集的数据增强方式与训练数据集的数据增强方式相同，具体为，使用数据增强操作为患者的图像集的每个图像创建四个测试时间增强版本(TTA4)，创建增强版本的数据集，将增强版本的数据集和增强前的数据集输入到MMR-Scopy模型中，预测所有图像的dMMR和pMMR的概率，并根据类型分为TTA4预测概率和增强前预测概率，计算出相应的患者结直肠癌图像的TTA4预测概率的最大值和平均值，以及增强前预测概率的最大值和平均值；汇总和平均患者结直肠癌部位所有的增强前图像概率，得出该肿瘤部位是dMMR或pMMR的平均概率，将其二分法化为pMMR或dMMR的最终概率；汇总和平均患者结直肠癌部位所有的TTA4平均概率，得出该肿瘤部位是dMMR或pMMR的平均概率，将其二分法化为dMMR或pMMR的最终预测。比较两组结果确定哪一组更适合临床应用。

进一步的，所述Grad-CAM的重要性分数为：

其中k为最后一个卷积层中激活映射的索引，c是感兴趣的类，i，j为像素位置，并且中重要性分数α的求和公式为：

通过Grad-CAM基于梯度计算重要性分数并生成粗略的定位图，突出图像中的重要区域，用于直观地观测对于预测dMMR和pMMR有关的重要区域，方便预测。

本发明还提供一种基于内镜图像深度卷积网络模型的系统，包括：

图像处理模块，用于对结直肠癌部位的彩色内镜图进行预处理和数据增强，生成处理好的图像集；

模型构建模块，用于构建卷积网络模型，选用resnet50模型使用迁移学习和渐进式调整大小的方式训练模型，输出训练好的MMR-Scopy模型；

诊断模块，用于将处理好图像集输入MMR-Scopy模型，预测dMMR和pMMR的概率并生成可视化热图，将预测结果和热图输出。

与现有技术相比，本发明的有益效果为：

1.通过图像预处理和数据增强的方式，使用cutmix等方式对数据进行增强，增加了训练数据的数量，提高了模型训练精度。

2.使用渐进式调整大小的方式，结合cutmix的方式，通过不同的分辨率来训练模型，提高模型的鲁棒性，在提高模型精度的情况下提高了模型训练的效率。

3.将训练的模型用于对结直肠癌的dMMR和pMMR概率的预测，并由热图方式突出出来，方便对于结直肠癌的的诊断。

附图说明

图1为本发明的模型训练的流程示意图图。

图2为本发明的模型训练中渐进式调整大小的各阶段流程示意图。

图3为本发明的模型的AUROC图。

图4为本发明的一种基于内镜图像深度卷积网络模型的系统的系统框图。

具体实施方式

本发明附图仅用于示例性说明，不能理解为对本发明的限制。为了更好说明以下实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

实施例1

如图1所示，本实施例提供一种基于内镜图像深度卷积网络模型的训练方法，用于训练包含MMR内镜分类器的学习模型，包括：

S1：收集结直肠癌患者的带有结直肠镜图像的结肠镜检查程序报告，病理报告和IHC测试报告，根据报告给图像标记结直肠癌dMMR或pMMR状态；

在本步骤的具体的实施方式中，收集的程序报告，病理报告和IHC测试报告仅考虑使用标准白光的结肠镜检查程序；并且仅包括具有匹配结肠镜检查程序的IHC测试报告；排除正在接收PD-1治疗的患者的结肠镜检查程序报告，因为当对治疗有反应是，治疗中的肿瘤可能会缩小，会影响预测的结果；不使用复发性癌症患者在先前手术部位上进行结肠镜检查的程序报告，因为手术会是肿瘤呈现疤痕形状，会影响肿瘤的预测判断；排除病理分析表明为黏膜内癌的患者的结肠镜检查程序报告，黏膜内癌的肿瘤形状为腺瘤形状，会干扰结直肠癌的预测。

S2：将收集的结肠镜图像，删除黑色背景，裁剪边框以保留中心图像；

S3：将中心图像馈送到结直肠肿瘤分类器中进行预分析，提取符合标准的结直肠肿瘤图像；

在本步骤中，中心图像被馈送到结直肠肿瘤分类器中进行与分析，所述结直肠肿瘤分类器基于resnet50模型，能够对息肉、腺瘤和结直肠癌的不同结肠病变进行分类；还可以识别正常的结肠图像，识别要排除的图像类型，对同一肿瘤重复或具有高度相似性的肿瘤图像进行删除，使每个肿瘤保持一致的图像数量。

在具体实施方式中，提取符合标准结直肠肿瘤图像，删除不合适的图像，其中不合适的图像包括：

1.肠道准备不适当的图像，具体为波士顿倡导准备量表0或1，因为准备不适当可能会导致肿瘤被遮挡。

2.被染料染色的图像，因为肿瘤可能被遮挡或者由于染色导致色调改变影响模型训练。

3.由于晕光，模糊，散焦，粘液和空气重启不良等导致的低质量的图像，防止肿瘤显示不清晰影响模型训练的精度。

4.带有内窥镜装置的图像，肿瘤形状因设备和操作可能会发生改变。

S4：将提取的结直肠肿瘤图像进行预处理；

在具体的实施方式中，随机剪裁结直肠肿瘤图像的不同部分，然后采用挤压方法将剪裁出来的图像压缩为460，其中裁切面积占图像面积的65％～80％，优选的，在本实施例中裁切面积占图像面积75％。通过预处理的操作，是图像数据的平均值为1，标准差为1。

S5：将图像分为dMMR及pMMR平衡的训练数据集，验证数据集和测试数据集，并对其进行数据增强操作；

在本步骤中，数据增强的操作包括：

将图像转换为大小224×224的新图像，其中224×224为图像的宽度和高度；

将图像水平或垂直翻转；

将图像进行随机放大，随机放大的倍率为0.9～1；将图像进行随机缩小，随机缩小的倍率1～1.2；

将图像进行随机旋转，随机旋转的最大角度为30度；

随机调整图像的亮度变化，最大变化为20％，亮度和对比度调整概率为0.75的随机仿射变换；

将图像进行随机翘曲变换。

具体的，模拟结肠镜头和结肠的运动引起的内膜变化及扭曲外观，对图像进行水平和垂直翻转；随机放大和缩小，随机旋转，随机翘曲，优选的，本实施例中放大的倍率为0.9，缩小的倍率为1.2，旋转到最大角度30度。

具体的，模拟结肠镜检查过程中可能发生的不同照明环境或不同的摄影设备，随机调整图像的亮度变化，最大变化为20％，亮度和对比度的调整概率为0.75的随机仿射变换。

在具体的实施方式中，使用数据增强为训练数据集，验证数据集和测试数据集的每个图像创建四个测试时间增强版本(TTA4)，四个增强版本的增强操作为上述数据增强操作中选取的四个增强操作，创建增强版本的图像数据集。

S6：将训练数据集的dMMR和pMMR信息输入到resnet50模型中进行数据增强和模型训练，并使用迁移学习和渐进式调整大小的方式提高训练效率，获得结直肠癌MMR分类器；

在本步骤中，将上一步骤中经过数据增强的训练数据集输入到resnet50模型中进行训练训练，具体的，所述resnet50模型在ImageNet网络先进行预训练，然后通过迁移学习的方式，应用到本实施例中进行模型训练。

具体的，本步骤中对于训练数据集的数据增强包括：基于cutmix策略对训练数据集中的图像进行数据增强，所述cutmix策略的alpha参数介于0.5-1之间。cutmix的具体操作为，在训练数据集之间进行剪切和粘贴补丁，并使地面实况标签与补丁的面积成比例地混合，具体表现为，将数据集之间的图像进行剪切，将剪切的图片作为补丁贴到其他图像中，所述剪切粘贴区域的百分比的alpha参数介于0.5-1之间，并且在剪切的过程中，将地面实况标签(即dMMR标签或pMMR标签)成比例的融入到补丁中，使经过cutmix后的图像都具有一定的标签，使用cutmix进行数据增强，并使用该数据训练模型，能够提高模型的性能和对输入损坏的鲁棒性。

本步骤还使用了渐进式调整大小的方式来提高训练效率，渐进式调整大小为最初使用较小的图像对网络进行微调，并且随着训练进行，输入的图像的大小逐渐增加；具体的，将训练数据集图像分辨率进行排序，排序为：64×64、128×128、224×224、448×448、672×672、460×460，并将这些不同分辨率的图像输入渐进式调整大小的九个阶段中；其中不同层学习的特征与输入图像大小无关，并且图像的全局特征仍然存在于具有不同像素分辨率的相同大小的图像中；在每个阶段使用1cycle方法来选择最佳学习率，以低值的学习率开始训练，增加学习率值到一个非常大的值，然后再降低到比初始值低得多的值，具体为在1cycle中使用余弦退火方法，从LR_MAX/25到LR_MAX,然后在到LR_MAX/10000，通过余弦退火的方法能够为模型选择更合适的学习率，提高模型的训练效率。网络的不同层之间采用不同的学习率，学习率的范围介于1e-0.5～0.001之间，其中最后一层使用较大的学习率0.001，较早的层使用较小到的学习率1e-5，使模型学习在最后一层更快地发生，而早期层中的权重变化更慢。

在具体的实施方式中，如图2所示，渐进式调整大小训练分为九个阶段，具体的：

S601：输入图像的大小调整为64×64像素，然后在应用随机变换以进行增强后调整为224x224，所述resnet50在这个输入集上微调了10个epochs，cutmix的alpha参数设置为0.5并开始训练，将基于cutmix剪切粘贴的补丁用于重叠区域；

S602：输入图像的大小调整为128×128像素，然后在应用随机变换以进行增强后调整为224x224，上一步的模型在此输入集上微调11个epochs，cutmix的alpha参数设置为0.5；

S603:输入图像的大小调整为224×224像素，然后在应用随机变换以进行增强后调整为224x224，上一步的模型在此输入集上微调12个epochs，cutmix的alpha参数设置为0.5；

S604：输入图像的大小调整为224×224像素，然后在应用随机变换进行增强后调整为448x448，上一步的模型在这个输入集上微调了13个epochs，cutmix的alpha参数设置为0.55；相较于上一步骤，，标准尺寸增加为448，使模型能够更好的处理结肠镜图像的大多数尺寸在400-700范围的图像；

S605：输入图像的大小调整为448×448像素，然后在应用随机变换进行增强后调整为448x448，上一步的模型在这个输入集上微调了14个epochs，cutmix设置为0.75；相较于上一步，cutmix的alpha值增加到0.75，cutmix的增加使重叠区域增加了，导致学习的难度增加了，迫使模型学习获取额外的特征来区分类别；

S606：输入图像的大小调整为448×448像素，然后在应用随机变换进行增强后调整为448x448，上一步的模型在这个输入集上微调了15个epochs，cutmix的alpha参数设置为1.0；相较于上一步，cutmix的alpha值增加到0.75；

S607：输入图像的大小调整为672×672像素，然后在应用随机变换进行增强后调整为448x448。上一步的模型在这个输入集上微调了16个epochs，cutmix的alpha参数设置为0.5；相较于上一步，虽然cutmix参数降低了，但是分辨率提高了，而更高的分辨率包含了模型可以学习的更大的图像中的更多的信息和特征；

S608：输入图像的大小调整为672×672像素，然后在应用随机变换以进行增强后调整为448x448，上一步的模型在这个输入集上微调了17个epochs，cutmix的alpha参数设置为1.0；相较于上一步，保持分辨率，提高了cutmix的参数大小；

S609：输入图像的大小调整为460×460像素，然后在应用随机变换以进行增强后调整为448x448，上一步的模型在这个输入集上微调了18个epochs，cutmix的alpha参数设置为1.0；最终模型设置在460×460大小的输入图像上进行微调，该大小位于各种设备的内窥镜图像大小的中间范围。

上述每个阶段步骤中都包含一个微调操作，每个阶段步骤的微调都包括以下步骤：首先将待训练模型的最后一层设置为MMR的新分类层，然后使用1cycle方法训练新设置的最终层，训练2个epochs，用有意义的权重初始化最终层，在这期间先冻结最终层以外的其他层；训练了2个epochs后，解冻整个网络，并根据每个阶段步骤预设的epochs数，去除2个epochs，使用1cycle方法在剩下的epochs中训练整个网络。

S7：基于验证数据集和测试数据集验证和测试结直肠癌MMR分类器，并根据结果更新结直肠癌MMR分类器的精度，获取训练好的MMR-Scopy模型，用于对输入的结直肠癌图像dMMR和pMMR的概率进行预测。

在本步骤中，基于上一步骤获取到的分类器，使用验证数据集和测试数据集分别对该分类器进行验证和测试，验证数据集和测试数据集在前述的步骤中进行了数据增强，具体为，为每个图像都应用数据增强的四个因子进行测试时间增强(TTA4)，创建增强版本的图像数据集，在本实施例中，将增强版本的图像数据集输入到模型中，预测每个TTA4创建的图像的dMMR和pMMR的概率，汇总肿瘤部位每个图像的dMMR和pMMR概率，以得出肿瘤部位是dMMR或pMMR的平均概率，将其二分法化为dMMR或pMMR的最终预测；用验证数据集和测试数据集对训练好的MMR-Scopy模型进行验证和测试，汇总和平均验证数据集，测试数据集的AUROC，准确性，NPV，灵敏度和特异性。当验证和测试结果符合逾期，获得训练好的MMR-Scopy模型，该MMR-Scopy模型可以根据患者的结肠镜图像来预测患者的结直肠癌的dMMR和pMMR的概率。

另外的，在本实施例中，在获取到训练好的MMR-Scopy模型后，还使用独立数据集来对MMR-Scopy的临床可用性进行测试，所述独立数据集占临床dMMR患病率的15％。并对独立数据集的图像应用四个数据增强因子进行测试时间增强(TTA4)，对独立数据集中肿瘤部位每个图像dMMR和pMMR概率进行汇总和平均，以得出该肿瘤部位是dMMR或pMMR的平均概率，将其二分法化为pMMR或dMMR的最终预测。汇总和平均独立数据集数据集AUROC,准确性、NPV,灵敏度和特异性。

如图3所示，在本实施例的测试数据集上，AUROC为0.95，敏感性为91.3％,NPV为92.1％,，特异性为87.5％，预测的准确率为89.3％。

在独立数据集上，MMR-Scopy的AUROC为0.81(95％ CI 0.760-0.854)。敏感性和特异性分别为79.6％和67.0％。MMR-Scopy的准确率达到了69.1％，NPV为94.2％(95％ CI0.918-0.967)。

本发明中的敏感性及AUROC均高于90％，满足实际的使用需求。

实施例2

本实施例提供一种基于内镜图像深度卷积网络模型的应用方法，将输入患者结直肠癌预处理和数据增强的彩色内镜图像集输入上实施例1中所述训练好MMR-Scopy模型中，预测图像集中每个图像dMMR和pMMR的概率；

根据每个图像dMMR和pMMR的概率使用基于梯度的分类激活图Grad-CAM算法生成图像可视化的热图。

具体的，所述预处理包括裁剪彩色内镜图的黑边，使彩色内镜图裁剪前和裁剪后的像素大小及比例保持一致。

具体的，Grad-CAM的重要性分数为：

其中k为最后一个卷积层中激活映射的索引，c是感兴趣的类，i，j为像素位置，并且中重要性分数α的求和公式为：

通过Grad-CAM基于梯度计算重要性分数并生成粗略的定位图，突出图像中的重要区域，用于直观地观测对于预测dMMR和pMMR有关的重要区域，方便预测。

实施例3

如图4所示，本实施例提供一种基于内镜图像深度卷积网络模型的系统，包括：

图像处理模块，用于对患者的结直肠癌部位的彩色内镜图进行预处理和数据增强，生成预测图像集；

模型构建模块，用于构建卷积网络模型，选用resnet50网络使用迁移学习和渐进式调整大小的方式训练模型，输出训练好的MMR-Scopy模型；

诊断模块，用于将预测图像集输入MMR-Scopy模型，预测dMMR和pMMR的概率并生成可视化热图，将预测结果和热图输出。

在具体的实施过程中，首先通过图像处理模块，将待诊断的患者的结直肠癌部位的彩色内镜图进行预处理和数据增强；模型构建模块进行卷积网络模型的训练，收集结直肠癌患者的结直肠癌部位的图像，使用图像处理模块进行处理，生成处理好的训练数据集，验证数据集和测试数据集，选用resnet50模型，使用训练数据集，以及迁移学习和渐进式调整大小的方式训练模型，输出训练好的MMR-Scopy模型，并使用验证数据集和测试数据集对MMR-Scopy模型进行验证；最后将待诊断的患者的处理好的图像集输入MMR-Scopy模型，预测dMMR和pMMR的概率并生成可视化热图。

在具体实施方式中，所述患者结直肠癌图像集的数据增强方式与实施例1中训练数据集的数据增强方式相同，具体为，使用数据增强操作为患者的图像集的每个图像创建四个测试时间增强版本(TTA4)，创建增强版本的数据集，将增强版本的数据集和增强前的数据集输入到MMR-Scopy模型中，预测所有图像的dMMR和pMMR的概率，并根据类型分为TTA4预测概率和增强前预测概率，计算出相应的患者结直肠癌图像的TTA4预测概率的最大值和平均值，以及增强前预测概率的最大值和平均值；汇总和平均患者结直肠癌部位所有的增强前图像概率，得出该肿瘤部位是dMMR或pMMR的平均概率，将其二分法化为pMMR或dMMR的最终概率；汇总和平均患者结直肠癌部位所有图像的TTA4平均概率，得出该肿瘤部位总体是dMMR或pMMR的平均概率，将其二分法化为dMMR或pMMR的最终预测。比较两组结果确定哪一组更适合临床应用。

显然，本发明的上述实施例仅仅是为清楚地说明本发明技术方案所作的举例，而并非是对本发明的具体实施方式的限定。凡在本发明权利要求书的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (9)

1.一种基于内镜图像深度卷积网络模型的训练方法，用于训练包含MMR内镜分类器的学习模型，其特征在于，包括：

S1：收集结直肠癌患者的带有结直肠镜图像的结肠镜检查程序报告，病理报告和IHC测试报告，根据报告给图像标记结直肠癌dMMR或pMMR类型状态；

S2：将收集的结肠镜图像，删除黑色背景，裁剪边框以保留中心图像；

S3：将中心图像馈送到结直肠肿瘤分类器中进行预分析，提取符合标准的结直肠肿瘤图像；

S4：将提取的结直肠肿瘤图像进行预处理；

S5：将图像分为dMMR及pMMR平衡的训练数据集，验证数据集和测试数据集，并对其进行数据增强操作；

S6：将训练数据集的dMMR和pMMR信息输入到resnet50模型中进行数据增强和模型训练，并使用迁移学习和渐进式调整大小的方式提高训练效率，获得结直肠癌MMR分类器；

S7：基于验证数据集和测试数据集验证和测试结直肠癌MMR分类器，并根据结果更新结直肠癌MMR分类器的精度，获取训练好的MMR-Scopy模型，用于对输入的结直肠癌图像dMMR和pMMR的概率进行预测；

步骤S6中对于训练数据集的数据增强包括：

基于cutmix策略对训练数据集中的图像进行数据增强，所述cutmix策略的alpha参数介于0.5-1之间。

2.根据权利要求1所述的一种基于内镜图像深度卷积网络模型的训练方法，其特征在于，所述预处理包括：

随机剪裁图像的不同部分，然后采用挤压方法将剪裁出来的图像压缩为460x460像素，剪裁面积占图像面积的65%~80%。

3.根据权利要求1所述的一种基于内镜图像深度卷积网络模型的训练方法，其特征在于，所述数据增强的操作包括：

将图像转换为大小224224的新图像；

将图像水平或垂直翻转；

将图像进行随机放大，随机放大的倍率为0.9~1；将图像进行随机缩小，随机缩小的倍率1~1.2；

将图像进行随机旋转，随机旋转的最大角度为30度；

随机调整图像的亮度变化，最大变化为20%，亮度和对比度的调整概率为0.75的随机仿射变换；

将图像进行随机翘曲变换。

4.根据权利要求1所述的一种基于内镜图像深度卷积网络模型的训练方法，其特征在于，所述渐进式调整大小训练分为九个阶段，具体为：

S601：输入图像的大小调整为6464像素，然后在应用随机变换以进行增强后调整为224x224像素，所述resnet50在这个输入集上微调了10个epochs，Cutmix的alpha参数设置为0.5并开始训练，用于重叠区域；

S602：输入图像的大小调整为128128像素，然后在应用随机变换以进行增强后调整为224x224像素，上一步的模型在此输入集上微调11个epochs，cutmix的alpha参数设置为0.5；

S603:输入图像的大小调整为224224像素，然后在应用随机变换以进行增强后调整为224x224像素，上一步的模型在此输入集上微调12个epochs，cutmix的alpha参数设置为0.5；

S604：输入图像的大小调整为224224像素，然后在应用随机变换进行增强后调整为448x448像素，上一步的模型在这个输入集上微调了13个epochs，cutmix的alpha参数设置为0.55；

S605：输入图像的大小调整为448448像素，然后在应用随机变换进行增强后调整为448x448像素，上一步的模型在这个输入集上微调了14个epochs，cutmix设置为0.75；

S606：输入图像的大小调整为448448像素，然后在应用随机变换进行增强后调整为448x448像素，上一步的模型在这个输入集上微调了15个epochs，cutmix的alpha参数设置为1.0；

S607：输入图像的大小调整为672672像素，然后在应用随机变换进行增强后调整为448x448像素，上一步的模型在这个输入集上微调了16个epochs，cutmix的alpha参数设置为0.5；

S608：输入图像的大小调整为672672像素，然后在应用随机变换以进行增强后调整为448x448像素，上一步的模型在这个输入集上微调了17个epochs，cutmix的alpha参数设置为1.0；

S609：输入图像的大小调整为460460像素，然后在应用随机变换以进行增强后调整为448x448像素，上一步的模型在这个输入集上微调了18个epochs，cutmix的alpha参数设置为1.0。

5.根据权利要求4所述的一种基于内镜图像深度卷积网络模型的训练方法，其特征在于，所述渐进式调整大小的微调包括：

将预训练模型的最后一层为MMR的新分类层；

使用1cycle方法训练新的最终层2个epochs，冻结除最终层以外的层；

解冻整个网络在给定的epochs使用1cycle方法训练整个网络。

6.一种基于内镜图像深度卷积网络模型的应用方法，其特征在于，将输入患者结直肠癌预处理和数据增强的彩色内镜图像集输入上述权利要求1-5任一项所述训练好MMR-Scopy模型中，预测图像集中每个图像dMMR和pMMR的概率；

根据每个图像dMMR和pMMR的概率使用基于梯度的分类激活图Grad-CAM算法生成图像可视化的热图。

7.根据权利要求6所述的一种基于内镜图像深度卷积网络模型的应用，其特征在于，所述预处理包括裁剪彩色内镜图的黑边，使彩色内镜图裁剪前和裁剪后的像素大小及比例保持一致。

8.根据权利要求6所述的一种内镜图像深度卷积网络模型的可视化方法，其特征在于给予grad-gam 算法生成热图显示图像参与预测的区域，所述Grad-CAM的重要性分数为：

其中k为最后一个卷积层中激活映射的索引，c是感兴趣的类，i，j为像素位置，并且中重要性分数的求和公式为：

。

9.一种基于内镜图像深度卷积网络模型的系统，其特征在于，包括：

图像处理模块，用于对患者的结直肠癌部位的彩色内镜图进行预处理和数据增强，生成预测图像集；

模型构建模块，用于构建卷积网络模型，选用resnet50网络使用迁移学习和渐进式调整大小的方式训练模型，输出训练好的MMR-Scopy模型；

诊断模块，用于将预测图像集输入MMR-Scopy模型，预测dMMR和pMMR的概率并生成可视化热图，将预测结果和热图输出；

通过该系统，能够协助结直肠癌的dMMR和pMMR的检测，是检测过程方便快捷且精确。