CN112669283A - 一种基于深度学习的肠镜图像息肉误检测抑制装置 - Google Patents

Abstract

本发明公开了一种基于深度学习的肠镜图像息肉误检测抑制装置，包括以下步骤：获取待检测肠镜图像，并将待检测肠镜图像输入至肠镜图像息肉误检测抑制模型；利用特征提取模块提取待检测肠镜图像的特征图后，利用检测头模块对特征图进行检测计算输出检测结果，利用无效帧判别模块对特征图进行无效帧判别并输出判别结果；抑制处理模块根据检测结果和判断结果进行抑制输出，当根据判别结果待检测肠镜图像分类为无效帧时，则抑制检测结果中所有检测框的输出，否则对于检测结果按照正常按置信度阈值筛选后输出检测框和置信度。在几乎不影响检测方法召回率和运行速度的情况下降低误检测框的数量，从而提升检查效率，提升检测方法的实用度。

Description

一种基于深度学习的肠镜图像息肉误检测抑制装置

技术领域

本发明属于计算机科学与医学的交叉领域，具体涉及一种基于深度学习的肠镜图像息肉误检测抑制装置。

背景技术

结直肠息肉是隆起于结直肠表面异常肿物，其具有一定的恶变导致直结肠癌的风险。目前对此应用较为广泛也十分有效的诊断方式是应用内窥镜对肠道进行检查。现代内窥镜一般采用摄像头代替以前的光学结构，通过采集图像再传输给计算机进行显示，医生通过对内窥镜图像的检视来发现息肉等病灶，用以确定患者的病情。

在目前的内窥镜检查过程中，主要依靠医生肉眼对内窥镜图像进行观察，从而检出息肉。其检出率受到医生经验、状态影响，存在漏检的可能。针对此问题，可以在内窥镜连接的计算机上运行计算机辅助诊断系统，实时地对内窥镜图像进行检测，并将检测结果实时地显示在医生进行观察的屏幕上，起到提示医生的作用，以此降低息肉漏检率并提升内窥镜检查的效率。

上述计算机辅助诊断系统的构建，其核心在于运行的息肉检测方法。目前该领域中已存在多种基于视频或图像的息肉检测方法。其中基于视频的方法普遍具有更大的计算量和时延，因而对应用于实时检测不利。更普遍使用的是基于单帧图像的检测方法。这些方法又可以分为基于深度学习的算法和基于传统方法的算法。目前而言，基于深度学习的算法因其强大的特征学习能力，在精度和鲁棒性上均高于基于传统方法的算法，因而被更多地采用。

但是现有的基于深度学习的单帧图像息肉检测算法，仍存在许多问题。其中包括误检数量过多的问题。由于医学检测的特殊性，在检测最后筛选检测框时，一般会将置信度阈值设置得较低，以获得更高的召回率，达到“宁错杀一千，不放过一个”的效果。但较低的置信度阈值会使得更多的误检测框被显示出来，这对于实际应用时算法发挥的作用是有阻碍的。过多的误检框会使得医生被频繁地分散注意力，降低医生对算法的信任程度，检查每个误检框也将浪费大量的时间，反而导致检查效率降低。

在实际应用中，误检框的分布并非均匀的随机分布，而是具有一定的规律。在两种情况下深度学习模型会容易产生误检。其一是对于某些具备某种特定特征的物体产生误检。例如回盲瓣、药片、气泡等均是常见的易误检对象。其二则是在内窥镜镜头出现污浊或距离物体过近时，可能会出现包含大量噪声和无意义图形的图像帧，此时也可能出现频繁的误检。针对这两种误检，可以使用针对性的策略降低其误检率。

发明内容

针对上述存在问题，本发明的目的是提供了一种基于深度学习的肠镜图像息肉误检测抑制装置，在几乎不影响检测方法召回率和运行速度的情况下降低误检测框的数量，从而提升检查效率，提升检测方法的实用度。

为实现上述发明目的，本发明提供的以下技术方案为：

一种基于深度学习的肠镜图像息肉误检测抑制装置，包括计算机存储器、计算机处理器以及存储在所述计算机存储器中并可在所述计算机处理器上执行的计算机程序，所述计算机存储器中包含特征提取模块、检测头模块、无效帧判别模块以及抑制处理模块的肠镜图像息肉误检测抑制模型，所述计算机处理器执行所述计算机程序时实现以下步骤：

获取待检测肠镜图像，并将待检测肠镜图像输入至肠镜图像息肉误检测抑制模型；

利用特征提取模块提取待检测肠镜图像的特征图后，利用检测头模块对特征图进行检测计算输出检测结果，利用无效帧判别模块对特征图进行无效帧判别并输出判别结果；

抑制处理模块根据检测结果和判断结果进行抑制输出，当根据判别结果待检测肠镜图像分类为无效帧时，则抑制检测结果中所有检测框的输出，否则对于检测结果按照正常按置信度阈值筛选后输出检测框和置信度。

优选地，所述肠镜图像息肉误检测抑制模型的构建过程为：

构建无效帧数据集；

在包含特征提取模块和检测头模块的原始肠镜图像息肉检测模型中添加一个无效帧判别模块，构成训练框架，其中，无效帧判别模块用于判别输入的肠镜图像是否为无效帧；

固定原始肠镜图像息肉检测模型参数不变，随机初始化无效帧判别模块参数，并利用无效帧数据集对训练框架中的无效帧判别模块进行训练，以优化无效帧判别模块模型参数；

提取参数确定的无效帧判别模块模型并与肠镜图像息肉检测模型组合后，添加用于根据无效帧判别结果抑制肠镜图像息肉检测模型的检测结果输出的抑制处理模块，组成肠镜图像息肉误检测抑制模型。

优选地，构建无效帧数据集时，挑选显然不可能存在息肉的视频帧作为无效帧，可能存在息肉的视频帧作为有效帧，并为每帧视频帧添加标签，组成无效帧数据集。其中，无效帧指镜头污浊、离物体过近或拍摄于体外导致不可能存在息肉这种有效内容的视频帧，有效帧则指除无效帧外能清晰看到肠内情况的视频帧，该有效帧不必有息肉在图像内。

其中，原始肠镜图像息肉检测模型的模型参数是已经预训练好的，在在对无效帧判别模块训练阶段，不对肠镜图像息肉检测模型进行参数优化，因此需要固定预训练好的肠镜图像息肉检测模型参数不变。

优选地，在对无效帧判别模块训练结束后，利用无效判别模块从无效帧数据集中挑选包含易误检目标的视频帧，将这些包含易误检目标的视频帧添加到训练集，组成新训练集；

利用新训练集对训练框架中的肠镜图像息肉检测模型参数和无效帧判别模块参数进行微调，微调后的肠镜图像息肉检测模型、无效帧判别模块以及抑制处理模块组成肠镜图像息肉误检测抑制模型。

其中，易误检目标包括活检钳、回盲瓣、药片等在肠镜检查中较为常见且与息肉可能存在相同形状特征的目标，或其它在测试中发现的误检率较高的具有固定特征的目标。

优选地，利用新训练集对训练框架中的肠镜图像息肉检测模型参数和无效帧判别模块参数进行微调时，采用的损失函数L为：

L＝L_c+λL_d

其中，L_c表示无效帧判别模块的无效帧与有效帧的二分类损失，该二分类损失为输入的肠镜图像的真实标签与预测置信度的交叉熵损失，L_d为肠镜图像息肉检测模型的检测损失，λ为损失权重参数。

本发明中，在新训练集上使用更低的学习率对模型进行微调(Fine-tune)，使用重要性损失(Focal Loss)均衡正负样本的权重，使网络的召回率与微调前大致相当。在训练中使用困难负样本挖掘技巧，加大困难样本的权重，将存在误检的负样本反复加入训练池重复训练，以增强模型对该部分样本的判别能力，进而降低模型对易误检目标的误检率。因此，优选地，利用新训练集对训练框架中的肠镜图像息肉检测模型参数和无效帧判别模块参数进行微调时，将损失函数L中有效帧与无效帧的二分类损失替换为用于均衡有效帧与无效帧样本权重的重要性损失，其中，重要性损失FL(p_t)＝-α_t(1-p_t)^γlog(p_t)，α_t和γ为两个超参数，用于调节有效帧样本/无效帧样本损失的比例，和简单/困难样本的损失比例，t为样本的类别序号，t＝1表示有效帧样本，t＝0表示无效帧样本，

p表示输入样本在二分类预测任务中的预测概率，取值为[0,1]。

当检测损失L_d中存在有效帧与无效帧的二分类损失时，例如当肠镜图像息肉检测模型采用YOLOv4时，YOLOv4会包含目标性分数(Objectness Score)损失，也就是二分类损失，需要将损失函数L中有效帧的二分类损失L_c和检测损失L_d中的有效帧与无效帧的二分类损失替换为重要性损失FL(p_t)，得到新损失函数L*；

当检测损失L_d中不存在有效帧与无效帧的二分类损失时，将损失函数L中有效帧的二分类损失L_c，得到新损失函数L*；

利用新损失函数L*更新参数。

优选地，训练时，采用SGD优化器，

γ＝2，增大了正样本部分的损失并降低了简单样本的损失。

所述无效帧判别模块本质是一个二分类器，其接收图像帧或其对应的特征图，并输出一个0-1之间的值，表明该帧是无效帧的概率。设置一定的阈值T后即可将概率大于阈值的帧作为无效帧剔除。优选地，可以选择T＝0.8作为实际应用时的阈值，偏大的阈值在过滤视频帧时更加严格，因而更不容易将有效帧剔除，更不容易降低算法的检出率。

优选地，所述无效帧判别模块模型结构包括依次连接的全卷积神经网络、全局池化层和Sigmoid函数层。使用全卷积神经网络使得输入图像尺寸无需固定，在应用中更加灵活。无效帧判别模块与原检测头模块共用特征提取模块作为主干网络用于特征提取，以减少计算量。

与现有技术相比，本发明具有的有益效果至少包括：

(1)本发明提供的基于无效帧剔除、困难负样本挖掘和针对性训练的肠镜图像息肉误检测抑制模型可以在不明显降低原检测方法召回率的情况下，通过类似“剪枝”的手段，去除明显不正确的检测框，有效降低最终的误检框数量。

(2)本发明提供的肠镜图像息肉误检测抑制模型中基于无效帧剔除的方法无需对肠镜图像息肉误检测模型结构进行修改，只需要额外增加无效帧判别模块以及抑制处理模块，几乎不改变原网络的实时性，也对原网络的结构没有很严格的要求，泛用性好。

(3)本发明提供的肠镜图像息肉误检测抑制模型基于困难负样本挖掘和针对性训练的方法不对网络结构进行修改，只影响训练时使用的数据和使用的损失函数，因而对测试阶段的实时性没有额外影响，对网络结构几乎不作限制。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动前提下，还可以根据这些附图获得其他附图。

图1是实施例提供的基于深度学习的肠镜图像息肉误检测抑制装置进行肠镜图像息肉误检测抑制的流程图；

图2是实施例提供的肠镜图像息肉误检测抑制模型中无效帧判别模块的结构示意图；

图3是实施例提供的模型训练阶段流程图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。

实施例提供了一种基于深度学习的肠镜图像息肉误检测抑制装置，包括计算机存储器、计算机处理器以及存储在所述计算机存储器中并可在所述计算机处理器上执行的计算机程序。计算机存储器中包含特征提取模块、检测头模块、无效帧判别模块以及抑制处理模块的肠镜图像息肉误检测抑制模型，该肠镜图像息肉误检测抑制模型用于根据无效帧的判别结果抑制无效检测结果的输出，从而提升检查效率。

实际应用中，计算机存储器可以为在近端的易失性存储器，如RAM，还可以是非易失性存储器，如ROM，FLASH，软盘，机械硬盘等，还可以是远端的存储云。计算机处理器可以为中央处理器(CPU)、微处理器(MPU)、数字信号处理器(DSP)、或现场可编程门阵列(FPGA)，即可以通过这些处理器实现肠镜图像息肉误检测抑制输出的方法步骤。实施例中，计算机处理器执行计算机程序时实现如图1所示的肠镜图像息肉误检测抑制输出的方法步骤，具体包括以下步骤：

步骤1，获取待检测肠镜图像，并将待检测肠镜图像输入至肠镜图像息肉误检测抑制模型。

步骤2，利用特征提取模块提取待检测肠镜图像的特征图后，利用检测头模块对特征图进行检测计算输出检测结果，利用无效帧判别模块对特征图进行无效帧判别并输出判别结果。

步骤3，抑制处理模块根据检测结果和判断结果进行抑制输出，当根据判别结果待检测肠镜图像分类为无效帧时，则抑制检测结果中所有检测框的输出，否则对于检测结果按照正常按置信度阈值筛选后输出检测框和置信度。

本实施例中，肠镜图像息肉误检测抑制模型的构建方法包括：

步骤a：准备数据集

本发明在训练阶段使用的数据集包括无效帧数据集和困难负样本数据集。

无效帧数据集由从视频中人工挑选出不清晰的、无有效信息的帧组成的无效帧部分，和从视频中和原训练数据集中挑选出的清晰可观察的有效帧部分构成。在人工挑选数据时，可不直接进行分类，而是对每帧数据F_i提供一个指标V_i作为衡量其有效程度的标志。在最后生成数据集阶段指定一个阈值V_t，对于指标V_i大于该阈值的帧F_i认定为有效帧。通过修改阈值V_t即可方便地对有效帧认定的严格程度进行调整。在本实施例中取V_i∈{1,2,3,4,5}，V_t＝3。最终获取约1000张图像，有效/无效比约为1。按比例3：1：1分为训练集、验证集和测试集。

困难负样本数据集由人工挑选的包含肠镜检查期间出现频率较高的异物(如活检钳、药片等)或包含形似息肉的结构(如回盲瓣等)的帧组成。有条件的情况下，也可以将模型在非测试、非验证数据集上运行时，人工发现存在误检框的帧加入。最终获取约1500张图像。

数据集组合完毕后对数据进行预处理，方法与原肠镜图像息肉检测模型预处理方法一致。

步骤b：生成网络模型的训练框架

本实施例中以YOLOv4作为原肠镜图像息肉检测网络，在此基础上搭建新网络模型框架。如图1所示为本发明提出的网络框架在测试阶段的结构。在训练阶段，主要在原肠镜图像息肉检测网络基础上增加无效帧判别模块。后续检测框输出抑制等将在测试阶段增加。

无效帧判别模块结构如图2所示，特征图输入后首先经过一次1×1卷积进行特征映射，然后全局池化层转为特征向量。再通过一层全连接层输出单个数值，最后通过一个Sigmoid函数映射到0-1的范围上作为概率输出。此处1×1卷积的输出通道数设置为512。

利用深度学习框架PyTorch搭建无效帧判别模块，并连接到原肠镜图像息肉检测模型的主干网络，也就是特征提取模块之后。

步骤c：初始化网络参数

使用原肠镜图像息肉检测模型的参数初始化新模型中原肠镜图像息肉检测网络继承的部分，包括特征提取模块、检测头模块，随机初始化无效帧判别模块。具体而言使用Xavier正态分布初始化无效帧判别模块(包括卷积和全连接层)的参数。

步骤d：训练无效帧判别模块

训练网络模型时，锁定原肠镜图像息肉检测模型部分的参数(包括主干网络)，以防止对原检测结果的篡改，仅训练新增的无效帧判别模块的参数。

网络输入时的预处理和数据增强均延续原肠镜图像息肉检测网络的设置。每批次图片数量也延续原肠镜图像息肉检测网络设置。

训练时采用SGD优化器，设置初始学习率为0.1，权重衰减0.0005，动量0.9，最大迭代次数5000。学习率在4000轮和4500轮迭代时乘以0.1。每批次训练时，网络先前向传播，(可以不必计算检测头部分)。取得无效帧分类结果后计算二分类交叉熵损失，并反向传播，更新无效帧判别模块的参数。每250轮在验证集上对当前模型进行验证。取最佳结果的模型在测试集上对分类结果进行测试并保存。

步骤5：对网络整体进行微调训练

使用困难负样本挖掘的技巧对网络整体进行微调训练。

首先建立困难负样本池，初始包含步骤1中生成的困难负样本数据集中的图像。随后每轮迭代中将存在误检的图像加入困难负样本池。将连续3次无误检出现的图像移出困难负样本池。

训练过程中同时计算无效帧分类损失L_c和原肠镜图像息肉检测网络的检测损失L_d，最终损失L为二者的加权和。L＝L_c+λL_d。在本实施例中取λ＝5。在YOLOv4的正负样本分类部分使用Focal Loss。设置

γ＝2作为超参数，使得正样本的权重为负样本的3倍，并大幅降低简单样本的权重，以保证网络在训练时不受增加了负样本数量导致的正负样本不均衡的影响。

训练时采用SGD优化器，设置初始学习率为0.001，权重衰减0.0005，动量0.9，最大迭代次数30000。学习率每5000轮衰减为原先的一半。每批次训练时网络前向并计算最终的加权损失，然后反向传播更新整个网络的参数。每1000轮在原验证集进行测试，取最佳结果的模型在原测试集上进行测试，然后，提取参数确定的无效帧判别模块模型并与肠镜图像息肉检测模型组合后，添加用于根据无效帧判别结果抑制肠镜图像息肉检测模型的检测结果输出的抑制处理模块，组成肠镜图像息肉误检测抑制模型。

对肠镜图像息肉误检测抑制模型进行测试，在标注的肠镜息肉测试数据集和困难负样本数据集上进行测试，观察网络检出率的变化和误检框的抑制效果。如图1所示，测试时，将单张肠镜息肉图像经预处理后，输入模型，获得无效帧判别结果和检测结果，运用外围逻辑结构对检测结果进行后处理，最后将检测结果绘制在原图上，并根据标注计算均值平均精度(mAP)、召回率等参数用于评估模型。

综上所述，实施例所提出的实时基于深度学习的肠镜图像息肉误检测抑制装置具有广泛的适用性，训练简单易行，能保持良好的实时性，在运行时增加的额外计算量可忽略不计，且能有效地针对性抑制具有明显特征的误检测框。

以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于深度学习的肠镜图像息肉误检测抑制装置，包括计算机存储器、计算机处理器以及存储在所述计算机存储器中并可在所述计算机处理器上执行的计算机程序，其特征在于，所述计算机存储器中包含特征提取模块、检测头模块、无效帧判别模块以及抑制处理模块的肠镜图像息肉误检测抑制模型，所述计算机处理器执行所述计算机程序时实现以下步骤：

获取待检测肠镜图像，并将待检测肠镜图像输入至肠镜图像息肉误检测抑制模型；

利用特征提取模块提取待检测肠镜图像的特征图后，利用检测头模块对特征图进行检测计算输出检测结果，利用无效帧判别模块对特征图进行无效帧判别并输出判别结果；

抑制处理模块根据检测结果和判断结果进行抑制输出，当根据判别结果待检测肠镜图像分类为无效帧时，则抑制检测结果中所有检测框的输出，否则对于检测结果按照正常按置信度阈值筛选后输出检测框和置信度。

2.如权利要求1所述的基于深度学习的肠镜图像息肉误检测抑制装置，其特征在于，所述肠镜图像息肉误检测抑制模型的构建过程为：

构建无效帧数据集；

在包含特征提取模块和检测头模块的原始肠镜图像息肉检测模型中添加一个无效帧判别模块，构成训练框架，其中，无效帧判别模块用于判别输入的肠镜图像是否为无效帧；

固定原始肠镜图像息肉检测模型参数不变，随机初始化无效帧判别模块参数，并利用无效帧数据集对训练框架中的无效帧判别模块进行训练，以优化无效帧判别模块模型参数；

提取参数确定的无效帧判别模块模型并与肠镜图像息肉检测模型组合后，添加用于根据无效帧判别结果抑制肠镜图像息肉检测模型的检测结果输出的抑制处理模块，组成肠镜图像息肉误检测抑制模型。

3.如权利要求2所述的基于深度学习的肠镜图像息肉误检测抑制装置，其特征在于，在对无效帧判别模块训练结束后，利用无效判别模块从无效帧数据集中挑选包含易误检目标的视频帧，将这些包含易误检目标的视频帧添加到训练集，组成新训练集；

利用新训练集对训练框架中的肠镜图像息肉检测模型参数和无效帧判别模块参数进行微调，微调后的肠镜图像息肉检测模型、无效帧判别模块以及抑制处理模块组成肠镜图像息肉误检测抑制模型。

4.如权利要求2所述的基于深度学习的肠镜图像息肉误检测抑制装置，其特征在于，利用新训练集对训练框架中的肠镜图像息肉检测模型参数和无效帧判别模块参数进行微调时，采用的损失函数L为：

L＝L_c+λL_d

其中，L_c表示无效帧判别模块的无效帧与有效帧的二分类损失，该二分类损失为输入的肠镜图像的真实标签与预测置信度的交叉熵损失，L_d为肠镜图像息肉检测模型的检测损失，λ为损失权重参数。

5.如权利要求4所述的基于深度学习的肠镜图像息肉误检测抑制装置，其特征在于，利用新训练集对训练框架中的肠镜图像息肉检测模型参数和无效帧判别模块参数进行微调时，

将损失函数L中有效帧与无效帧的二分类损失替换为用于均衡有效帧与无效帧样本权重的重要性损失，其中，重要性损失FL(p_t)＝-α_t(1-p_t)^γlog(p_t)，α_t和γ为两个超参数，用于调节有效帧样本/无效帧样本损失的比例，和简单/困难样本的损失比例，t为样本的类别序号，t＝1表示有效帧样本，t＝0表示无效帧样本，

p表示输入样本在二分类预测任务中的预测概率，取值为[0,1]；

当检测损失L_d中存在有效帧与无效帧的二分类损失时，需要将损失函数L中有效帧的二分类损失L_c和检测损失L_d中的有效帧与无效帧的二分类损失替换为重要性损失FL(p_t)，得到新损失函数L*；

当检测损失L_d中不存在有效帧与无效帧的二分类损失时，将损失函数L中有效帧的二分类损失L_c，得到新损失函数L*；

利用新损失函数L*更新参数。

6.如权利要求5所述的基于深度学习的肠镜图像息肉误检测抑制装置，其特征在于，训练时，采用SGD优化器，

7.如权利要求2所述的基于深度学习的肠镜图像息肉误检测抑制装置，其特征在于，所述无效帧判别模块模型结构包括依次连接的全卷积神经网络、全局池化层和Sigmoid函数层。

8.如权利要求2所述的基于深度学习的肠镜图像息肉误检测抑制装置，其特征在于，构建无效帧数据集时，挑选显然不可能存在息肉的视频帧作为无效帧，可能存在息肉的视频帧作为有效帧，并为每帧视频帧添加标签，组成无效帧数据集。

Images