CN115359066B - 用于内窥镜的病灶检测方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请提出一种用于内窥镜的病灶检测方法、装置、电子设备及存储介质，属于机器学习领域，该方法获取待检测图像，待检测图像为内窥镜采集得到的图像；通过预先训练的内窥镜图像检测模型对待检测图像进行处理，输出病灶显著性图像。其中，预先训练的内窥镜图像检测模型能够应用在内窥镜中，使得内窥镜能够对采集得到的图像进行实时病灶检测，在能够保证检测精度的同时，提高了检测速率，有利于医生快速获取病灶信息和病灶位置。且在不具备GPU硬件的条件下也能够对内窥镜采集得到的图像进行病灶区域的实时检测。

Description

用于内窥镜的病灶检测方法、装置、电子设备及存储介质

技术领域

本申请涉及机器学习技术领域，尤其涉及一种用于内窥镜的病灶检测方法、装置、电子设备及存储介质。

背景技术

目前，基于深度学习的图像检测方法，由于模型大，计算复杂度高，只能部署在计算机上，通过计算机的GPU才能实时运行。在医生观察或诊治时，要求画面高清且低延时，且需要检测方法能够达到很高的实时性，但内窥镜主机一般是ARM架构，内存小，算力弱，不具备实时性，即基于内窥镜主机本身无法对内窥镜采集的图像进行实时病灶区域检测。

发明内容

本申请实施例的主要目的在于提出一种用于内窥镜的病灶检测方法、装置、电子设备及存储介质。旨在构建一种内窥镜图像检测模型，应用在内窥镜上，使得内窥镜能够对采集得到的图像进行实时检测，并输出病灶显著性图像，能够在保证检测精度的同时，提高检测速度，且不需要GPU也能够运行。

为实现上述目的，本申请实施例的第一方面提出了一种用于内窥镜的病灶检测方法，所述方法包括：

获取待检测图像，所述待检测图像为内窥镜采集得到的图像；

通过预先训练的内窥镜图像检测模型对所述待检测图像进行处理，输出病灶显著性图像；

其中，所述内窥镜图像检测模型包括第一编码模块、第二编码模块、第三编码模块、第四编码模块、第五编码模块、第一解码模块、第二解码模块、第三解码模块和第四解码模块；

所述第一编码模块的输出输入至所述第二编码模块和所述第四解码模块，所述第二编码模块的输出输入至所述第三编码模块和所述第三解码模块，所述第三编码模块的输出输入至所述第四编码模块和所述第二解码模块，所述第四编码模块的输出输入至所述第五编码模块和所述第一解码模块，所述第五编码模块的输出输入至所述第一解码模块，所述第一解码模块的输出输入至所述第二解码模块，所述第二解码模块的输出输入至所述第三解码模块，所述第三解码模块的输出输入至所述第四解码模块；

所述第一编码模块通过卷积层对所述待检测图像进行卷积操作和池化操作后，通过批量归一化层进行标准化处理，并通过swish激活函数进行非线性变换后，通过下采样单元进行特征降维，得到第一特征图像；

所述第二编码模块通过U型网络结构单元对所述第一特征图像进行多尺度特征提取后，通过下采样单元进行特征降维，得到第二特征图像；

所述第三编码模块通过卷积层对所述第二特征图像进行卷积操作和池化操作后，通过批量归一化层进行标准化处理，并通过swish激活函数进行非线性变换后，通过下采样单元进行特征降维，得到第三特征图像；

所述第四编码模块通过卷积层对所述第三特征图像进行卷积操作和池化操作后，通过批量归一化层进行标准化处理，并通过swish激活函数进行非线性变换后，通过下采样单元进行特征降维，得到第四特征图像；

所述第五编码模块通过卷积层对所述第四特征图像进行卷积操作和池化操作后，通过批量归一化层进行标准化处理，并通过swish激活函数进行非线性变换后，得到第五特征图像；

所述第一解码模块通过卷积层对所述第四特征图像和第五特征图像进行卷积操作和池化操作后，通过批量归一化层进行标准化处理，并通过swish激活函数进行非线性变换后，通过上采样单元进行特征升维，得到第六特征图像；

所述第二解码模块通过卷积层对所述第三特征图像和第六特征图像进行卷积操作和池化操作后，通过批量归一化层进行标准化处理，并通过swish激活函数进行非线性变换后，通过上采样单元进行特征升维，得到第七特征图像；

所述第三解码模块通过U型网络结构单元对所述第二特征图像和第七特征图像进行多尺度特征提取后，通过上采样单元进行特征升维，得到第八特征图像；

所述第四解码模块通过卷积层对所述第一特征图像和第八特征图像进行卷积操作和池化操作后，通过批量归一化层进行标准化处理，并通过swish激活函数进行非线性变换后，通过上采样单元进行特征升维，得到所述病灶显著性图像，所述病灶显著性图像与所述待检测图像的尺寸相同。

在一些实施例，所述第一编码模块包括卷积层、批量归一化层、swish激活函数和下采样单元，所述第三编码模块和第四编码模块与所述第一编码模块的结构相同；

所述第一解码模块包括卷积层、批量归一化层、swish激活函数和上采样单元，所述第三解码模块和第四解码模块与所述第一解码模块的结构相同；

所述第五编码模块包括卷积层、批量归一化层和swish激活函数；

所述第二编码模块包括U型网络结构单元和下采样单元，所述U型网络结构单元包括第一编码子模块、第二编码子模块、第三编码子模块、第四编码子模块、第一解码子模块、第二解码子模块和第三解码子模块；

所述第一编码子模块、第二编码子模块和第三编码子模块与所述第一编码模块的结构相同，所述第四编码子模块与所述第五编码模块的结构相同，所述第一解码子模块、第二解码子模块和第三解码子模块与所述第一解码模块的结构相同；

所述第一编码子模块的输出输入至所述第二编码子模块和所述第三解码子模块，所述第二编码子模块的输出输入至所述第三编码子模块和所述第二解码子模块，所述第三编码子模块的输出输入至所述第四编码子模块和所述第一解码子模块，所述第四编码子模块的输出输入至所述第一解码子模块，所述第一解码子模块的输出输入至所述第二解码子模块，所述第二解码子模块的输出输入至所述第三解码子模块；

所述第三解码模块包括所述U型网络结构单元和上采样单元。

在获取待检测图像之后，所述方法还包括：

将所述待检测图像裁剪成预设像素值大小的图像；

将裁剪后的图像按通道进行标准化处理。

在一些实施例，所述将裁剪后的图像按通道进行标准化处理，包括：

获取裁剪后的图像各个通道的像素均值和像素方差；

将裁剪后的图像的各个通道的像素值减去对应通道的像素均值和像素方差。

在一些实施例，所述通过预先训练的内窥镜图像检测模型对所述待检测图像进行处理，输出病灶显著性图像，包括：

通过预先训练的内窥镜图像检测模型对所述待检测图像进行处理，输出显著概率图；

对所述显著概率图进行归一化处理；

对归一化处理后的显著概率图乘以255，得到病灶显著性图像。

在一些实施例，在输出病灶显著性图像之后，所述方法还包括：

确定分割阈值；

根据所述分割阈值，基于阈值分割技术对所述病灶显著性图像进行分割，得到病灶区域的分割图像。

在一些实施例，预先训练所述内窥镜图像检测模型包括：

根据内窥镜采集的图像，构建得到训练样本集，并对所述训练样本集中的每一幅图像的病灶区域进行标注，得到标注后的训练样本集；

对标注后的训练样本集中的每一幅图像按通道进行标准化处理；

获取标准化处理后的所述训练样本集对所述内窥镜图像检测模型进行训练；

确定损失函数，并根据所述损失函数更新所述内窥镜图像检测模型的参数；

判断所述内窥镜图像检测模型训练是否满足结束条件，若满足结束条件，则输出所述内窥镜图像检测模型，若不满足结束条件，则继续训练。

在一些实施例，预先训练所述内窥镜图像检测模型还包括：

根据内窥镜采集的图像，构建得到验证图像集；

将所述验证图像集输入所述内窥镜图像检测模型，以对所述内窥镜图像检测模型的检测准确率进行测试；

根据测试结果，控制所述内窥镜图像检测模型的训练进程。

为实现上述目的，本申请实施例的第二方面提出了一种用于内窥镜的病灶检测装置，所述装置包括：

获取模块，用于获取待检测图像，所述待检测图像为内窥镜采集得到的图像；

处理模块，用于通过预先训练的内窥镜图像检测模型对所述待检测图像进行处理，输出病灶显著性图像；

其中，所述内窥镜图像检测模型包括第一编码模块、第二编码模块、第三编码模块、第四编码模块、第五编码模块、第一解码模块、第二解码模块、第三解码模块和第四解码模块；

所述第一编码模块的输出输入至所述第二编码模块和所述第四解码模块，所述第二编码模块的输出输入至所述第三编码模块和所述第三解码模块，所述第三编码模块的输出输入至所述第四编码模块和所述第二解码模块，所述第四编码模块的输出输入至所述第五编码模块和所述第一解码模块，所述第五编码模块的输出输入至所述第一解码模块，所述第一解码模块的输出输入至所述第二解码模块，所述第二解码模块的输出输入至所述第三解码模块，所述第三解码模块的输出输入至所述第四解码模块；

所述第一编码模块通过卷积层对所述待检测图像进行卷积操作和池化操作后，通过批量归一化层进行标准化处理，并通过swish激活函数进行非线性变换后，通过下采样单元进行特征降维，得到第一特征图像；

所述第二编码模块通过U型网络结构单元对所述第一特征图像进行多尺度特征提取后，通过下采样单元进行特征降维，得到第二特征图像；

所述第三编码模块通过卷积层对所述第二特征图像进行卷积操作和池化操作后，通过批量归一化层进行标准化处理，并通过swish激活函数进行非线性变换后，通过下采样单元进行特征降维，得到第三特征图像；

所述第四编码模块通过卷积层对所述第三特征图像进行卷积操作和池化操作后，通过批量归一化层进行标准化处理，并通过swish激活函数进行非线性变换后，通过下采样单元进行特征降维，得到第四特征图像；

所述第五编码模块通过卷积层对所述第四特征图像进行卷积操作和池化操作后，通过批量归一化层进行标准化处理，并通过swish激活函数进行非线性变换后，得到第五特征图像；

所述第一解码模块通过卷积层对所述第四特征图像和第五特征图像进行卷积操作和池化操作后，通过批量归一化层进行标准化处理，并通过swish激活函数进行非线性变换后，通过上采样单元进行特征升维，得到第六特征图像；

所述第二解码模块通过卷积层对所述第三特征图像和第六特征图像进行卷积操作和池化操作后，通过批量归一化层进行标准化处理，并通过swish激活函数进行非线性变换后，通过上采样单元进行特征升维，得到第七特征图像；

所述第三解码模块通过U型网络结构单元对所述第二特征图像和第七特征图像进行多尺度特征提取后，通过上采样单元进行特征升维，得到第八特征图像；

所述第四解码模块通过卷积层对所述第一特征图像和第八特征图像进行卷积操作和池化操作后，通过批量归一化层进行标准化处理，并通过swish激活函数进行非线性变换后，通过上采样单元进行特征升维，得到所述病灶显著性图像，所述病灶显著性图像与所述待检测图像的尺寸相同。

为实现上述目的，本申请实施例的第三方面提出了一种电子设备，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的方法。

为实现上述目的，本申请实施例的第四方面提出了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面所述的方法。

本申请提出的一种用于内窥镜的病灶检测方法、装置、电子设备及存储介质，该方法获取待检测图像，待检测图像为内窥镜采集得到的图像；通过预先训练的内窥镜图像检测模型对待检测图像进行处理，输出病灶显著性图像。其中，预先训练的内窥镜图像检测模型能够应用在内窥镜中，使得内窥镜能够对采集得到的图像进行实时病灶区域检测，在能够保证检测精度的同时，提高了检测速率，有利于医生快速获取病灶信息和病灶位置。

附图说明

图1是本申请实施例中提供的用于内窥镜的病灶检测方法的流程图。

图2是本申请实施例提供的内窥镜图像检测模块的结构示意图。

图3是本申请实施例提供的U型网络结构单元的结构示意图。

图4是本申请实施例提供的预先训练内窥镜图像检测模型的步骤流程图。

图5是本申请实施例提供的标注图像的示意图。

图6是本申请实施例提供的预先训练内窥镜图像检测模型还包括的步骤流程图。

图7是本申请实施例提供的在获取待检测图像之后执行的步骤流程图。

图8是本申请实施例提供的通过预先训练的内窥镜图像检测模型对待检测图像进行处理，输出病灶显著性图像的步骤流程图。

图9是本申请实施例提供的内窥镜图像检测模型输出的病灶显著性图像的示意图。

图10是本申请实施例提供的在输出病灶显著性图像之后执行的步骤流程图。

图11是本申请实施例提供的用于内窥镜的病灶检测装置的结构示意图。

图12是本申请实施例提供的电子设备的硬件结构示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。

需要说明的是，虽然在装置示意图中进行了功能模块划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于装置中的模块划分，或流程图中的顺序执行所示出或描述的步骤。说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。

医生常规完成一次内窥镜检查的时间大约为6～15分钟。检查结果受到操作医师的师资经验、熟练程度、精神状态、疲劳程度等各种因素影响，这将导致医师很难做到对病变和部位的准确采集、内镜报告全面详实的记录。漏诊和误诊在所难免。

近年来，随着计算机运算能力的极大提高和医院图像数据库的建设和积累，基于深度学习算法的探测模型在医疗影像分析领域发挥出强大的优势，逐渐进入临床应用中。神经网络在与识别相关的任务取得了很好的成绩，与人工相比，其具有高效的优势。如果能将其应用在内窥镜检测过程，期望可以缩短检查时间，一方面可以减轻病人的痛苦，也可以减缓医疗压力。

然而，基于神经网络的图像检测识别方法，其检测模型大、计算量和计算复杂度都很高，因而需要部署在计算机上，通过计算机上的GPU才能够运行。而内窥镜主机一般是ARM架构，内存小，算力弱。这就导致相关的基于神经网络的图像检测识别方法并不能够直接部署在内窥镜中。

基于此，本申请实施例提出一种用于内窥镜的病灶检测方法。旨在将预先训练好的内窥镜图像检测模型应用于内窥镜，使得内窥镜能够对采集得到的图像进行实时病灶检测，在能够保证检测精度的同时，提高检测速率，有利于医生快速获取病灶信息和病灶位置。

参照图1，图1是本申请实施例中提供的用于内窥镜的病灶检测方法的流程图，图1中的方法可以包括但不限于步骤S101至步骤S102。

步骤S101，获取待检测图像，待检测图像为内窥镜采集得到的图像；

步骤S102，通过预先训练的内窥镜图像检测模型对待检测图像进行处理，输出病灶显著性图像；

其中，内窥镜图像检测模型包括第一编码模块、第二编码模块、第三编码模块、第四编码模块、第五编码模块、第一解码模块、第二解码模块、第三解码模块和第四解码模块；

第一编码模块的输出输入至第二编码模块和第四解码模块，第二编码模块的输出输入至第三编码模块和第三解码模块，第三编码模块的输出输入至第四编码模块和第二解码模块，第四编码模块的输出输入至第五编码模块和第一解码模块，第五编码模块的输出输入至第一解码模块，第一解码模块的输出输入至第二解码模块，第二解码模块的输出输入至第三解码模块，第三解码模块的输出输入至第四解码模块；

第一编码模块通过卷积层对待检测图像进行卷积操作和池化操作后，通过批量归一化层进行标准化处理，并通过swish激活函数进行非线性变换后，通过下采样单元进行特征降维，得到第一特征图像；

第二编码模块通过U型网络结构单元对第一特征图像进行多尺度特征提取后，通过下采样单元进行特征降维，得到第二特征图像；

第三编码模块通过卷积层对第二特征图像进行卷积操作和池化操作后，通过批量归一化层进行标准化处理，并通过swish激活函数进行非线性变换后，通过下采样单元进行特征降维，得到第三特征图像；

第四编码模块通过卷积层对第三特征图像进行卷积操作和池化操作后，通过批量归一化层进行标准化处理，并通过swish激活函数进行非线性变换后，通过下采样单元进行特征降维，得到第四特征图像；

第五编码模块通过卷积层对第四特征图像进行卷积操作和池化操作后，通过批量归一化层进行标准化处理，并通过swish激活函数进行非线性变换后，得到第五特征图像；

第一解码模块通过卷积层对第四特征图像和第五特征图像进行卷积操作和池化操作后，通过批量归一化层进行标准化处理，并通过swish激活函数进行非线性变换后，通过上采样单元进行特征升维，得到第六特征图像；

第二解码模块通过卷积层对第三特征图像和第六特征图像进行卷积操作和池化操作后，通过批量归一化层进行标准化处理，并通过swish激活函数进行非线性变换后，通过上采样单元进行特征升维，得到第七特征图像；

第三解码模块通过U型网络结构单元对第二特征图像和第七特征图像进行多尺度特征提取后，通过上采样单元进行特征升维，得到第八特征图像；

第四解码模块通过卷积层对第一特征图像和第八特征图像进行卷积操作和池化操作后，通过批量归一化层进行标准化处理，并通过swish激活函数进行非线性变换后，通过上采样单元进行特征升维，得到病灶显著性图像，病灶显著性图像与待检测图像的尺寸相同。

本申请实施例中，考虑到现有的基于深度学习的图像检测识别方法，其检测模型大、计算量和计算复杂度都很高，且需要部署在计算机上，通过计算机上的GPU才能够运行。因此，构建一个内窥镜图像检测模型，其是介于UNET和U2NET之间的神经网络结构，简化了检测模型，模型比U2NET小200倍，检测速度比U2NET快60倍。在保证检测精度的条件下，提高了检测速度，且能够在ARM平台实时运行。也就是说构建的内窥镜图像检测模型能够应用至内窥镜上，使得内窥镜能够对采集得到的图像进行病灶区域的实时检测。

具体地，参照图2，图2是本申请实施例提供的内窥镜图像检测模块的结构示意图。如图2所示，内窥镜图像检测模块包括第一编码模块EN1、第二编码模块EN2、第三编码模块EN3、第四编码模块EN4、第五编码模块EN5、第一解码模块DE1、第二解码模块DE2、第三解码模块DE3和第四解码模块DE4。

其中，第一编码模块EN1包括卷积层（CONV层）、批量归一化层（BE层）、swish激活函数和下采样单元。

卷积层由若干卷积单元组成，每个卷积单元的参数都是通过反向传播算法最佳化得到的。卷积运算的目的是提取输入的不同特征，第一层卷积层可能只能提取一些低级的特征如边缘、线条和角等层级，更多网络层能从低级特征中迭代提取更复杂的特征。本申请实施例中，卷积层中采用3*3的卷积核，进行步长为1的操作。

批量归一化层（Batch Normalization，BN）的作用就是对图像进行标准化处理。通过批量归一化将卷积层的输出数据转化为正态分布，使后续网络层不用再学习前一层的数据分布，降低了后续网络对前面网络的依赖性，提高了网络的反馈能力。批量归一化改善了网络的梯度流，减少网络训练中的梯度消失现象，可以使用较大学习率训练网络，使得网络可以更快收敛。

激活函数（Activation Function）是一种添加到人工神经网络中的函数，旨在帮助网络学习数据中的复杂模式。本申请实施例采用swish激活函数，由于swish激活函数的无界性，有助于防止慢速训练期间，梯度逐渐接近0并导致饱和；同时，由于swish激活函数导数恒大于0，因此平滑度在优化和泛化中起了重要作用。

下采样单元是使用池化(pooling)的相关技术来实现的，目的就是用来降低图像特征的维度并保留有效信息，一定程度上避免过拟合。本申请实施例中，下采样单元采用步长为2的max-pooling进行下采样，选出分类辨识度更好的特征。

本申请实施例中，第三编码模块EN3和第四编码模块EN4的结构与第一编码模块EN1的结构相同，也包括卷积层（CONV层）、批量归一化层（BE层）、swish激活函数和下采样单元。第五编码模块EN5为过渡模块，只包括卷积层（CONV层）、批量归一化层（BE层）和swish激活函数。

第一解码模块DE1包括卷积层（CONV层）、批量归一化层（BE层）、swish激活函数和上采样单元。

上采样单元能够提高图像分辨率，因为，分辨率是一张图像像素点的个数，经过上采样后，像素点个数提高了，所以，分辨率提高了。本申请实施例中，通过二次非线性插值法对图像进行上采样处理。

本申请实施例中，第二解码模块DE2和第四解码模块DE4的结构与第一解码模块DE1的结构相同，也包括卷积层（CONV层）、批量归一化层（BE层）、swish激活函数和上采样单元。

本申请实施例中，第二编码模块EN2包括U型网络结构单元和下采样单元。参照图3，图3是本申请实施例提供的U型网络结构单元的结构示意图。如图3所示，U型网络结构单元包括第一编码子模块ENN1、第二编码子模块ENN2、第三编码子模块ENN3、第四编码子模块ENN4、第一解码子模块DEE1、第二解码子模块DEE1和第三解码子模块DEE3；

第一编码子模块ENN1、第二编码子模块ENN2和第三编码子模块ENN3与第一编码模块EN1的结构相同，第四编码子模块ENN4与第五编码模块EN5的结构相同，第一解码子模块DEE1、第二解码子模块DEE2和第三解码子模块DEE3与第一解码模块DE1的结构相同；

第一编码子模块ENN1的输出输入至第二编码子模块ENN2和第三解码子模块DEE3，第二编码子模块ENN2的输出输入至第三编码子模块ENN3和第二解码子模块DEE2，第三编码子模块ENN3的输出输入至第四编码子模块ENN4和第一解码子模块DEE1，第四编码子模块ENN4的输出输入至第一解码子模块DEE1，第一解码子模块DEE1的输出输入至第二解码子模块DEE2，第二解码子模块DEE2的输出输入至第三解码子模块DEE3。

本申请实施例中，第三解码模块DE3包括如图3所示的U型网络结构单元和上采样单元。

本申请实施例中，在构建得到如图2所示的内窥镜图像检测模型之后，可将该模型应用至内窥镜中，使得内窥镜能够基于内窥镜图像检测模型对采集得到的图像进行实时病灶检测。

本申请实施例中，在构建得到如图2所示的内窥镜图像检测模型之后，需要对内窥镜图像检测模型先进行训练，再将训练好的内窥镜图像检测模型部署到内窥镜中。

参照图4，图4是本申请实施例提供的预先训练内窥镜图像检测模型的步骤流程图，包括但不限于步骤S401至步骤S405。

步骤S401，根据内窥镜采集的图像，构建得到训练样本集，并对训练样本集中的每一幅图像的病灶区域进行标注，得到标注后的训练样本集；

步骤S402，对标注后的训练样本集中的每一幅图像按通道进行标准化处理；

步骤S403，获取标准化处理后的训练样本集对内窥镜图像检测模型进行训练；

步骤S404，确定损失函数，并根据损失函数更新内窥镜图像检测模型的参数；

步骤S405，判断内窥镜图像检测模型训练是否满足结束条件，若满足结束条件，则输出内窥镜图像检测模型，若不满足结束条件，则继续训练。

本申请实施例中，先基于内窥镜采集得到的大量带有病灶的图像构建训练样本集，并对训练样本集中的每一幅图像的病灶区域通过labelme进行标注。其中病灶区域标注为1，背景区域标注为0。然后保存为png标签图像用于有监督训练。参照图5，图5是本申请实施例提供的标注图像的示意图。

然后，将训练样本集中的图像先缩放到160*160大小的图像，再随机裁剪成144*144大小的图像。然后减去训练样本集均值和除以方差后，输入到内窥镜图像检测模型中进行训练。训练过程中会对训练样本集中的图像进行随机旋转，颜色抖动等数据增强操作。然后确定损失函数，并根据损失函数更新内窥镜图像检测模型的参数，直到损失函数收敛达到最小，结束训练，输出训练好的内窥镜图像检测模型。

参照图6，图6是本申请实施例提供的预先训练内窥镜图像检测模型还包括的步骤流程图，包括但不限于步骤S601至步骤S603。

步骤S601，根据内窥镜采集的图像，构建得到验证图像集；

步骤S602，将验证图像集输入内窥镜图像检测模型，以对内窥镜图像检测模型的检测准确率进行测试；

步骤S603，根据测试结果，控制内窥镜图像检测模型的训练进程。

本申请实施例中，从内窥镜采集得到的大量带有病灶的图像中抽取部分图像作为验证图像集。同样需要对验证图像集中的图像的病灶区域通过labelme进行标注。然后将验证图像集输入内窥镜图像检测模型，以对内窥镜图像检测模型的检测准确率进行测试。具体地，将内窥镜图像检测模型的输出图像与相应的标注图像进行对比，可判断内窥镜图像检测模型检测出的病灶区域是否正确。比如在1000个验证图像中，判断出有950个验证图像的检测结果正确，此时，可确定内窥镜图像检测模型的检测准确率达到要求，可结束训练。

本申请实施例中，训练得到内窥镜图像检测模型之后，将内窥镜图像检测模型部署到内窥镜中，然后获取待检测图像，并通过训练好的内窥镜图像检测模型对待检测图像进行处理，以输出病灶显著性图像。

参照图7，图7是本申请实施例提供的在获取待检测图像之后执行的步骤流程图，包括但不限于步骤S701至步骤S703。

步骤S701，将待检测图像裁剪成预设像素值大小的图像；

步骤S702，获取裁剪后的图像各个通道的像素均值和像素方差；

步骤S703，将裁剪后的图像的各个通道的像素值减去对应通道的像素均值和像素方差。

本申请实施例中，需要先将待检测图像剪成预设像素值大小的图像。比如，可将待检测图像先缩放到160*160大小，然后随机裁剪成144*144大小的图像。然后再对裁剪后的图像按通道进行标准化处理。具体地，先获取图像各个通道的像素均值和像素方差，再将裁剪后的图像的各个通道的像素值减去对应通道的像素均值和像素方差。

本申请实施例中，内窥镜图像检测模型更关注的是类别之间的差异性，并不是看图像的绝对值，例如图像很亮，图像很暗之类的，为了突出差异，所有输入的图像都要减去平均值，即通过减去平均值，可移除共同的部分，凸显个体差异。输入内窥镜图像检测模型的图像，每个像素值都可以看成是一个特征，在某些位置上的像素值的范围比另外一些位置的像素值的范围大，比如有些地方黑黑的，它的值在0的范围晃动，另外一些地方有些黑有些白，它是在0到255之间晃动，如果不除以方差，这些图像特征输入到内窥镜图像检测模型中，有些地方变化大，有些地方变化小，变化大的权重比较大，对网络的影响比较大，但是在做特征提取的时候，更希望网络关注的是整个图像的变化，而不是某个局部变化大的地方来影响它的输出。如果除以方差，它的效果是所有像素的取值范围，例如在-1到1之间。

参照图8，图8是本申请实施例提供的通过预先训练的内窥镜图像检测模型对待检测图像进行处理，输出病灶显著性图像的步骤流程图，包括但不限于步骤S801至步骤S803。

步骤S801，通过预先训练的内窥镜图像检测模型对待检测图像进行处理，输出显著概率图；

步骤S802，对显著概率图进行归一化处理；

步骤S803，对归一化处理后的显著概率图乘以255，得到病灶显著性图像。

本申请实施例中，通过预先训练的内窥镜图像检测模型对待检测图像进行处理，先输出显著概率图，然后在对显著概率图进行归一化处理。具体地，对显著概率图经过归一化处理，将像素值调整到（0，1）区间内。然后再对归一化处理后的显著概率图乘以255，并缩放到与原始图像相同大小。得到的图像就是病灶显著性图像。参照图9，图9是本申请实施例提供的内窥镜图像检测模型输出的病灶显著性图像的示意图。其中，图像亮度值越高的区域，病灶细胞越集中。

参照图10，图10是本申请实施例提供的在输出病灶显著性图像之后执行的步骤流程图，包括但不限于步骤S1001至步骤S1002。

步骤S1001，确定分割阈值；

步骤S1002，根据分割阈值，基于阈值分割技术对病灶显著性图像进行分割，得到病灶区域的分割图像。

本申请实施例中，内窥镜图像检测模型输出如图9所示的病灶显著性图像之后，还可进一步通过阈值分割技术对图像进行分割，得到病灶区域的分割图像。

具体地，利用图像中要提取的病灶目标与背景在灰度上的差异，通过设置阈值来把像素级分成若干类，从而实现目标与背景的分离。具体通过判断图像中每一个像素点的特征属性是否满足阈值的要求，来确定图像中的该像素点是属于目标区域还是背景区域，从而将一幅灰度图像转换成二值图像。本申请实施例中，确定分割阈值为0.4，将大于0.4的区域表示病灶区域，即可得到病灶区域的分割图像。

请参阅图11，本申请实施例还提供一种用于内窥镜的病灶检测装置110，可以实现上述用于内窥镜的病灶检测方法，该装置包括：

获取模块1101，用于获取待检测图像，待检测图像为内窥镜采集得到的图像；

处理模块1102，用于通过预先训练的内窥镜图像检测模型对待检测图像进行处理，输出病灶显著性图像。

该用于内窥镜的病灶检测装置的具体实施方式与上述用于内窥镜的病灶检测方法的具体实施例基本相同，在此不再赘述。

本申请实施例还提供了一种电子设备，电子设备包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现上述用于内窥镜的病灶检测方法。该电子设备可以为包括平板电脑、车载电脑等任意智能终端。

请参阅图12，图12是申请实施例提供的电子设备的硬件结构示意图。电子设备包括：

处理器1201，可以采用通用的CPU(CentralProcessingUnit，中央处理器)、微处理器、应用专用集成电路(ApplicationSpecificIntegratedCircuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本申请实施例所提供的技术方案；

存储器1202，可以采用只读存储器（ReadOnlyMemory，ROM）、静态存储设备、动态存储设备或者随机存取存储器(RandomAccessMemory，RAM)等形式实现。存储器1202可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器1202中，并由处理器1201来调用执行本申请实施例的用于内窥镜的病灶检测方法；

输入/输出接口1203，用于实现信息输入及输出；

通信接口1204，用于实现本设备与其他设备的通信交互，可以通过有线方式（例如USB、网线等）实现通信，也可以通过无线方式（例如移动网络、WIFI、蓝牙等）实现通信；

总线1205，在设备的各个组件（例如处理器1201、存储器1202、输入/输出接口1203和通信接口1204）之间传输信息；

其中处理器1201、存储器1202、输入/输出接口1203和通信接口1204通过总线1205实现彼此之间在设备内部的通信连接。

本申请实施例还提供了一种存储介质，存储介质为计算机可读存储介质，该存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述用于内窥镜的病灶检测方法。

存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至该处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

本申请实施例描述的实施例是为了更加清楚的说明本申请实施例的技术方案，并不构成对于本申请实施例提供的技术方案的限定，本领域技术人员可知，随着技术的演变和新应用场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。

本领域技术人员可以理解的是，图中示出的技术方案并不构成对本申请实施例的限定，可以包括比图示更多或更少的步骤，或者组合某些步骤，或者不同的步骤。

以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的模块可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、设备中的功能模块/模块可以被实施为软件、固件、硬件及其适当的组合。

本申请的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或模块的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或模块，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或模块。

应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，上述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

上述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括多指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例的方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等各种可以存储程序的介质。

以上参照附图说明了本申请实施例的优选实施例，并非因此局限本申请实施例的权利范围。本领域技术人员不脱离本申请实施例的范围和实质内所作的任何修改、等同替换和改进，均应在本申请实施例的权利范围之内。

Claims (9)

1.一种用于内窥镜的病灶检测方法，其特征在于，所述方法包括：

获取待检测图像，所述待检测图像为内窥镜采集得到的图像；

通过预先训练的内窥镜图像检测模型对所述待检测图像进行处理，输出病灶显著性图像；

其中，所述内窥镜图像检测模型包括第一编码模块、第二编码模块、第三编码模块、第四编码模块、第五编码模块、第一解码模块、第二解码模块、第三解码模块和第四解码模块；

所述第一编码模块的输出输入至所述第二编码模块和所述第四解码模块，所述第二编码模块的输出输入至所述第三编码模块和所述第三解码模块，所述第三编码模块的输出输入至所述第四编码模块和所述第二解码模块，所述第四编码模块的输出输入至所述第五编码模块和所述第一解码模块，所述第五编码模块的输出输入至所述第一解码模块，所述第一解码模块的输出输入至所述第二解码模块，所述第二解码模块的输出输入至所述第三解码模块，所述第三解码模块的输出输入至所述第四解码模块；

所述第一编码模块通过卷积层对所述待检测图像进行卷积操作和池化操作后，通过批量归一化层进行标准化处理，并通过swish激活函数进行非线性变换后，通过下采样单元进行特征降维，得到第一特征图像；

所述第二编码模块通过U型网络结构单元对所述第一特征图像进行多尺度特征提取后，通过下采样单元进行特征降维，得到第二特征图像；

所述第三编码模块通过卷积层对所述第二特征图像进行卷积操作和池化操作后，通过批量归一化层进行标准化处理，并通过swish激活函数进行非线性变换后，通过下采样单元进行特征降维，得到第三特征图像；

所述第四编码模块通过卷积层对所述第三特征图像进行卷积操作和池化操作后，通过批量归一化层进行标准化处理，并通过swish激活函数进行非线性变换后，通过下采样单元进行特征降维，得到第四特征图像；

所述第五编码模块通过卷积层对所述第四特征图像进行卷积操作和池化操作后，通过批量归一化层进行标准化处理，并通过swish激活函数进行非线性变换后，得到第五特征图像；

所述第一解码模块通过卷积层对所述第四特征图像和第五特征图像进行卷积操作和池化操作后，通过批量归一化层进行标准化处理，并通过swish激活函数进行非线性变换后，通过上采样单元进行特征升维，得到第六特征图像；

所述第二解码模块通过卷积层对所述第三特征图像和第六特征图像进行卷积操作和池化操作后，通过批量归一化层进行标准化处理，并通过swish激活函数进行非线性变换后，通过上采样单元进行特征升维，得到第七特征图像；

所述第三解码模块通过U型网络结构单元对所述第二特征图像和第七特征图像进行多尺度特征提取后，通过上采样单元进行特征升维，得到第八特征图像；

所述第四解码模块通过卷积层对所述第一特征图像和第八特征图像进行卷积操作和池化操作后，通过批量归一化层进行标准化处理，并通过swish激活函数进行非线性变换后，通过上采样单元进行特征升维，得到所述病灶显著性图像，所述病灶显著性图像与所述待检测图像的尺寸相同；

所述第一编码模块包括卷积层、批量归一化层、swish激活函数和下采样单元，所述第三编码模块和第四编码模块与所述第一编码模块的结构相同；

所述第一解码模块包括卷积层、批量归一化层、swish激活函数和上采样单元，所述第二解码模块和第四解码模块与所述第一解码模块的结构相同；

所述第五编码模块包括卷积层、批量归一化层和swish激活函数；

所述第二编码模块包括U型网络结构单元和下采样单元，所述U型网络结构单元包括第一编码子模块、第二编码子模块、第三编码子模块、第四编码子模块、第一解码子模块、第二解码子模块和第三解码子模块；

所述第一编码子模块、第二编码子模块和第三编码子模块与所述第一编码模块的结构相同，所述第四编码子模块与所述第五编码模块的结构相同，所述第一解码子模块、第二解码子模块和第三解码子模块与所述第一解码模块的结构相同；

所述第一编码子模块的输出输入至所述第二编码子模块和所述第三解码子模块，所述第二编码子模块的输出输入至所述第三编码子模块和所述第二解码子模块，所述第三编码子模块的输出输入至所述第四编码子模块和所述第一解码子模块，所述第四编码子模块的输出输入至所述第一解码子模块，所述第一解码子模块的输出输入至所述第二解码子模块，所述第二解码子模块的输出输入至所述第三解码子模块；

所述第三解码模块包括所述U型网络结构单元和上采样单元。

2.根据权利要求1所述的方法，其特征在于，在获取待检测图像之后，所述方法还包括：

将所述待检测图像裁剪成预设像素值大小的图像；

获取裁剪后的图像各个通道的像素均值和像素方差；

将裁剪后的图像的各个通道的像素值减去对应通道的像素均值和像素方差。

3.根据权利要求1所述的方法，其特征在于，所述通过预先训练的内窥镜图像检测模型对所述待检测图像进行处理，输出病灶显著性图像，包括：

通过预先训练的内窥镜图像检测模型对所述待检测图像进行处理，输出显著概率图；

对所述显著概率图进行归一化处理；

对归一化处理后的显著概率图乘以255，得到病灶显著性图像。

4.根据权利要求1所述的方法，其特征在于，所述通过预先训练的内窥镜图像检测模型对所述待检测图像进行处理，输出病灶显著性图像之后，所述方法还包括：

确定分割阈值；

根据所述分割阈值，基于阈值分割技术对所述病灶显著性图像进行分割，得到病灶区域的分割图像。

5.根据权利要求1所述的方法，其特征在于，预先训练所述内窥镜图像检测模型包括：

根据内窥镜采集的图像，构建得到训练样本集，并对所述训练样本集中的每一幅图像的病灶区域进行标注，得到标注后的训练样本集；

对标注后的训练样本集中的每一幅图像按通道进行标准化处理；

获取标准化处理后的所述训练样本集对所述内窥镜图像检测模型进行训练；

确定损失函数，并根据所述损失函数更新所述内窥镜图像检测模型的参数；

判断所述内窥镜图像检测模型训练是否满足结束条件，若满足结束条件，则输出所述内窥镜图像检测模型，若不满足结束条件，则继续训练。

6.根据权利要求5所述的方法，其特征在于，预先训练所述内窥镜图像检测模型还包括：

根据内窥镜采集的图像，构建得到验证图像集；

将所述验证图像集输入所述内窥镜图像检测模型，以对所述内窥镜图像检测模型的检测准确率进行测试；

根据测试结果，控制所述内窥镜图像检测模型的训练进程。

7.一种用于内窥镜的病灶检测装置，其特征在于，所述装置包括：

获取模块，用于获取待检测图像，所述待检测图像为内窥镜采集得到的图像；

处理模块，用于通过预先训练的内窥镜图像检测模型对所述待检测图像进行处理，输出病灶显著性图像；

其中，所述内窥镜图像检测模型包括第一编码模块、第二编码模块、第三编码模块、第四编码模块、第五编码模块、第一解码模块、第二解码模块、第三解码模块和第四解码模块；

所述第一编码模块的输出输入至所述第二编码模块和所述第四解码模块，所述第二编码模块的输出输入至所述第三编码模块和所述第三解码模块，所述第三编码模块的输出输入至所述第四编码模块和所述第二解码模块，所述第四编码模块的输出输入至所述第五编码模块和所述第一解码模块，所述第五编码模块的输出输入至所述第一解码模块，所述第一解码模块的输出输入至所述第二解码模块，所述第二解码模块的输出输入至所述第三解码模块，所述第三解码模块的输出输入至所述第四解码模块；

所述第一编码模块通过卷积层对所述待检测图像进行卷积操作和池化操作后，通过批量归一化层进行标准化处理，并通过swish激活函数进行非线性变换后，通过下采样单元进行特征降维，得到第一特征图像；

所述第二编码模块通过U型网络结构单元对所述第一特征图像进行多尺度特征提取后，通过下采样单元进行特征降维，得到第二特征图像；

所述第三编码模块通过卷积层对所述第二特征图像进行卷积操作和池化操作后，通过批量归一化层进行标准化处理，并通过swish激活函数进行非线性变换后，通过下采样单元进行特征降维，得到第三特征图像；

所述第四编码模块通过卷积层对所述第三特征图像进行卷积操作和池化操作后，通过批量归一化层进行标准化处理，并通过swish激活函数进行非线性变换后，通过下采样单元进行特征降维，得到第四特征图像；

所述第五编码模块通过卷积层对所述第四特征图像进行卷积操作和池化操作后，通过批量归一化层进行标准化处理，并通过swish激活函数进行非线性变换后，得到第五特征图像；

所述第一解码模块通过卷积层对所述第四特征图像和第五特征图像进行卷积操作和池化操作后，通过批量归一化层进行标准化处理，并通过swish激活函数进行非线性变换后，通过上采样单元进行特征升维，得到第六特征图像；

所述第二解码模块通过卷积层对所述第三特征图像和第六特征图像进行卷积操作和池化操作后，通过批量归一化层进行标准化处理，并通过swish激活函数进行非线性变换后，通过上采样单元进行特征升维，得到第七特征图像；

所述第三解码模块通过U型网络结构单元对所述第二特征图像和第七特征图像进行多尺度特征提取后，通过上采样单元进行特征升维，得到第八特征图像；

所述第四解码模块通过卷积层对所述第一特征图像和第八特征图像进行卷积操作和池化操作后，通过批量归一化层进行标准化处理，并通过swish激活函数进行非线性变换后，通过上采样单元进行特征升维，得到所述病灶显著性图像，所述病灶显著性图像与所述待检测图像的尺寸相同；

所述第一编码模块包括卷积层、批量归一化层、swish激活函数和下采样单元，所述第三编码模块和第四编码模块与所述第一编码模块的结构相同；

所述第一解码模块包括卷积层、批量归一化层、swish激活函数和上采样单元，所述第二解码模块和第四解码模块与所述第一解码模块的结构相同；

所述第五编码模块包括卷积层、批量归一化层和swish激活函数；

所述第二编码模块包括U型网络结构单元和下采样单元，所述U型网络结构单元包括第一编码子模块、第二编码子模块、第三编码子模块、第四编码子模块、第一解码子模块、第二解码子模块和第三解码子模块；

所述第一编码子模块、第二编码子模块和第三编码子模块与所述第一编码模块的结构相同，所述第四编码子模块与所述第五编码模块的结构相同，所述第一解码子模块、第二解码子模块和第三解码子模块与所述第一解码模块的结构相同；

所述第一编码子模块的输出输入至所述第二编码子模块和所述第三解码子模块，所述第二编码子模块的输出输入至所述第三编码子模块和所述第二解码子模块，所述第三编码子模块的输出输入至所述第四编码子模块和所述第一解码子模块，所述第四编码子模块的输出输入至所述第一解码子模块，所述第一解码子模块的输出输入至所述第二解码子模块，所述第二解码子模块的输出输入至所述第三解码子模块；

所述第三解码模块包括所述U型网络结构单元和上采样单元。

8.一种电子设备，其特征在于，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现权利要求1至6任一项所述的方法。

9.一种计算机可读存储介质，所述存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法。

Images