CN111340094A - 基于深度学习的胶囊内窥镜图像辅助分类系统和分类方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的胶囊内窥镜图像辅助分类方法，包括以下步骤：数据获取模块获取在IPv6环境下从网站输入的待分类胶囊内窥镜图像；将数据获取模块获取的胶囊内窥镜图像输入到图像识别模块中，使用第一卷积神经网络模型识别输入图像中的肠道图像和咽喉图像，得到两类图像数据；图像识别模块将已知类别的图像输入图像分类模块中，使用第二卷积神经网络模型和第三卷积神经网络模型分别对两类不同部位图像进行分类；人机交互模块在IPv6环境下通过网站将分类结果传送至上位机。本发明借助深度卷积神经网络自动识别和分类胶囊内窥镜图像，满足胶囊内窥镜图像临床分类要求，减少了处理胶囊内窥镜图像的工作量，提高了分类效率。

Description

基于深度学习的胶囊内窥镜图像辅助分类系统和分类方法

技术领域

本发明涉及图像处理领域，特别涉及一种基于深度学习的胶囊内窥镜图像辅助分类系统和分类方法。

背景技术

近年来，胶囊内窥镜作为一种具有无痛无创、全覆盖等优点的新型检查装置被广泛用于临床检查，然而每次胶囊内窥镜检查将产生50,000张以上的数据图像，胶囊内窥镜图片的巨大数量以及图片内容的复杂性，给临床医生带来了极大的时间负担。因此，能够进行智能分类的胶囊内窥镜辅助分类系统对减轻医生的分类负担和提高病灶分类的精度具有重要的意义。

在胶囊内窥镜病变图像自动检测中，传统的机器学习方法核心思想可概括以下两部分：人工提取特征、采用合适的分类器。对于胶囊内窥镜图像分类，其提取特征主要考虑图像的颜色和纹理等特征，其分类器主要考虑SVM、KNN、MLP等。由于传统的机器学习方法特征提取与训练分类器分开，人工提取的特征送入到学习系统，学习系统得到的特征会丧失部分有效信息，从而导致工作效率欠缺，分类精度低，且模型的鲁棒性未可知。

随着人工智能领域的发展，在医疗界大数据等领域中，深度学习已得到广泛的应用。与基于人工选取特征的算法相比，深度学习方法特别是卷积神经网络将人工提取特征替换为自动化学习特征，并且能够找到人工提取算法无法描述的特征。

发明内容

为了解决上述技术问题，本发明提供一种结构简单的基于深度学习的胶囊内窥镜图像辅助分类系统，并提供一种基于深度学习的胶囊内窥镜图像辅助分类方法。

本发明解决上述问题的技术方案是：一种基于深度学习的胶囊内窥镜图像辅助分类系统，包括数据获取模块、图像识别模块、图像分类模块、人机交互模块，数据获取模块的信号输出端连接图像识别模块的信号输入端，图像识别模块的第一信号输出端连接图像分类模块的第一信号输入端，图像识别模块的第二信号输出端连接图像分类模块的第二信号输入端，图像分类模块的信号输出端连接人机交互模块的信号输入端；所述数据获取模块获取网站输入的待分类胶囊内窥镜图像数据，所述图像识别模块识别输入图像数据中的肠道图像和咽喉图像，所述图像分类模块分别对肠道图像、咽喉图像进行分类，所述人机交互模块将分类结果上传至上位机。

上述基于深度学习的胶囊内窥镜图像辅助分类系统，所述图像识别模块中设有第一卷积神经网络模型，利用第一卷积神经网络模型对输入图像进行图像特征提取，得到不同类别图像的特征矢量序列，识别出输入图像中的肠道图像和咽喉图像。

上述基于深度学习的胶囊内窥镜图像辅助分类系统，所述第一卷积神经网络模型由一层卷积层、两层池化层、四层残差模块和一层全连接层组成：第1层为卷积层，卷积层的卷积核大小为3×3，步长为2，滤波器数目为64；第2层为最大池化层，池化核大小为3×3，步长为2；第3到第6层为4个残差模块，所有残差模块的卷积核大小为3×3，第1和第2个残差模块步长为2，滤波器数目为64；第3个残差模块步长为1，滤波器数目为128；第4个残差模块步长为1，滤波器数目为256；第7层为平均池化层，池化核大小为2×2，步长为2；第8层为全连接层。

上述基于深度学习的胶囊内窥镜图像辅助分类系统，所述图像分类模块中设有第二卷积神经网络模型和第三卷积神经网络模型，利用第二卷积神经网络模型/第三卷积神经网络模型分别对肠道图像、咽喉图像进行图像特征提取，得到肠道、咽喉的特征矢量序列，对肠道图像、咽喉图像进行分类。

上述基于深度学习的胶囊内窥镜图像辅助分类系统，还包括模型训练模块和模型测试模块，所述模型训练模块的数据通信端连接图像识别模块和图像分类模块的训练数据通信端，所述模型测试模块的数据通信端连接图像识别模块和图像分类模块的测试数据通信端；

所述模型训练模块用于训练所述图像识别模块中的第一卷积神经网络模型，训练好的第一卷积神经网络模型识别输入图像中的肠道图像和咽喉图像；所述模型训练模块还用于训练所述图像分类模块中的第二卷积神经网络模型和第三卷积神经网络模型，训练好的第二卷积神经网络模型和第三卷积神经网络模型将肠道图像和咽喉图像进行分类；

所述模型测试模块用于测试图像识别模块中训练好的第一卷积神经网络模型、用于测试图像分类模块中训练好的第二卷积神经网络模型和第三卷积神经网络模型。

一种基于深度学习的胶囊内窥镜图像辅助分类方法，包括以下步骤：

步骤1：数据获取模块获取在IPv6环境下从网站输入的待分类胶囊内窥镜图像；

步骤2：将数据获取模块获取的胶囊内窥镜图像输入到图像识别模块中，使用第一卷积神经网络模型识别输入图像中的肠道图像和咽喉图像，得到两类图像数据；

步骤3：图像识别模块将已知类别的图像输入图像分类模块中，使用第二卷积神经网络模型和第三卷积神经网络模型分别对两类不同部位图像进行分类；

步骤4：人机交互模块在IPv6环境下通过网站将分类结果传送至上位机。

上述基于深度学习的胶囊内窥镜图像辅助分类方法，所述步骤2具体步骤为

步骤201、将数据获取模块获取的胶囊内窥镜图像输入图像识别模块中，预处理输入的胶囊内窥镜图像；调整输入胶囊内窥镜图像尺寸，将图像保存为数组形式；

步骤202、模型训练模块训练图像识别模块中的第一卷积神经网络模型；

训练过程是在有监督情况下进行的，训练数据通过卷积、池化层提取特征，采用前向传播逐层计算各层参数，使用随机梯度下降法最小化实际输出与期望输出之间的误差，并采用反向传播法计算梯度系数和更新网络参数，在训练过程中，优化迭代次数、学习率，进一步减小训练误差；

步骤203、模型测试模块导入训练好的第一卷积神经网络模型，对预处理过的输入图像进行分类，得到肠道图像和咽喉图像数据；计算第一卷积神经网络模型各层参数并得到模型输出值M，最后根据M进行图像类别识别，识别规则具体如下：

上述基于深度学习的胶囊内窥镜图像辅助分类方法，所述步骤3具体步骤为

步骤301、将图像识别模块识别出的肠道图像和咽喉图像输入图像分类模块中，模型训练模块分别训练图像分类模块中的第二卷积神经网络模型和第三卷积神经网络模型；

训练第二卷积神经网络模型和第三卷积神经网络模型的过程是在有监督情况下进行的，训练数据通过卷积、池化层提取特征，采用前向传播逐层计算各层参数，使用随机梯度下降法最小化实际输出与期望输出之间的误差，并采用反向传播法计算梯度系数和更新网络参数，在训练过程中，优化迭代次数、学习率，进一步减小训练误差。

步骤302、模型测试模块导入训练好的第二卷积神经网络模型并将肠道图像进行分类，模型测试模块导入训练好的第三卷积神经网络模型并将咽喉图像进行分类，得到肠道图像和咽喉图像分类结果。

上述基于深度学习的胶囊内窥镜图像辅助分类方法，所述步骤302中，

模型测试模块导入已训练好的第二卷积神经网络模型，第二卷积神经网络模型包括第一ResNet-34网络和第一Inception-V3网络，输入的肠道图像通过第一ResNet-34网络和第一Inception-V3网络输出两个概率值P₁和P₂，通过概率融合方式得到融合概率

再根据

进行肠道图像二分类，分类规则具体如下：

模型测试模块导入已训练好的第三卷积神经网络模型，第三卷积神经网络模型包括第二ResNet-34网络和第二Inception-V3网络，输入的咽喉图像通过第二ResNet-34网络和第二Inception-V3网络输出两个概率值Q₁＝(Q₁₁,Q₁₂,Q₁₃,Q₁₄)和Q₂＝(Q₂₁,Q₂₂,Q₂₃,Q₂₄)，通过概率融合方式得到

概率融合方式为：

i＝1,2,3,4；

为第三卷积神经网络模型分类概率值，Q_1i,i＝1,2,3,4为第二ResNet-34网络输出值，Q_2i,i＝1,2,3,4为第二Inception-V3网络输出值；再根据

进行咽喉图像四分类，分类规则如下：

式中，

表示

中元素最大值，Hbv为咽喉肥大性血管组织，He为咽喉健康组织，IPCL为咽喉毛细血管内毛细血管环组织，Le为咽喉白斑组织。

本发明的有益效果在于：

(1)本发明在IPv6环境下使用云服务器并搭建用户端网站，创新性研究下一代互联网技术与应用。本发明借助深度卷积神经网络自动识别和分类胶囊内窥镜图像，满足胶囊内窥镜图像临床分类要求，减少了处理胶囊内窥镜图像的工作量，提高了分类效率。

(2)本发明使用深度学习方法自动学习胶囊内窥镜图像，不仅可识别输入胶囊内窥镜图像中的肠道图像和咽喉图像，还可进一步将肠道图像和咽喉图像进行分类。

(3)本发明使用基于深度学习方法的自动化特征学习，用于代替传统的人工特征提取，有效地解决传统方法效率低和鲁棒性差的缺陷，极大提升胶囊内窥镜图像分类速度和精度。

附图说明

图1为本发明分类系统的结构框图。

图2为本发明的图像识别模块中CNN1的结构图。

图3为本发明的图像分类模块中CNN2的结构图。

图4为本发明的图像分类模块中CNN3的结构图。

图5为本发明模型训练模块的模型训练流程图。

图6为本发明模型测试模块的模型测试流程图。

具体实施方式

下面结合附图和实施例对本发明作进一步的说明。

如图1所示，一种基于深度学习的胶囊内窥镜图像辅助分类系统，包括数据获取模块1、图像识别模块2、图像分类模块3、人机交互模块4、模型训练模块5和模型测试模块6，数据获取模块1的信号输出端连接图像识别模块2的信号输入端，图像识别模块2的第一信号输出端连接图像分类模块3的第一信号输入端，图像识别模块2的第二信号输出端连接图像分类模块3的第二信号输入端，图像分类模块3的信号输出端连接人机交互模块4的信号输入端；所述数据获取模块1获取网站输入的待分类胶囊内窥镜图像数据，所述图像识别模块2识别输入图像数据中的肠道图像和咽喉图像，所述图像分类模块3分别对肠道图像、咽喉图像进行分类，所述人机交互模块4将分类结果上传至上位机。

所述图像识别模块2中设有第一卷积神经网络模型CNN1，利用第一卷积神经网络模型CNN1对输入图像进行图像特征提取，得到不同类别图像的特征矢量序列，识别出输入图像中的肠道图像和咽喉图像。如图2所示，所述第一卷积神经网络模型CNN1由一层卷积层、两层池化层、四层残差模块和一层全连接层组成：第1层为卷积层，卷积层的卷积核大小为3×3，步长为2，滤波器数目为64；第2层为最大池化层，池化核大小为3×3，步长为2；第3到第6层为4个残差模块，所有残差模块的卷积核大小为3×3，第1和第2个残差模块步长为2，滤波器数目为64；第3个残差模块步长为1，滤波器数目为128；第4个残差模块步长为1，滤波器数目为256；第7层为平均池化层，池化核大小为2×2，步长为2；第8层为全连接层。

如图3、图4所示，所述图像分类模块3中设有第二卷积神经网络模型CNN2和第三卷积神经网络模型CNN3，利用第二卷积神经网络模型CNN2、第三卷积神经网络模型CNN3分别对肠道图像、咽喉图像进行图像特征提取，得到肠道、咽喉的特征矢量序列，对肠道图像、咽喉图像进行分类。

所述模型训练模块5的数据通信端连接图像识别模块2和图像分类模块3的训练数据通信端，所述模型测试模块6的数据通信端连接图像识别模块2和图像分类模块3的测试数据通信端；

如图5所示，所述模型训练模块5用于训练所述图像识别模块2中的第一卷积神经网络模型CNN1，训练好的第一卷积神经网络模型CNN1识别输入图像中的肠道图像和咽喉图像；所述模型训练模块5还用于训练所述图像分类模块3中的第二卷积神经网络模型CNN2和第三卷积神经网络模型CNN3，训练好的第二卷积神经网络模型CNN2和第三卷积神经网络模型CNN3将肠道图像和咽喉图像进行分类；

如图6所示，所述模型测试模块6用于测试图像识别模块2中训练好的第一卷积神经网络模型CNN1、用于测试图像分类模块3中训练好的第二卷积神经网络模型CNN2和第三卷积神经网络模型CNN3。

一种基于深度学习的胶囊内窥镜图像辅助分类方法，包括以下步骤：

步骤1：数据获取模块1获取在IPv6环境下从网站输入的待分类胶囊内窥镜图像。

步骤2：将数据获取模块1获取的胶囊内窥镜图像输入到图像识别模块2中，使用第一卷积神经网络模型CNN1识别输入图像中的肠道图像和咽喉图像，得到两类图像数据；步骤2具体步骤为：

步骤201、将数据获取模块1获取的胶囊内窥镜图像输入图像识别模块2中，预处理输入的胶囊内窥镜图像；调整输入胶囊内窥镜图像尺寸，将图像保存为数组形式；

步骤202、模型训练模块5训练图像识别模块2中的第一卷积神经网络模型CNN1；

训练过程是在有监督情况下进行的，训练数据通过卷积、池化层提取特征，采用前向传播逐层计算各层参数，使用随机梯度下降法最小化实际输出与期望输出之间的误差，并采用反向传播法计算梯度系数和更新网络参数，在训练过程中，优化迭代次数、学习率，进一步减小训练误差；

步骤203、模型测试模块6导入训练好的第一卷积神经网络模型CNN1，对预处理过的输入图像进行分类，得到肠道图像和咽喉图像数据；计算第一卷积神经网络模型CNN1各层参数并得到模型输出值M，最后根据M进行图像类别识别，识别规则具体如下：

步骤3：图像识别模块2将已知类别的图像输入图像分类模块3中，使用第二卷积神经网络模型CNN2和第三卷积神经网络模型CNN3分别对两类不同部位图像进行分类。步骤3具体步骤为

步骤301、将图像识别模块2识别出的肠道图像和咽喉图像输入图像分类模块3中，模型训练模块5分别训练图像分类模块3中的第二卷积神经网络模型CNN2和第三卷积神经网络模型CNN3；

训练第二卷积神经网络模型CNN2和第三卷积神经网络模型CNN3的过程是在有监督情况下进行的，训练数据通过卷积、池化层提取特征，采用前向传播逐层计算各层参数，使用随机梯度下降法最小化实际输出与期望输出之间的误差，并采用反向传播法计算梯度系数和更新网络参数，在训练过程中，优化迭代次数、学习率，进一步减小训练误差。

步骤302、模型测试模块6导入训练好的第二卷积神经网络模型CNN2并将肠道图像进行分类，模型测试模块6导入训练好的第三卷积神经网络模型CNN3并将咽喉图像进行分类，得到肠道图像和咽喉图像分类结果。步骤302中，

模型测试模块6导入已训练好的第二卷积神经网络模型CNN2，第二卷积神经网络模型CNN2包括第一ResNet-34网络和第一Inception-V3网络，输入的肠道图像通过第一ResNet-34网络和第一Inception-V3网络输出两个概率值P₁和P₂，通过概率融合方式得到融合概率

再根据

进行进行肠道图像二分类，分类规则具体如下：

模型测试模块6导入已训练好的第三卷积神经网络模型CNN3，第三卷积神经网络模型CNN3包括第二ResNet-34网络和第二Inception-V3网络，输入的咽喉图像通过第二ResNet-34网络和第二Inception-V3网络输出两个概率值Q₁＝(Q₁₁,Q₁₂,Q₁₃,Q₁₄)和Q₂＝(Q₂₁,Q₂₂,Q₂₃,Q₂₄)，通过概率融合方式得到

概率融合方式为：

i＝1,2,3,4；

为第三卷积神经网络模型分类概率值，Q_1i,i＝1,2,3,4为第二ResNet-34网络输出值，Q_2i,i＝1,2,3,4为第二Inception-V3网络输出值；再根据

进行咽喉图像四分类，分类规则如下：

式中，

表示中元素最大值，Hbv为咽喉肥大性血管组织，He为咽喉健康组织，IPCL为咽喉毛细血管内毛细血管环组织，Le为咽喉白斑组织。

步骤4：人机交互模块4在IPv6环境下通过网站将分类结果传送至上位机。

Claims (9)

1.一种基于深度学习的胶囊内窥镜图像辅助分类系统，其特征在于：包括数据获取模块、图像识别模块、图像分类模块、人机交互模块，数据获取模块的信号输出端连接图像识别模块的信号输入端，图像识别模块的第一信号输出端连接图像分类模块的第一信号输入端，图像识别模块的第二信号输出端连接图像分类模块的第二信号输入端，图像分类模块的信号输出端连接人机交互模块的信号输入端；所述数据获取模块获取网站输入的待分类胶囊内窥镜图像数据，所述图像识别模块识别输入图像数据中的肠道图像和咽喉图像，所述图像分类模块分别对肠道图像、咽喉图像进行分类，所述人机交互模块将分类结果上传至上位机。

2.根据权利要求1所述的基于深度学习的胶囊内窥镜图像辅助分类系统，其特征在于：所述图像识别模块中设有第一卷积神经网络模型，利用第一卷积神经网络模型对输入图像进行图像特征提取，得到不同类别图像的特征矢量序列，识别出输入图像中的肠道图像和咽喉图像。

3.根据权利要求2所述的基于深度学习的胶囊内窥镜图像辅助分类系统，其特征在于：所述第一卷积神经网络模型由一层卷积层、两层池化层、四层残差模块和一层全连接层组成：第1层为卷积层，卷积层的卷积核大小为3×3，步长为2，滤波器数目为64；第2层为最大池化层，池化核大小为3×3，步长为2；第3到第6层为4个残差模块，所有残差模块的卷积核大小为3×3，第1和第2个残差模块步长为2，滤波器数目为64；第3个残差模块步长为1，滤波器数目为128；第4个残差模块步长为1，滤波器数目为256；第7层为平均池化层，池化核大小为2×2，步长为2；第8层为全连接层。

4.根据权利要求1所述的基于深度学习的胶囊内窥镜图像辅助分类系统，其特征在于：所述图像分类模块中设有第二卷积神经网络模型和第三卷积神经网络模型，利用第二卷积神经网络模型/第三卷积神经网络模型分别对肠道图像、咽喉图像进行图像特征提取，得到肠道、咽喉的特征矢量序列，对肠道图像、咽喉图像进行分类。

5.根据权利要求4所述的基于深度学习的胶囊内窥镜图像辅助分类系统，其特征在于：还包括模型训练模块和模型测试模块，所述模型训练模块的数据通信端连接图像识别模块和图像分类模块的训练数据通信端，所述模型测试模块的数据通信端连接图像识别模块和图像分类模块的测试数据通信端；

所述模型训练模块用于训练所述图像识别模块中的第一卷积神经网络模型，训练好的第一卷积神经网络模型识别输入图像中的肠道图像和咽喉图像；所述模型训练模块还用于训练所述图像分类模块中的第二卷积神经网络模型和第三卷积神经网络模型，训练好的第二卷积神经网络模型和第三卷积神经网络模型将肠道图像和咽喉图像进行分类；

所述模型测试模块用于测试图像识别模块中训练好的第一卷积神经网络模型、用于测试图像分类模块中训练好的第二卷积神经网络模型和第三卷积神经网络模型。

6.一种基于权利要求1-5中任一项所述的胶囊内窥镜图像辅助分类系统的基于深度学习的胶囊内窥镜图像辅助分类方法，包括以下步骤：

步骤1：数据获取模块获取在IPv6环境下从网站输入的待分类胶囊内窥镜图像；

步骤2：将数据获取模块获取的胶囊内窥镜图像输入到图像识别模块中，使用第一卷积神经网络模型识别输入图像中的肠道图像和咽喉图像，得到两类图像数据；

步骤3：图像识别模块将已知类别的图像输入图像分类模块中，使用第二卷积神经网络模型和第三卷积神经网络模型分别对两类不同部位图像进行分类；

步骤4：人机交互模块在IPv6环境下通过网站将分类结果传送至上位机。

7.根据权利要求6所述的基于深度学习的胶囊内窥镜图像辅助分类方法，其特征在于：所述步骤2具体步骤为

步骤201、将数据获取模块获取的胶囊内窥镜图像输入图像识别模块中，预处理输入的胶囊内窥镜图像；调整输入胶囊内窥镜图像尺寸，将图像保存为数组形式；

步骤202、模型训练模块训练图像识别模块中的第一卷积神经网络模型；

训练过程是在有监督情况下进行的，训练数据通过卷积、池化层提取特征，采用前向传播逐层计算各层参数，使用随机梯度下降法最小化实际输出与期望输出之间的误差，并采用反向传播法计算梯度系数和更新网络参数，在训练过程中，优化迭代次数、学习率，进一步减小训练误差；

步骤203、模型测试模块导入训练好的第一卷积神经网络模型，对预处理过的输入图像进行分类，得到肠道图像和咽喉图像数据；计算第一卷积神经网络模型各层参数并得到模型输出值M，最后根据M进行图像类别识别，识别规则具体如下：

8.根据权利要求6所述的基于深度学习的胶囊内窥镜图像辅助分类方法，其特征在于：所述步骤3具体步骤为

步骤301、将图像识别模块识别出的肠道图像和咽喉图像输入图像分类模块中，模型训练模块分别训练图像分类模块中的第二卷积神经网络模型和第三卷积神经网络模型；

训练第二卷积神经网络模型和第三卷积神经网络模型的过程是在有监督情况下进行的，训练数据通过卷积、池化层提取特征，采用前向传播逐层计算各层参数，使用随机梯度下降法最小化实际输出与期望输出之间的误差，并采用反向传播法计算梯度系数和更新网络参数，在训练过程中，优化迭代次数、学习率，进一步减小训练误差。

步骤302、模型测试模块导入训练好的第二卷积神经网络模型并将肠道图像进行分类，模型测试模块导入训练好的第三卷积神经网络模型并将咽喉图像进行分类，得到肠道图像和咽喉图像分类结果。

9.根据权利要求8所述的基于深度学习的胶囊内窥镜图像辅助分类方法，其特征在于：所述步骤302中，

模型测试模块导入已训练好的第二卷积神经网络模型，第二卷积神经网络模型包括第一ResNet-34网络和第一Inception-V3网络，输入的肠道图像通过第一ResNet-34网络和第一Inception-V3网络输出两个概率值P₁和P₂，通过概率融合方式得到融合概率

再根据

进行肠道图像二分类，分类规则具体如下：

模型测试模块导入已训练好的第三卷积神经网络模型，第三卷积神经网络模型包括第二ResNet-34网络和第二Inception-V3网络，输入的咽喉图像通过第二ResNet-34网络和第二Inception-V3网络输出两个概率值Q₁＝(Q₁₁,Q₁₂,Q₁₃,Q₁₄)和Q₂＝(Q₂₁,Q₂₂,Q₂₃,Q₂₄)，通过概率融合方式得到

概率融合方式为：

为第三卷积神经网络模型分类概率值，Q_1i,i＝1,2,3,4为第二ResNet-34网络输出值，Q_2i,i＝1,2,3,4为第二Inception-V3网络输出值；再根据

进行咽喉图像四分类，分类规则如下：

式中，

表示

中元素最大值，Hbv为咽喉肥大性血管组织，He为咽喉健康组织，IPCL为咽喉毛细血管内毛细血管环组织，Le为咽喉白斑组织。

Images