CN109948733B - 消化道内窥镜图像的多分类方法、分类装置及存储介质 - Google Patents

Abstract

本发明公开了一种消化道内窥镜图像多分类方法、分类装置及存储介质，方法包括：获取内窥镜图像，对内窥镜图像进行预分类，并将预分类后的内窥镜图像分成训练集、验证集以及测试集；构建卷积神经网络，将训练集中的内窥镜图像输入至卷积神经网络中进行迭代训练，并使用验证集判断迭代训练是否完成；当判断迭代训练完成后，输出训练后的图像分类模型，并将训练集输入至所述图像分类模型中，输出内窥镜图像属于各种类型的预测概率，判定内窥镜图像对应的类型。本发明无需人工提取特征，通过该网络模型可以实现更好的分类效果，提高分类准确度。

Description

消化道内窥镜图像的多分类方法、分类装置及存储介质

技术领域

本发明涉及医学图像处理技术领域，尤其涉及的是一种消化道内窥镜图像多分类方法、分类装置及存储介质。

背景技术

医用内窥镜能拍摄出高分辨率的内窥镜图像，医生根据自身的先验知识对这些图像的分析，判定图像是否异常，并据此制定对应的方案。然而，有的内窥镜图像（例如具有胃早癌，胃溃疡，胃炎的图像），在显示下十分相似，不易区分，使得医生在进行判断时分析时需要花费过多的时间，并且易造成误判。

近年来，机器学习在医学图像处理中有着广泛的应用，也有着基于机器学习的图像分类方法，然而，机器学习处理大量图像数据时容易发生欠拟合现象，影响分类准确度。

因此，现有技术还有待于改进和发展。

发明内容

本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种消化道内窥镜图像多分类方法、分类装置及存储介质，旨在解决现有技术中对大量图像数据时容易发生欠拟合现象，影响分类准确度的问题。

本发明解决技术问题所采用的技术方案如下：

一种消化道内窥镜图像多分类方法，其中，所述方法包括：

获取内窥镜图像，对内窥镜图像进行预分类，并将预分类后的内窥镜图像分成训练集、验证集以及测试集；

构建卷积神经网络，将训练集中的内窥镜图像输入至所述卷积神经网络中进行迭代训练，并使用验证集判断迭代训练是否完成；

当判断迭代训练完成后，输出训练后的图像分类模型，并将训练集输入至所述图像分类模型中，输出内窥镜图像属于各种类型的预测概率，判定内窥镜图像对应的类型。

所述的消化道内窥镜图像多分类方法，其中，所述获取内窥镜图像，对内窥镜图像进行预分类，并将预分类后的内窥镜图像分成训练集、验证集以及测试集的步骤，包括：

通过内窥镜对用户拍摄内窥镜图像，并根据先验知识将采集到的内窥镜图像按照不同病症阶段进行预分类，获取预分类的分类结果；

将预分类后得到的各类型的内窥镜图像按照预定比例分成训练集、验证集以及测试集。

所述的消化道内窥镜图像多分类方法，其中，所述验证集与测试集中，各类型的内窥镜图像的数量相同。

所述的消化道内窥镜图像多分类方法，其中，所述获取内窥镜图像，对内窥镜图像进行预分类，并将预分类后的内窥镜图像分成训练集、验证集以及测试集的步骤之后，还包括：

将训练集、验证集以及测试集中的内窥镜图像去中心化，使其均值为零；并将训练集、验证集以及测试集中的内窥镜图像正则化。

所述的消化道内窥镜图像多分类方法，其中，所述构建卷积神经网络，将训练集中的内窥镜图像输入至所述卷积神经网络中进行迭代训练，并使用验证集判断迭代训练是否完成的步骤，包括：

构建卷积神经网络，所述卷积神经网络包括卷积层、池化层以及全连接层；

将训练集中的内窥镜图像输入至所述卷积神经网络中，并设置好网络参数；

通过卷积神经网络从训练集中的图像中提取图像特征，并进行迭代训练，每次迭代结束后输出一个包含损失函数以及分类准确性的图像分类模型；

每次迭代训练结束后，使用验证集判断迭代训练是否完成。

所述的消化道内窥镜图像多分类方法，其中，所述构建卷积神经网络包括：

在构建卷积神经网络的过程中，将大尺度的卷积分解成多个小尺度的卷积；

将n*n的卷积分解成1*n和n*1卷积的串联；

使用并行结构来优化Pooling层，再将特征维度拼合到一起，构建所述卷积神经网络。

所述的消化道内窥镜图像多分类方法，其中，所述当判断迭代训练完成后，输出训练后的图像分类模型，并将训练集输入至所述图像分类模型中，输出内窥镜图像属于各种类型的预测概率，判定内窥镜图像对应的类型的步骤，包括：

当判断迭代训练完成后，获取准确性最高的图像分类模型；

将测试集中的内窥镜图像输入所述图像分类模型中，所述图像分类模型自动对所述测试集中内窥镜图像进行分类；

输出内窥镜图像属于各种类型的预测概率，并将预测概率最高类型判定为所述内窥镜图像对应的类型。

所述的消化道内窥镜图像多分类方法，其中，所述当判断迭代训练完成后，输出训练后的图像分类模型，并将训练集输入至所述图像分类模型中，输出内窥镜图像属于各种类型的预测概率，判定内窥镜图像对应的类型的步骤，还包括：

将通过图像分类模型判定的内窥镜图像的类型与预分类中的确定的所述内窥镜图像的类型进行比较；

若通过图像分类模型判定出的类型与预分类中判定的类型相同，则说明所述图像分类模型分类准确。

一种消化道内窥镜图像多分类装置，其中，所述装置包括：

数据集收集模块，用于获取内窥镜图像，对内窥镜图像进行预分类，并将预分类后的内窥镜图像分成训练集、验证集以及测试集；

网络训练模块，用于构建卷积神经网络，将训练集中的内窥镜图像输入至所述卷积神经网络中进行迭代训练，并使用验证集判断迭代训练是否完成；

图像分类处理模块，用于当判断迭代训练完成后，输出训练后的图像分类模型，并将训练集输入至所述图像分类模型中，输出内窥镜图像属于各种类型的预测概率，判定内窥镜图像对应的类型。

一种存储介质，其上存储有多条指令，其中，所述指令适于由处理器加载并执行，以执行实现上述任一项所述的消化道内窥镜图像多分类方法的步骤。

本发明的有益效果：本发明由于采用深度学习的方法，将预先根据先验知识预分类的内窥镜图像输入至预先搭设好的卷积神经网络中进行训练，得到可以自动进行图像分类的网络模型，无需人工提取特征，通过该网络模型可以实现更好的分类效果，提高分类准确度。

附图说明

图1是本发明提供的消化道内窥镜图像多分类方法的较佳实施例的流程图。

图2是本发明中采用医用内窥镜拍摄到的胃部图像。

图3是本发明提供的消化道内窥镜图像多分类方法中搭建的卷积神经网络模型。

图4是本发明搭建的卷积神经网络模型的几何结构图。

图5是本发明提供的消化道内窥镜图像多分类方法的具体流程图。

图6是本发明提供的消化道内窥镜图像多分类装置的功能原理框图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明提供的一种消化道内窥镜图像多分类方法，可以应用于终端中。其中，终端可以但不限于是各种个人计算机、笔记本电脑、手机、平板电脑、车载电脑和便携式可穿戴设备。本发明的终端采用多核处理器。其中，终端的处理器可以为中央处理器（CentralProcessing Unit，CPU），图形处理器（Graphics Processing Unit，GPU）、视频处理单元（Video Processing Unit，VPU）等中的至少一种。

近年来，机器学习在医学图像处理中有着广泛的应用，也有着基于机器学习的图像分类方法，然而，机器学习处理大量图像数据时容易发生欠拟合现象，影响分类准确度，为了解决上述问题，本实施例提供一种消化道内窥镜图像多分类方法，具体如图1中所示，该方法具体包括以下步骤：

步骤S100、获取内窥镜图像，对内窥镜图像进行预分类，并将预分类后的内窥镜图像分成训练集、验证集以及测试集；

步骤S200、构建卷积神经网络，将训练集中的内窥镜图像输入至所述卷积神经网络中进行迭代训练，并使用验证集判断迭代训练是否完成；

步骤S300、当判断迭代训练完成后，输出训练后的图像分类模型，并将训练集输入至所述图像分类模型中，输出内窥镜图像属于各种类型的预测概率，判定内窥镜图像对应的类型。

本实施例中主要是通过深度学习的方法构建一个可以自动对内窥镜图像进行分类的网络模型，通过该网络模型来对内窥镜图像进行自动分类，相对于现有的基于机器学习的分类方法中，本实施例无需人工设计特征，实现自动提取图像特征，并且深度学习可以解决现有技术中容易发生欠拟合的现象。

具体地，本实施例中首先采用医用内窥镜拍摄出高分辨率的内窥镜图像，该内窥镜图像包括但不限于胃部图像。当采集到内窥镜图像之后，根据先验知识将采集到的图像按照不同病症阶段进行预分类。本实施例中，以胃部内窥镜图像为例，如图2中所示，图2中展示了的A为胃溃疡的图像，B是胃炎的图像，C是胃早癌。本实施例中在依据先验知识将采集到的图像按照不同病症阶段进行预分类的过程中可以融合不同医生或者不同专家的先验知识来进行预分类，以保证预分类的准确性。本实施例中通过预分类就可以得到采集到的内窥镜图像不同病症阶段的图像（例如图2中的胃溃疡、胃炎以及胃早癌）。当获取到预分类的分类结果后将分类结果按照预定的比例分成训练集、验证集以及测试集。当各个类型的内窥镜图像数目不相同时，选取的训练集的图像无特别要求，但是选取的各类型的验证集和测试集图片数量，需要与按照所分类的内窥镜图像中数量最少的那类保持一致，也就是说，需要保证验证集中各类型的内窥镜图像数目一致，也要保证测试集中各类型的内窥镜图像数目一致。

进一步地，当将所有的内窥镜图像分成训练集、验证集以及测试集之后，本实施例还需要对训练集、验证集以及测试集的内窥镜图像进行预处理，具体包括将内窥镜图像去中心化，使其均值为零；并将训练集、验证集以及测试集中的内窥镜图像正则化，以避免在训练时数据不发生过拟合现象。

由于本实施例中采用的是深度学习的方式来实现对内窥镜图像进行分类，因此本实施例中需要构建一个网络模型。优选地，本实施中首先搭建一个卷积神经网络，具体如图3以及图4中所示，该卷积神经网络采用的是卷积层、池化层以及全连接层为基本架构，然后根据设计的网络模型一层一层搭建。图4表示出了该神经网络的每一层后需要使用不同的激活函数，该激活函数的使用是根据每层的功能来选择的。优选地，输入该神经网络中的内窥镜图像大小可以根据个人需要来设定，但是由于图片一般都是RGB型的，因此输入的内窥镜图像的的形式一般为（Size(根据需要定)，Size（根据需要定），3）。

优选地，为了使该神经网络具有更好的性能，本实施例需要对神经网络进行优化。具体地，在网络搭建中，首先将大尺度的卷积分解成多个小尺度的卷积来减少计算量。其次是可以使用非对称卷积，将n*n的卷积分解成1*n和n*1卷积的串联，也是为了介绍减少计算量，加快运算速度。最后，使用并行结构来优化Pooling，使用两个并行的支路，一路是1*1卷积，由于特征维度没有加倍计算量相比之前减少了一倍，另一路是Pooling，最后再在特征维度拼合到一起，该方法有着很好的优化效果，且没有增加计算量。

进一步地，当卷积神经网络构建完成后，将训练集中的内窥镜图像输入至卷积神经网络中，并设置好网络参数，通过卷积神经网络从训练集中的图像中提取图像特征，并进行迭代训练，本实施例中所设置的网络参数包括学习率、损失函数（loss）/评估指标（metrics）代次数（epoch）等参数，当一个完整的数据集通过了神经网络并且返回了一次后，输出loss值以及accuracy（准确性）值，随后继续迭代，整个过程自动进行，每次迭代结束后输出一个包含损失函数以及分类准确性的图像分类模型。每次迭代训练结束后，使用验证集对完输出的图像分类模型进行测试，根据验证集的得分来判断迭代训练是否完成。

当判断迭代训练完成后，获取准确性最高的图像分类模型；将测试集中的内窥镜图像输入所述图像分类模型中，所述图像分类模型自动对所述测试集中内窥镜图像进行分类；输出内窥镜图像属于各种类型的预测概率，并将预测概率最高类型判定为所述内窥镜图像对应的类型。优选地，本实施例中还将通过图像分类模型判定的内窥镜图像的类型与预分类中的确定的所述内窥镜图像的类型进行比较，若通过图像分类模型判定出的类型与预分类中判定的类型相同，则说明所述图像分类模型分类准确，由此来计算整个分类结果的准确性。

进一步地，本发明还提供所述消化道内窥镜图像多分类方法的具体流程图，如图5中所示，包括以下步骤：

步骤501、获取内窥镜图像并预分类，构建数据集。所述数据集包括：训练集、验证集以及测试集。

步骤502、对数据集进行预处理。

步骤503、搭建卷积神经网络。

步骤504、调整网络参数。

步骤505、输入训练集和验证集。

步骤506、训练结束，输出模型。该模型为图像分类模型，由于对内窥镜图像进行自动分类。

步骤507、选择最佳模型。

步骤508、输入测试集。

步骤509、得到各类型的预测概率。

步骤510、计算出分类准确性。

本发明通过深度学习的方法，将预先根据先验知识预分类的内窥镜图像输入至预先搭设好的卷积神经网络中进行训练，得到可以自动进行图像分类的网络模型，无需人工提取特征，通过该网络模型可以实现更好的分类效果，提高分类准确度。

基于上述实施例，本发明还提供了一种消化道内窥镜图像多分类装置，其原理框图可以如图6所示。该装置包括：数据集收集模块610、网络训练模块620以及图像分类处理模块630。具体地，数据集收集模块610，用于获取内窥镜图像，对内窥镜图像进行预分类，并将预分类后的内窥镜图像分成训练集、验证集以及测试集；网络训练模块620，用于构建卷积神经网络，将训练集中的内窥镜图像输入至所述卷积神经网络中进行迭代训练，并使用验证集判断迭代训练是否完成；图像分类处理模块630，用于当判断迭代训练完成后，输出训练后的图像分类模型，并将训练集输入至所述图像分类模型中，输出内窥镜图像属于各种类型的预测概率，判定内窥镜图像对应的类型。

通过所述消化道内窥镜图像多分类装置，可以实现对内窥镜图像的自动分类，无需人工提取特征，分类效果更好，准确度更高。

优选地，该图像分类装置还可以包括通过系统总线连接的处理器、存储器、网络接口、显示屏、温度传感器。其中，该图像分类装置的处理器用于提供计算和控制能力。该图像分类装置的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该图像分类装置的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于虚拟化技术的动态库下发方法。该图像分类装置的显示屏可以是液晶显示屏或者电子墨水显示屏，该图像分类装置的温度传感器是预先在图像分类装置内部设置，用于检测内部设备的当前运行温度。

在一个实施例中，提供了一种消化道内窥镜图像多分类装置，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时至少可以实现以下步骤：获取内窥镜图像，对内窥镜图像进行预分类，并将预分类后的内窥镜图像分成训练集、验证集以及测试集；

构建卷积神经网络，将训练集中的内窥镜图像输入至所述卷积神经网络中进行迭代训练，并使用验证集判断迭代训练是否完成；

当判断迭代训练完成后，输出训练后的图像分类模型，并将训练集输入至所述图像分类模型中，输出内窥镜图像属于各种类型的预测概率，判定内窥镜图像对应的类型。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一个非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchronization link） DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。

综上所述，本发明公开了一种消化道内窥镜图像多分类方法、分类装置及存储介质，方法包括：获取内窥镜图像，对内窥镜图像进行预分类，并将预分类后的内窥镜图像分成训练集、验证集以及测试集；构建卷积神经网络，将训练集中的内窥镜图像输入至卷积神经网络中进行迭代训练，并使用验证集判断迭代训练是否完成；当判断迭代训练完成后，输出训练后的图像分类模型，并将训练集输入至所述图像分类模型中，输出内窥镜图像属于各种类型的预测概率，判定内窥镜图像对应的类型。本发明无需人工提取特征，通过该网络模型可以实现更好的分类效果，提高分类准确度。

应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (9)

1.一种消化道内窥镜图像的多分类方法，其特征在于，所述方法包括：

获取内窥镜图像，对内窥镜图像进行预分类，并将预分类后的内窥镜图像分成训练集、验证集以及测试集；

构建卷积神经网络，将训练集中的内窥镜图像输入至所述卷积神经网络中进行迭代训练，并使用验证集判断迭代训练是否完成；

当判断迭代训练完成后，输出训练后的图像分类模型，并将测试集输入至所述图像分类模型中，输出内窥镜图像属于各种类型的预测概率，判定内窥镜图像对应的类型；

所述构建卷积神经网络，将训练集中的内窥镜图像输入至所述卷积神经网络中进行迭代训练，并使用验证集判断迭代训练是否完成的步骤，包括：

构建卷积神经网络，所述卷积神经网络包括卷积层、池化层以及全连接层；

将训练集中的内窥镜图像输入至所述卷积神经网络中，并设置好网络参数；

通过卷积神经网络从训练集中的图像中提取图像特征，并进行迭代训练，每次迭代结束后输出一个包含损失函数以及分类准确性的图像分类模型；

每次迭代训练结束后，使用验证集判断迭代训练是否完成；

所述卷积神经网络根据每一层不同的功能使用不同的激活函数；

所述网络参数包括有学习率、损失函数和迭代次数。

2.根据权利要求1所述的消化道内窥镜图像的多分类方法，其特征在于，所述获取内窥镜图像，对内窥镜图像进行预分类，并将预分类后的内窥镜图像分成训练集、验证集以及测试集的步骤，包括：

通过内窥镜对用户拍摄内窥镜图像，并根据先验知识将采集到的内窥镜图像按照不同病症阶段进行预分类，获取预分类的分类结果；

将预分类后得到的各类型的内窥镜图像按照预定比例分成训练集、验证集以及测试集。

3.根据权利要求2所述的消化道内窥镜图像的多分类方法，其特征在于，所述验证集与测试集中，各类型的内窥镜图像的数量相同。

4.根据权利要求1所述的消化道内窥镜图像的多分类方法，其特征在于，所述获取内窥镜图像，对内窥镜图像进行预分类，并将预分类后的内窥镜图像分成训练集、验证集以及测试集的步骤之后，还包括：

将训练集、验证集以及测试集中的内窥镜图像去中心化，使其均值为零；并将训练集、验证集以及测试集中的内窥镜图像正则化。

5.根据权利要求1所述的消化道内窥镜图像的多分类方法，其特征在于，所述构建卷积神经网络包括：

在构建卷积神经网络的过程中，将大尺度的卷积分解成多个小尺度的卷积；

将n*n的卷积分解成1*n和n*1卷积的串联；

使用并行结构来优化Pooling层，再将特征维度拼合到一起，构建所述卷积神经网络。

6.根据权利要求1所述的消化道内窥镜图像的多分类方法，其特征在于，所述当判断迭代训练完成后，输出训练后的图像分类模型，并将测试集输入至所述图像分类模型中，输出内窥镜图像属于各种类型的预测概率，判定内窥镜图像对应的类型的步骤，包括：

当判断迭代训练完成后，获取准确性最高的图像分类模型；

将测试集中的内窥镜图像输入所述图像分类模型中，所述图像分类模型自动对所述测试集中内窥镜图像进行分类；

输出内窥镜图像属于各种类型的预测概率，并将预测概率最高类型判定为所述内窥镜图像对应的类型。

7.根据权利要求6所述的消化道内窥镜图像的多分类方法，其特征在于，所述当判断迭代训练完成后，输出训练后的图像分类模型，并将训练集输入至所述图像分类模型中，输出内窥镜图像属于各种类型的预测概率，判定内窥镜图像对应的类型的步骤，还包括：

将通过图像分类模型判定的内窥镜图像的类型与预分类中的确定的所述内窥镜图像的类型进行比较；

若通过图像分类模型判定出的类型与预分类中判定的类型相同，则说明所述图像分类模型分类准确。

8.一种消化道内窥镜图像的多分类装置，其特征在于，所述装置包括：

数据集收集模块，用于获取内窥镜图像，对内窥镜图像进行预分类，并将预分类后的内窥镜图像分成训练集、验证集以及测试集；

网络训练模块，用于构建卷积神经网络，将训练集中的内窥镜图像输入至所述卷积神经网络中进行迭代训练，并使用验证集判断迭代训练是否完成；

图像分类处理模块，用于当判断迭代训练完成后，输出训练后的图像分类模型，并将测试集输入至所述图像分类模型中，输出内窥镜图像属于各种类型的预测概率，判定内窥镜图像对应的类型；

所述网络训练模块，用于：

构建卷积神经网络，所述卷积神经网络包括卷积层、池化层以及全连接层；

将训练集中的内窥镜图像输入至所述卷积神经网络中，并设置好网络参数；

通过卷积神经网络从训练集中的图像中提取图像特征，并进行迭代训练，每次迭代结束后输出一个包含损失函数以及分类准确性的图像分类模型；

每次迭代训练结束后，使用验证集判断迭代训练是否完成；

所述卷积神经网络根据每一层不同的功能使用不同的激活函数；

所述网络参数包括有学习率、损失函数和迭代次数。

9.一种存储介质，其上存储有多条指令，其特征在于，所述指令适于由处理器加载并执行，以执行实现上述权利要求1-7任一项所述的消化道内窥镜图像的多分类方法的步骤。

Images