CN109447985A - 结肠镜图像分析方法、装置及可读存储介质 - Google Patents

Abstract

本申请实施例提供一种结肠镜图像分析方法、装置及可读存储介质，通过深度学习技术可以准确地识别肠道的不同肠道解剖结构位置，并且对其进行图像评级，从而通过记录不同肠道的肠道解剖结构位置的图像评级自动计算各个肠道的肠道图像评级结果，如此，不仅可以准确地评估结肠镜肠道的准备情况，还可节省人力物力，便于推广，指导临床操作，且记录结果全面、准确、客观，可信度高。

Description

结肠镜图像分析方法、装置及可读存储介质

技术领域

本申请涉及深度学习领域，具体而言，涉及一种结肠镜图像分析方法、装置及可读存储介质。

背景技术

结肠镜检查过程中肠道准备质量是重要的质控指标。目前统计该指标的方法为人工记录统计。例如，当结肠镜进达盲肠后，开始退镜，充气、充分吸引粪水，然后医生对每一段肠道的总体印象打一个分值。然而，人工记录需要操作医生额外记录每一例患者不同结直肠段的准备情况，或安排辅助护士记录。因为每日检查量大，需要花费大量人力，增加医护人员负担，降低检查效率。且该人工统计主观性较大，记录时容易出错。此外，人工记录的方法不利于统一，很难向基层医院推广，从而影响质控质量。

发明内容

为了克服现有技术中的上述不足，本申请的目的在于提供一种结肠镜图像分析方法、装置及可读存储介质，以解决或者改善上述问题。

为了实现上述目的，本申请实施例采用的技术方案如下：

第一方面，本申请实施例提供一种结肠镜图像分析方法，应用于与结肠镜通信连接的计算机设备，所述方法包括：

从所述结肠镜采集到的医学影像的单位时间视频流中获取第一数量帧关键帧；

基于预先训练的第一深度学习网络判断每一关键帧是否为肠道关键帧，并根据判断结果得到至少一个肠道关键帧；

基于预先训练的第二深度学习网络对每一肠道关键帧进行预测，获得每一肠道关键帧的预测结果，其中，所述预测结果中包括有该肠道关键帧中的肠道类型和对应的肠道解剖结构位置；

基于预先训练的第三深度学习网络对每一肠道关键帧进行图像评级，得到每一肠道关键帧的图像评级结果，并对各个肠道关键帧的图像评级结果和预测结果进行统计得到各个肠道的肠道图像评级结果。

可选地，所述从所述结肠镜采集到的医学影的像单位时间视频流中获取第一数量帧关键帧的步骤，包括：

接收所述结肠镜采集到的医学影像；

对所述医学影像进行重新采样，从所述医学影像中的单位时间视频流中截取第一数量帧关键帧。

可选地，所述方法还包括：

训练所述第一深度学习网络；

训练所述第二深度学习网络；以及

训练所述第三深度学习网络。

可选地，所述训练所述第一深度学习网络的步骤，包括：

搭建全连接深度学习网络；

获取各个肠道的肠道内部的正训练样本集和肠道外部的负训练样本集；

基于所述各个肠道的肠道内部的正训练样本集和肠道外部的负训练样本集训练所述全连接深度学习网络，得到所述第一深度学习网络。

可选地，所述训练所述第二深度学习网络的步骤，包括：

搭建多个备选卷积神经网络；

获取各个肠道的不同肠道解剖结构位置的训练样本集、验证样本集和测试样本集，所述训练样本集包括标注有各个肠道的不同肠道解剖结构位置的多个检查图像样本；

基于各个肠道的不同肠道解剖结构位置的训练样本集和对应的验证样本集对每个备选卷积神经网络进行训练，并在检测到每个备选卷积神经网络的损失率稳定后停止训练，保存训练后的各个备选卷积神经网络；

将所述测试样本集分别输入到训练后的每个备选卷积神经网络中进行解剖部位预测，绘制每个备选卷积神经网络预测的ROC曲线；

计算每个备选卷积神经网络预测的ROC曲线的AUC面积，将AUC面积最大的备选卷积神经网络作为所述第二深度学习网络。

可选地，所述训练所述第三深度学习网络的步骤，包括：

搭建卷积神经网络；

获取每个图像评级下的各个肠道的不同肠道解剖结构位置的训练图像样本；

基于每个图像评级下的各个肠道的不同肠道解剖结构位置的训练图像样本训练所述卷积神经网络，得到所述第三深度学习网络。

可选地，所述对各个肠道关键帧的图像评级结果和预测结果进行统计得到各个肠道的肠道图像评级结果的步骤，包括：

根据每个肠道关键帧的图像评级结果和预测结果得到每个肠道的各个肠道解剖结构位置的肠道图像评级；

对每个肠道的各个肠道解剖结构位置的肠道图像评级进行统计得到各个肠道的肠道图像评级结果。

可选地，所述对各个肠道关键帧的图像评级结果和预测结果进行统计得到各个肠道的肠道图像评级结果的步骤之后，所述方法还包括：

将各个肠道的肠道图像评级结果进行显示。

第二方面，本申请实施例还提供一种结肠镜图像分析装置，应用于与结肠镜通信连接的计算机设备，所述装置包括：

获取模块，用于从所述结肠镜采集到的医学影像的单位时间视频流中获取第一数量帧关键帧；

判断模块，用于基于预先训练的第一深度学习网络判断每一关键帧是否为肠道关键帧，并根据判断结果得到至少一个肠道关键帧；

预测模块，用于基于预先训练的第二深度学习网络对每一肠道关键帧进行预测，获得每一肠道关键帧的预测结果，其中，所述预测结果中包括有该肠道关键帧中的肠道类型和对应的肠道解剖结构位置；

评级模块，用于基于预先训练的第三深度学习网络对每一肠道关键帧进行图像评级，得到每一肠道关键帧的图像评级结果，并对各个肠道关键帧的图像评级结果和预测结果进行统计得到各个肠道的肠道图像评级结果。

第三方面，本申请实施例还提供一种可读存储介质，其上存储有计算机程序，所述计算机程序被执行时实现上述的结肠镜图像分析方法。

相对于现有技术而言，本申请具有以下有益效果：

本申请实施例提供一种结肠镜图像分析方法、装置及可读存储介质，通过深度学习技术可以准确地识别肠道的不同肠道解剖结构位置，并且对其进行图像评级，从而通过记录不同肠道的肠道解剖结构位置的图像评级自动计算各个肠道的肠道图像评级结果，如此，不仅可以准确地评估结肠镜肠道的准备情况，还可节省人力物力，便于推广，指导临床操作，且记录结果全面、准确、客观，可信度高。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它相关的附图。

图1为本申请实施例提供的结肠镜图像分析方法的应用场景示意图；

图2为本申请实施例提供的结肠镜图像分析方法的一种流程示意图；

图3为本申请实施例提供的结肠镜图像分析方法的另一种流程示意图；

图4为本申请实施例提供的结肠镜图像识别装置的功能模块图；

图5为本申请实施例提供的用于上述结肠镜图像分析方法的计算机设备的结构示意框图。

图标：100-计算机设备；110-总线；120-处理器；130-存储介质；140-总线接口；150-网络适配器；160-用户接口；200-结肠镜图像识别装置；210-获取模块；220-判断模块；230-预测模块；240-评级模块；300-结肠镜。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其它实施例，都属于本申请保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

请参阅图1，为本申请实施例提供的结肠镜图像分析方法的应用场景示意图。本实施例提供的结肠镜图像分析方法应用于与结肠镜300通信连接的计算机设备100。

详细地，结肠镜300是一支细长可弯曲的医学仪器，直径大约1厘米，例如，结肠镜可通过肛门进入直肠，直到大肠，可让医生观察到结肠和大肠的内部情况。结肠镜检查是医生用来检查大肠及结肠内部病变的一种诊断方式。

本实施例中，计算机设备100可以是任意具有计算处理能力的电子设备，例如个人电脑、工作站、服务器等，在此不作具体限制。

在实际实施时，结肠镜检查过程中肠道准备质量是重要的质控指标。目前统计该指标的方法为人工记录统计。例如，当结肠镜300进到盲肠后，开始退镜，充气、充分吸引粪水，然后医生对每一段肠道的总体印象打一个分值。然而，人工记录需要操作医生额外记录每一例患者不同结直肠段的准备情况，或安排辅助护士记录。因为每日检查量大，需要花费大量人力，增加医护人员负担，降低检查效率。且该人工统计主观性较大，记录时容易出错。此外，人工记录的方法不利于统一，很难向基层医院推广，从而影响质控质量。

基于上述技术问题的发现，本申请发明人提出下述实施例以解决上述问题，需要注意的是，以上现有技术中的方案所存在的缺陷，均是发明人在经过实践并仔细研究后得出的结果，因此，上述问题的发现过程以及下文中本申请实施例针对上述问题所提出的解决方案，都应该是发明人在本申请过程中对本申请做出的贡献。

下面结合图1中所示的应用场景对图2所示的结肠镜图像分析方法进行详细说明，该结肠镜图像分析方法由图1中所示的计算机设备100执行。可以理解，本实施例提供的结肠镜图像分析方法不以图2及以下所述的具体顺序为限制，该结肠镜图像分析方法的详细步骤如下：

步骤S210，从所述结肠镜300采集到的医学影像的单位时间视频流中获取第一数量帧关键帧。

医生在操作结肠镜300进行检查的过程中，结肠镜300可实时将采集到的医学影像发送给计算机设备100。结肠镜300输出的实时医学影像通过计算机设备100的采集卡采集，以得到实时视频流，该实时视频流的帧率由结肠镜300本身的性能决定，一般是在30～60帧/秒。由于计算机设备100对进行图像识别时进行深度学习推断需要很大的计算量，出于性能问题可能无法在单位时间内完成所有图像识别，同时还需要进行其它正常的业务操作，必须保留足够的计算资源。基于此，计算机设备100在接收到所述结肠镜300采集到的医学影像后，可对所述医学影像进行重新采样，从所述医学影像中的单位时间视频流中截取第一数量帧关键帧。其中，该第一数量可以按照实际计算机设备100的性能需求进行设置，一般在保证计算机正常任务不受影响的情况下，该第一数量应该尽量大，以保证整个图像识别过程中的准确性。例如，若医学影像中的单位时间视频流包括50帧图像，那么则从这50帧图像中截取30帧图像，这30帧图像也即第一数量帧关键帧。

可选地，在对下述步骤S220-步骤S240进行进一步阐述之前，下面首先对第一深度学习网络、第二深度学习网络以及第三深度学习网络的训练过程进行详细阐述，详细地，在步骤S210之前，所述方法还包括训练所述第一深度学习网络、训练所述第二深度学习网络；以及训练所述第三深度学习网络的步骤。

在一种实施方式中，训练所述第一深度学习网络方式可以是，搭建全连接深度学习网络，然后获取各个肠道的肠道内部的正训练样本集和肠道外部的负训练样本集，最后基于所述各个肠道的肠道内部的正训练样本集和肠道外部的负训练样本集训练所述全连接深度学习网络，得到所述第一深度学习网络。

在一种实施方式中，训练所述第二深度学习网络方式可以是：

首先，搭建多个备选卷积神经网络，例如，目前神经网络中的卷积神经网络(Convolutional Neural Network，CNN)在图像识别上具有较佳的表现，因此可以选择CNN类型的神经网络，并选取不同的网络层数，不同的卷积核大小，不同的优化器，在不同层间加入池化和丢弃，最终可以通过对比识别率的方式，挑选几个识别率最高的网络作为备选卷积神经网络。

然后，获取各个肠道的不同肠道解剖结构位置的训练样本集、验证样本集和测试样本集，所述训练样本集包括标注有各个肠道的不同肠道解剖结构位置的多个检查图像样本。例如，所述检查图像样本可以包括标注有直肠、乙状回肠、结肠、盲肠的各个肠道解剖结构位置，例如结肠的升、降、横结肠位置的多个检查图像样本。

接着，基于各个肠道的不同肠道解剖结构位置的训练样本集和对应的验证样本集对每个备选卷积神经网络进行训练，并在检测到每个备选卷积神经网络的损失率稳定后停止训练，保存训练后的各个备选卷积神经网络。

而后，将所述测试样本集分别输入到训练后的每个备选卷积神经网络中进行解剖部位预测，绘制每个备选卷积神经网络预测的ROC(Receiver Operating Characteristiccurve，受试者工作特征曲线)曲线，并计算每个备选卷积神经网络预测的ROC曲线的AUC(AreaUnder Curve)。其中，AUC面积也即ROC曲线下的面积，其数值不大于1，又由于ROC曲线一般都处于y＝x这条直线的上方，所以AUC面积的取值范围在0.5和1之间，使用AUC面积作为评价标准是因为很多时候ROC曲线并不能清晰的说明哪个备选卷积神经网络的预测效果更好，而作为一个数值，对应AUC更大的备选卷积神经网络的预测效果更好。由此，可以将AUC面积最大的备选卷积神经网络作为所述第二深度学习网络，从而训练得到最终用于实际预测的第二深度学习网络。

在一种实施方式中，训练所述第三深度学习网络的方式可以是：搭建卷积神经网络，并获取每个图像评级下的各个肠道的不同肠道解剖结构位置的训练图像样本，然后基于每个图像评级下的各个肠道的不同肠道解剖结构位置的训练图像样本训练所述卷积神经网络，得到所述第三深度学习网络。

步骤S220，基于预先训练的第一深度学习网络判断每一关键帧是否为肠道关键帧，并根据判断结果得到至少一个肠道关键帧。

在做结肠镜300的过程中，医生会先将结肠镜300插入内窥镜主机，打开内窥镜主机，这时计算机设备100便收到了内窥镜主机传来的视频信号，然而此时画面是检查室的地盘或者其它器具，并不是患者肠道图像，因此本实施例需要基于上述第一深度学习网络实时监测每一关键帧是否为肠道关键帧，对于不在患者肠道内的关键帧则不作进一步处理，同时监测到肠道关键帧，也即结肠镜300开始进入肠道后，将肠道关键帧进行后续的处理。

步骤S230，基于预先训练的第二深度学习网络对每一肠道关键帧进行预测，获得每一肠道关键帧的预测结果。

本实施例中，训练得到的第二深度学习网络可用于对每一肠道关键帧进行预测，获得每帧关键帧的预测结果，所述预测结果中包括有该肠道关键帧中的肠道类型和对应的肠道解剖结构位置。例如，可以实时判断每一肠道关键帧中是直肠、乙状回肠、结肠还是盲肠，如果是结肠，进而判断是否到达肝曲和脾曲，实现升、降、横结肠各段的区分。

步骤S240，基于预先训练的第三深度学习网络对每一肠道关键帧进行图像评级，得到每一肠道关键帧的图像评级结果，并对各个肠道关键帧的图像评级结果和预测结果进行统计得到各个肠道的肠道图像评级结果。

本实施例中，根据每个肠道关键帧的图像评级结果和预测结果得到每个肠道的各个肠道解剖结构位置的肠道图像评级，图像评级用于表征对应的肠道的准备质量高低。例如，结肠镜300进镜道盲肠后，开始退镜，充气、充分吸引粪水，不同状态的粪便对应的图像评级不同，例如，如果大部分(80％)肠道粘膜被大量固定粪便遮挡，则按照最低图像评级0输出。如果部分(50％+)肠道粘膜可以观察，另外有部分肠道粘膜被浑浊不透明粪液、粪渣遮挡，则按照图像评级1输出。如果少量清亮粪液和粪渣残留，几乎大部分(80％+)粘膜都可以观察到，则按照平均图像评级2输出。如果肠道非常干净，不存在粪渣和粪液，则按照最高图像评级3输出。由此，可以得到各个肠道关键帧的图像评级结果，然后对每个肠道的各个肠道解剖结构位置的肠道图像评级进行统计得到各个肠道的肠道图像评级结果。

如此，本实施例通过深度学习技术可以准确地识别肠道的不同肠道解剖结构位置，并且对其进行图像评级，从而通过记录不同肠道的肠道解剖结构位置的图像评级自动计算各个肠道的肠道图像评级结果，如此，不仅可以准确地评估结肠镜300肠道的准备情况，还可节省人力物力，便于推广，指导临床操作，且记录结果全面、准确、客观，可信度高。

进一步地，请参阅图3，在所述步骤S240之后，所述方法还可以包括如下步骤：

步骤S250，将各个肠道的肠道图像评级结果进行显示。

本实施例中，在得到各个肠道的肠道图像评级结果，将各个肠道的肠道图像评级结果进行显示，可以自动提醒操作者，指导临床实践。

进一步地，请参阅图4，本申请实施例还提供一种结肠镜图像识别装置200，该装置可以包括：

获取模块210，用于从所述结肠镜300采集到的医学影像的单位时间视频流中获取第一数量帧关键帧。

判断模块220，用于基于预先训练的第一深度学习网络判断每一关键帧是否为肠道关键帧，并根据判断结果得到至少一个肠道关键帧。

预测模块230，用于基于预先训练的第二深度学习网络对每一肠道关键帧进行预测，获得每一肠道关键帧的预测结果，其中，所述预测结果中包括有该肠道关键帧中的肠道类型和对应的肠道解剖结构位置。

评级模块240，用于基于预先训练的第三深度学习网络对每一肠道关键帧进行图像评级，得到每一肠道关键帧的图像评级结果，并对各个肠道关键帧的图像评级结果和预测结果进行统计得到各个肠道的肠道图像评级结果。

可以理解的是，本实施例中的各功能模块的具体操作方法可参照上述方法实施例中相应步骤的详细描述，在此不再重复赘述。

进一步地，请参阅图5，为本申请实施例提供的用于上述结肠镜图像分析方法的计算机设备100的一种结构示意框图。本实施例中，所述计算机设备100可以由总线110作一般性的总线体系结构来实现。根据计算机设备100的具体应用和整体设计约束条件，总线110可以包括任意数量的互连总线和桥接。总线110将各种电路连接在一起，这些电路包括处理器120、存储介质130和总线接口140。可选地，计算机设备100可以使用总线接口140将网络适配器150等经由总线110连接。网络适配器150可用于实现计算机设备100中物理层的信号处理功能，并通过天线实现射频信号的发送和接收。用户接口160可以连接外部设备，例如：键盘、显示器、鼠标或者操纵杆等。总线110还可以连接各种其它电路，如定时源、外围设备、电压调节器或者功率管理电路等，这些电路是本领域所熟知的，因此不再详述。

可以替换的，计算机设备100也可配置成通用处理系统，例如通称为芯片，该通用处理系统包括：提供处理功能的一个或多个微处理器，以及提供存储介质130的至少一部分的外部存储器，所有这些都通过外部总线体系结构与其它支持电路连接在一起。

可替换的，计算机设备100可以使用下述来实现：具有处理器120、总线接口140、用户接口160的ASIC(专用集成电路)；以及集成在单个芯片中的存储介质130的至少一部分，或者，计算机设备100可以使用下述来实现：一个或多个FPGA(现场可编程门阵列)、PLD(可编程逻辑器件)、控制器、状态机、门逻辑、分立硬件部件、任何其它适合的电路、或者能够执行本申请通篇所描述的各种功能的电路的任意组合。

其中，处理器120负责管理总线110和一般处理(包括执行存储在存储介质130上的软件)。处理器120可以使用一个或多个通用处理器和/或专用处理器来实现。处理器120的例子包括微处理器、微控制器、DSP处理器和能够执行软件的其它电路。应当将软件广义地解释为表示指令、数据或其任意组合，而不论是将其称作为软件、固件、中间件、微代码、硬件描述语言还是其它。

在图5中存储介质130被示为与处理器120分离，然而，本领域技术人员很容易明白，存储介质130或其任意部分可位于计算机设备100之外。举例来说，存储介质130可以包括传输线、用数据调制的载波波形、和/或与无线节点分离开的计算机制品，这些介质均可以由处理器120通过总线接口140来访问。可替换地，存储介质130或其任意部分可以集成到处理器120中，例如，可以是高速缓存和/或通用寄存器。

所述处理器120可执行上述实施例，具体地，所述存储介质130中可以存储有所述结肠镜图像识别装置200，所述处理器120可以用于执行所述结肠镜图像识别装置200。

进一步地，本申请实施例还提供了一种非易失性计算机存储介质，所述计算机存储介质存储有计算机可执行指令，该计算机可执行指令可执行上述任意方法实施例中的结肠镜图像分析方法。

综上所述，本申请实施例提供一种结肠镜图像分析方法、装置及可读存储介质，通过深度学习技术可以准确地识别肠道的不同肠道解剖结构位置，并且对其进行图像评级，从而通过记录不同肠道的肠道解剖结构位置的图像评级自动计算各个肠道的肠道图像评级结果，如此，不仅可以准确地评估结肠镜肠道的准备情况，还可节省人力物力，便于推广，指导临床操作，且记录结果全面、准确、客观，可信度高。

在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置和方法实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

可以替换的，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其它可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的电子设备、服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。

需要说明的是，在本文中，术语"包括"、"包含"或者其任何其它变体意在涵盖非排它性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其它要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句"包括一个……"限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其它的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

Claims (10)

1.一种结肠镜图像分析方法，其特征在于，应用于与结肠镜通信连接的计算机设备，所述方法包括：

从所述结肠镜采集到的医学影像的单位时间视频流中获取第一数量帧关键帧；

基于预先训练的第一深度学习网络判断每一关键帧是否为肠道关键帧，并根据判断结果得到至少一个肠道关键帧；

基于预先训练的第二深度学习网络对每一肠道关键帧进行预测，获得每一肠道关键帧的预测结果，其中，所述预测结果中包括有该肠道关键帧中的肠道类型和对应的肠道解剖结构位置；

基于预先训练的第三深度学习网络对每一肠道关键帧进行图像评级，得到每一肠道关键帧的图像评级结果，并对各个肠道关键帧的图像评级结果和预测结果进行统计得到各个肠道的肠道图像评级结果。

2.根据权利要求1所述的结肠镜图像分析方法，其特征在于，所述从所述结肠镜采集到的医学影的像单位时间视频流中获取第一数量帧关键帧的步骤，包括：

接收所述结肠镜采集到的医学影像；

对所述医学影像进行重新采样，从所述医学影像中的单位时间视频流中截取第一数量帧关键帧。

3.根据权利要求1所述的结肠镜图像分析方法，其特征在于，所述方法还包括：

训练所述第一深度学习网络；

训练所述第二深度学习网络；以及

训练所述第三深度学习网络。

4.根据权利要求3所述的结肠镜图像分析方法，其特征在于，所述训练所述第一深度学习网络的步骤，包括：

搭建全连接深度学习网络；

获取各个肠道的肠道内部的正训练样本集和肠道外部的负训练样本集；

基于所述各个肠道的肠道内部的正训练样本集和肠道外部的负训练样本集训练所述全连接深度学习网络，得到所述第一深度学习网络。

5.根据权利要求3所述的结肠镜图像分析方法，其特征在于，所述训练所述第二深度学习网络的步骤，包括：

搭建多个备选卷积神经网络；

获取各个肠道的不同肠道解剖结构位置的训练样本集、验证样本集和测试样本集，所述训练样本集包括标注有各个肠道的不同肠道解剖结构位置的多个检查图像样本；

基于各个肠道的不同肠道解剖结构位置的训练样本集和对应的验证样本集对每个备选卷积神经网络进行训练，并在检测到每个备选卷积神经网络的损失率稳定后停止训练，保存训练后的各个备选卷积神经网络；

将所述测试样本集分别输入到训练后的每个备选卷积神经网络中进行解剖部位预测，绘制每个备选卷积神经网络预测的ROC曲线；

计算每个备选卷积神经网络预测的ROC曲线的AUC面积，将AUC面积最大的备选卷积神经网络作为所述第二深度学习网络。

6.根据权利要求3所述的结肠镜图像分析方法，其特征在于，所述训练所述第三深度学习网络的步骤，包括：

搭建卷积神经网络；

获取每个图像评级下的各个肠道的不同肠道解剖结构位置的训练图像样本；

基于每个图像评级下的各个肠道的不同肠道解剖结构位置的训练图像样本训练所述卷积神经网络，得到所述第三深度学习网络。

7.根据权利要求1所述的结肠镜图像分析方法，其特征在于，所述对各个肠道关键帧的图像评级结果和预测结果进行统计得到各个肠道的肠道图像评级结果的步骤，包括：

根据每个肠道关键帧的图像评级结果和预测结果得到每个肠道的各个肠道解剖结构位置的肠道图像评级；

对每个肠道的各个肠道解剖结构位置的肠道图像评级进行统计得到各个肠道的肠道图像评级结果。

8.根据权利要求1所述的结肠镜图像分析方法，其特征在于，所述对各个肠道关键帧的图像评级结果和预测结果进行统计得到各个肠道的肠道图像评级结果的步骤之后，所述方法还包括：

将各个肠道的肠道图像评级结果进行显示。

9.一种结肠镜图像分析装置，其特征在于，应用于与结肠镜通信连接的计算机设备，所述装置包括：

获取模块，用于从所述结肠镜采集到的医学影像的单位时间视频流中获取第一数量帧关键帧；

判断模块，用于基于预先训练的第一深度学习网络判断每一关键帧是否为肠道关键帧，并根据判断结果得到至少一个肠道关键帧；

预测模块，用于基于预先训练的第二深度学习网络对每一肠道关键帧进行预测，获得每一肠道关键帧的预测结果，其中，所述预测结果中包括有该肠道关键帧中的肠道类型和对应的肠道解剖结构位置；

评级模块，用于基于预先训练的第三深度学习网络对每一肠道关键帧进行图像评级，得到每一肠道关键帧的图像评级结果，并对各个肠道关键帧的图像评级结果和预测结果进行统计得到各个肠道的肠道图像评级结果。

10.一种可读存储介质，其特征在于，所述可读存储介质中存储有计算机程序，所述计算机程序运行时实现权利要求1-8中任意一项所述的结肠镜图像分析方法。