CN111091559A - 基于深度学习的小肠镜下淋巴瘤辅助诊断系统 - Google Patents

Abstract

本发明公开了一种基于深度学习的小肠镜下淋巴瘤辅助诊断系统，包括：图像采集模块，通过采集卡接入内镜主机，获取内镜主机采集到的每一帧图像信息；训练集制作模块，选取单帧带有淋巴瘤病变的图像作为训练样本，对训练样本中的病灶区域进行标注，同时生成标注位置对应的标注文本信息；辅助诊断模块，构建辅助诊断模型，采用训练集对辅助诊断模型进行优化训练；将需要检测的图像输入到训练好的辅助诊断模型中，输出是否有淋巴瘤病变的图像分类结果。本发明基于神经网络算法对小肠镜下的淋巴瘤病变区域进行自动识别，医生只需要对识别存在病变的图像进行再次审核，极大地减轻了医生审阅图片的工作量。

Description

基于深度学习的小肠镜下淋巴瘤辅助诊断系统

技术领域

本发明属于小肠镜下淋巴瘤辅助智能诊断技术领域，尤其涉及一种基于深度学习的小肠镜下淋巴瘤辅助诊断系统。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

小肠淋巴瘤起源于小肠黏膜下的淋巴滤泡，大多数肠道淋巴瘤都是全身性淋巴瘤的一种局部表现，通过小肠镜对小肠粘膜的特征进行识别是诊断小肠淋巴瘤最有效的方法。

小肠镜检查时间较长，内镜医师极容易疲惫，同时小肠镜退镜检查过程中要退出冗长(甚至可达5-7米)的肠管，内镜医师需要消耗大量时间在阅览图像工作，因此会因为身体疲惫和视觉疲劳导致漏检或误检病变。

另外，由于消化道淋巴瘤发病隐匿，临床症状不典型且内镜下表现多样，如炎症性息肉样、黏膜糜烂、黏膜溃疡等，缺乏经验的内镜医师非常容易出现误诊的情况，降低了内镜医师诊断的准确性，导致淋巴瘤的高漏诊率和高误诊率，以至于患者确诊时间后移，影响治疗效果和生存时间。

发明内容

为了解决上述问题，本发明提出了基于深度学习的小肠镜下淋巴瘤辅助诊断系统，对单帧电子肠镜下采集的图像识别预测，能够精确定位淋巴瘤病灶，并在诊断系统中绘制出病变位置。

在一些实施方式中，采用如下技术方案：

基于深度学习的小肠镜下淋巴瘤辅助诊断系统，包括：

图像采集模块，通过采集卡接入内镜主机，获取内镜主机采集到的每一帧图像信息；

训练集制作模块，选取单帧带有淋巴瘤病变的图像作为训练样本，对训练样本中的病灶区域进行标注，同时生成标注位置对应的标注文本信息；所述标注区域以及该区域对应的标注文本信息构成训练集；

辅助诊断模块，构建辅助诊断模型，采用训练集对辅助诊断模型进行优化训练；将需要检测的图像输入到训练好的辅助诊断模型中，输出是否有淋巴瘤病变的图像分类结果。

进一步地，所述辅助诊断模型包括：

在YOLO V3的基础上，采用MobileNet V1作为YOLO V3的backbone；在每个卷积层后都相应的进行归一化操作，并且去掉了MobileNet V1的全连接层。

在另一些实施方式中，采用如下技术方案：

一种终端设备，其包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行以下过程：

通过采集卡接入内镜主机，获取内镜主机采集到的每一帧图像信息；

选取单帧带有淋巴瘤病变的图像作为训练样本，对训练样本中的病灶区域进行标注，同时生成标注位置对应的标注文本信息；所述标注区域以及该区域对应的标注文本信息构成训练集；

构建辅助诊断模型，采用训练集对辅助诊断模型进行优化训练；将需要检测的图像输入到训练好的辅助诊断模型中，输出是否有淋巴瘤病变的图像分类结果。

在另一些实施方式中，采用如下技术方案：

一种计算机可读存储介质，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行以下过程：

通过采集卡接入内镜主机，获取内镜主机采集到的每一帧图像信息；

选取单帧带有淋巴瘤病变的图像作为训练样本，对训练样本中的病灶区域进行标注，同时生成标注位置对应的标注文本信息；所述标注区域以及该区域对应的标注文本信息构成训练集；

构建辅助诊断模型，采用训练集对辅助诊断模型进行优化训练；将需要检测的图像输入到训练好的辅助诊断模型中，输出是否有淋巴瘤病变的图像分类结果。

与现有技术相比，本发明的有益效果是：

本发明通过设计YOLO_MobileNet神经网络模型，MobileNet的参数量相比于其他神经网络结构会少很多，mobileNet网络中使用了深度可分卷积，减少了参数量同时起到了类似于Inception这种结构的特征提取效果。在精度损失很少的情况下可以做到实时检测。

本发明基于神经网络算法对小肠镜下的淋巴瘤病变区域进行自动识别，医生只需要对识别存在病变的图像进行再次审核，极大地减轻了医生审阅图片的工作量。同时，将识别错误的图像，重新加入训练集，能够不断优化辅助诊断模型，提高淋巴瘤的识别准确率。

附图说明

图1为本发明基于深度学习的小肠镜下淋巴瘤辅助诊断系统的工作过程示意图。

具体实施方式

应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本发明使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

实施例一

在一个或多个实施例中，公开了一种基于深度学习的小肠镜下淋巴瘤辅助诊断系统，包括：

图像采集模块，通过采集卡接入内镜主机，获取内镜主机采集到的每一帧图像信息；

图像预处理模块，用于对采集到的图像信息进行预处理；具体包括：

由于图像是在临床中内窥镜系统单张采集的，需要去除图片中的患者隐私数据。为减少计算量还需要去除黑色边框，只保留彩色消化道区域。

通过黑边算法处理，缩放处理和归一化处理，将其每一帧图像经过去黑边算法后去掉内镜图像多余的边界仅保留ROI区域，然后采用双三次插值缩放算法将图像分辨率调整为416x416。

训练集制作模块，选取单帧带有淋巴瘤病变的图像作为训练样本，对训练样本中的病灶区域进行标注，同时生成标注位置对应的标注文本信息；所述标注区域以及该区域对应的标注文本信息构成训练集；

使用labelImg多目标标注工具对样本图像数据画标注框，生成xml文件组成训练集，xml文件中保存了该图像对应的标注信息，解析xml文件获取每张训练图片的标注框信息和对应的标签(0:无，1：淋巴瘤)。

辅助诊断模块，构建辅助诊断模型，采用训练集对辅助诊断模型进行优化训练；将需要检测的图像输入到训练好的辅助诊断模型中，输出是否有淋巴瘤病变的图像分类结果。

辅助诊断模型采用神经网络结构，本实施例构建了一个基于YOLO V3目标检测的网络：YOLO_MobileNet。YOLO_MobileNet将YOLO V3的backbone:darknet-53替换为MobileNet V1,使用介于与darknet-19相似参数量的网络，同时结合FPN的特征提取和目标检测方法，YOLO_MobileNet和YOLO V3相同在每个卷积层后都相应的进行BN(batchnormalize)操作，并且去掉了MobileNet V1的全连接层。

为了均衡训练过程的正负样本的比例，YOLO_MobileNet的损失函数使用FocalLoss。其他的训练参数的设置和训练过程同YOLO v3相同。

使用Focal Loss作为回归的损失函数，可以很好的处理数量不平衡的数据。

目标检测中，前景(带有标注框的区域)远远少于背景，正样本来源于于带标注框的数据，而负样本来源于背景，这就导致负样本数量会远远多于前景正样本数量。

参照图1，需要进行淋巴瘤病变识别时，通过采集卡接入内镜主机获取检测图像信息，对采集到的检测图像进行预处理后，输入到辅助诊断模型，输出淋巴瘤病变识别结果；具体包括：是否存在淋巴瘤病变区域、病变概率以及病灶区域在图像上的相对坐标位置。

这里采用GPU显卡并行运算，采集卡每秒钟采集10帧图像调用模型识别，可以达到实时识别要求。

在一些实施方式中，还包括：识别结果审核模块，被配置为对识别的结果进行审核，对识别错误的图像重新进行淋巴瘤病变区域标注，并修改标注文本信息。

辅助诊断模型会将检测概率大于95％的病灶矩形区域绘制到显示画面上，并保存带病灶的图像以及标签数据(病灶类别，病灶区域图像上的相对坐标)存入本地文件，用于医生再次审核。

识别结果审核模块将识别错误并重新进行标注的图像加入到训练集中，重新对辅助诊断模型进行训练，通过识别结果的反馈，不断提高辅助诊断模型的识别准确率。

实施例二

在一个或多个实施方式中，公开了一种终端设备，其包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行以下过程：

通过采集卡接入内镜主机，获取内镜主机采集到的每一帧图像信息；

选取单帧带有淋巴瘤病变的图像作为训练样本，对训练样本中的病灶区域进行标注，同时生成标注位置对应的标注文本信息；所述标注区域以及该区域对应的标注文本信息构成训练集；

构建辅助诊断模型，采用训练集对辅助诊断模型进行优化训练；将需要检测的图像输入到训练好的辅助诊断模型中，输出是否有淋巴瘤病变的图像分类结果。

在另一些实施方式中，公开了一种计算机可读存储介质，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行以下过程：

通过采集卡接入内镜主机，获取内镜主机采集到的每一帧图像信息；

选取单帧带有淋巴瘤病变的图像作为训练样本，对训练样本中的病灶区域进行标注，同时生成标注位置对应的标注文本信息；所述标注区域以及该区域对应的标注文本信息构成训练集；

构建辅助诊断模型，采用训练集对辅助诊断模型进行优化训练；将需要检测的图像输入到训练好的辅助诊断模型中，输出是否有淋巴瘤病变的图像分类结果。

上述过程的具体实现方法与实施例一中相应的功能模块的工作过程相对应，不再赘述。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (7)

1.基于深度学习的小肠镜下淋巴瘤辅助诊断系统，其特征在于，包括：

图像采集模块，通过采集卡接入内镜主机，获取内镜主机采集到的每一帧图像信息；

训练集制作模块，选取单帧带有淋巴瘤病变的图像作为训练样本，对训练样本中的病灶区域进行标注，同时生成标注位置对应的标注文本信息；所述标注区域以及该区域对应的标注文本信息构成训练集；

辅助诊断模块，构建辅助诊断模型，采用训练集对辅助诊断模型进行优化训练；将需要检测的图像输入到训练好的辅助诊断模型中，输出是否有淋巴瘤病变的图像分类结果。

2.如权利要求1所述的基于深度学习的小肠镜下淋巴瘤辅助诊断系统，其特征在于，所述辅助诊断模型包括：

在YOLO V3的基础上，采用MobileNet V1作为YOLO V3的backbone；在每个卷积层后都相应的进行归一化操作，并且去掉了MobileNet V1的全连接层。

3.如权利要求1所述的基于深度学习的小肠镜下淋巴瘤辅助诊断系统，其特征在于，还包括：图像预处理模块，用于对采集到的图像信息进行预处理；具体包括：

去除图像中包含的涉及到病人隐私的信息；

对图像进行去除黑色边框处理；

采用双三次插值缩放算法将所有图像分辨率均调整为设定的分辨率大小。

4.如权利要求1所述的基于深度学习的小肠镜下淋巴瘤辅助诊断系统，其特征在于，还包括：识别结果审核模块，被配置为对识别的结果进行审核，对识别错误的图像重新进行淋巴瘤病变区域标注，并修改标注文本信息。

5.如权利要求4所述的基于深度学习的小肠镜下淋巴瘤辅助诊断系统，其特征在于，所述识别结果审核模块将识别错误并重新进行标注的图像加入到训练集中，重新对辅助诊断模型进行训练。

6.一种终端设备，其包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，其特征在于，所述指令适于由处理器加载并执行以下过程：

通过采集卡接入内镜主机，获取内镜主机采集到的每一帧图像信息；

选取单帧带有淋巴瘤病变的图像作为训练样本，对训练样本中的病灶区域进行标注，同时生成标注位置对应的标注文本信息；所述标注区域以及该区域对应的标注文本信息构成训练集；

构建辅助诊断模型，采用训练集对辅助诊断模型进行优化训练；将需要检测的图像输入到训练好的辅助诊断模型中，输出是否有淋巴瘤病变的图像分类结果。

7.一种计算机可读存储介质，其中存储有多条指令，其特征在于，所述指令适于由终端设备的处理器加载并执行以下过程：

通过采集卡接入内镜主机，获取内镜主机采集到的每一帧图像信息；

选取单帧带有淋巴瘤病变的图像作为训练样本，对训练样本中的病灶区域进行标注，同时生成标注位置对应的标注文本信息；所述标注区域以及该区域对应的标注文本信息构成训练集；

构建辅助诊断模型，采用训练集对辅助诊断模型进行优化训练；将需要检测的图像输入到训练好的辅助诊断模型中，输出是否有淋巴瘤病变的图像分类结果。

Images