CN113222957A - 一种基于胶囊镜图像的多类别病灶高速检测方法及系统 - Google Patents

一种基于胶囊镜图像的多类别病灶高速检测方法及系统 Download PDF

Info

Publication number
CN113222957A
CN113222957A CN202110573992.7A CN202110573992A CN113222957A CN 113222957 A CN113222957 A CN 113222957A CN 202110573992 A CN202110573992 A CN 202110573992A CN 113222957 A CN113222957 A CN 113222957A
Authority
CN
China
Prior art keywords
image
capsule
focus
detection
lens image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110573992.7A
Other languages
English (en)
Inventor
卢佳
肖治国
候文雨
赵楠
李念峰
李东旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changchun University
Original Assignee
Changchun University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changchun University filed Critical Changchun University
Priority to CN202110573992.7A priority Critical patent/CN113222957A/zh
Publication of CN113222957A publication Critical patent/CN113222957A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Endoscopes (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于胶囊镜图像的多类别病灶高速检测方法及系统，包括采集胶囊镜检测消化道的图像，然后标注病灶的种类及位置，构建胶囊镜图像样本库；构建深度学习神经网络，对胶囊镜图像进行模型训练，得到胶囊镜图像病灶的检测模型；输入待检测的胶囊镜图像，利用检测模型对图像进行特征提取，得到病灶的种类和位置。本发明技术方案快速高效，能达到可检测消化道多个类别病灶的效果，且准确率高，速度快，在面对消化道蠕动、食物残渣等干扰情况时也能有很好的检测效果，普适性强。

Description

一种基于胶囊镜图像的多类别病灶高速检测方法及系统
技术领域
本发明属于基于计算机视觉的胶囊镜图像深度学习检测技术领域，特别涉及基于胶囊镜图像的多类别病灶高速检测方法。
背景技术
中国是消化道恶性肿瘤的高发国家，并且消化道类疾病的早期诊断率较低，很多消化道疾病早期没有任何症状，大多数患者发现时已是中晚期，早筛查、早诊断的意义很重要。同传统的推入式检查（例如胃镜、肠镜等）相比，胶囊镜具有安全、无创等优点，且可深入小肠部位进行检测，技术已经发展很成熟。但是胶囊镜从吞入体内到排出所需时间至少在6小时以上，拍摄图像的频率至少为2帧/秒，检查完毕后，每个患者至少有5-8万张以上的照片。对医生来说，阅览大量的图像是一个相当繁琐且耗时的工作，据现有资料分析，一个有经验的消化内科医生阅览一个病例的完整的消化道图像平均需要花费2小时。也因为人工阅片的费用居高不下，导致了胶囊镜检查的价格昂贵。
随着人工智能技术的发展，自动检测消化道病变图像已经成为必然趋势，而目前自动检测病变图像可大致分为两种：传统的机器学习方法和基于深度学习方法。传统的机器学习方法通过人工提取特征然后利用分类器进行分类，大多采用SVM、KNN和MLP等。这种方法对胶囊镜图像病灶识别的准确率并不是很好。而现有的基于深度学习的方法主要采用AlexNet和GoogLeNet等网络模型，集中在一种病灶的特征提取和检测上，不能满足多种消化道疾病病灶检测的要求。
目前,深度学习中的目标检测技术发展逐渐成熟，在自动驾驶等多个领域都有应用，并收到了很好的效果
因此，为了克服现有技术存在的消化道病灶检测种类单一、检测速度慢等问题，本发明提出了一种基于胶囊镜图像的多类别病灶高速检测方法及系统。
发明内容
本发明的目的在于提供一种基于胶囊镜图像的多类别病灶高速检测方法，来解决现有技术存在的消化道病灶检测种类单一、检测速度慢等问题，提高胶囊镜图像多病灶检测的准确性和普适性。
有鉴于此，本发明提供了一种基于胶囊镜图像的多类别病灶高速检测方法，包括以下步骤：
步骤1,构建胶囊镜标注图像样本库，样本库包括训练集、验证集和测试集。图像样本库是采集的胶囊镜检测的消化道图像，并且图像中已经标注好病灶的种类及位置；
步骤2,构建深度学习神经网络，利用步骤1所得的胶囊镜图像对神经网络进行训练，得到胶囊镜图像病灶的检测模型；
步骤3,输入待检测的胶囊镜图像，利用步骤2所得检测模型对的胶囊镜图像进行特征提取；
步骤4,利用步骤3所得的胶囊镜图像的特征得到准确的病灶名称和位置。
步骤1中的胶囊镜图像需要预处理，要在胶囊镜图像上标注好病灶的位置以及备注病灶名称。
而且，所述的深度学习神经网络采用改进的YOLOv3网络。
而且，步骤2的深度学习神经网络改进部分，具体包括:
backbone部分使用darknet-53，并在第一层加入注意力机制，更好地提取网络中间层特征；
损失函数部分使用MSELOSS函数，xy_loss、confidence_loss、class_loss的损失函数使用MSELoss，wh_loss损失函数使用总方误差；
检测输出部分只要两个不同尺寸的检测结果，分别采用16倍下采样和8倍下采样，进而完成对中小目标任务的检测。
而且，步骤3的实现方式如下：
利用步骤2所得的检测模型，对输入的胶囊镜图像进行检测，利用设计的网络对图像特征进行提取；
用特征图中预测病灶的检测边框和每个边框的置信度。
网络对一张胶囊镜图像在每个特征图上的两个检测结果进行concat操作，得到该图片的所有检测结果，去掉其中置信度较低、不在图像范围内的检测结果，得到最终的检测结果。
本发明还相应提供一种基于胶囊镜图像的多类别病灶高速检测系统，包括以下模块：
第一模块，用于构建胶囊镜标注图像样本库，样本库包括训练集、验证集和测试集。图像样本库是采集的胶囊镜检测的消化道图像，并且图像中已经标注好病灶的种类及位置；
第二模块，用于构建深度学习神经网络，利用第一模块所得的胶囊镜图像对神经网络进行训练，得到胶囊镜图像病灶的检测模型，神经网络部分实现方式如下：
A，backbone部分使用darknet-53，并在第一层加入注意力机制，更好地提取网络中间层特征；
B，损失函数部分使用MSELOSS函数，xy_loss、confidence_loss、class_loss的损失函数使用MSELoss，wh_loss损失函数使用总方误差；
C，检测输出部分只要两个不同尺寸的检测结果，分别采用16倍下采样和8倍下采样，进而完成对中小目标任务的检测。
第三模块，输入待检测的胶囊镜图像，利用模块二所得检测模型对的胶囊镜图像进行特征提取；用特征图中预测病灶的检测边框和每个边框的置信度。
第四模块，利用模块三所得的胶囊镜图像的特征，对胶囊镜图像的病灶种类和位置进行标注，得到准确的病灶名称和位置。
模块一中的胶囊镜图像需要预处理，要在胶囊镜图像上标注好病灶的位置以及备注病灶名称。
所述的深度学习神经网络采用改进的YOLOv3网络。
而且，网络对一张胶囊镜图像在每个特征图上的两个检测结果进行concat操作，得到该图片的所有检测结果，去掉其中置信度较低、不在图像范围内的检测结果，得到最终的检测结果。
对比现有技术，本发明具有下列优点和积极效果：
本申请提供了一种基于胶囊镜图像的多类别病灶高速检测方法，包括：构建胶囊镜标注图像样本库，包括采集胶囊镜检测消化道的图像，然后获得病灶的种类及位置；构建深度学习神经网络，对胶囊镜图像进行模型训练，得到胶囊镜图像病灶的检测模型；输入待检测的胶囊镜图像，利用检测模型对图像进行特征提取，得到病灶的种类和位置。本发明技术方案快速高效，能达到可检测消化道27类病灶的效果，且准确率高，速度快，在面对消化道蠕动、食物残渣等干扰情况时也能有很好的检测效果，普适性强。并且解决了现有技术存在的消化道病灶检测种类单一、检测速度慢等问题。
附图说明
图1为本发明实施例的整体流程图；
图2为本发明实施例的网络结构图；
图3为本发明实施例的特征提取和训练结构图；
图4为本发明实施例的步骤
Figure 698389DEST_PATH_IMAGE001
中检测病灶种类和位置的流程图。
具体实施方式
为了更好地理解本发明的技术方案，下面结合附图和实施例对本发明做进一步地详细说明。应当理解，此处所描述地具体实施例仅用于解释本发明，并不用于限定本发明。基于本发明的实施例，本领域技术人员在没有创造性劳动的前提下所获得的所有其他实施例，都属于本发明的保护范围。
本发明提供了一个基于胶囊镜图像的多类别病灶高速检测的网络模型。模型采用改进的深度学习中的YOLOv3网络来判断病灶的位置和类型。为了进一步提高检测模型的准确率，在网络模型中加入注意力机制，可以使得检测模型精度和普适性更强。模型的训练和实验都是在自己构建的胶囊镜图像数据集上进行的，并且得到了非常好的检测结果。
参见附图1，本发明实施例所提供方法包括以下步骤：
Figure 128233DEST_PATH_IMAGE002
构建胶囊镜标注图像样本库。
构建胶囊镜标注图像样本库时，样本库需要包括训练集、验证集和测试集三部分，比例为6：2：2。本发明所需的数据是已经标注好病灶种类和位置的胶囊镜图像。而且当某类病灶的数据相比其他病灶数据类别数量很少的情况下，需要对该病灶的图像进行图像增广操作，比如采用左右翻转、随即裁剪、变换颜色等方式，保证训练样本中的各种类病灶数据的均衡。具体实施时，需要预先对胶囊镜图像样本训练库进行构建。
Figure 776383DEST_PATH_IMAGE003
构建深度学习神经网络，对胶囊镜图像进行模型训练。
对于深度学习神经网络的选取上，本专利采用改进的YOLOv3神经网络。将步骤
Figure 51507DEST_PATH_IMAGE002
得到的胶囊镜图像样本数据进行正负样本均衡，将这些数据输入神经网络中进行训练，得到基于胶囊镜图像的多类别病灶检测模型。实施例采用改进的YOLOv3神经网络。backbone部分使用darknet-53，并在第一层中加入注意力层，更好地提取网络中间层特征。
实施例所用的改进的YOLOv3神经网络的网络结构组成，参见附图2。
损失函数部分使用MSELoss函数，xy_loss、confidence_loss、class_loss的损失函数使用MSELoss，wh_loss损失函数使用总方误差。最后把两种Loss相加得出最终的Loss。
检测输出部分只要两个不同尺寸的检测结果，分别采用16倍下采样和8倍下采样，进而完成对中小目标任务的检测。
Figure 694978DEST_PATH_IMAGE004
输入待检测的胶囊镜图像，利用步骤
Figure 30144DEST_PATH_IMAGE003
所得检测模型对的胶囊镜图像进行特征提取。
利用步骤
Figure 290224DEST_PATH_IMAGE003
所得的检测模型，对输入的未标记的胶囊镜图像进行检测。图像经过特征提取层后得到特征图像。
在检测输出部分有两个输出预测，输出的特征图大小分别为26x26, 52x52,用于检测中小型物体。
Figure 369039DEST_PATH_IMAGE001
利用步骤
Figure 867016DEST_PATH_IMAGE004
中所得的特征图像和输出预测，得到具体的病灶的种类和位置。
参见图4，实施过程如下：
获取胶囊镜图像在每个特征图上的两个检测结果。
对检测结果进行concat操作，得到该图片的所有检测结果。
去掉其中置信度较低、不在图像范围内的检测结果，得到最终的检测结果。
本发明实例还相应提供了一种基于胶囊镜图像的多类别病灶高速检测系统，包括以下模块：
第一模块，用于构建胶囊镜标注图像样本库，样本库包括训练集、验证集和测试集。图像样本库是采集的胶囊镜检测的消化道图像，并且图像中已经标注好病灶的种类及位置；
第二模块，用于构建深度学习神经网络，利用第一模块所得的胶囊镜图像对神经网络进行训练，得到胶囊镜图像病灶的检测模型，神经网络部分实现方式如下：
A，backbone部分使用darknet-53，并在第一层加入注意力机制，更好地提取网络中间层特征，参见附图2；
B，损失函数部分使用MSELOSS函数，xy_loss、confidence_loss、class_loss的损失函数使用MSELoss，wh_loss损失函数使用总方误差；
C，检测输出部分只要两个不同尺寸的检测结果，分别采用16倍下采样和8倍下采样，进而完成对中小目标任务的检测。
第三模块，输入待检测的胶囊镜图像，利用模块二所得检测模型对的胶囊镜图像进行特征提取；用特征图中预测病灶的检测边框和每个边框的置信度。
第四模块，利用模块三所得的胶囊镜图像的特征，对胶囊镜图像的病灶种类和位置进行标注，得到准确的病灶名称和位置。
各模块的具体实现可参见相应步骤，本发明在此不予赘述。
以上仅为本发明较佳的实施例，并非因此限制本发明的实施方式及保护范围，对于本领域技术人员而言，应当能够意识到凡运用本发明说明书及图示内容所作出的等同替换和显而易见的变化所得到的方案，均应当包含在本发明的保护范围内。

Claims (10)

1.一种基于胶囊镜图像的多类别病灶高速检测方法，其特征在于：包括以下步骤，
步骤1，构建胶囊镜标注图像样本库，样本库包括训练集、验证集和测试集；
图像样本库是采集的胶囊镜检测的消化道图像，并且图像中已经标注好病灶的种类及位置；
步骤2，构建深度学习神经网络，利用步骤1所得的胶囊镜图像对神经网络进行训练，得到胶囊镜图像病灶的检测模型；
步骤3，输入待检测的胶囊镜图像，利用步骤2所得检测模型对的胶囊镜图像进行特征提取；
步骤4，利用步骤3所得的胶囊镜图像的特征，得到准确的病灶名称和位置。
2.根据权利要求1所述的基于胶囊镜图像的多类别病灶高速检测方法，其特征在于：步骤1中的胶囊镜图像需要预处理，要在胶囊镜图像上标注好病灶的位置以及备注病灶名称。
3.根据权利要求1所述的基于胶囊镜图像的多类别病灶高速检测方法，其特征在于：所述的深度学习神经网络采优化的YOLOv3网络。
4.根据权利要求3所述的基于胶囊镜图像的多类别病灶高速检测方法，其特征在于：深度学习神经网络优化部分，具体包括，
backbone部分使用darknet-53，并在第一层加入注意力机制，从而更好地提取网络中间层特征；
损失函数部分使用MSELOSS函数，xy_loss、confidence_loss、class_loss的损失函数使用MSELoss，wh_loss损失函数使用总方误差；
检测输出部分只要两个不同尺寸的检测结果，分别采用16倍下采样和8倍下采样，进而完成对中小目标任务的检测。
5.根据权利要求1所述的基于胶囊镜图像的多类别病灶高速检测方法，其特征在于：步骤3的实现方式如下：
利用步骤2所得的检测模型，对输入的胶囊镜图像进行检测，利用设计的网络对图像特征进行提取；
用特征图中预测病灶的检测边框和每个边框的置信度。
6.根据权利要求4所述的基于胶囊镜图像的多类别病灶高速检测方法，其特征在于：网络对一张胶囊镜图像在每个特征图上的两个检测结果进行concat操作，得到该图片的所有检测结果，去掉其中置信度较低、不在图像范围内的检测结果，得到最终的检测结果。
7.一种基于胶囊镜图像的多类别病灶高速检测系统，其特征在于：包括以下模块，
第一模块，用于构建胶囊镜标注图像样本库，样本库包括训练集、验证集和测试集；
图像样本库是采集的胶囊镜检测的消化道图像，并且图像中已经标注好病灶的种类及位置；
第二模块，用于构建深度学习神经网络，利用第一模块所得的胶囊镜图像对神经网络进行训练，得到胶囊镜图像病灶的检测模型，神经网络部分实现方式如下：
A，backbone部分使用darknet-53，并在第一层加入注意力机制，更好地提取网络中间层特征；
B，损失函数部分使用MSELOSS函数，xy_loss、confidence_loss、class_loss的损失函数使用MSELoss，wh_loss损失函数使用总方误差；
C，检测输出部分只要两个不同尺寸的检测结果，分别采用16倍下采样和8倍下采样，进而完成对中小目标任务的检测；
第三模块，输入待检测的胶囊镜图像，利用模块二所得检测模型对的胶囊镜图像进行特征提取；用特征图中预测病灶的检测边框和每个边框的置信度；
第四模块，利用模块三所得的胶囊镜图像的特征，得到准确的病灶名称和位置。
8.根据权利要求所7述的基于胶囊镜图像的多类别病灶高速检测系统，其特征在于：模块一中的胶囊镜图像需要预处理，要在胶囊镜图像上标注好病灶的位置以及备注病灶名称。
9.根据权利要求7所述的基于胶囊镜图像的多类别病灶高速检测方法及系统，其特征在于：所述的深度学习神经网络采用优化的YOLOv3网络。
10.根据权利要求7所述的基于胶囊镜图像的多类别病灶高速检测系统，其特征在于：网络对一张胶囊镜图像在每个特征图上的两个检测结果进行concat操作，得到该图片的所有检测结果，去掉其中置信度较低、不在图像范围内的检测结果，得到最终的检测结果。
CN202110573992.7A 2021-05-25 2021-05-25 一种基于胶囊镜图像的多类别病灶高速检测方法及系统 Pending CN113222957A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110573992.7A CN113222957A (zh) 2021-05-25 2021-05-25 一种基于胶囊镜图像的多类别病灶高速检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110573992.7A CN113222957A (zh) 2021-05-25 2021-05-25 一种基于胶囊镜图像的多类别病灶高速检测方法及系统

Publications (1)

Publication Number Publication Date
CN113222957A true CN113222957A (zh) 2021-08-06

Family

ID=77098494

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110573992.7A Pending CN113222957A (zh) 2021-05-25 2021-05-25 一种基于胶囊镜图像的多类别病灶高速检测方法及系统

Country Status (1)

Country Link
CN (1) CN113222957A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113744319A (zh) * 2021-11-05 2021-12-03 广州思德医疗科技有限公司 一种胶囊胃镜轨迹跟踪方法及装置
CN114419041A (zh) * 2022-03-29 2022-04-29 武汉大学 病灶颜色的识别方法及装置
CN115375975A (zh) * 2022-09-05 2022-11-22 长春大学 一种基于深度卷积生成对抗网络的wce图像生成方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113744319A (zh) * 2021-11-05 2021-12-03 广州思德医疗科技有限公司 一种胶囊胃镜轨迹跟踪方法及装置
CN114419041A (zh) * 2022-03-29 2022-04-29 武汉大学 病灶颜色的识别方法及装置
CN114419041B (zh) * 2022-03-29 2022-06-21 武汉大学 病灶颜色的识别方法及装置
CN115375975A (zh) * 2022-09-05 2022-11-22 长春大学 一种基于深度卷积生成对抗网络的wce图像生成方法

Similar Documents

Publication Publication Date Title
EP3876190B1 (en) Endoscopic image processing method and system and computer device
CN113222957A (zh) 一种基于胶囊镜图像的多类别病灶高速检测方法及系统
Ghosh et al. Effective deep learning for semantic segmentation based bleeding zone detection in capsule endoscopy images
CN109997147A (zh) 用于诊断耳部病理的耳镜图像分析的系统和方法
CN113379693A (zh) 基于视频摘要技术的胶囊内镜关键病灶图像检测方法
CN111144271B (zh) 一种内镜下自动识别活检部位及活检数量的方法及系统
Zhang et al. Dual encoder fusion u-net (defu-net) for cross-manufacturer chest x-ray segmentation
CN111160135A (zh) 基于改进的Faster R-cnn的尿红细胞病变识别与统计方法和系统
CN113781489B (zh) 一种息肉影像语义分割方法及装置
CN111524124A (zh) 炎症性肠病消化内镜影像人工智能辅助系统
CN114399465B (zh) 良恶性溃疡识别方法及系统
CN112669320B (zh) 一种基于深度神经网络的spect甲状腺显像智能识别方法
CN115063592B (zh) 一种基于多尺度的全扫描病理特征融合提取方法及系统
KR20190087681A (ko) 자궁경부암에 대한 피검체의 발병 여부를 판정하는 방법
Sun et al. A novel gastric ulcer differentiation system using convolutional neural networks
KR20240015109A (ko) 내시경 영상 식별 방법, 전자 기기 및 저장 매체
CN114782760A (zh) 一种基于多任务学习的胃部疾病图片分类系统
Hemalatha et al. Deep learning based classification of cervical cancer using transfer learning
CN117689949A (zh) 一种基于少样本学习的消化道内镜图像分类算法
CN117671573A (zh) 基于胃镜图像的幽门螺旋杆菌的感染状态识别方法和装置
Tian et al. Graded diagnosis of Helicobacter pylori infection using hyperspectral images of gastric juice
CN113160151B (zh) 基于深度学习及注意力机制的全景片龋齿深度识别方法
CN113033330A (zh) 一种基于轻型卷积神经网络的舌体姿态异常判别方法
Mackiewicz et al. Wireless capsule endoscopy video segmentation using support vector classifiers and hidden markov models
Zhou et al. Intelligent quality control of traditional chinese medical tongue diagnosis images based on deep learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination