CN111862090A - 一种基于人工智能的食管癌术前管理的方法和系统 - Google Patents

一种基于人工智能的食管癌术前管理的方法和系统 Download PDF

Info

Publication number
CN111862090A
CN111862090A CN202010778272.XA CN202010778272A CN111862090A CN 111862090 A CN111862090 A CN 111862090A CN 202010778272 A CN202010778272 A CN 202010778272A CN 111862090 A CN111862090 A CN 111862090A
Authority
CN
China
Prior art keywords
ava
nbi
risk
esophageal
mode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010778272.XA
Other languages
English (en)
Other versions
CN111862090B (zh
Inventor
于天成
刘奇为
郑碧清
胡珊
李超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Endoangel Medical Technology Co Ltd
Original Assignee
Wuhan Endoangel Medical Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Endoangel Medical Technology Co Ltd filed Critical Wuhan Endoangel Medical Technology Co Ltd
Priority to CN202010778272.XA priority Critical patent/CN111862090B/zh
Publication of CN111862090A publication Critical patent/CN111862090A/zh
Application granted granted Critical
Publication of CN111862090B publication Critical patent/CN111862090B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/26—Techniques for post-processing, e.g. correcting the recognition result
    • G06V30/262—Techniques for post-processing, e.g. correcting the recognition result using context analysis, e.g. lexical, syntactic or semantic context
    • G06V30/274—Syntactic or semantic context, e.g. balancing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及医疗辅助技术领域，尤其涉及一种基于人工智能的食管癌术前管理的方法和系统，包括客户端和服务端；服务端包括病例典型图片库、图片模式识别模块、高风险病灶目标识别模块、表面血管分型识别模块和AVA分割识别模块。本发明根据不同的任务构建多个深度学习模型(涉及图像分类、目标检测、语义分割)，并采用级联的模型融合技术，在内镜医师进行食管疾病筛查过程中，提供全流程智能辅助诊断功能。通过在NBI远景模式下探测出食管高风险病灶，并根据内镜检查所观察到的AB分型和AVA分型，可以帮助医生更好地对患者的病情进行较为准确的评估，提供更为科学的治疗选择。

Description

一种基于人工智能的食管癌术前管理的方法和系统
技术领域
本发明涉及医疗辅助技术领域，尤其涉及一种基于人工智能的食管癌术前管理的方法和系统。
背景技术
食管癌是发生于食管粘膜上皮的恶性肿瘤，全世界每年约30万人死于食管癌。中国是食管癌的高发区，全世界约48％的食管癌发生在中国，与此同时全世界约49％的死亡患者在中国。在中国，90％以上食管癌为鳞癌，而且高发于农村和经济落后地区；患者中约有75％为局部晚期或者晚期食管癌，5年生存率低于20％，而食管早癌经治疗后5年生存率可达90％以上。由此看来，食管癌的早诊早治显得尤为重要。
食管扁平上皮内有乳头状结构，乳头内的微血管叫做上皮乳头内毛细血管袢(intra-epithelial papillary capillary loop；IPCL)。我们通过电子放大内镜对IPCL形态的观察，可以初步在镜下判断食管病变的不典型增生和肿瘤浸润深度。对于IPCL的研究，有井上分型、有马分型、AB分型，这些分型都是用来观察食管IPCL的。其中，2011年日本食管学会提出了偏向治疗原则的分型方法——AB分型，良性病变不需处理的都归为A型，内镜治疗的绝对适应症都归为B1型，内镜治疗的相对适应症归为B2型，外科适应症归为B3型。与此同时，由B型血管包围的无血管区域(Avascular area,AVA)又根据区域的直径大小分为三种类型，分别为AVA-small(直径小于0.5mm)、AVA-middle(直径介于0.5mm-3.0mm)、AVA-large(直径大于3.0mm)。
《中外医疗》2019年18期中名称为“应用卷积神经网络的人工智能技术在早期食管癌诊断中的临床分析”的文献公开了卷积神经网络在食管癌诊断中的应用。但该文献中的卷积神经网络模型主要用于识别早期食管癌的敏感度、特异度和诊断时间。无法准确探测出食管高风险病灶和判断食管肿瘤病灶的AB分型和AVA分型，从而无法评估食管癌患者的正确治疗方式，不能帮助内镜医师选择准确的食管肿瘤治疗方案，为此，我们提出一种基于人工智能的食管癌术前管理的方法和系统。
发明内容
基于背景技术存在的技术问题，本发明提出了一种基于人工智能的食管癌术前管理的方法和系统，能够探测出食管高风险病灶，并在ME-NBI模式下进一步检测出食管肿瘤病灶AB分型和AVA分型的工具，帮助内镜医师选择准确的食管肿瘤治疗方案，从而解决了现有技术无法评估食管癌患者病变进展情况，不能帮助内镜医师进行术前食管肿瘤治疗方案选择的问题。
本发明提供如下技术方案：
一种基于人工智能的食管癌术前管理的方法，包括如下步骤：
S1、对连续的胃镜影像进行固定时间间隔的跳帧采集，形成连续的序列化图像帧；
S2、利用构建好的可识别NBI远景和ME-NBI模式的分类模型1识别当前图像帧的模式；
S3、分类模型1识别为NBI远景时，利用构建好的深度学习目标检测模型2实时地检测图像帧中的可疑病灶，同时区分病灶风险级别并标记；
S4、分类模型1识别为ME-NBI模式时，利用构建好的深度学习语义分割模型3对图像进行A、B1、B2和B3型四种类型的识别分割；
S5、深度学习语义分割模型3识别出血管形态为B1、B2、B3时，把识别出的图片区域裁剪后，由构建好的深度学习语义分割模型4识别裁剪出的图片，进一步分割识别出AVA位置，并给出AVA-small、AVA-middle、AVA-large三种类型结果。
优选的，所述步骤S3中的病灶风险级别分为高风险和低风险，对低风险级别病灶用蓝色矩形框标记，高风险病灶则用红色矩形框标记。
一种基于人工智能的食管癌术前管理的系统，包括客户端和服务端；
所述客户端用于监听采集胃镜设备NBI远景模式和ME-NBI模式下的内镜图像，并通过网络上传到服务端，同时接收和实时显示识别结果；
所述服务端接收从客户端采集的内镜图像，识别图像，把各种识别结果反馈给客户端，所述服务端包括病例典型图片库、图片模式识别模块、高风险病灶目标识别模块、表面血管分型识别模块和AVA分割识别模块；
所述病例典型图片库用于在病例检查报告中展示典型图片；
所述图片模式识别模块根据接收到的图片，识别出是NBI远景模式或是ME-NBI模式；
所述高风险病灶目标识别模块是对NBI远景图片识别病灶位置，同时给出病灶是高风险还是低风险的判断；
所述表面血管分型识别模块对ME-NBI模式图片分割识别出A、B1、B2和B3型位置范围；
所述AVA分割识别模块对分割出的B1、B2和B3型图片进一步分割识别出AVA位置，并给出AVA-small、AVA-middle、AVA-large三种类型结果。
优选的，所述客户端接收和实时显示NBI远景模式下食管高风险病灶，并提示内镜医师打开ME-NBI模式；客户端在ME-NBI模式对高风险病灶进一步仔细观察，接收并实时显示食管高风险病灶的AB分型结果和位置、AVA分型结果和位置。
优选的，所述客户端还包括通信模块，用于发送请求到服务端，并从服务端获取NBI远景下的高风险病灶目标检测结果、ME-NBI模式下的病灶表面血管分型的AB血管和AVA不同分型的定位结果，将目标检测结果和定位结果传输给客户端并显示。
优选的，所述病例典型图片库中展示的典型图片分为三类，第一类储存若干张胃镜NBI远景模式下三种典型食管内窥镜图像，包括正常食管粘膜图像、食管癌粘膜图像、非食管癌粘膜异常图像；第二类存储若干张胃镜ME-NBI模式下4种典型食管肿瘤病灶表面血管类型的图像，包括A、B1、B2和B3型4种类别；第三类存储若干张胃镜ME-NBI模式下由B型血管围成的三种典型AVA图像，包括AVA-small、AVA-middle、AVA-large。
本发明提供了一种基于人工智能的食管癌术前管理的方法和系统，根据不同的任务构建多个深度学习模型(涉及图像分类、目标检测、语义分割)，并采用级联的模型融合技术，在内镜医师进行食管疾病筛查过程中，提供全流程智能辅助诊断功能。通过在NBI远景模式下探测出食管高风险病灶，并根据内镜检查所观察到的AB分型和AVA分型，可以帮助医生更好地对患者的病情进行较为准确的评估，提供更为科学的治疗选择。
附图说明
图1为本发明方法流程图；
图2为本发明系统原理图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，本发明提供一种技术方案：
一种基于人工智能的食管癌术前管理的方法，包括如下步骤：
S1、基于强大的通用图像处理库OpenCV构建的前置图像采集模块，对连续的胃镜影像进行固定时间间隔的跳帧采集，形成连续的序列化图像帧。采集时间间隔的长短取决于S2-S5中涉及的深度学习模型完成一次完整诊断流程所消耗的时间，模型的预测速度越快，采集时间间隔就越短，诊断性能的连续性和实时性就越好。
S2、利用构建好的可识别NBI远景和ME-NBI模式的的分类模型(DCNN1)识别当前图像帧的模式。(DCNN1代表分类模型1、DCNN2代表深度学习目标检测模型2、DCNN3代表深度学习语义分割模型3、DCNN4代表深度学习语义分割模型4，其中DCNN是深度卷积神经网络Deepconvolution neural network的英文缩写。)
图像分类的卷积神经网络一般由以下结构组成：
输入层：通常为彩色图片或灰度图片的像素矩阵，三维矩阵中长宽代表图像大小，深度代表色彩通道。
卷积层：卷积层每一节点输入只是上层网络一小块，常用3x3或5x5，用于获取抽象程度更高的特征。
池化层：不会改变三维矩阵的深度，但会缩小矩阵大小。将分辨率高的图片转化为分辨率较低，可以进一步缩小全连接层中节点个数，达到减小参数的目的。
全连接层：一般由1到2个全连接层得出最后结果。经过几轮卷积和池化后，图像中的信息被抽象成信息含量更高的特征。全连接层完成分类任务。
Softmax层：可得到当前样例属于不同类别的概率分布。
S3、DCNN1模型识别为NBI远景时，利用构建好的深度学习目标检测模型(DCNN2)实时地检测图像帧中的可疑病灶，同时区分病灶风险级别(高风险/低风险)，对低风险级别病灶用蓝色矩形框标记，高风险病灶则用红色矩形框标记。
基于深度学习的目标检测(Object Detection)算法经过了很长时间的技术积累和改良，性能趋于稳定，目前主流的算法有SSD、YOLO、Retina-Net。本实施例考虑到很高的实时性要求，优选YOLO(You Only Look Once)系列最新版本YOLO4，该算法的检测速度可以达到40fps，准确度也很好。
S4、DCNN1模型识别为ME-NBI模式时，利用构建好的深度学习语义分割模型(DCNN3)对图像进行A、B1、B2和B3型四种类型的识别分割。
语义分割(Semantic Segmentation)是计算机视觉领域非常重要且基础的研究方向。目前主流的算法有SegNet、RefineNet、Mask R-CNN、U-Net++。其中U-Net++是目前在医学图像处理领域，应用很广泛的网络结构，在大量的AI技术论文和医学AI研究领域中被大量采用，因此本发明实施例优选U-Net++。该算法是一种全卷积神经网络，酷似U型而得名，输入和输出都是图像，没有全连接层，能够同时结合底层和高层信息，底层信息有助于提高精度，高层信息用来提取复杂特征。其性能特点：具有快速训练收敛的特性、具有很强的网络泛化能力。
S5、DCNN3模型识别出血管形态为B型(含B1、B2、B3)时，把识别出的图片区域裁剪出，由构建好的深度学习语义分割模型(DCNN4)识别裁剪出的图片，进一步对裁剪出的图片进行AVA-small、AVA-middle、AVA-large等三种类型的识别分割。本实施例在这里也选取U-Net++作为深度学习分割模型。最后客户端接收识别结果，并显示，作为内镜医师疾病诊断、治疗方案确定的重要参考。
请参阅图2，一种基于人工智能的食管癌术前管理的系统，包括客户端和服务端；
客户端，1、监听采集胃镜设备NBI远景模式和ME-NBI模式下的内镜图像，并通过网络上传到服务端。2、接收和实时显示NBI远景模式下食管高风险病灶，并提示内镜医师打开ME-NBI模式。3、客户端在ME-NBI模式对高风险病灶进一步仔细观察，接收并实时显示食管高风险病灶的IPCL AB分型结果和位置、AVA分型结果和位置。
客户端还包括通信模块，用于发送请求到服务端，并从服务端获取NBI远景下的高风险病灶目标检测结果、ME-NBI模式下的病灶表面血管分型的AB血管和AVA不同分型的定位结果，将目标检测结果和定位结果传输给客户端并显示。
服务端，1、接收从客户端采集的内镜图像，用卷积神经网络进行NBI远景和ME-NBI模式的识别。2、对NBI远景模式的内窥镜图像进行病灶目标识别，同时给出高/低风险分类。3、对ME-NBI模式的内窥镜图像，进行高风险病灶的表面血管形态特征识别，分别标识出A、B1、B2、B3型位置，对B型(含B1、B2、B3)同时标识出AVA-small、AVA-middle、AVA-large的范围位置。3、把各种识别结果反馈给客户端。
服务端接收从客户端采集的内镜图像，识别图像，把各种识别结果反馈给客户端，服务端包括病例典型图片库、图片模式识别模块、高风险病灶目标识别模块、表面血管分型识别模块和AVA分割识别模块；
病例典型图片库用于在病例检查报告中展示典型图片；病例典型图片库中展示的典型图片分为三类，第一类储存若干张胃镜NBI远景模式下三种典型食管内窥镜图像，包括正常食管粘膜图像、食管癌粘膜图像、非食管癌粘膜异常图像；第二类存储若干张胃镜ME-NBI模式下4种典型食管肿瘤病灶表面血管类型的图像，包括A、B1、B2和B3型4种类别；第三类存储若干张胃镜ME-NBI模式下由B型血管围成的三种典型AVA图像，包括AVA-small、AVA-middle、AVA-large。
图片模式识别模块根据接收到的图片，识别出是NBI远景模式或是ME-NBI模式；
高风险病灶目标识别模块是对NBI远景图片识别病灶位置，同时给出病灶是高风险还是低风险的判断；高风险病灶目标检测是根据食管粘膜的形态学差异组织学，将食管粘膜分为正常食管粘膜、食管癌粘膜以及非食管癌异常粘膜三种类型。
表面血管分型识别模块对ME-NBI模式图片分割识别出A、B1、B2和B3型位置范围；病灶表面血管分型识别是根据组织学将食管肿瘤病灶表面血管分为A、B1、B2和B3型四种类型。
AVA分割识别模块对分割出的B1、B2和B3型图片进一步分割识别出AVA位置，并给出AVA-small、AVA-middle、AVA-large三种类型结果。AVA-small、AVA-middle、AVA-large等是由B型血管围成的无血管区域
本发明借助人工智能技术构建了一个从内镜图像中学习的人工智能食管癌术前管理系统，从而帮助内镜医师在NBI模式下准确判断食管肿瘤病灶的AB分型和AVA分型，根据内镜检查所观察到的AB分型和AVA分型，可以帮助医生更好地对患者的病情进行较为准确的评估，提供更为科学的治疗选择。
以上，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (7)

1.一种基于人工智能的食管癌术前管理的方法，其特征在于：包括如下步骤：
S1、对连续的胃镜影像进行固定时间间隔的跳帧采集，形成连续的序列化图像帧；
S2、利用构建好的可识别NBI远景和ME-NBI模式的分类模型1识别当前图像帧的模式；
S3、分类模型1识别为NBI远景时，利用构建好的深度学习目标检测模型2实时地检测图像帧中的可疑病灶，同时区分病灶风险级别并标记；
S4、分类模型1识别为ME-NBI模式时，利用构建好的深度学习语义分割模型3对图像进行A、B1、B2和B3型四种类型的识别分割；
S5、深度学习语义分割模型3识别出血管形态为B1、B2、B3时，把识别出的图片区域裁剪后，由构建好的深度学习语义分割模型4识别裁剪出的图片，进一步分割识别出AVA位置，并给出AVA-small、AVA-middle、AVA-large三种类型结果。
2.根据权利要求1所述的一种基于人工智能的食管癌术前管理的方法，其特征在于：所述步骤S3中的病灶风险级别分为高风险和低风险，对低风险级别病灶用蓝色矩形框标记，高风险病灶则用红色矩形框标记。
3.一种基于人工智能的食管癌术前管理的系统，其特征在于：包括客户端和服务端；
所述客户端用于监听采集胃镜设备NBI远景模式和ME-NBI模式下的内镜图像，并通过网络上传到服务端，同时接收和实时显示识别结果；
所述服务端接收从客户端采集的内镜图像，识别图像，把各种识别结果反馈给客户端，所述服务端包括病例典型图片库、图片模式识别模块、高风险病灶目标识别模块、表面血管分型识别模块和AVA分割识别模块；
所述病例典型图片库用于在病例检查报告中展示典型图片；
所述图片模式识别模块根据接收到的图片，识别出是NBI远景模式或是ME-NBI模式；
所述高风险病灶目标识别模块是对NBI远景图片识别病灶位置，同时给出病灶是高风险还是低风险的判断；
所述表面血管分型识别模块对ME-NBI模式图片分割识别出A、B1、B2和B3型位置范围；
所述AVA分割识别模块对分割出的B1、B2和B3型图片进一步分割识别出AVA位置，并给出AVA-small、AVA-middle、AVA-large三种类型结果。
4.根据权利要求3所述的一种基于人工智能的食管癌术前管理的系统，其特征在于：所述客户端接收和实时显示NBI远景模式下食管高风险病灶，并提示内镜医师打开ME-NBI模式；客户端在ME-NBI模式对高风险病灶进一步仔细观察，接收并实时显示食管高风险病灶的AB分型结果和位置、AVA分型结果和位置。
5.根据权利要求4所述的一种基于人工智能的食管癌术前管理的系统，其特征在于：所述客户端还包括通信模块，用于发送请求到服务端，并从服务端获取NBI远景下的高风险病灶目标检测结果、ME-NBI模式下的病灶表面血管分型的AB血管和AVA不同分型的定位结果，将目标检测结果和定位结果传输给客户端并显示。
6.根据权利要求3所述的一种基于人工智能的食管癌术前管理的系统，其特征在于：所述病例典型图片库中展示的典型图片分为三类，第一类储存若干张胃镜NBI远景模式下三种典型食管内窥镜图像，包括正常食管粘膜图像、食管癌粘膜图像、非食管癌粘膜异常图像；第二类存储若干张胃镜ME-NBI模式下4种典型食管肿瘤病灶表面血管类型的图像，包括A、B1、B2和B3型4种类别；第三类存储若干张胃镜ME-NBI模式下由B型血管围成的三种典型AVA图像，包括AVA-small、AVA-middle、AVA-large。
7.根据权利要求3所述的一种基于人工智能的食管癌术前管理的系统，其特征在于：所述高风险病灶目标识别模块根据食管粘膜的形态学差异组织学，将食管粘膜分为正常食管粘膜、食管癌粘膜以及非食管癌异常粘膜三种类型。
CN202010778272.XA 2020-08-05 2020-08-05 一种基于人工智能的食管癌术前管理的方法和系统 Active CN111862090B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010778272.XA CN111862090B (zh) 2020-08-05 2020-08-05 一种基于人工智能的食管癌术前管理的方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010778272.XA CN111862090B (zh) 2020-08-05 2020-08-05 一种基于人工智能的食管癌术前管理的方法和系统

Publications (2)

Publication Number Publication Date
CN111862090A true CN111862090A (zh) 2020-10-30
CN111862090B CN111862090B (zh) 2023-10-10

Family

ID=72971362

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010778272.XA Active CN111862090B (zh) 2020-08-05 2020-08-05 一种基于人工智能的食管癌术前管理的方法和系统

Country Status (1)

Country Link
CN (1) CN111862090B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112837296A (zh) * 2021-02-05 2021-05-25 深圳瀚维智能医疗科技有限公司 基于超声视频的病灶检测方法、装置、设备及存储介质
CN113487609A (zh) * 2021-09-06 2021-10-08 北京字节跳动网络技术有限公司 组织腔体的定位方法、装置、可读介质和电子设备
CN114494255A (zh) * 2022-04-14 2022-05-13 武汉楚精灵医疗科技有限公司 医学图像处理方法、装置、计算机设备及存储介质
CN115311268A (zh) * 2022-10-10 2022-11-08 武汉楚精灵医疗科技有限公司 食管内窥镜图像的识别方法及装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170319147A1 (en) * 2016-05-04 2017-11-09 National Chung Cheng University Cancerous lesion identifying method via hyper-spectral imaging technique
CN108596884A (zh) * 2018-04-15 2018-09-28 桂林电子科技大学 一种胸部ct图像中的食管癌分割方法
CN108615037A (zh) * 2018-05-31 2018-10-02 武汉大学人民医院（湖北省人民医院） 基于深度学习的可控胶囊内镜操作实时辅助系统及操作方法
CN108695001A (zh) * 2018-07-16 2018-10-23 武汉大学人民医院（湖北省人民医院） 一种基于深度学习的癌症病灶范围预测辅助系统及方法
CN108937871A (zh) * 2018-07-16 2018-12-07 武汉大学人民医院（湖北省人民医院） 一种消化道微光学相干断层成像图像分析系统及方法
JP2019154943A (ja) * 2018-03-15 2019-09-19 ライフサイエンスコンピューティング株式会社 人工知能を用いた病変の検知方法、及び、そのシステム
WO2019245009A1 (ja) * 2018-06-22 2019-12-26 株式会社Ａｉメディカルサービス 消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体
CN111340094A (zh) * 2020-02-21 2020-06-26 湘潭大学 基于深度学习的胶囊内窥镜图像辅助分类系统和分类方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170319147A1 (en) * 2016-05-04 2017-11-09 National Chung Cheng University Cancerous lesion identifying method via hyper-spectral imaging technique
JP2019154943A (ja) * 2018-03-15 2019-09-19 ライフサイエンスコンピューティング株式会社 人工知能を用いた病変の検知方法、及び、そのシステム
CN108596884A (zh) * 2018-04-15 2018-09-28 桂林电子科技大学 一种胸部ct图像中的食管癌分割方法
CN108615037A (zh) * 2018-05-31 2018-10-02 武汉大学人民医院（湖北省人民医院） 基于深度学习的可控胶囊内镜操作实时辅助系统及操作方法
WO2019245009A1 (ja) * 2018-06-22 2019-12-26 株式会社Ａｉメディカルサービス 消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体
CN108695001A (zh) * 2018-07-16 2018-10-23 武汉大学人民医院（湖北省人民医院） 一种基于深度学习的癌症病灶范围预测辅助系统及方法
CN108937871A (zh) * 2018-07-16 2018-12-07 武汉大学人民医院（湖北省人民医院） 一种消化道微光学相干断层成像图像分析系统及方法
CN111340094A (zh) * 2020-02-21 2020-06-26 湘潭大学 基于深度学习的胶囊内窥镜图像辅助分类系统和分类方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
李焱冬;王实;: "人工智能在上消化道疾病诊断中应用的研究进展", 胃肠病学, no. 05 *
雷维商;张锦华;王晨晨;王明瑞;曹方;: "窄带成像放大内镜联合超声内镜对早期食管癌的诊治意义", 微创医学, no. 01 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112837296A (zh) * 2021-02-05 2021-05-25 深圳瀚维智能医疗科技有限公司 基于超声视频的病灶检测方法、装置、设备及存储介质
CN113487609A (zh) * 2021-09-06 2021-10-08 北京字节跳动网络技术有限公司 组织腔体的定位方法、装置、可读介质和电子设备
CN114494255A (zh) * 2022-04-14 2022-05-13 武汉楚精灵医疗科技有限公司 医学图像处理方法、装置、计算机设备及存储介质
CN114494255B (zh) * 2022-04-14 2022-07-19 武汉楚精灵医疗科技有限公司 医学图像处理方法、装置、计算机设备及存储介质
CN115311268A (zh) * 2022-10-10 2022-11-08 武汉楚精灵医疗科技有限公司 食管内窥镜图像的识别方法及装置
CN115311268B (zh) * 2022-10-10 2022-12-27 武汉楚精灵医疗科技有限公司 食管内窥镜图像的识别方法及装置

Also Published As

Publication number Publication date
CN111862090B (zh) 2023-10-10

Similar Documents

Publication Publication Date Title
RU2765619C1 (ru) Компьютерная классификация биологической ткани
JP7335552B2 (ja) 画像診断支援装置、学習済みモデル、画像診断支援装置の作動方法および画像診断支援プログラム
CN111862090A (zh) 一种基于人工智能的食管癌术前管理的方法和系统
US7319781B2 (en) Method and system for multiple passes diagnostic alignment for in vivo images
CN111227864B (zh) 使用超声图像利用计算机视觉进行病灶检测的装置
CN113379693B (zh) 基于视频摘要技术的胶囊内镜关键病灶图像检测方法
CN111899229A (zh) 一种基于深度学习多模型融合技术的胃早癌辅助诊断方法
US20220172828A1 (en) Endoscopic image display method, apparatus, computer device, and storage medium
CN109117890B (zh) 一种图像分类方法、装置和存储介质
WO2005039411A1 (en) Real-time abnormality detection for in vivo images
CN111214255A (zh) 一种医学超声图像计算机辅助诊断方法
KR102531400B1 (ko) 인공 지능 기반 대장 내시경 영상 진단 보조 시스템 및 방법
Mathew et al. Transform based bleeding detection technique for endoscopic images
CN114372951A (zh) 基于图像分割卷积神经网络的鼻咽癌定位分割方法和系统
Ghosh et al. Block based histogram feature extraction method for bleeding detection in wireless capsule endoscopy
CN111428066A (zh) 一种基于卷积神经网络的病变图像的分类和分割方法
CN116745861A (zh) 通过实时影像获得的病变判断系统的控制方法、装置及程序
Vasudeva et al. Classifying Skin Cancer and Acne using CNN
US20210209755A1 (en) Automatic lesion border selection based on morphology and color features
CN116468727B (zh) 基于腔镜图像识别辅助判断子宫内膜高危增生的方法及系统
CN115460968A (zh) 图像诊断装置、图像诊断方法、图像诊断程序和学习完毕模型
Arnold et al. Indistinct frame detection in colonoscopy videos
Sindhu et al. A novel method for automatic detection of inflammatory bowel diseases in wireless capsule endoscopy images
KR20220122312A (ko) 인공 지능 기반 위 내시경 영상 진단 보조 시스템 및 방법
US12002573B2 (en) Computer classification of biological tissue

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant