CN111278348A - 基于消化器官的内视镜影像的疾病的诊断支援方法、诊断支援系统、诊断支援程序及存储着此诊断支援程序的计算机能够读取的记录介质 - Google Patents

基于消化器官的内视镜影像的疾病的诊断支援方法、诊断支援系统、诊断支援程序及存储着此诊断支援程序的计算机能够读取的记录介质 Download PDF

Info

Publication number
CN111278348A
CN111278348A CN201880037797.9A CN201880037797A CN111278348A CN 111278348 A CN111278348 A CN 111278348A CN 201880037797 A CN201880037797 A CN 201880037797A CN 111278348 A CN111278348 A CN 111278348A
Authority
CN
China
Prior art keywords
image
digestive organ
endoscopic
disease
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880037797.9A
Other languages
English (en)
Inventor
多田智裕
青山和玄
瀧山博年
小澤毅士
遠藤有真
熊谷洋一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
AI Medical Service Inc
Original Assignee
AI Medical Service Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by AI Medical Service Inc filed Critical AI Medical Service Inc
Publication of CN111278348A publication Critical patent/CN111278348A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00011—Operational features of endoscopes characterised by signal transmission
    • A61B1/00016—Operational features of endoscopes characterised by signal transmission using wireless means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/143—Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/273—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the upper alimentary canal, e.g. oesophagoscopes, gastroscopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30028—Colon; Small intestine
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30028—Colon; Small intestine
    • G06T2207/30032—Colon polyp
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30092—Stomach; Gastric
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Optics & Photonics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Probability & Statistics with Applications (AREA)
  • Software Systems (AREA)
  • Endoscopes (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种利用类神经网络的基于消化器官的内视镜影像的疾病的诊断支援方法等。本发明是一种使用类神经网络的基于消化器官的内视镜影像的疾病的诊断支援方法，其特征在于：使用消化器官的第1内视镜影像、及与所述第1内视镜影像对应的所述消化器官的所述疾病的阳性或阴性、过去的疾病、重症度等级、或与所拍摄的部位对应的信息中的至少一者的确诊结果来训练类神经网络，所述经训练的类神经网络基于消化器官的第2内视镜影像，输出该消化器官的疾病的阳性及/或阴性的概率、过去的疾病的概率、疾病的重症度等级、或与所拍摄的部位对应的信息中的至少一者。

Description

基于消化器官的内视镜影像的疾病的诊断支援方法、诊断支 援系统、诊断支援程序及存储着此诊断支援程序的计算机能 够读取的记录介质
技术领域
本发明涉及一种使用类神经网络(neural network)的基于消化器官的内视镜影像的疾病的诊断支援方法、诊断支援系统、诊断支援程序及存储着此诊断支援程序的计算机能够读取的记录介质。
背景技术
对于消化器官、例如喉头、咽部、食道、胃、十二指肠、胆道、胰管、小肠、大肠等，多数进行内视镜检查，上部消化器官的内视镜检查是为了筛查胃癌、食道癌、消化性溃疡、反流性胃炎等而经常进行，另外，大肠的内视镜检查是为了筛查大肠癌、大肠息肉、溃疡性大肠炎等而经常进行。尤其是上部消化器官的内视镜检查对各种上腹部症状的详细检查、接受针对胃病的钡检查的阳性结果后的精密检查、及一般纳入日本的定期健康诊断的针对异常血清胃蛋白酶原等级的精密检查也有用。另外，近年来，胃癌诊查正推进由以往的钡检查向胃内视镜检查转变。
胃癌是最常见的恶性肿瘤之一，推测在数年前全世界发病约达100万例。胃癌发病的根本原因中幽门螺旋杆菌(Helicobacter pylori，以下有时称为“H.pylori”)感染会诱发萎缩性胃炎、肠上皮化生，并最终导致胃癌发病。认为全世界非贲门胃癌中的98％是由H.pylori引起的。考虑到感染了H.pylori的患者患胃癌的危险性提高，而H.pylori除菌后的胃癌的发生率降低，国际癌症研究机构(International Agency for Research onCancer)将H.pylori分类为明确的致癌物质。根据此结果，为了降低胃癌发病的风险，进行H.pylori除菌较为有用，利用抗菌药物的除菌也成为我国的保险诊疗，并且是今后仍在保健卫生上强烈提倡的治疗方法。
对于H.pylori感染的存在的鉴别诊断中，胃内视镜检查提供极其有用的信息。能够清楚地观察到毛细血管的情况(RAC(regular arrangement of collecting venules，规则排列的集合小静脉))或胃底腺息肉是H.pylori阴性的胃粘膜的特征，但萎缩、发红、粘膜肿胀、皱壁肥大是H.pylori感染胃炎的代表性所见。H.pylori感染的准确的内视镜诊断是通过血液或尿中的抗H.pylori IgG等级测定、粪便抗原测定、尿素呼气试验、或迅速脲酶试验等各种检查而确认，检查结果为阳性的患者可进行H.pylori除菌。内视镜检查广泛用于胃病变的检查，但如果在不依据临床检体分析而进行胃病变的确认时甚至能够特定出H.pylori感染，那么可不进行统一的血液检查或尿检查等，患者的负担大幅减轻，而且也能期待医疗经济上的贡献。
另外，尤其是在先进工业国，溃疡性大肠炎(UC)的罹患率稳步增加，提示了欧美的饮食生活或环境是溃疡性大肠炎的原因之一。为了治疗溃疡性大肠炎，有包含美色拉
Figure BDA0002306144480000021
皮质类固醇、及抗肿瘤坏死因子单株抗体的若干个选项，按照患者的临床症状及疾病活动指数使用这些药物将疾病活性保持为缓解状态较为重要。
除临床症状的得分以外，也使用溃疡性大肠炎患者的大肠内视镜检查主要对其程度及重症度进行评估，在以前的研究中，报告有与内视镜疾病活动的测定的组合。其中，Mayo(梅奥)内视镜得分是在用来评估溃疡性大肠炎患者的疾病活动性的临床实践中可靠性最高且被广泛使用的指标之一。具体来说，Mayo内视镜得分被分类为0：正常或非活动性、1：轻症(发红、血管透视影像不清晰、轻度的易出血性)、2：中等症(透亮发红、血管透视影像消失、易出血性、糜烂)、3：重伤(自然出血、溃疡)这4种。
定义为Mayo内视镜得分＜1且被称为“粘膜治愈”的内视镜缓解状态表示与皮质类固醇使用率、入院率、临床复发率及结肠切除率的降低相关。然而，在之前的报告中，如果并非专家，那么κ-系数为0.45～0.53的范围，在疾病活动性的评估中观察者间存在相当大的差，即便是受过适度训练的专家，也是0.71～0.74的范围的一致度。此外，κ-系数是评估观察者间的诊断的一致度的参数，取0～1的值，值越大则判断为一致度越高。
在这种消化器官的内视镜检查中，收集较多的内视镜影像，但为了进行精度管理，内视镜专科医生有义务进行内视镜影像的双重检查。伴随着每年多达数万例的内视镜诊查，在二次读影时内视镜专科医生所要读影的影像张数为每人1小时约2800张的庞大数量，成为现场的较大负担。
并且，基于这些内视镜影像的诊断不仅在针对内视镜专科医生的训练或检查保存影像方面需要花费大量时间，而且较为主观，可能会产生各种假阳性判断及假阴性判断。进而，内视镜专科医生的诊断有时会因疲劳而导致精度劣化。这种现场的巨大负担或精度的降低可能也会导致受诊者人数的限制，甚至还假设不能充分地提供与需要相应的医疗服务的顾虑。
为了改善所述内视镜检查的劳务负荷及精度降低，而期待有效利用AI(人工智能：artificial intelligence)。如果能够使用近年来影像识别能力超过人类的AI作为内视镜专科医生的辅助，那么期待可提高二次读影作业的精度及速度。近年来，使用深层学习(deep learning)的AI在各种医疗领域受到关注，有可代替专科医生筛查放射线肿瘤学、皮肤癌分类、糖尿病性视网膜病变等医学影像的报告。
尤其是，已证明了在显微内视镜等级的筛查中，AI可展现与专科医生同等的精度(非专利文献1)。另外，发表了在皮肤科中具有深层学习功能的AI发挥与专科医生同等的影像诊断能力(非专利文献2)，也存在利用各种机器学习法的专利文献(参照专利文献1、2)。然而，关于AI的内视镜影像诊断能力能否满足在实际的医疗现场起作用的精度(准确性)及性能(速度)，则尚未验证，且利用机器学习法的基于内视镜影像的诊断尚未被实用化。
深层学习可使用多层重叠而构成的类神经网络，根据输入数据学习高次的特征值。另外，深层学习可使用反向传播算法，通过表示装置应如何变更而更新用来根据之前的层的表现来计算各层的表现的内部参数。
在医用影像建立关联时，深层学习能够成为可使用过去累积的医用影像进行训练，从而可根据医学影像直接获得患者的临床特征的高效的机器学习技术。类神经网络是通过计算器上的模拟来表现脑神经回路的特性的数理模型，支持深层学习的算法的途径是类神经网络。
背景技术文献
专利文献
专利文献1：日本专利特开2017-045341号公报
专利文献2：日本专利特开2017-067489号公报
专利文献3：日本专利特开2013-113689号公报
非专利文献
非专利文献1：http://www.giejournal.org/article/S0016-5107(14)02171-3/fulltext,"Novel computer-aided diagnostic system for colorectal lesions byusing endocytoscopy"Yuichi Mori et.al.Presented at Digestive Disease Week2014,May 3-6,2014,Chicago,Illinois,USA
非专利文献2：“Nature”2017年2月号，卷头论文，“学习皮肤的病变：强化人工智能根据影像检测皮肤癌的能力”(http://www.natureasia.com/ja-jp/nature/highlights/82762)
非专利文献3：http://gentaikyo.or.jp/about/pdf/report/131119.pdf
非专利文献4：Kumagai Y,Monma K,Kawada K."Magnifying chromoendoscopy ofthe esophagus:in-vivo pathological diagnosis using an endocytoscopy system.",Endoscopy,2004,vol.36,p590-4.
非专利文献5：Esteva A,Kuprel B,Novoa RA,et al."Dermatologist-levelclassification of skin cancer with deep neural networks",Nature,2017,vol.542,p115-8
发明内容
[发明要解决的问题]
在消化管内视镜检查中的内视镜影像的判定作业中，维持较高精度的基础上的效率化成为较大的课题。另外，欲在该领域的影像解析中有效利用AI时，该AI技术的提升成为较大的课题。进而，就发明者们所知，并不存在与用来诊断H.pylori感染胃炎、溃疡性大肠炎或食道疾病、尤其是使用超放大内视镜(Endocytoscopy：ECS)影像的食道疾病的类神经网络的能力相关的报告、或经由利用类神经网络的深层学习在基于这些消化管内视镜影像的解析的H.pylori感染胃炎检查、溃疡性大肠炎的检查或食道疾病的检查中被最佳化而安装在医疗现场并加以利用的示例，成为今后应解决的课题。
另外，在上部内视镜检查中，不仅胃，而且喉头、咽部、食道、十二指肠等多个器官的影像也混合存在，但认为尤其是在胃癌内视镜诊查中如果可利用AI将所收集的影像按器官或部位进行区分，那么将会减轻内视镜专科医生的观察结果填写或二次读影的负担。
本发明的目的在于提供一种可通过使用消化器官的内视镜影像且使用类神经网络来准确地进行疾病、例如H.pylori感染胃炎、溃疡性大肠炎或食道疾病等的诊断的基于消化器官的内视镜影像的疾病的诊断支援方法、诊断支援系统、诊断支援程序及存储着此诊断支援程序的计算机能够读取的记录介质。
[解决问题的技术手段]
本发明的第1形态的基于消化器官的内视镜影像的疾病的诊断支援方法的特征在于：使用类神经网络，且使用
消化器官的第1内视镜影像、及
与所述第1内视镜影像对应的所述消化器官的所述疾病的阳性或阴性、过去的疾病、重症度等级、或与所拍摄的部位对应的信息中的至少一者的确诊结果训练类神经网络，
所述经训练的类神经网络基于消化器官的第2内视镜影像输出该消化器官的疾病的阳性及/或阴性的概率、过去的疾病的概率、疾病的重症度等级、或与所拍摄的部位对应的信息中的至少一者。
根据该形态的使用类神经网络的基于消化器官的内视镜影像的疾病的诊断支援方法，因为基于针对多位受验者分别预先获得的包含多个消化器官的内视镜影像的第1内视镜影像、及针对多位受验者分别预先获得的所述疾病的阳性或阴性、过去的疾病、重症度等级、或与所拍摄的部位对应的信息中的至少一者的确诊结果来训练类神经网络，所以能在短时间内以实质上与内视镜专科医生匹敌的精度获得受验者的消化器官的疾病的阳性及/或阴性的概率、过去的疾病的概率、疾病的重症度等级、或与所拍摄的部位对应的信息中的任一者以上，从而能在短时间内筛选必须另行进行确诊的受验者。并且，由于能够自动诊断相对于包含针对多个受验者的多个消化器官的内视镜影像的测试数据的疾病的阳性及/或阴性的概率、过去的疾病的概率、疾病的重症度等级、或与所拍摄的部位对应的信息中的至少一者，所以不仅内视镜专科医生的检查/修正变得容易，而且也可谋求制作与疾病建立关联的影像集合的作业的省略化。
另外，本发明的第2形态的使用类神经网络的基于消化器官的内视镜影像的疾病的诊断支援方法是根据第1形态的使用类神经网络的基于消化器官的内视镜影像的疾病的诊断支援方法系统，其特征在于：所述第1内视镜影像进行了对比度的调整。
根据第2形态的使用类神经网络的基于消化器官的内视镜影像的疾病的诊断支援方法，由于对所有第1内视镜影像的对比度以成为实质上相同的灰阶的方式进行了调整，所以疾病的阳性及阴性各自的概率或重症度等级的检测精度提升。
另外，本发明的第3形态的使用类神经网络的基于消化器官的内视镜影像的疾病的诊断支援方法是根据第1或第2形态的使用类神经网络的基于消化器官的内视镜影像的疾病的诊断支援方法，其特征在于：所述第1内视镜影像分别与被拍摄的部位建立了关联。
在未被训练的类神经网络中，存在难以识别具体的消化器官的内视镜影像是哪个部位的影像的情况。根据第3形态的使用类神经网络的基于消化器官的内视镜影像的疾病的诊断支援方法，由于成为使用根据各个部位被分类的内视镜影像训练的类神经网络，所以能够对类神经网络进行与各个部位对应的细致的训练，因此，相对于第2内视镜影像的疾病的阳性及阴性各自的阴性的概率、过去的疾病的概率、疾病的重症度等级等的检测精度提升。
另外，本发明的第4形态的使用类神经网络的基于消化器官的内视镜影像的疾病的诊断支援方法是根据第3形态的使用类神经网络的基于消化器官的内视镜影像的疾病的诊断支援方法，其特征在于：所述部位包括咽部、食道、胃或十二指肠中的至少一个。
根据第4形态的使用类神经网络的基于消化器官的内视镜影像的疾病的诊断支援方法，可准确地进行咽部、食道、胃及十二指肠的每个部位的分类，因此，对于各个部位的疾病的阳性及阴性各自的阴性的概率、过去的疾病的概率、疾病的重症度等级等的检测精度提升。
另外，本发明的第5形态的使用类神经网络的基于消化器官的内视镜影像的疾病的诊断支援方法是根据第3或第4形态的使用类神经网络的基于消化器官的内视镜影像的疾病的诊断支援方法，其特征在于：所述部位在所述多个消化器官中的至少1个中被划分为多个部位。
由于消化器官分别呈复杂的形状，所以如果部位的分类数较少，那么存在难以识别具体的内视镜影像是该消化器官的哪个部位的影像的情况。
根据第5形态的使用类神经网络的基于消化器官的内视镜影像的疾病的诊断支援方法，由于在多个消化器官中分别划分为多个部位，所以可在短时间内获得高精度的诊断结果。
另外，本发明的第6形态的使用类神经网络的基于消化器官的内视镜影像的疾病的诊断支援方法是根据第5形态的使用类神经网络的基于消化器官的内视镜影像的疾病的诊断支援方法，其特征在于：在所述部位是胃的情况下，所述划分包含上部胃、中部胃或下部胃中的至少一个。另外，本发明的第7形态的使用类神经网络的基于消化器官的内视镜影像的疾病的诊断支援方法是根据第5形态的使用类神经网络的基于消化器官的内视镜影像的疾病的诊断支援方法，其特征在于：在所述部位是胃的情况下，所述划分包含贲门部、胃底部、胃体部、胃角部、前庭部、幽门窦或幽门部中的至少一个。
根据本发明的第6或第7形态的使用类神经网络的基于消化器官的内视镜影像的疾病的诊断支援方法，由于可准确地进行胃的各划分或每个部位的分类，所以对于各个划分或部位的疾病的阳性及阴性各自的阴性的概率、过去的疾病的概率、疾病的重症度等级等的检测精度提升。此外，胃的划分或部位的选择只要视需要适当地选择即可。
另外，本发明的第8形态的使用类神经网络的基于消化器官的内视镜影像的疾病的诊断支援方法是根据第3至第7形态中任一形态的使用类神经网络的基于消化器官的内视镜影像的疾病的诊断支援方法，其特征在于：在所述所拍摄的部位中的所述第1内视镜影像的数量比其它部位少的情况下，通过使用将所述第1内视镜影像旋转、放大、缩小、进行像素数的变更、明暗部的撷取、或色调变化部位的撷取中的至少一种，而使所有部位中的所述第1内视镜影像的数量实质上相等。
存在如下情况：针对多位受验者分别预先获得的包含多个消化器官的内视镜影像的第1内视镜影像的数量针对每个部位有较大差异。根据第8形态的使用类神经网络的基于消化器官的内视镜影像的疾病的诊断支援方法，在这种情况下，通过使用将该部位的第1内视镜影像适当地旋转、放大、缩小、进行像素数的变更、明暗部的撷取、或色调变化部位的撷取中的至少一种，也能够增加用来训练类神经网络的影像数，因此，基于部位不同的疾病的阳性及阴性各自的概率、过去的疾病的概率、疾病的重症度等级等的检测精度的差异减少。此外，在第8形态的使用类神经网络的基于消化器官的内视镜影像的疾病的诊断支援方法中，各部位的内视镜影像的数量也可不必相同，只要数量的差异较少即可。
另外，本发明的第9形态的使用类神经网络的基于消化器官的内视镜影像的疾病的诊断支援方法是根据第3至第8形态中任一形态的使用类神经网络的基于消化器官的内视镜影像的疾病的诊断支援方法，其特征在于：所述经训练的类神经网络能够输出与被拍摄了所述第2内视镜影像的部位对应的信息。
通常，对一位受检者可获得较多的消化器官的内视镜影像或连续拍摄影像。根据第9形态的使用类神经网络的基于消化器官的内视镜影像的疾病的诊断支援方法，由于针对每个第2内视镜影像输出疾病的阳性及阴性各自的概率及部位名，所以容易理解疾病的阳性部位或分布。
另外，本发明的第10形态的使用类神经网络的基于消化器官的内视镜影像的疾病的诊断支援方法是根据第9形态的使用类神经网络的基于消化器官的内视镜影像的疾病的诊断支援方法，其特征在于：所述经训练的类神经网络一并输出所述概率或所述重症度及与所述部位对应的信息。
根据第10形态的使用类神经网络的基于消化器官的内视镜影像的疾病的诊断支援方法，由于按照疾病的阳性的概率或重症度由高到低的顺序输出该概率或重症度及部位名，所以容易理解必须精密地检查的部位。
另外，本发明的第11形态的使用类神经网络的基于消化器官的内视镜影像的疾病的诊断支援方法是根据第1至第10形态中任一形态的使用类神经网络的基于消化器官的内视镜影像的疾病的诊断支援方法，其特征在于：所述第1内视镜影像包含胃内视镜影像，所述疾病包含幽门螺旋杆菌感染或幽门螺旋杆菌除菌的有无的至少一种。
根据第11形态的使用类神经网络的基于消化器官的内视镜影像的疾病的诊断支援方法，能以与日本消化器内视镜学会专科医生同等的精度预测受验者的幽门螺旋杆菌感染的阳性或阴性各自的概率或幽门螺旋杆菌除菌的有无，从而能在短时间内准确地筛选必须另行进行确诊的受验者。此外，关于确诊，可通过对筛选出的受验者进行血液或尿的抗H.pylori IgG等级测定、粪便抗原检查、或者尿素呼气检查而进行。
另外，本发明的第12形态的使用类神经网络的基于消化器官的内视镜影像的疾病的诊断支援方法是根据第1至第10形态中任一形态的使用类神经网络的基于消化器官的内视镜影像的疾病的诊断支援方法，其特征在于：所述第1内视镜影像包含大肠内视镜影像，所述疾病至少包含溃疡性大肠炎，所述经训练的类神经网络划分为与所述溃疡性大肠炎的重症度对应的多个阶段而输出。
根据第12形态的使用类神经网络的基于消化器官的内视镜影像的疾病的诊断支援方法，由于能以与日本消化器内视镜学会专科医生同等的精度预测受验者的溃疡性大肠炎的重症度，所以能在短时间内准确地筛选必须另行进行进一步精密检查的受验者。
另外，本发明的第13形态的使用类神经网络的基于消化器官的内视镜影像的疾病的诊断支援方法是根据第1至第10形态中任一形态的使用类神经网络的基于消化器官的内视镜影像的疾病的诊断支援方法，其特征在于：所述第1内视镜影像包含利用超放大内视镜所得的食道内视镜影像，所述疾病包含食道癌、胃食道反流症、或食道炎中的至少一种，所述经训练的类神经网络划分并输出所述食道癌、胃食道反流症、或食道炎中的至少一种。
根据第13形态的使用类神经网络的基于消化器官的内视镜影像的疾病的诊断支援方法，可基于利用超放大内视镜所得的食道内视镜影像将把非癌性的病变设为癌性的过度诊断抑制为最小限度，因此，可减少必须进行组织活体检查的受验者的人数。
另外，本发明的第14形态的使用类神经网络的基于消化器官的内视镜影像的疾病的诊断支援方法是根据第1至第13形态中任一形态的使用类神经网络的基于消化器官的内视镜影像的疾病的诊断支援方法，其特征在于：所述第2内视镜影像是利用内视镜拍摄中的影像、经由通信网络发送来的影像、利用远程操作系统或云端型系统而提供的影像、记录在计算机能够读取的记录介质中的影像、或动态影像中的至少一种。
根据第14形态的基于消化器官的内视镜影像的疾病的诊断支援方法，能在短时间内输出相对于所输入的第2内视镜影像的消化器官的疾病阳性及阴性各自的概率或重症度，因此，不论第2内视镜影像的输入形式如何，例如，即便为从远距离处发送的影像或动态影像，也能够利用。
此外，作为通信网络，可利用众所周知的因特网、内部网络、商际网络、LAN(LocalArea Network，局域网络)、ISDN(Integrated Service Digital Network，综合业务数字网)、VAN(value added network，加值网络)、CATV(Community Antenna Television，公共天线电视)通信网络、虚拟专用网络(virtual private network)、电话线路网、移动通信网络、卫星通信网络等。另外，构成通信网络的传输介质也可利用众所周知的IEEE1394串行总线、USB(Universal Serial Bus，通用串行总线)、电力线载波、有线电视线路、电话线线路、ADSL(Asymmetric Digital Subscriber Line，非对称数字用户线路)线路等有线、红外线、Bluetooth(注册商标)、IEEE802.11等无线、手机网络、卫星线路、地面数字网络等无线等。由此，能以所谓的云服务或远程支援服务的形态利用。
另外，作为计算机能够读取的记录介质，可使用众所周知的磁带或卡式磁带等带系、包含软(注册商标)盘、硬盘等磁盘、光盘-ROM(Read Only Memory，只读存储器)/MO(magneto-optical，磁光)/MD(MiniDisc，小型磁盘)/数字视盘/光盘-R等光盘的盘系、IC卡、存储卡、光学卡等卡系、或者掩模ROM/EPROM(Erasable Programmable Read OnlyMemory，可擦除可编程只读存储器)/EEPROM(Electrically Erasable Programmable ReadOnly Memory，电可擦除可编程只读存储器)/闪速ROM等半导体存储器系等。由此，可提供能够对所谓的医疗机构或诊查机构简便地移植或设置系统的形态。
另外，本发明的第15形态的使用类神经网络的基于消化器官的内视镜影像的疾病的诊断支援方法是根据第1至第14形态中任一形态的使用类神经网络的基于消化器官的内视镜影像的疾病的诊断支援方法，其特征在于：作为所述类神经网络，使用卷积类神经网络。
作为类神经网络的卷积类神经网络是模拟脑的视觉皮质的特性的数理模型，对影像的学习能力非常优异。因此，根据第15形态的使用类神经网络的基于消化器官的内视镜影像的疾病的诊断支援方法，成为更高灵敏度且更高特异度，因此，有用性变得非常大。
进而，本发明的第16形态的基于消化器官的内视镜影像的疾病的诊断支援系统的特征在于：具有内视镜影像输入部、输出部、及组入了类神经网络的计算机，所述计算机具备：第1存储区域，存储消化器官的第1内视镜影像；第2存储区域，存储与所述第1内视镜影像对应的所述消化器官的所述疾病的阳性或阴性、过去的疾病、重症度等级、或与所拍摄的部位对应的信息中的至少一者的确诊结果；及第3存储区域，存储所述类神经网络程序；所述类神经网络程序基于存储在所述第1存储区域的所述第1内视镜影像、及存储在所述第2存储区域的确诊结果被训练，且基于从所述内视镜影像输入部输入的消化器官的第2内视镜影像，将相对于所述第2内视镜影像的消化器官的疾病的阳性及/或阴性的概率、过去的疾病的概率、疾病的重症度等级、或与所拍摄的部位对应的信息中的至少一者输出到所述输出部。
另外，本发明的第17形态的基于消化器官的内视镜影像的疾病的诊断支援系统是根据第16形态的基于消化器官的内视镜影像的疾病的诊断支援系统，其特征在于：所述训练/验证数据进行了对比度的调整。
另外，本发明的第18形态的基于消化器官的内视镜影像的疾病的诊断支援系统是根据第16或第17形态的基于消化器官的内视镜影像的疾病的诊断支援系统，其特征在于：所述第1内视镜影像分别与被拍摄的部位建立了关联。
另外，本发明的第19形态的基于消化器官的内视镜影像的疾病的诊断支援系统是根据第18形态的基于消化器官的内视镜影像的疾病的诊断支援系统，其特征在于：所述部位包含咽部、食道、胃或十二指肠中的至少一个。
另外，本发明的第20形态的基于消化器官的内视镜影像的疾病的诊断支援系统是根据第18或第19形态的基于消化器官的内视镜影像的疾病的诊断支援系统，其特征在于：所述部位在所述多个消化器官中的至少一个中被划分为多个部位。
另外，本发明的第21形态的基于消化器官的内视镜影像的疾病的诊断支援系统是根据第20形态的基于消化器官的内视镜影像的疾病的诊断支援系统，其特征在于：在所述部位是胃的情况下，所述划分包含上部胃、中部胃或下部胃中的至少一个。
另外，本发明的第22形态的基于消化器官的内视镜影像的疾病的诊断支援系统是根据第20形态的基于消化器官的内视镜影像的疾病的诊断支援系统，其特征在于：在所述部位是胃的情况下，所述划分包含贲门部、胃底部、胃体部、胃角部、前庭部、幽门窦或幽门部中的至少一个。
另外，本发明的第23形态的基于消化器官的内视镜影像的疾病的诊断支援系统是根据第16至第22形态中任一形态的基于消化器官的内视镜影像的疾病的诊断支援系统，其特征在于：在所述所拍摄的部位中的所述第1内视镜影像的数量比其它部位少的情况下，通过使用将所述第1内视镜影像旋转、放大、缩小、进行像素数的变更、明暗部的撷取或色调变化部位的撷取中的至少一种，而使所有部位中的训练/验证数据的数量实质上相等。
另外，本发明的第24形态的基于消化器官的内视镜影像的疾病的诊断支援系统是根据第16至第23形态中任一形态的基于消化器官的内视镜影像的疾病的诊断支援系统，其特征在于：所述经训练的类神经网络程序能够输出与被拍摄了所述第2内视镜影像的部位对应的信息。
另外，本发明的第25形态的基于消化器官的内视镜影像的疾病的诊断支援系统是根据第24形态的基于消化器官的内视镜影像的疾病的诊断支援系统，其特征在于：所述经训练的类神经网络程序一并输出所述概率或所述重症度及与所述部位对应的信息。
另外，本发明的第26形态的基于消化器官的内视镜影像的疾病的诊断支援系统是根据第16至第25形态中任一形态的基于消化器官的内视镜影像的疾病的诊断支援系统，其特征在于：所述第1内视镜影像包含胃内视镜影像，所述疾病包含幽门螺旋杆菌感染或幽门螺旋杆菌除菌的有无中的至少一种。
另外，本发明的第27形态的基于消化器官的内视镜影像的疾病的诊断支援系统是根据第16至第25形态中任一形态的基于消化器官的内视镜影像的疾病的诊断支援系统，其特征在于：所述第1内视镜影像包含大肠内视镜影像，所述疾病至少包含溃疡性大肠炎，所述经训练的类神经网络程序划分为与所述溃疡性大肠炎的重症度对应的多个阶段而输出。
另外，本发明的第28形态的基于消化器官的内视镜影像的疾病的诊断支援系统是根据第16至第25形态中任一形态的基于消化器官的内视镜影像的疾病的诊断支援系统，其特征在于：所述第1内视镜影像包含利用超放大内视镜所得的食道内视镜影像，所述疾病包含食道癌、胃食道反流症、或食道炎中的至少一种，所述经训练的类神经网络划分并输出所述食道癌、胃食道反流症、或食道炎中的至少一种。
另外，本发明的第29形态的基于消化器官的内视镜影像的疾病的诊断支援系统是根据第16至第28形态中任一形态的基于消化器官的内视镜影像的疾病的诊断支援系统，其特征在于：所述第2内视镜影像是利用内视镜拍摄中的影像、经由通信网络发送来的影像、利用远程操作系统或云端型系统而提供的影像、记录在计算机能够读取的记录介质中的影像、或动态影像中的至少一种。
另外，本发明的第30形态的利用内视镜影像的疾病的诊断支援系统是根据第16至第29形态中任一形态的基于消化器官的内视镜影像的疾病的诊断支援系统，其特征在于：所述类神经网络是卷积类神经网络。
根据本发明的第16至第30形态中任一形态的基于消化器官的内视镜影像的疾病的诊断支援系统，可分别发挥与第1至第15形态中任一形态的使用类神经网络的基于消化器官的内视镜影像的疾病的诊断支援方法相同的效果。
进而，本发明的第31形态的基于消化器官的内视镜影像的诊断支援程序的特征在于：用来作为第16至第30形态中任一形态的基于消化器官的内视镜影像的疾病的诊断支援系统中的各部件使计算机动作。
根据本发明的第31形态的基于消化器官的内视镜影像的诊断支援程序，可提供一种用来作为第16至第30形态中任一形态的基于消化器官的内视镜影像的疾病的诊断支援系统中的各部件使计算机动作的基于消化器官的内视镜影像的诊断支援程序。
另外，本发明的第32形态的基于消化器官的内视镜影像的诊断支援程序的特征在于：记录着第31形态的基于消化器官的内视镜影像的诊断支援程序。
根据本发明的第32形态的基于消化器官的内视镜影像的诊断支援程序，可提供一种记录着第31形态的基于消化器官的内视镜影像的诊断支援程序的计算机能够读取的记录介质。
进而，本发明的第33形态的使用类神经网络的基于消化器官的内视镜影像的消化器官的部位的判别方法的特征在于：使用消化器官的第1内视镜影像、及与所述第1内视镜影像对应的对应于所拍摄的部位的信息的确定信息来训练类神经网络，所述经训练的类神经网络基于消化器官的第2内视镜影像，输出与该消化器官的被拍摄部位对应的信息。
根据本发明的第33形态的使用类神经网络的基于消化器官的内视镜影像的消化器官的部位的判别方法，由于使用消化器官的第1内视镜影像、及与所述第1内视镜影像对应的对应于所拍摄的部位的信息的确定信息来训练类神经网络，所以能在短时间内以实质上与内视镜专科医生匹敌的精度获得与受验者的被拍摄部位对应的信息，从而能在短时间内判别诊断对象的消化器官的部位。并且，由于可自动判别相对于包含针对多个受验者的多个消化器官的内视镜影像的测试数据的与所拍摄的部位对应的信息，所以不仅由内视镜专科医生进行的检查等变得容易，而且也能谋求对与疾病建立了关联的影像进行解析的作业的省略化。
另外，本发明的第34形态的使用类神经网络的基于消化器官的内视镜影像的消化器官的部位的判别系统的特征在于：具有内视镜影像输入部、输出部、及组入了类神经网络的计算机，且所述计算机具备：第1存储区域，存储消化器官的第1内视镜影像；第2存储区域，存储与所述第1内视镜影像对应且与所述消化器官的被拍摄部位对应的信息的确定信息；及第3存储区域，存储所述类神经网络程序；所述类神经网络程序是基于存储在所述第1存储区域的所述第1内视镜影像、及存储在所述第2存储区域的确定信息被训练，且基于从所述内视镜影像输入部输入的消化器官的第2内视镜影像将相对于所述第2内视镜影像的与消化器官的被拍摄部位对应的信息输出到所述输出部。
根据本发明的第34形态的使用类神经网络的基于消化器官的内视镜影像的消化器官的部位的判别系统，可发挥与第33形态的使用类神经网络的基于消化器官的内视镜影像的消化器官的部位的判别方法相同的效果。
另外，本发明的第35形态的基于消化器官的内视镜影像的消化器官的部位的判别程序的特征在于：用来使计算机作为第34形态的基于消化器官的内视镜影像的消化器官的部位的判别系统中的各部件进行动作。
根据本发明的第35形态的基于消化器官的内视镜影像的消化器官的部位的判别程序，可提供一种用来使计算机作为第34形态的基于消化器官的内视镜影像的消化器官的部位的判别系统中的各部件进行动作的基于消化器官的内视镜影像的消化器官的部位的判别程序。
另外，本发明的第36形态的计算机能够读取的记录介质的特征在于：记录着第35形态的基于消化器官的内视镜影像的消化器官的部位的判别程序。
根据本发明的第36形态的计算机能够读取的记录介质，可提供一种记录着第35形态的基于消化器官的内视镜影像的消化器官的部位的判别程序的计算机能够读取的记录介质。
[发明的效果]
如上所述，根据本发明，由于组入了类神经网络的程序基于针对多位受验者分别预先获得的多个消化器官的内视镜影像、及针对多位受验者分别预先获得的所述疾病的阳性或阴性的确诊结果被训练，所以可在短时间内以实质上与内视镜专科医生匹敌的精度获得受验者的消化器官的疾病的阳性及/或阴性的概率、过去的疾病的概率、疾病的重症度等级、与所拍摄的部位对应的信息等，从而能在短时间内筛选必须另行进行确诊的受验者。
附图说明
图1的图1A是H.pylori感染呈阳性时的胃内视镜影像例，图1B是H.pylori感染呈阴性时的胃内视镜影像例。
图2是表示为了测试数据集而进行患者筛选的图。
图3是表示GoogLeNet的动作的示意概念图。
图4是表示说明第一次学习结果的ROC曲线及内视镜检查医生的H.pylori感染诊断结果的图。
图5是表示说明第2次实施结果的ROC曲线及内视镜检查医生的H.pylori感染诊断结果的图。
图6是表示基于日本的准则的胃的主要解剖学分类及准解剖学分类的图。
图7是实施方式2的CNN系统的流程图的概略图。
图8的图8A是利用实施方式2的CNN系统所得的喉头的影像的ROC曲线，图8B是同样地利用CNN系统所得的食道的影像的ROC曲线，图8C是同样地利用CNN系统所得的胃的影像的ROC曲线，图8D是同样地利用CNN系统所得的十二指肠的影像的ROC曲线。
图9的图9A是利用实施方式2的CNN系统所得的上部胃的影像的ROC曲线，图9B是同样地利用CNN系统所得的中部胃的影像的ROC曲线，图9C是同样地利用CNN系统所得的下部胃的影像的ROC曲线。
图10的图10A是被误分类为下部胃的十二指肠的影像，图10B是被正确分类的下部胃的影像。
图11的图11A是被误分类为下部胃的食道的影像，图11B是被正确地分类为下部胃的下部胃的影像。
图12的图12A是被误分类为中部胃的十二指肠的影像，12B是被正确分类的上部胃的影像。
图13的图13A是被误分类为食道的咽部的影像，图13B是被正确分类的食道的影像。
图14是被分类为典型的Mayo0～Mayo3的大肠内视镜影像。
图15是实施方式3的CNN库的诊断系统的概要图。
图16是表示实施方式3的CNN的代表性影像及3划分的Mayo分类的示例的图。
图17是实施方式3的2划分的Mayo分类中的ROC曲线。
图18是实施方式4的低倍率影像(a～e)及高倍率影像(f～j)的示例。
图19是在实施方式4中分别被分类为类型1(图19a)、类型2(图19b)、类型3(图19c)的影像的示例。
图20的图20A是实施方式4的所有影像的ROC曲线，图20B是同样地HMP情况下的ROC曲线，图20C是同样地LMP情况下的ROC曲线。
图21是实施方式4的CNN误诊为非恶性的示例的影像，图21A是通常内视镜影像，图21B是同样地超放大内视镜影像，图21C是同样地病理组织检查影像。
图22是内视镜专科医生误诊为恶性的示例的影像，图22A是通常内视镜影像，图22B是同样地超放大内视镜影像，图22C是同样地病理组织检查影像。
图23是实施方式5的使用类神经网络的基于消化器官的内视镜影像的疾病的诊断支援方法的框图。
图24是关于实施方式6的使用类神经网络的基于消化器官的内视镜影像的疾病的诊断支援系统、基于消化器官的内视镜影像的诊断支援程序、及计算机能够读取的记录介质的框图。
图25是实施方式7的使用类神经网络的基于消化器官的内视镜影像的消化器官的部位的判别方法的框图。
图26是关于实施方式8的使用类神经网络的基于消化器官的内视镜影像的消化器官的部位的判别系统、基于消化器官的内视镜影像的消化器官的部位的判别程序、及计算机能够读取的记录介质的框图。
具体实施方式
以下，首先以H.pylori感染胃炎的情况及按器官的分类为例，接着以溃疡性大肠炎及食道疾病的情况为例，对本发明的基于消化器官的内视镜影像的疾病的诊断支援方法、诊断支援系统、诊断支援程序及存储着此诊断支援程序的计算机能够读取的记录介质详细地进行说明。但是，以下所示的实施方式表示用来将本发明的技术思想具体化的示例，并非意图将本发明特定为这些情况。也就是说，本发明涉及可基于消化器官的内视镜影像而特定的常见疾病，而且也能够同等地适应于权利要求书所包含的其它实施方式。另外，在本发明中，影像这一用语不仅包含静止影像，也可包含动态影像。
首先，使用表1所示的四分表，对一般检查的精度、灵敏度及特异度简单地进行说明。一般来说，检查值是连续量，因此，决定临界值(阈值)，将比临界值高的值的情况判断为阳性，将比临界值更低的情况判断为阴性(也存在相反的情况)。
[表1]
Figure BDA0002306144480000151
如表1所示，根据患者的疾病的有无及检查结果为阳性还是阴性而分类为a～d这4个区域。此外，在患者有疾病的情况下，分类为有病者(有)，在无疾病的情况下，分类为无病者(无)。a区域是患者有疾病且检查结果为阳性的情况，是真阳性区域。b区域是患者无疾病但检查结果为阳性的情况，是假阳性区域。c区域是患者有疾病但检查结果为阴性的情况，是假阴性区域。同样地，d区域是患者无疾病且检查结果为阴性的情况，是真阴性情况。
另一方面，灵敏度是在有病者中检查结果成为阳性的概率(有病确诊率)，以a/(a+c)表示。特异度是在无病者中检查结果成为阴性的概率(无病确诊率)，以d/(b+d)表示。此外，假阳性率是在无病者中检查结果成为阳性的概率(无病误诊率)，以b/(b+d)表示。另外，假阴性率是在有病者中检查结果成为阴性的概率(有病误诊率)，以c/(a+c)表示。
进而，如果一边变更临界值一面随时算出灵敏度及特异度，将纵轴设为灵敏度且将横轴设为假阳性率(＝1－特异度)进行绘图，那么可获得ROC曲线(Receiver OperatingCharacteristic：接收者动作特性曲线)(参照图4及图5)。
[实施方式1]
在实施方式1中，针对本发明的基于内视镜影像的疾病的诊断支援方法、诊断支援系统、诊断支援程序及存储着此诊断支援程序的计算机能够读取的记录介质，说明应用在H.pylori感染胃炎的情况的示例。在一位发明者所属的医院中，总计33人的内视镜检查医生使用利用白色光的通常倍率的内视镜进行食道、胃、十二指肠镜检查(以下称为“EGD”)。EGD的适应症是与各种上腹部症状、针对胃病的钡检查的阳性结果、异常的血清胃蛋白酶原的等级、胃或十二指肠的既往症或筛查相关的来自基层医疗医师的介绍。即便不存在异常，所有内视镜医生也被指示拍摄喉头、食道、胃、及十二指肠的整体像。无胃肠疾病的患者的典型影像数为34(喉头1、食道6、胃25、十二指肠2)。
利用标准的内视镜(EVIS GIF-XP290N、GIF-XP260、GIF-XP260NS、GIF-N260等、Olympus Medical Systems公司、东京)使用白色光拍摄影像，进行EGD。所获得的影像是通常倍率的影像，未使用放大的影像。在图1中表示所获得的典型的胃部内视镜影像。此外，图1A是诊断为H.pylori感染阳性的影像的示例，图1B是诊断为H.pylori感染阴性的影像的示例。
所有患者接受了用来检测H.pylori感染的有无的检查。该检查是血液或尿中的抗H.pylori IgG等级测定、粪便抗原测定及尿素呼气试验中的至少一种。而且，在这些检查的任一种中显示阳性反应的患者被分类为H.pylori感染阳性。在未被诊断为H.pylori感染阳性的患者中，无接受过H.pylori除菌治疗的经验者被分类为H.pylori阴性。另外，过去接受过H.pylori除菌治疗且已除菌成功的患者从测定对象中排除。
[关于数据集]
通过对2014年1月至2016年12月进行的1768例EGD影像进行追溯评论，而准备了AI库的诊断系统的训练及构筑所使用的数据(称为“训练/验证用数据”)集。具有胃癌、溃疡、或粘膜下肿瘤的存在或病历的患者的数据从训练/验证用数据集中排除。也有因胃的食物残渣、活体检查后的出血、晕影或其它理由而被内视镜专科医生从诊断为H.pylori感染阳性或H.pylori感染阴性的胃的影像中排除的影像。另外，也准备了成为评估对象的内视镜影像数据(称为“测试数据”)集。此外，该“训练/验证用数据”与本发明的“第1内视镜影像”对应，“测试数据”与本发明的“第2内视镜影像”对应。将这些患者的人口统计学特征及影像特征示于表2。
[表2]
Figure BDA0002306144480000171
SD：标准偏差
如表2所示，使用来自判定为H.pylori阳性的753位患者及分类为阴性的1,015位患者的影像制作32,208张训练/验证用数据集。该数据集对所有影像的RGB的各信号以相同比率进行对比度调整。RGB的各色分别取8比特、也就是0～255范围的值，但RGB的所有颜色以成为255、255、255的点(白色)必定存在1点的方式进行了对比度调整。通常，由于内视镜影像的画质良好，所以实际上不进行对比度调整的情况也较多。另外，虽在内视镜的画面中加入了黑框，但会自动地修整并进行放大、缩小，使所有影像成为相同的尺寸。
作为分类，也可在多个消化器官中分别划分为多个部位，此处，仅针对胃获得根据位置分类为多个部位的影像，并且关于其它部位则未划分而直接使用。进而，也能够按男女、年龄等属性进行划分并输入，由此进行按属性的诊断。
如果对于所有分类可获得均等数量的数据，那么较为理想，但对于数据数量较少的分类，在0度至359度之间随机地旋转，利用工具适当地放大或缩小，由此增加数据。结果获得了32,208张用于训练/验证的原始内视镜影像。
首先，通过组合使用不含分类数据的所有影像，而进行了第1次类神经网络的构筑。接着，使用如上所述那样被分类为多个的影像进行第2次类神经网络的构筑。此外，这些类神经网络的构筑因重复处理较多，所以使用通过并行处理而高速化的计算机。
[测试数据的准备]
为了对使用所述训练/验证用数据集而构筑的实施方式1的类神经网络与内视镜检查医生的诊断精度进行评估，而准备了测试数据集。在一位发明者所属的医院中，将2017年1月至2月进行过内视镜检查的587位患者的影像数据中的H.pylori除菌后的166位患者的影像数据、H.pylori感染状态不明的23位患者的影像数据及胃切除后的1位患者的影像数据排除(参照图2)。结果，将判断为H.pylori感染阳性或阴性的剩余397位患者的影像数据用作测试数据。
在测试数据集中，72人(43％)是通过粪便抗原检查被诊断，87人(21％)是基于尿中抗H.pylori IgG等级被诊断。测试数据集包含来自合计397位患者的合计11,481张影像。其中，72人被诊断为H.pylori感染阳性，325人被诊断为H.pylori感染阴性。测试数据集与训练/验证用数据集之间不存在重复。
[训练、算法]
为了构筑AI库的诊断系统，利用Caffe架构作为深层学习类神经网络的开发基盘，使用包含22层的GoogLeNet作为卷积类神经网络(CNN)体系结构。
在本实施方式1中使用的CNN是像图3所示那样使用反向传播(Backpropagation：误差反向传播法)进行训练。CNN的各层使用作为参数最佳化方法之一的Adam(https://arxiv.org/abs/1412.6980)以全局学习率0.0001进行了调整。
为了使所有影像与GoogLeNet具有兼容性，而将各影像重设大小为244×244像素。另外，将通过ImageNet而学习了自然影像的特征值的已训练过的模型用作训练开始时的初始值。ImageNet(http://www.image-net.org/)是在2017年年初已收载有多达1,400万点以上的影像的数据库。该训练方法被称为迁移学习，已确认即便在指导数据较少的情况下也有效。
[评估算法]
经训练的类神经网络输出0到1之间的概率值(PS)作为相对于所输入的影像的H.pylori感染阳性或阴性的诊断结果。ROC曲线是通过变更用来识别阳性及阴性的阈值而对该概率值进行绘图所得的曲线。
[CNN及内视镜检查医生之间的测试数据集的性能比较]
相对于测试数据集，CNN与EGD的经验丰富的23位内视镜检查医生分别基于各患者的内视镜影像将各患者分类为H.pylori感染阳性或阴性。另外，测定H.pylori感染诊断的准确性及评估所需的时间，在CNN与内视镜专科医生之间对它们进行了比较。
23位内视镜检查医生中的6位是日本消化器内视镜学会的专科医生。剩余的17人的EGD经验为1000人以上(n＝9)及未达1000人(n＝8)，将前者分类为“经验医生”以及将后者分类为“研修中医师”。用来显示CNN的诊断精度的ROC曲线是使用R软件(统计分析免费软件)记载。用来显示CNN的诊断精度的ROC曲线是使用R软件(统计分析免费软件)记载。这些影像中所显示的所有患者的信息在数据解析之前出于匿名的目的而无法识别，使得与该评估相关的所有内视镜检查医生无法访问能够识别的患者的信息。该研究是受到日本医师会伦理审查委员会的批准而进行的(ID JMA-IIA00283)。
[内视镜检查医生的结果]
将关于H.pylori感染的诊断的各个内视镜检查医生的灵敏度、特异度及评估所需的时间集中示于表3。所有内视镜检查医生的灵敏度及特异度分别平均为79.6％及83.2％，评估测试数据集的所有影像所需的时间(评估时间)为230±65分钟(平均±标准偏差)。
[表3]
Figure BDA0002306144480000191
SD＝标准偏差
AUC＝ROC曲线的下侧的面积
23位内视镜检查医生中，专科医生(n＝6)的灵敏度及特异度分别为85.2％及89.3％，与研修中医师(n＝8)的72.2％及76.3％相比，具备非常高的灵敏度及特异度。此外，关于评估时间，专科医生为252.5±92.3分钟，相对于此，研修中医师为206.6±54.7分钟。经验医生(n＝9)的灵敏度、特异度及评估时间均为专科医生与研修中医师的中间值。
[CNN的性能]
在本实施方式1中构筑的CNN输出每一张影像的H.pylori感染概率P，进而，计算每位患者的检体的标准偏差。首先，对使用不包含分类数据的所有训练/验证用数据集所构筑的第1次CNN的特性进行调查。将此时所获得的ROC曲线示于图4。此外，本来的ROC曲线的横轴表示“1－特异度”，左端是原点“0”，右端为“1”，但在图4(图5中也同样)中横轴表示“特异度”，左端的原点为“1”，右端为“0”。
各内视镜检查医生对每位患者进行H.pylori感染的预测，各内视镜检查医生的每一位的预测结果以中空点表示。黑色点表示所有内视镜检查医生的预测值的平均。CNN针对每张影像输出H.pylori概率P，程序计算每位患者的概率的标准偏差。
图4的ROC曲线的下侧部分的面积为0.89，如果将临界值定义为0.53，那么第1次CNN的灵敏度及特异度分别为81.9％及83.4％。另外，利用第1次所构筑的CNN得出的所有影像的诊断时间为3.3分钟。该第1次所构筑的CNN准确地诊断了397人中的350人(88.2％)。对于利用第1次所构筑的CNN产生的47人的误诊例，内视镜检查医生诊断的结果为，准确度的平均±标准偏差为43.5±33.4％。
接着，求出利用被分类成多个的相同的训练/验证用数据集构筑的第2次CNN的ROC曲线。将其结果示于图5。图5是利用CNN的ROC曲线，所述CNN是通过使用仅针对胃根据位置分类为多个部位的训练/验证用数据集进行学习而获得的，图5输出比利用第1次CNN所得的ROC曲线更佳的概率。ROC曲线下的面积为93％。各中空点表示各内视镜检查医生的预测结果，黑色点表示所有内视镜检查医生的平均值，均与图4所示的值相同。
图5的ROC曲线的下侧部分的面积由图4的89％增加到93％。最佳临界值为0.42，此时的CNN的灵敏度及特异度分别为88.9％及87.4％，这些值与日本消化器内视镜学会的专科医生的诊断结果匹敌且远高于研修中医师。利用该第2次CNN得出的所有影像的诊断时间为3.2分钟。
由所述结果可知以下情况。第1次CNN的诊断能力是研修中医师与经验医生之间附近，第2次CNN的诊断能力与经验丰富的内视镜专科医生的诊断能力匹敌，第1次及第2次的任一CNN均能以比内视镜专科医生显著短的时间进行诊断。该结果表示使用实施方式1的CNN的H.pylori感染筛查系统应用在临床实践中具有足够高的灵敏度及特异性。
与皮肤或视网膜的情况不同，胃呈复杂的形状，胃内视镜检查的影像中包含观察方法不同的各种部位的影像，所以在使用通过使用未进行与胃内的位置对应的分类的训练/验证用数据集进行学习而获得的CNN视时，存在难以识别是哪个部位的影像的情况。因此，如果使用仅针对胃根据位置分类为多个部位的训练/验证用数据集构筑CNN，那么灵敏度由81.9％增加到88.9％，诊断H.pylori感染胃炎的能力变高。
此外，认为内视镜检查医生及CNN利用互不相同的方法识别影像，而进行诊断。萎缩或肠上皮化生等因H.pylori感染导致的胃粘膜变化首先产生在远端胃(幽门部)，逐渐扩大至近端的胃(贲门部)。这样，在其中有轻度变化的胃中，有可能将正常的粘膜误诊为存在异常，因此，内视镜专科医生在识别胃的影像的位置、尤其是幽门部、角度、或整体影像等之后进行诊断。
在我国，尤其是高龄者中H.pylori感染较多，从2016年起开始了胃癌的内视镜群集筛查，因此，正寻求更有效的筛查方法。在本实施方式1中获得的结果提示通过将大量的保存影像连接于该自动化系统，即便无内视镜检查者的评估，也能较大程度地帮助H.pylori感染的筛查，通过进一步的试验，而实现H.pylori感染的确认并且有可能最终达到根治。
本实施方式1的CNN可不知疲倦地大幅缩短H.pylori感染的筛查时间，且在内视镜检查后立即获得报告结果。由此，可有助于全世界应解决的大课题也就是内视镜检查医生的H.pylori感染诊断的负担减轻及医疗费的削减。进而，利用本实施方式1的CNN进行的H.pylori诊断只要输入内视镜检查时的影像即可立即获得结果，因此，可完全地“在线”进行H.pylori诊断辅助，从而能以所谓的“远程医疗”的形式解决因地域造成的医师分布不均匀性的问题。
另外，在本实施方式1的第2次CNN中，示出了使用根据位置分类为多个部位的训练/验证用数据集使之学习的示例，但该多个部位的分类只要设为3～10个部位左右即可，只要由业者适当地规定即可。此外，在构筑第2次CNN时，不仅包含胃的影像，而且也包含咽部、食道及十二指肠的影像，因此，为了提升幽门螺旋杆菌感染阳性及阴性的诊断的准确度，而将这些影像排除。
进而，在实施方式1中，示出了使用训练/训练影像的示例，该训练/训练影像是使用利用白色光的通常倍率的内视镜获得的，但如果影像数变多，那么也可使用通过影像增强内视镜或放大内视镜获得的影像、或通过使用NBI(Narrow Band Imaging：窄频段光法，照射波长不同的激光进行观察的方法，参照所述非专利文献3)或受激拉曼散射显微镜法的内视镜(参照所述专利文献3)等而获得的影像。
另外，在实施方式1中，作为训练/验证数据集及测试数据集两者，使用仅在单一的医院获取的数据，但认为通过追加使用利用其它内视镜装置及技法以其它设施获得的影像的示例，能够进一步提高CNN的灵敏度及特异性。进而，在实施方式1中，虽将H.pylori除菌后的患者排除，但能够通过学习H.pylori除菌后的影像而用于判定是否完成了H.pylori除菌。
另外，H.pylori感染状态的诊断是通过血液或尿的抗H.pylori IgG等级测定、粪便抗原检查、或尿素呼气检查等各种检查而确认的，但并非这些检查的任一种中均可获得100％的感受性或100％的特异性。因此，有可能在训练/验证数据集中作为结果而混入了伴随着错误诊断的影像，对此，可通过如下方法解决：仅增多在多次临床检查中诊断为H.pylori感染阴性者，或制作即便是在一次检查中诊断为H.pylori感染阴性者在其它检查中也被判断为H.pylori感染阳性者等的分类并收集与其对应的影像，使用与该分类对应的训练/验证数据集训练CNN。
另外，在实施方式1中，并未根据胃的状态、也就是萎缩的程度、发红的有无等评估诊断能力的不同，但今后如果训练用影像数增加，根据这种所见将训练用影像进一步细分化，并使CNN记住，那么不仅H.pylori感染胃炎的有无，对于该所见将来也有可能可进行与专科医生同等的判定。除此以外，在实施方式1中，作为用于胃的H.pylori感染状态的诊断辅助者进行了说明，但内视镜检查除胃以外，也对喉头、咽部、食道、十二指肠、胆道、胰管、小肠、大肠等进行，如果针对这些部位的影像累积推进，从而训练用影像增加，那么可用于针对这些部位的诊断辅助。
尤其是在疾病为溃疡性大肠炎的情况下，由于特征的撷取及解析算法与H.pylori感染胃炎的有无的情况类似，所以如果在CNN中使用大肠内视镜影像进行训练，那么CNN能够容易地划分为与溃疡性大肠炎的重症度对应的多个阶段而输出。成为训练/验证用数据的大肠内视镜影像与胃的情况同样地，根据大肠的部位被分类为多个部位，且针对溃疡性大肠炎被赋予了疾病的阳性或阴性或者重症度的阶段的确诊结果。通过使用基于包含该大肠内视镜影像的训练/验证用数据及确诊结果被训练的CNN，可自动诊断相对于测试数据的疾病的阳性或阴性或者重症度等级，所述测试数据包含针对设为评估对策的多位受验者的多个大肠内视镜影像。
进而，在制作内视镜影像的训练用数据的过程中，存在由人进行的人工操作，因此，无法否定可能会在一部分数据中训练用数据存在错误。如果混入了错误的训练用数据，那么会对CNN的判定精度造成不良影响。在本实施方式1中使用的内视镜影像实施了匿名化处理，无法确认训练用数据是否存在错误。为了尽可能地排除该情况，通过根据临床检查判定的结果机械地对影像进行分类，可制作质量较高的训练用数据集。如果利用该训练用数据使CNN学习，那么可进一步提升判定精度。
此外，在实施方式1中，示出了使用GoogLeNet作为CNN的体系结构的示例，但CNN的体系结构日益进化，存在如果采用最新的体系结构则可获得更良好的结果的情况。另外，作为深层学习架构同样使用开放原始码的Caffe，但除此以外可使用CNTK、TensorFlow、Theano、Torch、MXNet等。进而，作为最佳化方法使用了Adam，但除此以外可适当地选择使用众所周知的SGD(Stochastic Gradient Descent：随机梯度下降法)法、对SGD赋予惯性项(Momentum)的MomentumSGV法、AdaGrad法、AdaDelta法、NesterovAG法、RMSpropGraves法等。
如上所述，利用本实施方式1的CNN的基于胃的内视镜影像的H.pylori感染的诊断精度与内视镜检查医生匹敌。因此，实施方式的CNN对根据筛查或其它理由从所获得的内视镜影像中筛选H.pylori感染患者有用。另外，如果使CNN学习H.pylori菌除菌后的影像，那么也可用于是否已完成H.pylori除菌的判定。另外，关于是否已将H.pylori菌除菌，在问诊时可简单地了解，因此，对于H.pylori感染诊断，有仅通过本次的H.pylori菌阳性阴性的判定便能够在临床现场立即应用的有用性。
[诊断支援系统]
组入了实施方式1的作为诊断支援系统的CNN的计算机基本上具备内视镜影像输入部、存储部(硬盘或半导体存储器)、影像解析装置、判定显示装置、及判定输出装置。除此以外，也可直接具备内视镜影像拍摄装置。另外，该计算机系统也可远离内视镜检查设施而设置，从远距离地方获得影像信息而作为中央诊断支援系统、或作为经由因特网的云端型计算机系统而运转。
该计算机在内部的存储部具备：第1存储区域，存储针对多位受验者分别预先获得的多个消化器官的内视镜影像；第2存储区域，存储针对多位受验者分别预先获得的所述疾病的阳性或阴性的确诊结果；及第3存储区域，存储CNN程序。在此情况下，由于针对多位受验者分别预先获得的多个消化器官的内视镜影像的数量较多而数据量变大、以及在CNN程序工作时进行大量的数据处理，所以优选为进行并行处理，另外，优选为具有大容量的存储部。
近年来，CPU(Central Processing Unit，中央处理器)或GPU(GraphicsProcessing Unit，图形处理器)的能力显著提升，组入了实施方式1中所使用的作为诊断支援系统的CNN的计算机如果使用某种程度上高性能的市售的个人计算机的情况下，作为H.pylori感染胃炎诊断系统，也能在1小时内处理3000症例以上，针对1张影像能以约0.2秒钟进行处理。因此，通过将利用内视镜拍摄中的影像数据赋予至组入了本实施方式1中使用的CNN的计算机，也能够实时地进行H.pylori感染判定，从全世界或偏僻地方发送来的胃内视镜影像自不必说，即便它是动态影像，也能够远程地进行诊断。尤其是，近年来的计算机的GPU性能非常优异，因此，通过组入本实施方式1的CNN，能够进行高速且高精度的影像处理。
另外，对组入了实施方式1的作为诊断支援系统的CNN的计算机的输入部输入的受验者的消化器官的内视镜影像可设为利用内视镜拍摄中的影像、经由通信网络发送来的影像或记录在计算机能够读取的记录介质中的影像。也就是说，组入了实施方式1的作为诊断支援系统的CNN的计算机可在短时间内对所输入的受验者的消化器官的内视镜影像输出消化器官的疾病阳性及阴性各自的概率，因此，能够不局限于受验者的消化器官的内视镜影像的输入形式而利用。
此外，作为通信网络，可利用众所周知的因特网、内部网络、商际网络、LAN、ISDN、VAN、CATV通信网、虚拟专用网络(virtual private network)、电话线路网、移动通信网络、卫星通信网络等。另外，构成通信网络的传输介质也可利用众所周知的IEEE1394串行总线、USB、电力线载波、有线电视线路、电话线线路、ADSL线路等有线、红外线、Bluetooth(注册商标)、IEEE802.11等无线、手机网、卫星线路、地面数字网络等无线等。另外，作为计算机能够读取的记录介质，可使用众所周知的磁带或卡式磁带等带系、包含软(注册商标)盘、硬盘等磁盘、及光盘-ROM/MO/MD/数字视盘/光盘-R等光盘的盘系、IC卡、存储卡、光学卡等卡系、或者掩模ROM/EPROM/EEPROM/闪速ROM等半导体存储器系等。
[实施方式2]
在利用组入了实施方式1中使用的CNN的计算机的H.pylori感染胃炎诊断系统中，可自动地判断所输入的影像是哪一部分的影像。因此，在该H.pylori感染胃炎诊断系统中，能够针对贲门部、胃底部、胃体部、胃角部、前庭部、幽门窦这7个分类分别显示H.pylori感染概率，或从这些部位的若干个例如针对H.pylori感染概率的上位5个分类，进行分类并且显示H.pylori感染概率。这种进行分类并且显示H.pylori感染概率的方法最终必须通过血液检查或尿检查进行确诊，但对内视镜专科医生的判断有用。
因此，在实施方式2中，进行可自动地判断所输入的影像是哪一部分的影像的验证。首先，由内视镜专科医生将实施方式1中所获得的EGD的影像中的因癌、溃疡、残渣、异物、出血、晕影、模糊或焦点不良而不明确的影像排除，将来自剩余1750位患者的27,335张影像分类为6个主要的范畴(喉头、食道、十二指肠、上部胃、中部胃、下部胃)。主要的胃范畴分别如图6所示那样包含多个子范畴，下部胃包含幽门部、幽门窦、前庭部，上部胃包含贲门部及胃底部，中部胃包含胃角部及胃体部。
以与实施方式1的情况相同的方式利用工具使这些27,335张原来的内视镜影像在0度到359度之间随机地旋转而增大影像数，将包围各影像的黑框自动地修正剪切，并适当地放大或缩小，而仅包含具有通常倍率的通常的白色光影像，将窄频段影像等经增强的影像排除，而获得超过100万的训练用影像数据。为了使以这种方式获得的实施方式2的训练用影像数据与GoogLeNet具有兼容性，而将所有影像的尺寸重设大小为244×244像素。而且，在实施方式2中使用的CNN系统除使用这些训练用影像数据将学习率变更为0.0002以外，使用与实施方式1的CNN系统相同的系统进行训练。
实施方式2的经训练的CNN系统产生0到100％的范围的各影像的概率值(PS)。该概率值表示各影像的属于各解剖学分类的概率。具有最高概率值的范畴作为CNN的最终分类被采用，利用该CNN被分类的影像由2位内视镜专科医生以人工操作的方式进行评估，评估是否正确地进行了分类。当该评估根据2位内视镜专科医生而不同时，为了达到满意的解决而进行讨论。
进而，为了评估CNN系统的诊断精度，而收集2017年2月至2017年3月期间在一位发明者所属的医院中接受了内视镜检查的435位患者的17,081张独立的影像数据，制作一系列的验证用影像数据。该验证用影像数据仅包含具有通常倍率的通常的白色光影像，强化影像或解剖学分类无法识别的影像数据则利用与训练用影像数据的情况相同的方法从验证用影像数据中被排除。最终，在验证用影像数据中使用包含喉头影像363件、食道影像2,142件、胃影像13,047件、十二指肠影像1,528件的17,081件影像(参照表4)。
[表4]
Figure BDA0002306144480000251
首先，对实施方式2的CNN系统能否识别喉头、食道、胃及十二指肠的影像进行评估，接着，如图6所示，对能否识别基于日本的胃癌分类的胃的位置(上部胃、中部胃、下部胃)进行评估。然后，计算关于利用实施方式2的CNN系统进行的解剖学分类的灵敏度及特异度。为了进行各器官的分类，而绘制接受者动作特性(ROC)曲线，利用GraphPad Prism 7(GraphPad software,Inc.,California,U.S.A.)算出下侧部分的面积(AUC)。将这些试验方法简化后的概要示于图7。
首先，将GIE影像分类为4个主要的范畴(喉头、食道、胃及十二指肠)。实施方式2的CNN系统将17,081张影像中的16,632(97％)张的解剖学位置准确地进行了分类。CNN系统所计算出的概率值为0～100％的范围，影像的96％各自的最高概率值为90％以上(参照表5)。
[表5]
概率值(PS) 正常分类数(％) 整体的数量(％) 准确度(％)
＞99％ 15,168(91) 15,265(89) 99.4
99-90％ 980(6) 1,101(6) 89.0
90-70％ 336(2) 437(3) 76.5
70-50％ 143(1) 264(2) 54.2
＜50％ 5(0) 14(0) 35.7
合计 16,632(100) 17,081(100) 97.4
也就是说，实施方式2的CNN系统是以利用AUC值的准确度计咽部为1.00[95％置信区间(CI)：1.00～1.00，p＜0.0001]、食道为1.00(95％CI：1.00～1.00，p＜0.0001)、胃为0.99(95％CI：0.99～1.00，p＜0.0001)、十二指肠为0.99(95％CI：0.99～0.99，p＜0.0001)自动地识别GIE影像的解剖学位置(参照图8A～图8D)。此外，实施方式2的CNN系统的用来识别各部位的解剖学位置的灵敏度及特异度是关于喉头为93.9％及100％，关于食道为95.8％及99.7％，关于胃为89.9％及93.0％，关于十二指肠为87.0％及99.2％(参照表6)。
[表6]
Figure BDA0002306144480000261
接着，对实施方式2的CNN系统能否将从胃的不同部分获取的影像数据的解剖学位置正确地分类进行研究。由于若干种胃的疾病有发生在胃的特定区域的倾向，所以对胃的解剖学位置正确地进行分类较为重要。在实施方式2的CNN系统的训练中，使用包含来自上部胃的3,532张影像数据、来自中部胃的6,379张影像数据及来自下部胃的3,137张影像数据的合计13,048张胃影像数据。
如图9所示，实施方式2的CNN系统针对上部胃、中部胃及下部胃获得AUC值0.99(95％CI：0.99～0.99、p＜0.0001)，将这些胃影像的解剖学位置准确地进行了分类。关于将各部位的解剖学位置分类时的CNN的灵敏度及特异度，上部胃为96.9％及98.5％，中部胃为95.9％及98.0％，下部胃为96.0％及98.8％(参照表7)。也就是说，实施方式2的CNN系统将GIE影像数据正确地分类为胃的3个解剖学位置(上部胃、中部胃、下部胃)。
[表7]
Figure BDA0002306144480000271
[被错误分类的影像的评估」
最后，为了提供用来提升CNN性能的基础，对被CNN错误分类的影像进行了研究。将被错误分类的影像的典型示例示于图10～图13。图10A表示被误分类为下部胃的十二指肠的影像，图10B是被正确分类的下部胃的影像。如在这些影像中所观察的那样，如果从侧面观察，那么十二指肠有时与下部胃相似。认为这是误分类的原因。
图11A表示被误分类为下部胃的食道的影像，图11B表示被正确分类为下部胃的下部胃的影像。另外，图12A表示被误分类为中部胃的十二指肠的影像，图12B表示被正确分类的上部胃的影像。进而，图13A表示被误分类为食道的咽部的影像，图13B表示被正确分类的食道的影像。
图11A及图12A的影像是因向内腔吹入空气不充分及/或内视镜观测镜向管腔壁接近而导致无法用于识别整体的构造。另一方面，图13A表示喉头的影像，但利用肉眼观察明显不同，而被错误分类为食道。
用于影像分类的体系结构不断进步。根据使用这种技术的Imagenet大规模视觉识别挑战赛2016(ILSVRC2016,http://image-net.org/challenges/LSVRC/2016/results)的最新结果，分类错误率为3.0％～7.3％。相对于此，实施方式2的CNN系统显示出具有0.99～1.00的高AUC的高精度的分类结果，证实了根据解剖学位置的GIE影像的分类中的CNN的潜在可能性。识别解剖学分类的该能力是明确CNN系统能否可通过在从患者获取的影像上自动检测病变或异常所见而尤其用于胃肠疾病的诊断的重要步骤。
医师为了成为GIE专家需要经过数年的重要训练，因此，本发明的CNN系统减轻患者的负担，对患者来说有益。关于该方面，本发明的结果示出了本发明的CNN系统确立新的GIE支援系统的有希望的可能性。进而，被自动地收集并以电子形式保存的GIE影像为了不看漏疾病而由第2观察者频繁地再看，因此，自动GIE影像分类本身在临床设定中有益。解剖学上分类的影像可使第2观察者更容易地进行解释，从而可减轻其负担。
[实施方式3]
在实施方式3中，针对本发明的基于内视镜影像的疾病的诊断支援方法、诊断支援系统、诊断支援程序及存储着此诊断支援程序的计算机能够读取的记录介质，说明应用于溃疡性大肠炎的情况的示例。回顾性地评论在一位发明者所属的医院中接受过大肠内视镜检查的患者的临床数据。整体上包含达958例患者的症状、内视镜所见、病理学所见。患者全体接受全大肠内视镜检查，所获得的大肠内视镜影像由3位消化器专科医生进行评论。
在实施方式3中，仅包含具有通常倍率的通常的白色光影像，窄频段影像等经强化的影像被排除。也将伴有粪便、模糊、晕影或空气混入的不清晰影像排除，其它清晰的影像根据结肠、直肠的部位、也就是右侧结肠(盲肠、上行及横行结肠)、左结肠(下行及S状结肠)及直肠进行分类，根据各自的内视镜疾病活动性，按照3划分的Mayo内视镜得分(Mayo0、Mayo1及Mayo2-3)进行分类。在图14中表示典型的直肠的被分类为Mayo0～Mayo3的大肠内视镜影像。此外，图14A表示Mayo0的示例，图14B表示Mayo1的示例，图14C表示Mayo2的示例，图14D表示Mayo3的示例。
对于被评论的各影像，在评论者的分类不同的情况下，所述3位消化器专科医生中的至少2位重看各张影像，对各影像再赋予Mayo内视镜得分。将以这种方式重新赋予的Mayo内视镜得分称为“真Mayo分类”。
将来自2006年10月至2017年3月期间拍摄的841位溃疡性大肠炎患者的26,304张影像用作训练用数据集，将来自4月至2017年6月收集的117位溃疡性大肠炎患者的4,589张影像用作验证用数据集。将训练用数据集及验证用数据集的患者特性的详情示于表8。
[表8]
Figure BDA0002306144480000281
C-T：盲肠-上行结肠-横行结肠
D、S：下行结肠-S状结肠
使这些原来的内视镜影像在0度到359度之间随机地旋转，将包围各影像的黑框在各侧剪切，并使用软件放大或缩小到0.9倍或1.1倍。最后，进行放大使训练用数据集的数量超过100万。
所有影像是使用标准的大肠内视镜(EVIS LUCERA ELITE、Olympus MedicalSystems、东京、日本)拍摄的。随附的所有患者信息是在数据分析前被附加注释，使得与研究相关的内视镜医生均无法访问能够识别的患者信息。该研究获得了日本医师会伦理审查委员会(ID：JMΑ-IIA00283)的批准。另外，关于知情同意书，由于该研究具有追溯性质，且使用完全匿名化的数据，所以被删除。
为了使以这种方式获得的实施方式3的训练用影像数据与GoogLeNet具有兼容性，而将所有影像的尺寸重设大小为244×244像素。而且，在实施方式3中使用的CNN系统除使用这些训练用影像数据将学习率变更为0.0002以外，使用与实施方式1的CNN系统相同的系统进行训练。
经训练的CNN库的诊断系统制作0到1的范围的各影像的概率值(PS)，各影像表示属于各Mayo内视镜得分的概率。具有最高概率值的范畴作为CNN的最终分类被采用。将实施方式3的CNN库的诊断系统的简单概要示于图15，将实施方式3的CNN的代表性影像及所获得的3划分的Mayo内视镜得分的示例示于图16。此外，图16A表示横行结肠的被分类为Mayo0的示例，图16B表示直肠的被分类为Mayo1的示例，图16C表示直肠的被分类为Mayo2或Mayo3的示例。
CNN的性能验证是通过评估CNN能否将各影像进行2划分的分类、也就是分类为Mayo0～1及Mayo2-3的2划分而进行的。其原因在于：Mayo0及Mayo1是处于缓解(症状可控)状态，Mayo2及Mayo3是产生了炎症。然后，为了Mayo内视镜得分，而绘制接受者动作特性(ROC)曲线，利用GraphPad Prism 7(GraphPad software,Inc,美国)测定具有95％置信区间(CI)的ROC曲线的下侧的面积(AUC)。进而，在结肠、直肠的各部位(右侧结肠、左侧结肠、及直肠)评估AUC。
在表9中表示真Mayo内视镜得分与利用CNN所得的Mayo0-1、Mayo2-3的2划分的分类之间的关联性。另外，在图17A中以色彩的浓淡表示Mayo0-1及Mayo2-3的2划分的Mayo内视镜得分中的各概率得分的示例，同样地，在图17B中表示Mayo0-1及Mayo2-3的2划分的Mayo内视镜得分中的ROC曲线。
[表9]
Figure BDA0002306144480000291
根据表9及图17所示的结果，Mayo0-1影像的96％、Mayo2-3影像的49％被CNN正确地分类为各种Mayo内视镜得分。图17B所示的ROC曲线表示相对于Mayo0-1、及Mayo2-3的2划分的分类具有0.95(95％CI：0.94-0.95)的高AUC，而表示CNN具有较高的性能。
[根据结肠、直肠的各位置的真Mayo分类与CNN分类之间的关联性]
接下来，由于结肠、直肠的位置可能会对CNN的性能造成影响，所以评估根据结肠、直肠的各位置(右侧结肠、左侧结肠、及直肠)的CNN的性能。
表10表示ROC曲线的AUC、真Mayo分类及各位置处的CNN的结果的一致度。CNN的性能在分类为Mayo0-1及Mayo2-3的2划分时，在比直肠(AUC＝0.88)更靠右侧的结肠(AUC＝0.96)及更靠左侧的结肠(AUC＝0.97)处良好。
[表10]
Figure BDA0002306144480000301
C-T：盲肠-上行结肠-横行结肠
D、S：下行结肠-S状结肠
如上所述，根据实施方式3，可确认利用经训练的CNN，能够识别溃疡性大肠炎影像的内视镜疾病活动性，表现出区分缓解状态的影像(Mayo0、Mayo1)与重度炎症(Mayo2、Mayo3)影像的有希望的性能。
根据实施方式3的结果，CNN在识别粘膜处于治愈状态(Mayo0、Mayo1)时显示非常良好的性能，相比右结肠及左结肠，直肠中更良好。其原因之一在于：所使用的影像是治疗中的溃疡性大肠炎患者的影像占大部分。该治疗改变了炎症的重症度，将炎症引导为“斑状”或“非连续病变”，而难以适当地对Mayo内视镜得分进行分类。这是由于直肠具有若干个治疗方案，斑状或非连续性病变经常发生，所以在直肠中利用CNN进行分类时，可能会导致进一步的性能降低。
另外，在实施方式3中，将利用CNN的分类定义为Mayo内视镜得分的概率值最高的影像。因此，即便Mayo1的概率值为0.344的影像(最低值)，也被分类为与Mayo1的概率值为1.00的影像相同的Mayo1。这是真Mayo内视镜得分与利用CNN的分类之间的一致相比AUC值来说相对较低的原因之一。因此，为了定义利用CNN的分类，而对概率值设定最佳的临界值，由此，能够改善CNN的性能。
实施方式3的测定中有若干个限制。第1，其是回顾性研究，为了评估实际的临床状况下的CNN的性能需要前瞻性研究。第2，由于在不具入院设施的诊所收集所有大肠内视镜检查影像，所以Mayo2-3的影像在训练用数据及验证用数据这两者中相对较少。因此，考虑通过利用更多的Mayo2-3影像训练CNN，CNN的性能会进一步提升。
[实施方式4]
在实施方式4中，针对本发明的基于内视镜影像的疾病的诊断支援方法、诊断支援系统、诊断支援程序及存储着此诊断支援程序的计算机能够读取的记录介质，说明使用超放大内视镜(Endocytoscopy：ECS)系统应用于食道疾病的示例。此处使用的ECS系统是能够使用亚甲基蓝等活体染色实时地在活体内观察表面上皮细胞的新颖的放大内视镜检查。发明者等人在2003年首次进行了使用ECS的临床试验，并报告了正常鳞状上皮及食道癌的表面上皮细胞的特征(参照非专利文献4)。目前市售的第4代ECS的倍率是光学500倍，也可进而使用内置在视频处理器的数字放大功能使倍率放大到最大900倍。
在一位发明者所属的医院中，在2011年11月至2018年2月期间，对医院内的241位患者进行了308例食道ECS检查。观测镜是使用GIF-Y0002(光学倍率：400倍(数字倍率700倍))及GIF-Y0074(光学倍率：500倍(数字倍率900倍))这2种原型ECS(Olympus MedicalSystems)。另外，作为内视镜视频观测镜系统，使用标准的内视镜视频系统(EVIS LUCERACV-260/CLV-260、EVIS LUCERA ELITE CV-290/CLV-290SL：Olympus Medical Systems)。
如图18所示，一并保存着ECS的最大光学倍率(低倍率影像)的内视镜影像(图18的a～e)、及数字倍率1.8倍的内视镜影像(高倍率影像、图18的f～j))。在308例的ECS检查中，来自2011年11月至2016年12月期间进行的240例症例的4715张影像是作为用来开发ECS影像分析用算法的训练用数据集被采用的。
训练用数据集是食道癌126例(浅表癌58例、进展期癌68例)、食道炎106例(放射线关联食道炎52例、胃食道反流症45例、念珠菌食道炎、嗜酸细胞食道炎2例、食道炎3例)、正常鳞状上皮症8例。使用活体检查组织或切除检体对所有病变部进行组织学诊断。最后，将训练用数据集分类为“恶性影像(影像数：1141(低倍率影像：231、高倍率影像：910))”及“非恶性影像(影像数：3574(低倍率影像：1150、高倍率影像：2424))”。在实施方式4中，使用低倍率影像及高倍率影像集中训练CNN。
作为用来评估所构筑的CNN的诊断能力的测试数据集，使用能够利用ECS良好地观察食道的表面细胞形态的55例。测试数据是使用包含恶性病变27例及非恶性病变28例的1520张影像(低倍率影像：467、高倍率影像：1053)。恶性病变的所有症例是食道鳞状细胞癌。其中浅表癌为20例，进展期癌为7例。非恶性病变是食道炎(放射线关联食道炎14例、胃食道反流症(GERD)9例、食道炎4例)为27例，食道乳头状瘤为1例。
为了使以这种方式获得的实施方式3的训练用影像数据与GoogLeNet具有兼容性，而将所有影像的尺寸重设大小为244×244像素。而且，在实施方式4中使用的CNN系统是使用这些训练用影像数据且使用与实施方式1的CNN系统相同的系统进行训练的。
[利用CNN的诊断结果]
在使用训练数据集构筑CNN之后，对测试数据进行研究。针对测试数据的各影像计算为恶性的概率，绘制接收器动作特性(ROC)曲线，并计算ROC曲线的下侧部分的面积(AUC)。临界值是考虑ROC曲线的灵敏度及特异性而决定的。
在针对每一症例的研究中，对从同一病变获取的多张ECS影像诊断为2张以上是恶性时，诊断其为恶性。以如下方式计算诊断食道癌的CNN的灵敏度、阳性命中率(PPV)、阴性命中率(NPV)、及特异度。
灵敏度＝CNN正确地诊断为恶性的数量/经组织学证明的食道癌病变的数量
PPV＝CNN正确地诊断为恶性的数量/利用CNN诊断为食道癌的病变的数量
NPV＝CNN正确地诊断为非恶性病变的数量(被诊断为恶性的ECS影像为1张以下)/利用CNN诊断为非恶性病变的病变的数量
特异度＝CNN正确地诊断为非恶性病变的数量/经组织学证明的非恶性病变
在利用CNN进行诊断之前，经验丰富的1位内视镜专科医生在内视镜检查中进行了诊断。内视镜专科医生将所有症例按照以下类型分类进行了分类。
类型1：表面上皮细胞的核/细胞质比较低，细胞密度较低。无法确认核异型。(参照图19a)
类型2：核密度较高，但并无明确的核异型。细胞间边界不明确。(参照图19b)
类型3：确认到明确的核密度上升及核异型。也确认到核的肿大(参照图19c)
[测试数据的临床诊断及病理诊断结果]
将测试数据症例的临床诊断及病理诊断结果示于表11。
[表11]
Figure BDA0002306144480000331
如表11所示，通过临床诊断被诊断为食道癌的27例全部是鳞状细胞癌。通过临床诊断被诊断为胃食道反流症的9例在组织学上4例被诊断为再生上皮，3例被诊断为食道溃疡，2例被诊断为食道炎。通过临床诊断被诊断为放射线性食道炎的14例在组织学上2例被诊断为再生上皮，8例被诊断为食道炎，其它被诊断为食道溃疡、伴随异型细胞的食道炎、肉芽组织及坏死组织。
[ROC曲线及其下侧部分的面积及临界值]
在实施方式4中获得的CNN为了分析1520张影像(每张影像0.011秒)而需要17秒。根据从所有影像绘制的ROC曲线(图20A)求出的AUC是0.85。另外，在高倍率影像(图20B)及低倍率影像的情况(图20C)下分别制作ROC曲线进行分析，结果，高倍率影像的情况下的AUC及低倍率影像的情况下的AUC分别为0.90及0.72。
期待对非恶性病变的高特异性，根据ROC曲线将恶性肿瘤的概率的临界值设定为90％。如表12所示，所有影像的情况下的灵敏度、特异度、PPV、NPV分别为39.4、98.2、92.9及73.2。另外，在对高倍率影像的情况及低倍率影像的情况分别独立进行分析时，高倍率影像的情况的灵敏度、特异性、PPV、NPV分别为46.4、98.4、95.2及72.6，低倍率影像的情况的灵敏度、特异性、PPV、NPV分别为17.4、98.2、79.3、74.4。
[表12]
CNN的灵敏度 特异度 阳性预测值(PPV) 阴性预测值(NPV)
所有影像 39.4 98.2 92.9 73.2
高倍率影像(HMP) 46.4 98.4 95.2 72.6
低倍率影像(LMP) 17.4 98.2 79.3 74.4
在高倍率影像中临床诊断为非恶性的622例中的10张影像(1.6％)的恶性肿瘤的概率超过90％。在该10张影像中，包含从白斑部分获得的7张影像、从异型上皮获得的2张影像、从正常上皮获得的1张影像。在低倍率影像中临床诊断为非恶性的332例中的被诊断为食道炎的7张影像(2.1％)的恶性概率超过90％。
[针对各症例的由内视镜医生进行的类型分类的评估与利用CNN进行的诊断的比较]
将被诊断为食道鳞状细胞癌的27症例中的利用在实施方式4中构筑的CNN得出的诊断结果与由内视镜专科医生分类的类型的关系示于表13。
[表13]
Figure BDA0002306144480000341
根据表13所示的结果，被诊断为食道鳞状细胞癌的27症例中，CNN将25症例(灵敏度92.6％)准确地诊断为恶性(包含恶性肿瘤的概率超过90％的2张以上的影像)。CNN在拍摄有癌细胞的照片中识别为恶性的比例的中央值(范围)为40.9(0～88.9)％。CNN将非恶性病变的28症例的25症例准确地诊断为非恶性(特异性89.3％)。PPV、NPV、及整体的精度分别为89.3％、92.6％、90.9％。
内视镜专科医生将所有恶性病变诊断为类型3。内视镜专科医生将非恶性病变的28例中的13例病变诊断为类型1，将12例病变诊断为类型2，将3例病变诊断为类型3。在认为类型3与恶性肿瘤对应的情况下，灵敏度、特异性、PPV、NPV、内视镜检查的诊断的综合精度分别为100％、89.3％、90.0％、100％、94.5％。
CNN误诊为非恶性的2例恶性病变由内视镜专科医生准确诊断为类型3。这2例是浅表癌，核密度的增加及核的异常明显。然而，核的放大并不明显(参照图21)。此外，图21A是普通内视镜影像，图21B是同样地ECS影像，图21C是同样地病理组织检查影像。
CNN将非恶性病变诊断为恶性的3例中的2例是放射线照射后的食道炎，1例是等级为C的胃食道反流症。根据这些病变的非放大内视镜影像，内视镜专科医生并未将其等视为恶性。然而，在放射线食道炎的1例中，由于核密度及核异常明显增加，内视镜专科医生分类为类型3。在该症例中，通过病变部的组织学检查，明确其是肉芽组织(参照图22)。此外，图22A是普通内视镜影像，图22B是ECS影像，图22C是病理组织检查影像。
针对食道的ECS诊断的最有希望的目标是省略食道鳞状细胞癌的活体检查组织诊断。在实施方式4的结果中，尤其是在高倍率影像的ROC曲线中确认到较高的AUC。以前对1名病理医生能否仅根据ECS影像区分恶性ECS影像进行了试验。病理学者在仅使用低倍率影像的情况下，将食道炎的约2/3诊断为恶性。在这些情况下，虽然核密度增加，但由于是低倍率，所以无法识别核异型。之后，为了识别核异型，而利用数字1.8倍(高倍率)的影像再次进行了试验。此时的病理学者的灵敏度及特异度急剧改善为90％以上。
在实施方式4中，所有被诊断为恶性的非恶性低倍率影像是从食道炎症例获得的。这些影像显示出较高的核密度，但由于是低倍率，所以无法评估核的异常。因此，推荐参照高倍率影像而非低倍率影像。另一方面，被误诊为恶性的大部分非恶性高倍率影像是从白斑部分的观察获得的。白斑部分的ECS影像的特征是炎症细胞的集簇。推测这些影像作为鳞状细胞癌的低倍率影像被识别(参照图18)。因此，今后，较理想的是分别确立高倍率影像及低倍率影像这2种不同的CNN。
为了省略组织活体检查，必须将非恶性病变的恶性误诊(假阳性)抑制为最小限度。由使用ECS的内视镜专科医生进行的鳞状上皮肿瘤的过度诊断需要进行有死亡风险的手术。在为了早期发现癌而应用AI的论文中，容许一定的假阳性率。因此，临界值以相对较低的概率设定。在本次研究中，将恶性肿瘤的概率的临界值设定为90％。这是为了使上文所述的假阳性为最小限度。
在针对各症例的评估中，内视镜专科医生应用了用于利用ECS进行的诊断的类型分类。类型1及类型3分别与非肿瘤性上皮及食道鳞状细胞癌对应。这些症例中，可省略组织活体检查。然而，类型2由于包含各种组织学状况，所以为了决定治疗方针，应实施组织活体检查。在实施方式4的结果中，利用CNN的ECS影像的诊断结果超过了接近内视镜专科医生的结果的90％。
即便是较高的临界值，该结果也被容许。这些症例可通过CNN的支援而省略组织活体检查。进而，未被CNN诊断为恶性的2例恶性症例由内视镜专科医生准确地诊断为类型3。由于根据病变普通内视镜观察清晰地表示为恶性肿瘤，所以这些症例可仅利用ECS影像而无需CNN的支援便省略组织活体检查。
另一方面，实施方式4的特异度为89.3％，3例非恶性病变被CNN诊断为恶性。1例是等级C的胃食道反流症，其它2例是放射线食道炎。这些病变的病理学诊断是再生上皮、肉芽组织及食道溃疡。关于再生上皮，即便为经验丰富的病理学者也难以与食道鳞状细胞癌区分。
放射线食道炎的1例由内视镜专科医生诊断为类型3，由实施方式4的CNN诊断为恶性。存在放射线照射后即便进行组织活体检查也难以诊断复发或残存食道癌的情况。除ECS观察以外，在食道癌的放射线照射后的追踪时，应实施组织活体检查。
根据实施方式4的结果，在本次CNN的研究中可指出若干个界限。第1，测试数据的数量较少。为了解决该问题，计划从动态影像获取庞大数量的影像。期待进一步深入学习过的CNN改善诊断结果。第2，使用了光学倍率为400倍及500倍的不同的2个ECS。这2个ECS的倍率的差可能会对利用CNN的诊断结果造成影响。因此，认为今后必须限定为使用市售的光学倍率500倍的ECS的影像。
结论为，实施方式4的CNN能够强力地支持内视镜专科医生基于ECS影像而省略组织活体检查。另外，为了识别核异型，应参照并用了数字变焦的高倍率影像而非低倍率影像。
[实施方式5]
使用图23对实施方式5的使用类神经网络的基于消化器官的内视镜影像的疾病的诊断支援方法进行说明。在实施方式5中，可使用实施方式1～4的使用类神经网络的基于消化器官的内视镜影像的疾病的诊断支援方法。在S1中，使用消化器官的第1内视镜影像、及与第1内视镜影像对应的消化器官的所述疾病的阳性或阴性、过去的疾病、重症度等级、或与所拍摄的部位对应的信息中的至少一者的确诊结果来训练类神经网络。在S2中，S1中经训练的类神经网络基于消化器官的第2内视镜影像输出该消化器官的疾病的阳性及/或阴性的概率、过去的疾病的概率、疾病的重症度等级、或与所拍摄的部位对应的信息中的至少一者。
在S1中，第1内视镜影像也可进行对比度调整。另外，在S1中，第1内视镜影像也可分别与被拍摄的部位建立关联。作为部位，可包含咽部、食道、胃或十二指肠中的至少一个，该部位也可在多个消化器官中的至少一个中被划分为多个部位。在部位是胃的情况下，划分可包含上部胃、中部胃或下部胃中的至少一个，另外，划分也可包含贲门部、胃底部、胃体部、胃角部、前庭部、幽门窦或幽门部中的至少一个。
在所拍摄的部位中的第1内视镜影像的数量比其它部位少的情况下，也可通过使用将第1内视镜影像旋转、放大、缩小、进行像素数的变更、明暗部的撷取、或色调变化部位的撷取中的至少一种而使所有部位中的所述第1内视镜影像的数量实质上相等。
经训练的类神经网络可设为能够输出与被拍摄了第2内视镜影像的部位对应的信息，另外，也可一并输出概率或重症度以及与部位对应的信息。
在第1内视镜影像包含胃内视镜影像的情况下，作为疾病，也可包含幽门螺旋杆菌感染或幽门螺旋杆菌除菌的有无的至少一种。在第1内视镜影像包含大肠内视镜影像的情况下，作为疾病，至少包含溃疡性大肠炎，经训练的类神经网络也可划分为与所述溃疡性大肠炎的重症度对应的多个阶段而输出。在第1内视镜影像包含食道内视镜影像的情况下，作为疾病，包含食道癌、胃食道反流症、或食道炎中的至少一种，经训练的类神经网络也可划分并输出食道癌、胃食道反流症、或食道炎中的至少一种。
第2内视镜影像也可为利用内视镜拍摄中的影像、经由通信网络发送来的影像、利用远程操作系统或云端型系统而提供的影像、记录在计算机能够读取的记录介质中的影像、或动态影像中的至少一种。另外，作为类神经网络，也可使用卷积类神经网络。
[实施方式6]
参照图24，对实施方式6的使用类神经网络的基于消化器官的内视镜影像的疾病的诊断支援系统、基于消化器官的内视镜影像的诊断支援程序、及计算机能够读取的记录介质进行说明。在实施方式6中，可利用在实施方式1～4中说明的基于消化器官的内视镜影像的疾病的诊断支援系统。基于消化器官的内视镜影像的疾病的诊断支援系统具有内视镜影像输入部10、输出部30、及组入了类神经网络的计算机20。计算机20具备：第1存储区域21，存储消化器官的第1内视镜影像；第2存储区域22，存储与第1内视镜影像对应的消化器官的疾病的阳性或阴性、过去的疾病、重症度等级、或与所拍摄的部位对应的信息中的至少一者的确诊结果；及第3存储区域23，存储类神经网络程序。存储在第3存储区域23的类神经网络程序基于存储在第1存储区域21的第1内视镜影像、及存储在第2存储区域22的确诊结果被训练，且基于从内视镜影像输入部10输入的消化器官的第2内视镜影像将相对于第2内视镜影像的消化器官的疾病的阳性及/或阴性的概率、过去的疾病的概率、疾病的重症度等级、或与所拍摄的部位对应的信息中的至少一者输出至输出部30。
第1内视镜影像也可进行对比度调整。另外，第1内视镜影像也可分别与被拍摄的部位建立关联。作为部位，可包含咽部、食道、胃或十二指肠中的至少一个，该部位也可在多个消化器官中的至少一个中被划分为多个部位。在部位是胃的情况下，划分可包含上部胃、中部胃或下部胃中的至少一个，另外，划分也可包含贲门部、胃底部、胃体部、胃角部、前庭部、幽门窦或幽门部中的至少一个。
在所拍摄的部位中的第1内视镜影像的数量比其它部位少的情况下，也可通过使用将第1内视镜影像旋转、放大、缩小、进行像素数的变更、明暗部的撷取、或色调变化部位的撷取中的至少一种而使所有部位中的所述第1内视镜影像的数量实质上相等。
经训练的类神经网络程序可设为能够输出与被拍摄了第2内视镜影像的部位对应的信息，另外，也可一并输出概率或重症度以及与部位对应的信息。
在第1内视镜影像包含胃内视镜影像的情况下，作为疾病，也可包含幽门螺旋杆菌感染或幽门螺旋杆菌除菌的有无的至少一种。在第1内视镜影像包含大肠内视镜影像的情况下，作为疾病，至少包含溃疡性大肠炎，经训练的类神经网络也可划分为与所述溃疡性大肠炎的重症度对应的多个阶段而输出。在第1内视镜影像包含食道内视镜影像的情况下，作为疾病，包含食道癌、胃食道反流症、或食道炎中的至少一种，经训练的类神经网络也可划分并输出食道癌、胃食道反流症、或食道炎中的至少一种。
第2内视镜影像也可为利用内视镜拍摄中的影像、经由通信网络发送来的影像、利用远程操作系统或云端型系统而提供的影像、记录在计算机能够读取的记录介质中的影像、或动态影像中的至少一种。另外，作为类神经网络，也可使用卷积类神经网络。
基于消化器官的内视镜影像的疾病的诊断支援系统具备用来作为各部件使计算机动作的基于消化器官的内视镜影像的诊断支援程序。另外，基于消化器官的内视镜影像的诊断支援程序可预先存储在计算机能够读取的记录介质中。
[实施方式7]
参照图25，对实施方式7的使用类神经网络的基于消化器官的内视镜影像的消化器官的部位的判别方法进行说明。在实施方式7中，可利用在实施方式1～4中说明的使用类神经网络的基于消化器官的内视镜影像的消化器官的部位的判别方法。在S11中，使用消化器官的第1内视镜影像、及对应于第1内视镜影像的与所拍摄的部位对应的信息的确定信息来训练类神经网络。在S12中，经训练的类神经网络基于消化器官的第2内视镜影像输出与该消化器官的被拍摄部位对应的信息。
[实施方式8]
参照图26对实施方式8的使用类神经网络的基于消化器官的内视镜影像的消化器官的部位的判别系统、基于消化器官的内视镜影像的消化器官的部位的判别程序、及计算机能够读取的记录介质进行说明。在实施方式8中，可利用在实施方式1～4中说明的使用类神经网络的基于消化器官的内视镜影像的消化器官的部位的判别系统。实施方式8的基于消化器官的内视镜影像的消化器官的部位的判别系统具有内视镜影像输入部40、输出部60、及组入了类神经网络的计算机50。计算机50具备：第1存储区域51，存储消化器官的第1内视镜影像；第2存储区域52，存储对应于第1内视镜影像的与消化器官的被拍摄部位对应的信息的确定信息；及第3存储区域53，存储类神经网络程序。存储在第3存储区域53的类神经网络程序基于存储在第1存储区域51的第1内视镜影像、及存储在第2存储区域52的确定信息被训练，且基于从内视镜影像输入部40输入的消化器官的第2内视镜影像将相对于第2内视镜影像的与消化器官的被拍摄部位对应的信息输出至输出部60。
基于消化器官的内视镜影像的消化器官的部位的判别系统具备用来作为各部件进行动作的基于消化器官的内视镜影像的消化器官的部位的判别程序。另外，基于消化器官的内视镜影像的消化器官的部位的判别程序可存储在计算机能够读取的记录介质中。
[符号的说明]
10 内视镜影像输入部
20 计算机
21 第1存储区域
22 第2存储区域
23 第3存储区域
30 输出部
40 内视镜影像输入部
50 计算机
51 第1存储区域
52 第2存储区域
53 第3存储区域
60 输出部

Claims (36)

1.一种使用类神经网络的基于消化器官的内视镜影像的疾病的诊断支援方法，其特征在于：
使用消化器官的第1内视镜影像、及
与所述第1内视镜影像对应的所述消化器官的所述疾病的阳性或阴性、过去的疾病、重症度等级、或与所拍摄的部位对应的信息中的至少一者的确诊结果，
来训练类神经网络，且
所述经训练的类神经网络基于消化器官的第2内视镜影像输出该消化器官的疾病的阳性及/或阴性的概率、过去的疾病的概率、疾病的重症度等级、或与所拍摄的部位对应的信息中的至少一者。
2.根据权利要求1所述的使用类神经网络的基于消化器官的内视镜影像的疾病的诊断支援方法，其特征在于：
所述第1内视镜影像进行了对比度调整。
3.根据权利要求1或2所述的使用类神经网络的基于消化器官的内视镜影像的疾病的诊断支援方法，其特征在于：
所述第1内视镜影像分别与所拍摄的部位建立了关联。
4.根据权利要求3所述的使用类神经网络的基于消化器官的内视镜影像的疾病的诊断支援方法，其特征在于：
所述部位包含咽部、食道、胃或十二指肠中的至少一个。
5.根据权利要求3或4所述的使用类神经网络的基于消化器官的内视镜影像的疾病的诊断支援方法，其特征在于：
所述部位在所述多个消化器官中的至少一个中被划分为多个部位。
6.根据权利要求5所述的使用类神经网络的基于消化器官的内视镜影像的疾病的诊断支援方法，其特征在于：
在所述部位是胃的情况下，所述划分包含上部胃、中部胃或下部胃中的至少一个。
7.根据权利要求5所述的使用类神经网络的基于消化器官的内视镜影像的疾病的诊断支援方法，其特征在于：
在所述部位是胃的情况下，所述划分包含贲门部、胃底部、胃体部、胃角部、前庭部、幽门窦或幽门部中的至少一个。
8.根据权利要求3至7中任一项所述的使用类神经网络的基于消化器官的内视镜影像的疾病的诊断支援方法，其特征在于：
在所述所拍摄的部位中的所述第1内视镜影像的数量比其它部位少的情况下，通过使用将所述第1内视镜影像旋转、放大、缩小、进行像素数的变更、明暗部的撷取、或色调变化部位的撷取中的至少一种，而使所有部位中的所述第1内视镜影像的数量实质上相等。
9.根据权利要求3至8中任一项所述的使用类神经网络的基于消化器官的内视镜影像的疾病的诊断支援方法，其特征在于：
所述经训练的类神经网络能够输出与被拍摄了所述第2内视镜影像的部位对应的信息。
10.根据权利要求9所述的使用类神经网络的基于消化器官的内视镜影像的疾病的诊断支援方法，其特征在于：
所述经训练的类神经网络一并输出所述概率或所述重症度以及与所述部位对应的信息。
11.根据权利要求1至10中任一项所述的使用类神经网络的基于消化器官的内视镜影像的疾病的诊断支援方法，其特征在于：
所述第1内视镜影像包含胃内视镜影像，所述疾病包含幽门螺旋杆菌感染或幽门螺旋杆菌除菌的有无的至少一种。
12.根据权利要求1至10中任一项所述的使用类神经网络的基于消化器官的内视镜影像的疾病的诊断支援方法，其特征在于：
所述第1内视镜影像包含大肠内视镜影像，所述疾病至少包含溃疡性大肠炎，所述经训练的类神经网络划分为与所述溃疡性大肠炎的重症度对应的多个阶段而输出。
13.根据权利要求1至10中任一项所述的使用类神经网络的基于消化器官的内视镜影像的疾病的诊断支援方法，其特征在于：
所述第1内视镜影像包含利用超放大内视镜所得的食道内视镜影像，所述疾病包含食道癌、胃食道反流症、或食道炎中的至少一种，所述经训练的类神经网络划分并输出所述食道癌、胃食道反流症、或食道炎中的至少一种。
14.根据权利要求1至13中任一项所述的使用类神经网络的基于消化器官的内视镜影像的疾病的诊断支援方法，其特征在于：
所述第2内视镜影像是利用内视镜拍摄中的影像、经由通信网络发送来的影像、利用远程操作系统或云端型系统而提供的影像、记录在计算机能够读取的记录介质中的影像、或动态影像中的至少一种。
15.根据权利要求1至14中任一项所述的使用类神经网络的基于消化器官的内视镜影像的疾病的诊断支援方法，其特征在于：
作为所述类神经网络，使用卷积类神经网络。
16.一种基于消化器官的内视镜影像的疾病的诊断支援系统，其特征在于：具有内视镜影像输入部、输出部、及组入了类神经网络的计算机，且
所述计算机具备：
第1存储区域，存储消化器官的第1内视镜影像；
第2存储区域，存储与所述第1内视镜影像对应的所述消化器官的所述疾病的阳性或阴性、过去的疾病、重症度等级、或与所拍摄的部位对应的信息中的至少一者的确诊结果；及
第3存储区域，存储所述类神经网络程序；且
所述类神经网络程序是
基于存储在所述第1存储区域的所述第1内视镜影像、及存储在所述第2存储区域的确诊结果被训练，且
基于从所述内视镜影像输入部输入的消化器官的第2内视镜影像，将相对于所述第2内视镜影像的消化器官的疾病的阳性及/或阴性的概率、过去的疾病的概率、疾病的重症度等级、或与所拍摄的部位对应的信息中的至少一者输出至所述输出部。
17.根据权利要求16所述的基于消化器官的内视镜影像的疾病的诊断支援系统，其特征在于：
所述第1内视镜影像进行了对比度调整。
18.根据权利要求16或17所述的基于消化器官的内视镜影像的疾病的诊断支援系统，其特征在于：
所述第1内视镜影像分别与所拍摄的部位建立了关联。
19.根据权利要求18所述的基于消化器官的内视镜影像的疾病的诊断支援系统，其特征在于：
所述部位包含咽部、食道、胃或十二指肠中的至少一个。
20.根据权利要求18或19所述的基于消化器官的内视镜影像的疾病的诊断支援系统，其特征在于：
所述部位在所述多个消化器官中的至少一个中被划分为多个部位。
21.根据权利要求20所述的基于消化器官的内视镜影像的疾病的诊断支援系统，其特征在于：
在所述部位是胃的情况下，所述划分包含上部胃、中部胃或下部胃中的至少一个。
22.根据权利要求20所述的基于消化器官的内视镜影像的疾病的诊断支援系统，其特征在于：
在所述部位是胃的情况下，所述划分包含贲门部、胃底部、胃体部、胃角部、前庭部、幽门窦或幽门部中的至少一个。
23.根据权利要求16至22中任一项所述的基于消化器官的内视镜影像的疾病的诊断支援系统，其特征在于：
在所述所拍摄的部位中的所述第1内视镜影像的数量比其它部位少的情况下，通过使用将所述第1内视镜影像旋转、放大、缩小、进行像素数的变更、明暗部的撷取或色调变化部位的撷取中的至少一种，而使所有部位中的训练/验证数据的数量实质上相等。
24.根据权利要求16至23中任一项所述的基于消化器官的内视镜影像的疾病的诊断支援系统，其特征在于：
所述经训练的类神经网络程序能够输出与被拍摄了所述第2内视镜影像的部位对应的信息。
25.根据权利要求24所述的基于消化器官的内视镜影像的疾病的诊断支援系统，其特征在于：
所述经训练的类神经网络程序一并输出所述概率或所述重症度以及与所述部位对应的信息。
26.根据权利要求16至25中任一项所述的基于消化器官的内视镜影像的疾病的诊断支援系统，其特征在于：
所述第1内视镜影像包含胃内视镜影像，所述疾病包含幽门螺旋杆菌感染或幽门螺旋杆菌除菌的有无的至少一种。
27.根据权利要求16至25中任一项所述的使用类神经网络的基于消化器官的内视镜影像的疾病的诊断支援系统，其特征在于：
所述第1内视镜影像包含大肠内视镜影像，所述疾病至少包含溃疡性大肠炎，所述经训练的类神经网络程序划分为与所述溃疡性大肠炎的重症度对应的多个阶段而输出。
28.根据权利要求16至25中任一项所述的使用类神经网络的基于消化器官的内视镜影像的疾病的诊断支援系统，其特征在于：
所述第1内视镜影像包含利用超放大内视镜所得的食道内视镜影像，所述疾病包含食道癌、胃食道反流症、或食道炎中的至少一种，所述经训练的类神经网络划分并输出所述食道癌、胃食道反流症、或食道炎中的至少一种。
29.根据权利要求16至28中任一项所述的使用类神经网络的基于消化器官的内视镜影像的疾病的诊断支援系统，其特征在于：
所述第2内视镜影像是利用内视镜拍摄中的影像、经由通信网络发送来的影像、利用远程操作系统或云端型系统而提供的影像、记录在计算机能够读取的记录介质中的影像、或动态影像中的至少一种。
30.根据权利要求16至29中任一项所述的使用类神经网络的基于消化器官的内视镜影像的疾病的诊断支援系统，其特征在于：
所述类神经网络是卷积类神经网络。
31.一种基于消化器官的内视镜影像的诊断支援程序，其特征在于：
用来使计算机作为根据权利要求16至30中任一项所述的基于消化器官的内视镜影像的疾病的诊断支援系统中的各部件而动作。
32.一种计算机能够读取的记录介质，其特征在于：
记录着根据权利要求31所述的基于消化器官的内视镜影像的诊断支援程序。
33.一种使用类神经网络的基于消化器官的内视镜影像的消化器官的部位的判别方法，其特征在于：
使用消化器官的第1内视镜影像、及
对应于所述第1内视镜影像的与所拍摄的部位对应的信息的确定信息来训练类神经网络，
所述经训练的类神经网络基于消化器官的第2内视镜影像输出与该消化器官的被拍摄部位对应的信息。
34.一种使用类神经网络的基于消化器官的内视镜影像的消化器官的部位的判别系统，其特征在于：是具有内视镜影像输入部、输出部、及组入了类神经网络的计算机的基于消化器官的内视镜影像的消化器官的部位的判别系统，且
所述计算机具备：
第1存储区域，存储消化器官的第1内视镜影像；
第2存储区域，存储对应于所述第1内视镜影像的与所述消化器官的被拍摄部位对应的信息的确定信息；及
第3存储区域，存储所述类神经网络程序；且
所述类神经网络程序是
基于存储在所述第1存储区域的所述第1内视镜影像、及存储在所述第2存储区域的确定信息被训练，且
基于从所述内视镜影像输入部输入的消化器官的第2内视镜影像，将相对于所述第2内视镜影像的与消化器官的被拍摄部位对应的信息输出至所述输出部。
35.一种基于消化器官的内视镜影像的消化器官的部位的判别程序，其特征在于：
用来作为根据权利要求34所述的基于消化器官的内视镜影像的消化器官的部位的判别系统中的各部件进行动作。
36.一种计算机能够读取的记录介质，其特征在于：
记录着根据权利要求35所述的基于消化器官的内视镜影像的消化器官的部位的判别程序。
CN201880037797.9A 2017-06-09 2018-05-11 基于消化器官的内视镜影像的疾病的诊断支援方法、诊断支援系统、诊断支援程序及存储着此诊断支援程序的计算机能够读取的记录介质 Pending CN111278348A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2017-114792 2017-06-09
JP2017114792 2017-06-09
JP2017213311 2017-11-02
JP2017-213311 2017-11-02
PCT/JP2018/018316 WO2018225448A1 (ja) 2017-06-09 2018-05-11 消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体

Publications (1)

Publication Number Publication Date
CN111278348A true CN111278348A (zh) 2020-06-12

Family

ID=64567036

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880037797.9A Pending CN111278348A (zh) 2017-06-09 2018-05-11 基于消化器官的内视镜影像的疾病的诊断支援方法、诊断支援系统、诊断支援程序及存储着此诊断支援程序的计算机能够读取的记录介质

Country Status (6)

Country Link
US (1) US11270433B2 (zh)
JP (2) JP6875709B2 (zh)
CN (1) CN111278348A (zh)
SG (1) SG11201911791RA (zh)
TW (1) TW201902411A (zh)
WO (1) WO2018225448A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111655116A (zh) * 2017-10-30 2020-09-11 公益财团法人癌研究会 图像诊断辅助装置、资料收集方法、图像诊断辅助方法及图像诊断辅助程序
CN112396591A (zh) * 2020-11-25 2021-02-23 暨南大学附属第一医院（广州华侨医院） 一种基于腰椎x线图像的骨质疏松智能评估方法
CN112584749A (zh) * 2018-06-22 2021-03-30 株式会社Ai医疗服务 基于消化器官的内窥镜图像的疾病的诊断支援方法、诊断支援系统、诊断支援程序和存储有该诊断支援程序的计算机可读取的记录介质
CN113539476A (zh) * 2021-06-02 2021-10-22 复旦大学 基于人工智能的胃内窥活检拉曼图像辅助诊断方法和系统
CN113610847A (zh) * 2021-10-08 2021-11-05 武汉楚精灵医疗科技有限公司 一种白光模式下胃部标志物评估方法及系统

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019120452A1 (en) 2017-12-22 2019-06-27 Coloplast A/S Coupling part with a hinge for an ostomy base plate and sensor assembly part
CA3090672A1 (en) * 2018-02-06 2019-08-15 The Regents Of The University Of Michigan Systems and methods for analysis and remote interpretation of optical histologic images
KR102237441B1 (ko) * 2018-02-28 2021-04-07 이화여자대학교 산학협력단 뉴럴 네트워크를 이용하여 캡슐 내시경 영상으로부터 병변 판독 방법 및 장치
WO2019174697A1 (en) 2018-03-15 2019-09-19 Coloplast A/S Apparatus and methods for navigating ostomy appliance user to changing room
WO2019198637A1 (ja) * 2018-04-13 2019-10-17 富士フイルム株式会社 画像処理装置、内視鏡システム、及び画像処理方法
WO2020061370A1 (en) * 2018-09-20 2020-03-26 Siemens Healthcare Diagnostics Inc. Hypothesizing and verification networks and methods for specimen classification
KR102210806B1 (ko) * 2018-10-02 2021-02-01 한림대학교 산학협력단 위 내시경 이미지의 딥러닝을 이용하여 위 병변을 진단하는 장치 및 방법
CN109523522B (zh) * 2018-10-30 2023-05-09 腾讯医疗健康(深圳)有限公司 内窥镜图像的处理方法、装置、系统及存储介质
EP4257035A3 (en) * 2018-12-20 2024-01-03 Coloplast A/S Ostomy condition classification with masking, devices and related methods
JP7308258B2 (ja) * 2019-02-19 2023-07-13 富士フイルム株式会社 医療画像処理装置及び医療画像処理装置の作動方法
EP3932323A4 (en) * 2019-02-28 2022-04-13 FUJIFILM Corporation ULTRASOUND ENDOSCOPY SYSTEM AND OPERATING PROCEDURES FOR AN ULTRASOUND ENDOSCOPY SYSTEM
TWI711050B (zh) * 2019-03-12 2020-11-21 宏碁股份有限公司 醫療影像辨識裝置及醫療影像辨識方法
CN112566540B (zh) * 2019-03-27 2023-12-19 Hoya株式会社 内窥镜用处理器、信息处理装置、内窥镜系统、程序以及信息处理方法
US11779222B2 (en) 2019-07-10 2023-10-10 Compal Electronics, Inc. Method of and imaging system for clinical sign detection
JP7477269B2 (ja) * 2019-07-19 2024-05-01 株式会社ニコン 学習装置、判定装置、顕微鏡、学習済みモデル、及びプログラム
WO2021020187A1 (ja) * 2019-07-26 2021-02-04 知明 久慈 医療システム、医療デバイス及び医療プログラム
CN110495847B (zh) * 2019-08-23 2021-10-08 重庆天如生物科技有限公司 基于深度学习的消化道早癌辅助诊断系统和检查装置
TWI709147B (zh) * 2019-10-16 2020-11-01 中國醫藥大學附設醫院 基於全身骨掃描影像之深度學習攝護腺癌骨轉移辨識系統
US20240169093A1 (en) * 2019-10-31 2024-05-23 Siemens Healthcare Diagnostics Inc. Methods and apparatus for protecting patient information during characterization of a specimen in an automated diagnostic analysis system
WO2021149552A1 (ja) * 2020-01-20 2021-07-29 富士フイルム株式会社 医療画像処理装置、医療画像処理装置の作動方法、及び内視鏡システム
US11232570B2 (en) * 2020-02-13 2022-01-25 Olympus Corporation System and method for diagnosing severity of gastritis
WO2021166749A1 (ja) * 2020-02-18 2021-08-26 ソニー・オリンパスメディカルソリューションズ株式会社 学習装置及び医療用画像処理装置
CN111353547B (zh) * 2020-03-06 2023-07-04 重庆金山医疗技术研究院有限公司 一种基于深度学习的图片处理方法、设备及系统
JP7451680B2 (ja) * 2020-03-11 2024-03-18 オリンパス株式会社 処理システム、画像処理方法、学習方法及び処理装置
US20230162356A1 (en) * 2020-04-10 2023-05-25 Japanese Foundation For Cancer Research Diagnostic imaging device, diagnostic imaging method, diagnostic imaging program, and learned model
WO2021220822A1 (ja) * 2020-04-27 2021-11-04 公益財団法人がん研究会 画像診断装置、画像診断方法、画像診断プログラムおよび学習済みモデル
US11478124B2 (en) * 2020-06-09 2022-10-25 DOCBOT, Inc. System and methods for enhanced automated endoscopy procedure workflow
KR102492463B1 (ko) * 2020-06-24 2023-01-27 주식회사 뷰노 병변 판독 결과 표시 방법
CN115776863A (zh) * 2020-07-06 2023-03-10 阿伊里斯株式会社 处理装置、处理程序、处理方法及处理系统
EP4227725A4 (en) * 2020-10-09 2024-04-10 FUJIFILM Corporation MEDICAL IMAGE PROCESSING DEVICE AND METHOD OF OPERATING THE SAME
US11100373B1 (en) 2020-11-02 2021-08-24 DOCBOT, Inc. Autonomous and continuously self-improving learning system
CN112508827B (zh) * 2020-11-06 2022-04-22 中南大学湘雅医院 一种基于深度学习的融合多场景的危及器官的分割方法
TWI767456B (zh) * 2020-12-18 2022-06-11 陳階曉 黃疸分析系統及其方法
WO2023089718A1 (ja) 2021-11-18 2023-05-25 日本電気株式会社 情報処理装置、情報処理方法、及び、記録媒体
CN113989284B (zh) * 2021-12-29 2022-05-10 广州思德医疗科技有限公司 一种幽门螺杆菌辅助检测系统及检测装置
CN114664410B (zh) * 2022-03-11 2022-11-08 北京医准智能科技有限公司 一种基于视频的病灶分类方法、装置、电子设备及介质
US20230342912A1 (en) * 2022-04-25 2023-10-26 Hong Kong Applied Science and Technology Research Institute Company Limited Multi-functional computer-aided gastroscopy system optimized with integrated ai solutions and method
WO2024075240A1 (ja) * 2022-10-06 2024-04-11 日本電気株式会社 画像処理装置、画像処理方法及び記憶媒体
CN116012367B (zh) * 2023-02-14 2023-09-12 山东省人工智能研究院 一种基于深度学习的胃部胃黏膜特征及位置识别方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002165757A (ja) * 2000-11-30 2002-06-11 Olympus Optical Co Ltd 診断支援装置
CN104732243A (zh) * 2015-04-09 2015-06-24 西安电子科技大学 基于cnn的sar目标识别方法
WO2016094330A2 (en) * 2014-12-08 2016-06-16 20/20 Genesystems, Inc Methods and machine learning systems for predicting the liklihood or risk of having cancer
CN205665697U (zh) * 2016-04-05 2016-10-26 陈进民 基于细胞神经网络或卷积神经网络的医学影像识别诊断系统
WO2017055412A1 (en) * 2015-09-30 2017-04-06 Siemens Healthcare Gmbh Method and system for classification of endoscopic images using deep decision networks

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4409166B2 (ja) * 2002-12-05 2010-02-03 オリンパス株式会社 画像処理装置
JP5094036B2 (ja) * 2006-04-17 2012-12-12 オリンパスメディカルシステムズ株式会社 内視鏡挿入方向検出装置
US8081811B2 (en) 2007-04-12 2011-12-20 Fujifilm Corporation Method, apparatus, and program for judging image recognition results, and computer readable medium having the program stored therein
JP5831901B2 (ja) 2011-11-28 2015-12-09 国立大学法人大阪大学 誘導ラマン散乱顕微鏡
WO2017027475A1 (en) * 2015-08-07 2017-02-16 Jianming Liang Methods, systems, and media for simultaneously monitoring colonoscopic video quality and detecting polyps in colonoscopy
JP6528608B2 (ja) 2015-08-28 2019-06-12 カシオ計算機株式会社 診断装置、及び診断装置における学習処理方法、並びにプログラム
US10510144B2 (en) * 2015-09-10 2019-12-17 Magentiq Eye Ltd. System and method for detection of suspicious tissue regions in an endoscopic procedure
JP6545591B2 (ja) 2015-09-28 2019-07-17 富士フイルム富山化学株式会社 診断支援装置、方法及びコンピュータプログラム
JP6656357B2 (ja) * 2016-04-04 2020-03-04 オリンパス株式会社 学習方法、画像認識装置およびプログラム
CN106372390B (zh) 2016-08-25 2019-04-02 汤一平 一种基于深度卷积神经网络的预防肺癌自助健康云服务系统
CN110049709B (zh) * 2016-12-07 2022-01-11 奥林巴斯株式会社 图像处理装置
US10806334B2 (en) * 2017-02-28 2020-10-20 Verily Life Sciences Llc System and method for multiclass classification of images using a programmable light source

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002165757A (ja) * 2000-11-30 2002-06-11 Olympus Optical Co Ltd 診断支援装置
WO2016094330A2 (en) * 2014-12-08 2016-06-16 20/20 Genesystems, Inc Methods and machine learning systems for predicting the liklihood or risk of having cancer
CN104732243A (zh) * 2015-04-09 2015-06-24 西安电子科技大学 基于cnn的sar目标识别方法
WO2017055412A1 (en) * 2015-09-30 2017-04-06 Siemens Healthcare Gmbh Method and system for classification of endoscopic images using deep decision networks
CN205665697U (zh) * 2016-04-05 2016-10-26 陈进民 基于细胞神经网络或卷积神经网络的医学影像识别诊断系统

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111655116A (zh) * 2017-10-30 2020-09-11 公益财团法人癌研究会 图像诊断辅助装置、资料收集方法、图像诊断辅助方法及图像诊断辅助程序
CN112584749A (zh) * 2018-06-22 2021-03-30 株式会社Ai医疗服务 基于消化器官的内窥镜图像的疾病的诊断支援方法、诊断支援系统、诊断支援程序和存储有该诊断支援程序的计算机可读取的记录介质
CN112396591A (zh) * 2020-11-25 2021-02-23 暨南大学附属第一医院（广州华侨医院） 一种基于腰椎x线图像的骨质疏松智能评估方法
CN113539476A (zh) * 2021-06-02 2021-10-22 复旦大学 基于人工智能的胃内窥活检拉曼图像辅助诊断方法和系统
CN113610847A (zh) * 2021-10-08 2021-11-05 武汉楚精灵医疗科技有限公司 一种白光模式下胃部标志物评估方法及系统

Also Published As

Publication number Publication date
WO2018225448A1 (ja) 2018-12-13
US20200279368A1 (en) 2020-09-03
US11270433B2 (en) 2022-03-08
TW201902411A (zh) 2019-01-16
JPWO2018225448A1 (ja) 2020-07-30
JP2021112593A (ja) 2021-08-05
JP6875709B2 (ja) 2021-05-26
JP7216376B2 (ja) 2023-02-01
SG11201911791RA (en) 2020-01-30

Similar Documents

Publication Publication Date Title
JP7216376B2 (ja) 消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体
JP7037220B2 (ja) 消化器官の内視鏡画像による疾患の診断支援システム、診断支援システムの作動方法、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体
JP7335552B2 (ja) 画像診断支援装置、学習済みモデル、画像診断支援装置の作動方法および画像診断支援プログラム
JP7017198B2 (ja) 消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体
Cai et al. Using a deep learning system in endoscopy for screening of early esophageal squamous cell carcinoma (with video)
Kumagai et al. Diagnosis using deep-learning artificial intelligence based on the endocytoscopic observation of the esophagus
EP3811845A1 (en) Method of assisting disease diagnosis based on endoscope image of digestive organ, diagnosis assistance system, diagnosis assistance program, and computer-readable recording medium having said diagnosis assistance program stored thereon
US20180263568A1 (en) Systems and Methods for Clinical Image Classification
WO2021054477A2 (ja) 消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体
JP2022502150A (ja) 胃内視鏡イメージのディープラーニングを利用して胃病変を診断する装置及び方法
Namikawa et al. Utilizing artificial intelligence in endoscopy: a clinician’s guide
JP7218432B2 (ja) リアルタイムに取得される胃内視鏡イメージに基づいて胃病変を診断する内視鏡装置及び方法
US20220160208A1 (en) Methods and Systems for Cystoscopic Imaging Incorporating Machine Learning
CN113112449A (zh) 一种肠癌辅助诊断模型构建和辅助诊断方法及系统
Eroğlu et al. Comparison of computed tomography-based artificial intelligence modeling and magnetic resonance imaging in diagnosis of cholesteatoma
JP2023079866A (ja) 超拡大内視鏡による胃癌の検査方法、診断支援方法、診断支援システム、診断支援プログラム、学習済みモデル及び画像診断支援装置
Chen et al. Artificial Intelligence Model for a Distinction between Early-Stage Gastric Cancer Invasive Depth T1a and T1b
KR20220143184A (ko) 인공지능 기반 담낭암 진단 방법
KR20220126960A (ko) 딥러닝을 이용한 위내시경 검사의 신뢰성을 향상시킬 수 있는 위내시경 시스템
Lin et al. AI-Driven Pathological Model to Stratify the Risk of Lymph Node Metastasis for Early Gastric Cancer: A Multi-Center Cohort Study

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: Tokyo, Japan

Applicant after: AI medical services Co.,Ltd.

Address before: Japanese Saitama

Applicant before: AI medical services Co.,Ltd.

WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200612