CN112789686A - 利用胃内窥镜图像的深度学习诊断胃病变的装置及方法 - Google Patents

利用胃内窥镜图像的深度学习诊断胃病变的装置及方法 Download PDF

Info

Publication number
CN112789686A
CN112789686A CN201980064309.8A CN201980064309A CN112789686A CN 112789686 A CN112789686 A CN 112789686A CN 201980064309 A CN201980064309 A CN 201980064309A CN 112789686 A CN112789686 A CN 112789686A
Authority
CN
China
Prior art keywords
lesion
image
gastric
neural network
data set
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980064309.8A
Other languages
English (en)
Inventor
赵凡柱
方昌锡
朴世雨
李在浚
崔在镐
洪锡焕
刘容倬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hanlin University Industry University Cooperation Group
Industry Academic Cooperation Foundation of Hallym University
Original Assignee
Hanlin University Industry University Cooperation Group
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hanlin University Industry University Cooperation Group filed Critical Hanlin University Industry University Cooperation Group
Publication of CN112789686A publication Critical patent/CN112789686A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/273—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the upper alimentary canal, e.g. oesophagoscopes, gastroscopes
    • A61B1/2736—Gastroscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/42—Detecting, measuring or recording for evaluating the gastrointestinal, the endocrine or the exocrine systems
    • A61B5/4216—Diagnosing or evaluating gastrointestinal ulcers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30092—Stomach; Gastric
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Theoretical Computer Science (AREA)
  • Surgery (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Gastroenterology & Hepatology (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Physiology (AREA)
  • Quality & Reliability (AREA)
  • Psychiatry (AREA)
  • Fuzzy Systems (AREA)
  • Endocrinology (AREA)
  • Evolutionary Biology (AREA)

Abstract

本发明涉及一种从内窥镜图像中诊断胃病变的方法，从内窥镜图像中诊断胃病变的方法，包括：获得多个胃病变图像的步骤；连接上述多个胃病变图像和患者信息生成数据集的步骤；预处理上述数据集以可用于深度学习算法的步骤；通过将经过预处理过程的上述数据集作为输入，将关于胃病变诊断结果的项目作为输出的学习构建人工神经网络的步骤。

Description

利用胃内窥镜图像的深度学习诊断胃病变的装置及方法
技术领域
本发明主张对2018年10月2日申请的韩国专利申请号第10-2018-0117823号的优先权，公开于该申请的说明书及附图的所有内容通过引用包含在本发明中。
本发明涉及利用胃内窥镜图像的深度学习诊断胃病变的装置及方法。
背景技术
作为构成人体的最小单位的细胞，在正常细胞的情况下，通过细胞内调节功能，经分裂成长，死亡消灭等维持细胞数的均衡。因某种原因细胞受损时，经过治疗得到回复，就可起到正常细胞的作用，但无法回复时，将自我消亡。但是，因各种原因无法调节上述增值和抑制的非正常的细胞过多增值，而且，侵入周围的组织和脏器导致肿块的形成及正常组织的破坏的状态定义为癌症(cancer)。癌症因上述无法抑制的细胞的增值，破坏正常的细胞和脏器的结构和功能，因此其诊断和治疗的重要性非常高。
癌症是因细胞的无限增值妨碍正常细胞的功能的疾病，代表性的有肺癌、胃癌(gastric cancer，GC)、乳腺癌(breast cancer，BRC)、大肠癌(colorectal cancer，CRC)等，但任何组织上都可以发生癌症。初期的癌症诊断基于因癌细胞的生长导致的活体组织的外部变化完成，但近来尝试利用血液、糖链(lycol chain)、脱氧核糖核酸(DNA)等生物的组织或存在于细胞的微量的活体分子的诊断及检测。但是，最普遍采用的癌症诊断方法是利用通过活体组织检查获得的组织样本的诊断或利用影像的诊断。
在胃癌的情况下，在全世界范围内，韩国、日本等发生得多，但在在美国、欧洲等西方的发病率低。在韩国的情况下，胃癌的发病率第一，而死亡率仅次于肺癌位于第二。从胃癌的分类可知，全部的95％为在胃壁的黏膜的腺细胞中发生的腺癌。另外，还有在淋巴系统中发生的淋巴瘤、在间质组织中发生的胃肠道间质瘤。
其中，活体组织检查给患者带来很大的痛苦，价格昂贵，而且直至诊断位置消耗很长的时间。另外，在患者实际患癌的情况下，存在在活体组织检查过程中诱发癌症转移的危险，在无法通过活体组织检查获得组织样本的部位的情况下，存在在通过外科手术摘除可疑组织之前，无法进行疾病诊断的缺点。
在利用影像的诊断中，基于X射线(X-ray)影像、使用附着有疾病标的物质的造影剂获得的核磁共振(nuclear magnetic resonance，NMR)影像等判定癌症。但是，上述影像诊断根据临床的或解读的熟练度存在误诊的可能性，存在很大程度上以来获得影像的仪器的精度的缺点。进一步地，最精密的仪器也不能检测出小于数mm的肿瘤，存在发病初期阶段难以检测的缺点。另外，为获得影像，患者或有可能患病的人员暴露于可能诱发基因突变的高能量的电磁波中，从而引起其他疾病，而且，存在通过影像的诊断次数受到限制的缺点。
早期胃癌(ECG)的大部分没有临床症状或征兆，发生没有筛查策略的话难以及时检查和治疗的问题。与此同时，患有胃的异型增生等癌前病变的患者患胃癌的危险相当高。
在现有技术中，在胃中产生的赘生物，医生通过胃内窥镜根据包含于内窥镜图像中的胃内部的形状及大小初步判断胃癌与否，再通过组织检查进行确诊。但是，上述方法因每个医生的经验不同而得到不同的诊断，而在没有医生的地区，存在无法准确诊断的问题。
另外，通过内窥镜装置获得的非正常病变的发现，一般取决于病变的异常形状或黏膜的颜色变化，而诊断准确度通过训练及光学技术及色素内镜(chromoendoscopy)得到改善。窄带成像(narrow band imaging)、共焦成像(confocal imaging)及放大技术(所谓图像增强内窥镜)等内窥镜成像技术的使用，能够提高诊断准确度。
但是，只通过白色内窥镜的检查是最常见的检查方式，在影响增强内窥镜检查中，需要用于解决服务器间及内窥镜内变动性的步骤及解析流程的标准化。
作为本发明的背景的技术公开于韩国公开专利公报第10-2018-0053957号。
发明内容
发明要解决的问题
本发明的目的在于克服现有技术之不足而提供一种可收集从内窥镜拍摄装置获得的白色光胃内窥镜图像(影像)，使用深度学习算法诊断胃病变的胃病变诊断装置。
本发明的目的在于克服现有技术之不足而提供一种可提供基于胃内窥镜影像自动分类胃肿瘤的深度学习模型的胃病变诊断装置。
本发明的目的在于克服现有技术之不足而提供一种可实时评价医生(使用者)利用内窥镜装置检查胃肿瘤时获得的多个图像数据，从而可诊断有可能忽略的胃肿瘤的胃病变诊断装置。
本发明的目的在于克服现有技术之不足而提供一种基于实时获得的胃内窥镜图像自动分类胃赘生物，从而可诊断及预测胃癌或胃异型增生等的胃病变诊断装置。
但是，本发明及本发明的实施例所要实现的技术课题不限于上述技术课题，还可存在其他的技术课题。
解决问题的方法
作为解决上述技术课题的技术方案，根据本发明一实施例的从内窥镜图像中诊断胃病变的方法，可包括：获得多个胃病变图像的步骤；连接上述多个胃病变图像和患者信息生成数据集的步骤；预处理上述数据集以可用于深度学习算法的步骤；通过将经过预处理过程的上述数据集作为输入，将关于胃病变分类结果的项目作为输出的学习构建人工神经网络的步骤。
根据本发明的一实施例的从内窥镜图像中诊断胃病变的方法，还包括对新数据集经过上述预处理过程之后，通过上述人工神经网络执行胃病变诊断的步骤。
根据本发明一实施例的上述数据集生成步骤可将上述数据集分为上述人工神经网络的学习所需的学习用数据集及用于验证上述人工神经网络的学习的进行程度的验证用数据集生成上述数据集。
根据本发明一实施例的上述验证用数据集可为不与上述学习用数据集重复的数据集。
根据本发明一实施例的上述验证用数据集在新数据集经过上述预处理过程之后成为人工神经网络的输入时，可为用于上述人工神经网络的性能评价的数据。
根据本发明的一实施例的上述图像获得步骤可接收从具备于内窥镜装置的拍摄装置获得的胃病变图像。
根据本发明一实施例的上述预处理步骤，可包括：利用包含于上述数据集的胃病变图像，以上述胃病变为中心裁切不包含上述胃病变的图像的周边部区域，裁切(crop)为可用于上述深度学习算法的大小的步骤；沿上下左右方向平行移动(shift)上述胃病变图像的步骤；旋转(rotation)上述胃病变图像的步骤；翻转(flipping)上述胃病变图像的步骤；及对上述胃病变图像进行色彩调整(color adjustment)的步骤；执行多个预处理过程中的至少一个，将上述胃病变图像预处理为可用于上述深度学习算法的状态。
根据本发明一实施例的上述预处理步骤，还可包括：放大用于增加胃病变图像的数据数的图像数据的步骤；上述放大图像数据的步骤使用上述胃病变图像的旋转、翻转、裁切及增噪中的至少一个放大上述胃病变图像数据。
根据本发明一实施例的上述人工神经网络构建步骤通过上述将经过预处理过程的上述数据集作为输入，将关于胃病变分类结果的项目作为输出的卷积神经网络(Convolutional Neural Networks)及全连接神经网络(Fully-connected NeuralNetworks)的学习构建诊断模型。
根据本发明一实施例的上述经过预处理过程的数据集可作为上述卷积神经网络的输入，上述全连接神经网络将上述积神经网络的输出及上述患者信息作为输入。
根据本发明一实施例的上述积神经网络可从上述多个胃病变图像输出多个特征图案，上述多个特征图案通过全连接神经网络最终得到分类。
根据本发明一实施例的上述人工神经网络构建步骤可将训练数据用于包括卷积神经网络(Convolutional Neural Networks)及全连接神经网络(Fully-connectedNeural Networks)的深度学习算法结构，通过逐渐增加相当于误差的神经网络结构的权重值的反向传播(backpropagation)算法反馈结果进行学习。
根据本发明一实施例的上述执行胃病变诊断的步骤可将胃病变分为晚期胃癌(advanced gastric cancer)、早期胃癌(early gastric cancer)、高度异型增生(high-grade dysplasia)、低度异型增生(low-grade dysplasia)及肺肿瘤(non-neoplasm)中的至少一种。
根据本发明一实施例的一种病变诊断装置，在从内窥镜图像中诊断病变的装置中，可包括：图像获得部，获得多个胃病变图像；数据生成部，连接上述多个胃病变图像和患者信息生成数据集；数据预处理部，预处理上述数据集以可用于深度学习算法；及学习部，通过将经过预处理过程的上述数据集作为输入，将关于胃病变分类结果的项目作为输出的学习构建人工神经网络。
根据本发明的一实施例的从内窥镜图像中诊断病变的装置，还可包括对新数据集经过上述预处理过程之后，通过上述人工神经网络执行胃病变诊断的病变诊断部。
上述课题解决方案只是示例性的，而不能解释为限制本发明。除上述示例性的实施例之外，附图及发明的详细说明可存在追加的实施例。
发明效果
根据前述本发明的课题解决方案，可收集从内窥镜拍摄装置获得的白色光胃内窥镜图像(影像)，使用深度学习算法诊断胃病变。
根据前述本发明的课题解决方案，可提供基于胃内窥镜影像自动分类胃肿瘤并评价生成的人工神经网络的深度学习模型。
根据前述本发明的课题解决方案，可实时学习医生(使用者)利用内窥镜装置检查胃肿瘤时获得的多个图像数据，从而可诊断有可能忽略的胃肿瘤。
根据前述本发明的课题解决方案，较之需要有经验的以上的现有的胃内窥镜解读，学习用内窥镜拍摄装置获得的图像，分类胃病变，从而具有大幅节省费用及人力成本的效果。
根据前述本发明的课题解决方案，利用从内窥镜拍摄装置获得的胃内窥镜图像，通过上述诊断胃病变的装置预测及诊断胃病变，从而可获得客观、一贯的解读结果，减少医生解读时有可能出现的失误及解读错误的可能性，可用作临床决定辅助工具。
但是，本发明的效果不限于上述列举的效果，还可存在其他效果。
附图概述
图1为根据本发明一实施例的病变诊断装置的概略结构图；
图2为根据本发明一实施例的病变诊断装置的概略框图；
图3为用于说明在根据本发明一实施例的病变诊断装置中构建人工神经网络的实施例的示意图；
图4为根据本发明一实施例的病变诊断方法的运行流程图。
具体实施方式
下面，结合附图对本发明的实施例进行详细说明，以帮助本领域技术人员容易实施本发明。本发明可通过各种不同的形式实现而不受在此说明的实施例的限制。为了更明确地说明本发明，省略与说明无关的内容，而且，在整个说明书中的相同或类似的结构赋予相同的标记。
在全部说明书中，说某个部分与其他部分“连接”时，不仅包括“直接连接”的情况，而且，还包括其中间通过其他部件“电连接”或“间接连接”的情况。
在本发明的整个说明书中，说某个部件位于其他部件“上”、“上部”、“上端”、“下”、“下部”、“下端”时，这不仅包括某个部件与另一个部件连接的情况，还包括在两个部件之间存在其他部件的情况。
在本发明的整个说明书中，说某个部分“包括”某个构件时，除非有特别相反的记载，不是排出其他构件，而还可包括其他构件。
本发明涉及包括基于从内窥镜装置获得的胃内窥镜图像分类胃肿瘤并评价其性能的深度学习模型的诊断胃病变的装置及方法。本发明可基于卷积神经网络(Convolutional Neural Networks)解读胃内窥镜照片，自动诊断胃的赘生物。
本发明可在胃内窥镜照片图像数据集中应用称为卷积神经网络的深度学习算法通过计算机进行学习之后，解读新输入的胃内窥镜照片，通过此过程在相应照片中自动分类胃赘生物，诊断或预测胃癌或胃异型增生等。
图1为根据本发明一实施例的病变诊断装置的概略结构图。
如图1所以，病变诊断装置10、内窥镜装置20及显示装置23可通过网络发送或接收数据(图像、影像、文本)及各种通信信号。病变诊断系统1可包括具有数据存储及处理功能的所有种类的服务器、终端或设备。
作为用于诊断装置10、胃内窥镜装置20及显示装置23之间的信息共享的网络的一例，可包括3GPP(3rd Generation Partnership Project)网络、LTE(Long TermEvolution)网络、5G网络、WIMAX(World Interoperability for Microwave Access)网络、有线或无线互联网(Internet)、LAN(Local Area Network)、Wireless LAN(WirelessLocal Area Network)、WAN(Wide Area Network)、PAN(Personal Area Network)、蓝牙(Bluetooth)网络、Wifi网络、NFC(Near Field Communication)网络、卫星广播网络、模拟广播网络、DMB(Digital Multimedia Broadcasting)网络等，但非限制。
内窥镜装置20可以是在胃内窥镜检查时使用的装置。内窥镜装置20可包括操作部21及主体部22。内窥镜装置20可包括插入身体内的主体部22及具备于主体部22的后端的操作部21。在主体部22的前端可包括拍摄身体内部的拍摄部、向拍摄部位照射光的照明部、清洗身体内部以便于进行拍摄的水喷射部、吸入身体内的异物或空气等的抽吸部等，在主体部22内部可具备各对应于上述多个单元(部)的通道。另外，插入部内可具备活检通道(biopsy channel)，内窥镜操作者可通过该活检通道插入外科手术刀采集身体内部的组织。具备于内窥镜装置20的拍摄身体内部的拍摄部(即摄像头)，可具备小型摄像头。拍摄装置可获得白色光胃内窥镜图像。
内窥镜装置20的拍摄部可通过网络向病变诊断装置10发送或接收获得的胃病变图像。病变诊断装置10可基于胃病变诊断结果，生成控制活检单元的控制信号。活检单元可以是采集身体内部的组织的单元。可通过采集身体内部的组织判定该组织的阳性及阴性。另外，可通过采集身体内部的组织去除癌组织。例如，病变诊断装置10可包括获得胃内窥镜图像，采集身体内部的组织的内窥镜装置20。换言之，将从内窥镜装置20实时获得胃内窥镜图像作为通过学习构件的人工神经网络的输入，区分为关于胃病变诊断结果的项目中的至少一种，从而可实现对胃病变的诊断及预测。
根据本发明另一实施例，内窥镜装置20可以胶囊形式形成。例如，内窥镜装置20以胶囊形式形成并可插入检测对象的体内获得胃内窥镜图像。胶囊型内窥镜装置20可一并提供对位于检测对象的食道、胃、小肠及大肠汇总的那个位置的位置信息。换言之，胶囊型内窥镜装置20位于检测对象(患者)的体内，可通过网络将实时获得的影像(图像)提供至病变诊断装置10。此时，胶囊型内窥镜装置20不仅提供胃内窥镜图像，而且还提供获得胃内窥镜图像的位置信息，从而在病变诊断装置10的诊断分类结果属于晚期胃癌(advancedgastric cancer)、早期胃癌(early gastric cancer)、高度异型增生(high-gradedysplasia)、低度异型增生(low-grade dysplasia)中的至少一种时，换言之，在属于肺肿瘤危险性肿瘤时，能够使使用者(医生)掌握相应病变位置直接进行切除手术。
根据本发明一实施例，病变诊断装置10将在内窥镜装置20中实时获得的胃病变内窥镜图像作为通过学习形成的算法的输入执行胃病变诊断，对于赘生物可以病变，内窥镜装置20可通过内窥镜黏膜切除术或内窥镜黏膜下剥离术切除相应病变。
显示装置23例如可包括液晶显示器(LCD)、发光二极管(LED)显示器、有机发光二极管(OLED)显示器或微机电系统(MEMS)显示器。显示装置23可向使用者显示从内窥镜装置20获得的胃内窥镜图像及病变诊断装置10诊断出的胃病变诊断信息。显示装置23可包括触摸屏，例如，可接收利用电子笔或使用者的身体的一部分的触摸、手势、近点或悬停输入。显示装置23可输出在内窥镜装置20获得的胃病变图像。另外，显示装置23可输出胃病变诊断结果。
图2为根据本发明一实施例的病变诊断装置的概略框图，而图3为用于说明在根据本发明一实施例的病变诊断装置中构建人工神经网络的实施例的示意图。
如图2所示，病变诊断装置10可包括图像获得部11、数据生成部12、数据预处理部13、学习部14及病变诊断部15。但是，病变诊断装置10的结构不限于上述公开的内容。例如，病变诊断装置10还可包括用于存储信息的数据库。
图像获得部11可获得多个胃病变图像。图像获得部11可从具备于内窥镜装置20的拍摄装置接收胃病变图像。图像获得部11可获得通过用于胃内窥镜诊疗的内窥镜拍摄装置(数码相机)获得的胃病变图像。图像获得部11可收集病理学上确认的胃病变的内窥镜白色光图像。另外，图像获得部11可从多个医院的影像保管装置及数据库系统接收多个胃病变图像。多个医院的影像保管装置可以是保管在多个医院执行胃内窥镜检查时获得的胃病变图像的装置。
另外，图像获得部11可获得改变检测对象的胃的第一区域的角度、方向及距离中的任一个拍摄的影像(图像)。图像获得部11可获得JPEG形式的胃病变图像。胃病变图像可以是以1280x640像素的分辨率，应用35度角度的域的模式的图像。另外，图像获得部11可获得取出对各胃病变图像的离散标志符信息的图像。图像获得部11可获得病变位于中央，去除胃病变图像中黑色框架区域的图像。
与此相反，图像获得部11在图像获得过程中获得跑焦、伪影、音域等质量低或低分辨率的图像时，可丢弃该图像。换言之，图像获得部11在不适合用于深度算法的图像的情况下，可丢弃该图像。
根据本发明一实施例，内窥镜装置20可利用操作部21控制拍摄部。操作部21为使目标病变的位置位于拍摄部的视野范围之内，可从使用者接收操作输入信号。操作部21可基于从使用者接收的操作输入信号控制拍摄部的位置。另外，操作部21在拍摄部的视野位于目标病变的位置时，可获得用于捕获相应图像的操作输入信号，生成用于捕获相应胃病变图像的信号。
根据本发明另一实施例，内窥镜装置20可以是以胶囊形式形成的装置。胶囊内窥镜装置20插入对象(检测对象)的人体内部并可远程操作。从胶囊内窥镜装置获得的胃病变图像，不仅是使用者希望捕获的区域的图像，还可以是将通过视频拍摄获得的所有影像的转换为图像获得的数据。胶囊内窥镜装置20可包括拍摄部及操作部。拍摄部插入人体内部，并基于操作部的操作信号在人体内部得到控制。
数据生成部12可连接多个胃病变图像和患者信息生成数据集。患者信息可包括对象(检测对象)的性别、年龄、身高、体重、人种、国籍、吸烟量、饮酒量、家族史等各种信息。另外，患者信息可包括临床信息。临床信息是指进行诊断的医生用于特定诊断的所有数据。尤其是，包括由在诊疗过程中生成的性别、年龄构成的资料、特定治疗与否资料、薪资申请及处方资料等的电子义务记录资料。另外，临床信息可包括基因信息等生物学数据资料。生物学数据资料可包括具备心率数、心电图、运动量、氧饱和度、血压、体重、糖尿等数值数据的个人健康信息。
患者信息是在下面说明的学习部14中，与卷积神经网络结构的结果一同输入至全连接神经网络的数据，通过将胃病变图像之外的信息输入至人工神经网络，可进一步提高准确度。
另外，数据生成部12可生成用于深度学习算法的学习用数据集及验证用数据集。将数据集分为人工神经网络的学习所需的学习用数据集及用于验证人工神经网络的学习的进行信息的验证用数据集生成数据集。其一例为，数据生成部12可在从图像获得部11获得的胃病变图像中，随机分类用于学习用数据集的图像及用于验证用数据集的图像。另外，数据生成部12可将选择验证用数据集剩下的数据集用作学习用数据集。验证用数据集可随机选择。验证用数据集及学习用数据集的比率可根据预设的基准值确定。此时，预设的基准值可设定为验证用数据集的比率为10％，学习用数据集的比率为90％，但非限制。
数据生成部12为防止过适状态，区分学习用数据集及验证用数据集生成数据集。例如，根据神经网络结构的学习特性，学习用数据集可成为过适状态，数据生成部12可利用验证用数据集防止人工神经网络变成过适状态。
此时，验证用数据集可为不与学习用数据集重复的数据集。因验证用数据为不用于构建人工神经网络的数据，因此是在进行验证作业时，首次接触人工神经网络的数据。因此，验证用数据集为在存在新图像(未用于学习的新图像)输入时，适合于人工神经网络的性能评价的数据集。
预处理部13预处理数据集以可用于深度学习算法。预处理部13可为在深度学习算法中提高识别性能，减少与患者间影像的相似性预处理数据集。深度学习算法可由卷积神经网络(Convolutional Neural Networks)结构和全连接神经网络(Fully-connectedNeural Networks)结构两个部分构成。
根据本发明一实施例，预处理部13可执行五个步骤的预处理过程。首先，预处理部13可执行裁切(crop)步骤。裁切(crop)步骤可在从图像获得部11获得的胃病变图像中，以病变为中心裁切边缘的不必要的部分(黑色北京)。其一例为，预处理部13可设定任意指定的像素大小(例如，299x299像素、244x244像素)裁切胃病变图像。换言之，预处理部13可以可用于深度学习算法的大小裁切胃病变图像。
接着，预处理部13可执行平行移动(shift)步骤。预处理部13可沿上下左右方向平行移动胃病变图像。另外，预处理部13可执行翻转(flipping)步骤。例如，预处理部13可垂直翻转胃病变图像。另外，预处理部13可执行将胃病变图像先沿上下方向翻转之后，再沿左右方向翻转的过程。
另外，预处理部13可执行色彩调整(flipping)步骤。例如，在颜色调整步骤中，预处理部13可基于以全部数据集的平均RGB值利用平均减法方法提取的色彩，执行图像的色彩调整。另外，预处理部13可随机调整胃病变图像的色彩。
预处理部13可通过执行五步骤的预处理过程的全部过程，将胃病变图像生成为可用于深度学习算法的数据集。另外，预处理部13可通过执行五步骤的预处理过程中的某一过程，将胃病变图像生成为可用于深度学习算法的数据集。
另外，预处理部13还可执行缩放(resizing)步骤。缩放(resizing)步骤可以是将胃病变图像放大及缩小为预设大小的步骤。
预处理部13可包括放大用于增加胃病变图像的数据数的图像数据的放大部(未图示)。
根据本发明一实施例，在利用包括卷积神经网络的深度学习算法时，数据量越大越有利于获得好的性能，但胃内窥镜照片图像较之其他检查其检查数量相当少，在图像获得部11检测出的胃病变图像数据收集量远不足用于卷积神经网络中。因此，放大部(未图示)可基于学习用数据集执行数据放大(augmentation)过程。放大部(未图示)可使用胃病变图像的旋转、翻转、裁切及增噪中的至少一个方法执行数据放大(augmentation)过程。
预处理部13执行预处理过程以对应于预设的基准值。预设的基准值可以是使用者任意指定的值。另外，预设的基准值可以是根据获得的胃病变图像的平均值确定的值。经过预处理部13的数据集可提供至学习部14。
学习部14可通过将经过预处理过程的数据集作为输入，将关于胃病变分类结果的项目作为输出的学习构建人工神经网络。
根据本发明一实施例，学习部14可使用由卷积神经网络(Convolutional NeuralNetworks)结构和全连接神经网络(Fully-connected Neural Networks)结构两个部分构成的深度学习算法输出胃病变分类结果。全连接神经网络为在节点之间横向/纵向构成二维连接，在位于相同层的节点之间不存在连接关系，只在位于相邻层的节点之间存在连接关系为特征的神经网络。
学习部14可通过将经过预处理过程的学习用数据集作为输入的卷积神经网络，将卷积神经网络的输出作为全连接神经网络的输入的学习构建训练模型。
根据本发明一实施例，卷积神经网络可输出分析胃病变图像的多个特定特征图案。此时，提取的特定特征图案可用于在全连接神经网络中进行最终分类。
卷积神经网络(Convolutional Neural Networks)为主要用于语音识别或图像识别的神经网络的一种。可处理多维排列数据，因此特别适合于彩色图像等多维排列处理。因此，在图像识别领域中，使用深度学习的技术大部分以卷积神经网络作为基础。
例如，如图3所示，卷积神经网络(CNN)将图像分为非单一数据的多个进行处理。这样，即使图像失真可也提取图像的部分特性，从而可获得正确的性能。
卷积神经网络的可由多个层构成。构成各层的因素可由卷积层、激活函数、maxpooling层、dropout层构成。卷积层起到称为kernel的过滤器作用，使部分处理整个图像(或生成的心特征图案)的操作提取与图像相同大小的心特征图案(feature pattern)。卷积层可修改为便于在特性图案中通过激活函数处理特征图案的值。max pooling层可对部分胃病变图像进行抽样(sampling)调整大小，从而减少图像的大小。卷积神经网络虽然经过卷积层及max pooling层减少特征图案(feature pattern)的大小，但可通过使用kernel提取多个特征图案(feature pattern)。dropout层可以是在训练卷积神经网络的权重值时，为有效的训练而故意不考虑部分权重值的方法。另外，dropout层在通过经过训练的模型进行实际测试时不使用。
从卷积神经网络提取的多个特征图案(feature pattern)可传递至作为下一个步骤的全连接神经网络以用于分类作业。卷积神经网络可调节层的个数。卷积神经网络的层的个数可根据用于模型训练的训练用数据的量进行调节，从而构建更稳定的模型。
另外，学习部14可通过将经过预处理过程的学习用数据集作为卷积神经网络的输入，将卷积神经网络的输出及患者信息作为全连接神经网络的输入的学习构建诊断(训练)模型。与之不同，学习部14可使经过预处理过程的图像数据优先输入至卷积神经网络，使经过卷积神经网络输出的结果输入至全连接神经网络。另外，学习部14可使任意提取的特征(feature)不经过卷积神经网络而直接输入至全连接神经网络。
此时，患者信息可包括对象(检测对象)的性别、年龄、身高、体重、人种、国籍、吸烟量、饮酒量、家族史等各种信息。另外，患者信息可包括临床信息。临床信息是指进行诊断的医生用于特定诊断的所有数据。尤其是，包括由在诊疗过程中生成的性别、年龄构成的资料、特定治疗与否资料、薪资申请及处方资料等的电子义务记录资料。另外，临床信息可包括基因信息等生物学数据资料。生物学数据资料可包括具备心率数、心电图、运动量、氧饱和度、血压、体重、糖尿等数值数据的个人健康信息。
患者信息是在学习部14中与卷积神经网络结构的结果一同输入至全连接神经网络的数据，通过将患者信息作为人工神经网络的输入，较之只用胃病变图像导出的结果，可进一步提高准确度。
其一例为，通过学习用数据集的临床信息学到癌症多存在于高龄人群之后，在与图像特征一起输入42岁或79岁的年龄时，在胃病变分类结果中难以区分癌症或良性病变时，高龄患者的结果可偏向于癌症的一面。
学习部14可通过比较将训练数据用于深度学习算法结构(由卷积神经网络和全连接神经网络构成的结构)导出的结果和实际结果的误差，逐渐增加相当于误差的神经网络结构的权重值的反向传播(backpropagation)算法反馈结果进行学习。反向传播(backpropagation)算法可以是为减少结果的误差(实际值和结果值的差异)调节从各节点到下一个节点的权重值的算法。学习部14可利用学习用数据集和验证用数据集学习神经网络并求得权重值媒介变量，从而导出最终诊断模型。
病变诊断部15对新数据集经过预处理过程之后，通过人工神经网络执行胃病变诊断。换言之，病变诊断部15可利用从上述说明的学习部14导出的最终诊断模型导出对新数据的诊断。新数据可以是包含使用者希望诊断的胃病变图像的数据。新数据集可以是将新胃病变图像与患者信息连接生成的数据集。新数据集可经过预处理部12的预处理过程预处理成为可用于深度学习算法的状态。之后，经过预处理的新数据集输入至学习部14并基于学习参数诊断胃病变图像。
根据本发明一实施例，病变诊断部15可将胃病变分为晚期胃癌(advancedgastric cancer)、早期胃癌(early gastric cancer)、高度异型增生(high-gradedysplasia)、低度异型增生(low-grade dysplasia)及肺肿瘤(non-neoplasm)中的至少一种。另外，病变诊断部15可分为癌和非癌。另外，病变诊断部15可分为赘生物和非赘生物两种范围区分胃病变诊断。赘生物分类可包括AGC、EGC、HGD及LGD。非种类范围可包括胃炎、良性溃疡、畸形、息肉、肠化生或上皮性肿瘤等病变。
病变诊断装置10为分类及诊断模糊的病变并减少因不必要的活体检查或内窥镜切除导致副作用，分析通过内窥镜装置20获得的图像并自动分类及诊断模糊的病变，在赘生物(危险肿瘤)的情况下，进行内窥镜切除手术。
根据本发明另一实施例，内窥镜装置20可包括操作部21、主体部22、控制部23、病变位置获得部24、显示部25。
操作部21具备于主体部22的后端并基于使用者的输入信息进行操作。操作部21为被内窥镜操作者握持的部分，可操作插入检测对象的体内的主体部22。另外，操作部21可操作主体部22收容的内窥镜手术时需要的多个单元装置的动作。操作部21可包括旋转控制部。旋转控制部可包括负责生成控制信号的功能及提供旋转力的功能(例如，马达)的部分。操作部21可包括用于操作拍摄部(未图示)的按钮。按钮为用于控制拍摄部(未图示)的位置的按钮，可以是供使用者变更上下左右、前进、后退等主体部22的位置的按钮。
主体部22为插入检测对象的体内的部分，可收容多个单元装置。多个单元装置可包括拍摄检测对象的体内的拍摄部(未图示)、向体内供应空气的空气供应单元、向体内供应水的水供应单元、向体内照射光的照明单元、采集或治疗体内的组织的一部分的活检(biopsy)单元及从体内吸入空气或异物的抽吸单元中的至少一种。活检单元可包括从活体采集部分组织的外科手术刀、针等各种医疗器械，外科手术刀、针等活检单元由内窥镜操作者通过活检通道插入体内并采集体内的细胞。
拍摄部(未图示)可收容具备对应于主体部22的直径的大小的摄像头。拍摄部(未图示)具备于主体部22的前端并拍摄胃病变图像，通过网络向病变诊断部10及显示部25提供拍摄的胃病变图像。
控制部23可基于从操作部21提供得到的使用者的输入信息及病变诊断装置10的诊断结果，生成控制主体部22的动作的控制信号。控制部23在从包含于操作部21的按钮接收来自使用者的某个选择输入时，对应于相应按钮生成控制主体部22的动作的控制信号。例如，控制部23在使用者输入使主体部22前进的按钮时，生成控制信号以使主体部22以一定速度在对象体(患者)的体内前进。主体部22可基于控制部23的控制信号，在对象体(患者)的体内前进。
另外，控制部23可生成控制拍摄部(未图示)的动作的控制信号。控制拍摄部(未图示)的动作的控制信号可以是位于病变区域的拍摄部(未图示)捕获胃病变图像的信号。换言之，在使用者通过操作部21希望位于特定病变区域的拍摄部(未图示)获得图像时，可点击捕获获得按钮。控制部23可基于从操作部21得到的输入信息生成控制信号，以使拍摄部(未图示)在相应病变区域获得图像。控制部23可生成使拍摄部(未图示)从正在拍摄的影像中获得特定胃病变图像的控制信号。
另外，控制部23基于病变诊断装置10的诊断结果生成控制信号，以控制采集对象体的组织的一部分的活检单元的动作。控制部23在病变诊断装置10的诊断结果属于晚期胃癌(advanced gastric cancer)、早期胃癌(early gastric cancer)、高度异型增生(high-grade dysplasia)、低度异型增生(low-grade dysplasia)及中的至少一种时，生成控制活检单元的动作的控制信号以实施切除术。活检单元可包括从活体采集部分组织的外科手术刀、针等各种医疗器械，外科手术刀、针等活检单元由内窥镜操作者通过活检通道插入体内并采集体内的细胞。另外，控制部23基于从操作部21提供得到的使用者输入信号生成控制信号，以控制活检单元的动作。采集、切除、去除体内的细胞的动作可以是使用者利用操作部21执行的。
根据本发明一实施例，病变位置获得部24可连接从拍摄部(未图示)提供得到的胃病变图像和位置信息生成胃病变信息。位置信息可以是主体部22当前在体内所处的位置信息。换言之，在主体部22位于对象体(患者)的胃的第一地点并从第一地点获得胃病变图像时，病变位置获得部24可连接上述胃病变图像和位置信息生成胃病变信息。
病变位置获得部24可将连接获得的胃病变图像和位置信息生成的胃病变信息提供给使用者(医生)。通过将病变诊断部10的诊断结果及病变位置获得部24的胃病变信息通过显示部25提供给使用者，在进行切除(去除)相应病变的手术时，防止在非该病变位置的地点进行切除术的情况的发生。
另外，控制部23利用从病变位置获得部24提供的位置信息，在活检单元不位于相应病变位置时，可生成控制上述活检单元的位置的控制信号。
在病变诊断装置10中生成控制活检单元的控制信号采集或去除体内的细胞，从而可完成更快速的组织检查。与此同时，在内窥镜诊断过程中直接切除诊断胃癌症的细胞，从而可实现快速治疗。
下面，基于上述详细说明的内容简单介绍本发明的动作流程。
图4为根据本发明一实施例的在内窥镜图像中诊断胃病变的方法的运行流程图。
如图4所示的内窥镜图像中诊断胃病变的方法可通过上述说明的病变诊断装置10执行。因此，即使是下面省略的内容，对病变诊断装置10说明的内容，在对内窥镜图像中诊断胃病变的方法的说明中同样适用。
在S401步骤中，病变诊断装置10可获得多个胃病变图像。病变诊断装置10可接收从具备于内窥镜装置20的拍摄装置获得的胃病变图像。胃病变图像可以是白色光图像。
在S402步骤中，病变诊断装置10可连接多个胃病变图像和患者信息生成数据集。病变诊断装置10分为人工神经网络的学习所需的学习用数据集及用于验证人工神经网络的学习的进行信息的验证用数据集生成数据集。此时，验证用数据集可为不与学习用数据集重复的数据集。上述验证用数据集在新数据集经过上述预处理过程之后成为人工神经网络的输入时，可为用于上述人工神经网络的性能评价的数据。
在S403步骤中，病变诊断装置10预处理数据集以可用于深度学习算法。病变诊断装置10可执行利用包含于数据集的胃病变图像，以胃病变为中心裁切不包含胃病变的图像的周边部区域，裁切(crop)为可用于深度学习算法的大小的过程。另外，病变诊断装置10可沿上下左右方向平行移动(Shift)胃病变图像。另外，病变诊断装置10可翻转(flipping)胃病变图像。另外，病变诊断装置10可调整胃病变图像的色彩。病变诊断装置10可通过执行多个预处理过程中的某一过程，将胃病变图像预处理为可用于深度学习算法的状态。
另外，病变诊断装置10可为增加胃病变图像的数据数放大图像数据。病变诊断装置10可为放大图像数据，可使用胃病变图像的旋转、翻转、裁切及增噪中的至少一个放大胃病变图像数据。
在S404步骤中，病变诊断装置10可通过将经过预处理过程的数据集作为输入，将关于胃病变分类结果的项目作为输出的学习构建人工神经网络。病变诊断装置10可通过上述将经过预处理过程的上述数据集作为输入，将关于胃病变分类结果的项目作为输出的卷积神经网络(Convolutional Neural Networks)及全连接神经网络(Fully-connectedNeural Networks)的学习构建训练模型。
另外，病变诊断装置10将经过预处理过程的数据集输入至卷积神经网络，而全连接神经网络将卷积神经网络的输出及患者信息作为输入构建训练模型。积神经网络可从多个胃病变图像输出多个特征图案，多个特征图案通过全连接神经网络最终得到分类。
在S405步骤中，病变诊断装置10对新数据集经过预处理过程之后，通过人工神经网络执行胃病变诊断。病变诊断装置10可将胃病变分为晚期胃癌(advanced gastriccancer)、早期胃癌(early gastric cancer)、高度异型增生(high-grade dysplasia)、低度异型增生(low-grade dysplasia)及肺肿瘤(non-neoplasm)中的至少一种。
在上述说明中，S401至S405步骤可根据本发明的实施例，可进一步分为追加的步骤或组合为更少的步骤。另外，部分步骤可根据需要省略，步骤间的顺序也可变更。
本发明一实施例的在内窥镜图像中诊断胃病变的方法可实现为可通过各种计算机设备执行的程序命令形式并记录于计算机可读的记录媒体。上述计算机可读媒体可单独或组合包括程序命令、数据文件、数据结构等。记录于上述媒体的程序命令可以是为本发明特殊设计构成的，也可以是计算机软件领域公开使用的。计算机可读记录媒介包括硬盘、软盘及磁带等磁性媒体(Magnetic Media)、CD-ROM、DVD等光媒体(Optical Media)、光磁软盘(Floptical Disk)等磁光媒体(Magneto-Optical Media)及ROM、RAM、闪存等可存储及执行程序命令的硬件设备。程序命令不仅包括编译器中产生的机器语言代码，而且还包括使用翻译器等在计算机中执行的高级语言代码。上述硬件装置可由实施本发明的动作的一个以上的软件模块组成，反之亦然。
另外，前述的在内窥镜图像中诊断胃病变的方法也可实现为存储于记录媒介并由计算机实施的计算机程序或应用的形式。
上述实施例仅用以说明本发明而非限制，本领域的普通技术人员应当理解，可以对本发明进行修改、变形或者等同替换。而在不脱离本发明的精神和范围内，其均应涵盖在本发明的权利要求范围当中。例如，单一型的各结构要素可分散实施，同样，分散的结构要素可以结合形式实施。
本发明的范围较之说明的说明更由权利申请范围来限定，从权利申请范围的意思及范围和等同概念推导出的所有变更或变形形式都应解释为属于本发明的范围。

Claims (16)

1.一种病变诊断方法，在从内窥镜图像中诊断胃病变的方法中，包括：
获得多个胃病变图像的步骤；
连接上述多个胃病变图像和患者信息生成数据集的步骤；
预处理上述数据集以可用于深度学习算法的步骤；
通过将经过预处理过程的上述数据集作为输入，将关于胃病变分类结果的项目作为输出的学习构建人工神经网络的步骤。
2.根据权利要求1所述的病变诊断方法，其特征在于：
还包括对新数据集经过上述预处理过程之后，通过上述人工神经网络执行胃病变诊断的步骤。
3.根据权利要求1所述的病变诊断方法，其特征在于：
上述数据集生成步骤将上述数据集分为上述人工神经网络的学习所需的学习用数据集及用于验证上述人工神经网络的学习的进行程度的验证用数据集生成上述数据集。
4.根据权利要求3所述的病变诊断方法，其特征在于：
上述验证用数据集为不与上述学习用数据集重复的数据集。
5.根据权利要求3所述的病变诊断方法，其特征在于：
上述验证用数据集在新数据集经过上述预处理过程之后成为人工神经网络的输入时，为用于上述人工神经网络的性能评价的数据。
6.根据权利要求1所述的病变诊断方法，其特征在于：
上述图像获得步骤接收从具备于内窥镜装置的拍摄装置获得的胃病变图像。
7.根据权利要求1所述的病变诊断方法，其特征在于：
上述预处理步骤，包括：
利用包含于上述数据集的胃病变图像，以上述胃病变为中心裁切不包含上述胃病变的图像的周边部区域，裁切为可用于上述深度学习算法的大小的步骤；
沿上下左右方向平行移动上述胃病变图像的步骤；
旋转上述胃病变图像的步骤；
翻转上述胃病变图像的步骤；及
对上述胃病变图像进行色彩调整的步骤；
执行多个预处理过程中的至少一个，将上述胃病变图像预处理为可用于上述深度学习算法的状态。
8.根据权利要求7所述的病变诊断方法，其特征在于：
上述预处理步骤，还包括：
放大用于增加胃病变图像的数据数的图像数据的步骤；
上述放大图像数据的步骤使用上述胃病变图像的旋转、翻转、裁切及增噪中的至少一个放大上述胃病变图像数据。
9.根据权利要求1所述的病变诊断方法，其特征在于：
上述人工神经网络构建步骤通过上述将经过预处理过程的上述数据集作为输入，将关于胃病变分类结果的项目作为输出的卷积神经网络及全连接神经网络的学习构建诊断模型。
10.根据权利要求9所述的病变诊断方法，其特征在于：
上述经过预处理过程的数据集作为上述卷积神经网络的输入，上述全连接神经网络将上述积神经网络的输出及上述患者信息作为输入。
11.根据权利要求10所述的病变诊断方法，其特征在于：
上述积神经网络从上述多个胃病变图像输出多个特征图案，上述多个特征图案通过全连接神经网络最终得到分类。
12.根据权利要求9所述的病变诊断方法，其特征在于：
上述人工神经网络构建步骤将训练数据用于包括卷积神经网络及全连接神经网络的深度学习算法结构，通过逐渐增加相当于误差的神经网络结构的权重值的反向传播算法反馈结果进行学习。
13.根据权利要求2所述的病变诊断方法，其特征在于：
上述执行胃病变诊断的步骤将胃病变分为晚期胃癌、早期胃癌、高度异型增生、低度异型增生及肺肿瘤中的至少一种。
14.一种病变诊断装置，在从内窥镜图像中诊断病变的装置中，包括：
图像获得部，获得多个胃病变图像；
数据生成部，连接上述多个胃病变图像和患者信息生成数据集；
数据预处理部，预处理上述数据集以可用于深度学习算法；及
学习部，通过将经过预处理过程的上述数据集作为输入，将关于胃病变分类结果的项目作为输出的学习构建人工神经网络。
15.根据权利要求14所述的病变诊断装置，其特征在于：
还包括对新数据集经过上述预处理过程之后，通过上述人工神经网络执行胃病变诊断的病变诊断部。
16.一种计算机可读记录媒介，记录用于在计算机中执行权利要求1至13的任一项的方法的程序。
CN201980064309.8A 2018-10-02 2019-09-25 利用胃内窥镜图像的深度学习诊断胃病变的装置及方法 Pending CN112789686A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2018-0117823 2018-10-02
KR1020180117823A KR102210806B1 (ko) 2018-10-02 2018-10-02 위 내시경 이미지의 딥러닝을 이용하여 위 병변을 진단하는 장치 및 방법
PCT/KR2019/012448 WO2020071677A1 (ko) 2018-10-02 2019-09-25 위 내시경 이미지의 딥러닝을 이용하여 위 병변을 진단하는 장치 및 방법

Publications (1)

Publication Number Publication Date
CN112789686A true CN112789686A (zh) 2021-05-11

Family

ID=70054644

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980064309.8A Pending CN112789686A (zh) 2018-10-02 2019-09-25 利用胃内窥镜图像的深度学习诊断胃病变的装置及方法

Country Status (5)

Country Link
US (1) US20220031227A1 (zh)
JP (1) JP2022502150A (zh)
KR (1) KR102210806B1 (zh)
CN (1) CN112789686A (zh)
WO (1) WO2020071677A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024007861A1 (zh) * 2022-07-08 2024-01-11 海信视像科技股份有限公司 接收装置及元数据生成系统

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102287364B1 (ko) 2018-12-07 2021-08-06 주식회사 포인바이오닉스 인공신경망을 이용하여 캡슐형 내시경 영상에서 병변을 감지하는 시스템 및 방법
US20220108440A1 (en) * 2018-12-20 2022-04-07 Coloplast A/S Ostomy condition classification with masking, devices and related methods
US11983853B1 (en) 2019-10-31 2024-05-14 Meta Plattforms, Inc. Techniques for generating training data for machine learning enabled image enhancement
CN111524124A (zh) * 2020-04-27 2020-08-11 中国人民解放军陆军特色医学中心 炎症性肠病消化内镜影像人工智能辅助系统
KR102364027B1 (ko) * 2020-06-04 2022-02-16 계명대학교 산학협력단 내시경 영상을 통해 병변 크기를 계산할 수 있는 영상기반 크기 추정 시스템 및 방법
KR102492463B1 (ko) * 2020-06-24 2023-01-27 주식회사 뷰노 병변 판독 결과 표시 방법
WO2022015000A1 (ko) * 2020-07-13 2022-01-20 가톨릭대학교 산학협력단 다중 이미지를 이용한 암 진행/재발 예측 시스템 및 암 진행/재발 예측 방법
KR102255311B1 (ko) 2020-08-10 2021-05-24 주식회사 웨이센 인공지능 기반의 위내시경 영상 분석 방법
KR102415806B1 (ko) * 2020-09-15 2022-07-05 주식회사 뷰노 전자의료기록으로부터 의료 이벤트를 예측하는 인공 신경망의 기계학습 방법
KR102270669B1 (ko) * 2020-11-27 2021-06-29 주식회사 웨이센 인공지능을 이용하여 복수의 병변 영역을 포함하는 영상에 대한 연산을 수행하는 영상 수신 장치
KR102462975B1 (ko) * 2020-12-30 2022-11-08 (주)엔티엘헬스케어 인공지능 기반의 자궁경부암 검진 서비스 시스템
KR102536369B1 (ko) * 2021-02-26 2023-05-26 주식회사 인피니트헬스케어 인공 지능 기반 위 내시경 영상 진단 보조 시스템 및 방법
KR102564443B1 (ko) 2021-03-10 2023-08-10 주식회사 지오비전 딥러닝을 이용한 위내시경 검사의 신뢰성을 향상시킬 수 있는 위내시경 시스템
KR102531400B1 (ko) * 2021-03-19 2023-05-12 주식회사 인피니트헬스케어 인공 지능 기반 대장 내시경 영상 진단 보조 시스템 및 방법
KR102383495B1 (ko) * 2021-06-03 2022-04-08 라크(주) 의료 영상데이터 추출 방법
KR102637484B1 (ko) * 2021-10-26 2024-02-16 주식회사 카이미 인공지능 기반의 내시경 진단 보조 시스템 및 이의 제어방법
KR20230097646A (ko) 2021-12-24 2023-07-03 주식회사 인피니트헬스케어 위장 질환 및 위암 검출률 향상을 위한 인공 지능 기반 위 내시경 영상 진단 보조 시스템 및 방법
WO2023135816A1 (ja) * 2022-01-17 2023-07-20 オリンパスメディカルシステムズ株式会社 医療支援システムおよび医療支援方法
CN114663372B (zh) * 2022-03-11 2022-09-23 北京医准智能科技有限公司 一种基于视频的病灶分类方法、装置、电子设备及介质
CN115054209B (zh) * 2022-04-14 2023-09-26 杭州华视诺维医疗科技有限公司 一种基于智能移动设备的多参数生理信息检测系统和方法
US20230342912A1 (en) * 2022-04-25 2023-10-26 Hong Kong Applied Science and Technology Research Institute Company Limited Multi-functional computer-aided gastroscopy system optimized with integrated ai solutions and method
CN114565611B (zh) * 2022-04-28 2022-07-19 武汉大学 医学信息获取方法及相关设备
KR20230163723A (ko) * 2022-05-24 2023-12-01 주식회사 아이도트 내시경 검사 판독 보조 시스템
KR102502418B1 (ko) * 2022-07-21 2023-02-24 연세대학교 산학협력단 신경망 기반 의료 영상 처리 장치 및 방법
CN116881783B (zh) * 2023-06-21 2024-04-09 清华大学 道路损伤检测方法、装置、计算机设备、存储介质

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5422981A (en) * 1990-11-20 1995-06-06 Canon Kabushiki Kaisha Pattern recognition method and apparatus using a neural network
DE19833822A1 (de) * 1998-07-28 2000-02-03 Frank Stuepmann Selbstlernendes neuronales Netzwerk in hybrider VLSI-Technik
US20160350914A1 (en) * 2015-05-28 2016-12-01 Tokitae Llc Image analysis systems and related methods
JP2017045341A (ja) * 2015-08-28 2017-03-02 カシオ計算機株式会社 診断装置、及び診断装置における学習処理方法、並びにプログラム
US20170147777A1 (en) * 2015-11-25 2017-05-25 Electronics And Telecommunications Research Institute Method and apparatus for predicting health data value through generation of health data pattern
CN106780460A (zh) * 2016-12-13 2017-05-31 杭州健培科技有限公司 一种用于胸部ct影像的肺结节自动检测系统
CN107240102A (zh) * 2017-04-20 2017-10-10 合肥工业大学 基于深度学习算法的恶性肿瘤计算机辅助早期诊断方法
CN107368670A (zh) * 2017-06-07 2017-11-21 万香波 基于大数据深度学习的胃癌病理诊断支持系统和方法
CN107492095A (zh) * 2017-08-02 2017-12-19 西安电子科技大学 基于深度学习的医学图像肺结节检测方法
CN107730489A (zh) * 2017-10-09 2018-02-23 杭州电子科技大学 无线胶囊内窥镜小肠病变计算机辅助检测系统及检测方法
CN107945870A (zh) * 2017-12-13 2018-04-20 四川大学 基于深度神经网络的早产儿视网膜病变检测方法及装置
KR101857624B1 (ko) * 2017-08-21 2018-05-14 동국대학교 산학협력단 임상 정보를 반영한 의료 진단 방법 및 이를 이용하는 장치
CN108095683A (zh) * 2016-11-11 2018-06-01 北京羽医甘蓝信息技术有限公司 基于深度学习的处理眼底图像的方法和装置
CN108230339A (zh) * 2018-01-31 2018-06-29 浙江大学 一种基于伪标签迭代标注的胃癌病理切片标注补全方法
CN108364025A (zh) * 2018-02-11 2018-08-03 广州市碳码科技有限责任公司 基于深度学习的胃镜图像识别方法、装置、设备及介质
CN108470359A (zh) * 2018-02-11 2018-08-31 艾视医疗科技成都有限公司 一种糖尿病性视网膜眼底图像病变检测方法
US20180263568A1 (en) * 2017-03-09 2018-09-20 The Board Of Trustees Of The Leland Stanford Junior University Systems and Methods for Clinical Image Classification

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101993716B1 (ko) * 2012-09-28 2019-06-27 삼성전자주식회사 카테고리별 진단 모델을 이용한 병변 진단 장치 및 방법
JP5593009B1 (ja) 2012-11-07 2014-09-17 オリンパスメディカルシステムズ株式会社 医療用画像処理装置
KR102043130B1 (ko) * 2012-11-16 2019-11-11 삼성전자주식회사 컴퓨터 보조 진단 방법 및 장치
JP6235921B2 (ja) * 2014-02-07 2017-11-22 国立大学法人広島大学 内視鏡画像診断支援システム
US10127680B2 (en) * 2016-06-28 2018-11-13 Google Llc Eye gaze tracking using neural networks
US10803582B2 (en) * 2016-07-04 2020-10-13 Nec Corporation Image diagnosis learning device, image diagnosis device, image diagnosis method, and recording medium for storing program
JP6737502B2 (ja) * 2016-09-05 2020-08-12 独立行政法人国立高等専門学校機構 学習用データ生成方法およびこれを用いた対象空間状態認識方法
KR101921582B1 (ko) * 2016-11-14 2018-11-26 주식회사 모멘텀컨설팅 의료 진단 시스템, 서버 및 방법
CN110050267B (zh) * 2016-12-09 2023-05-26 北京地平线信息技术有限公司 用于数据管理的系统和方法
WO2018225448A1 (ja) * 2017-06-09 2018-12-13 智裕 多田 消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体
BR112020008774A2 (pt) * 2017-10-30 2020-12-22 Japanese Foundation For Cancer Research Aparelho para auxiliar no diagnóstico por imagem, método para a coleta de dados, método para auxiliar no diagnóstico por imagem e programa para auxiliar no diagnóstico por imagem
US11042992B2 (en) * 2018-08-03 2021-06-22 Logitech Europe S.A. Method and system for detecting peripheral device displacement

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5422981A (en) * 1990-11-20 1995-06-06 Canon Kabushiki Kaisha Pattern recognition method and apparatus using a neural network
DE19833822A1 (de) * 1998-07-28 2000-02-03 Frank Stuepmann Selbstlernendes neuronales Netzwerk in hybrider VLSI-Technik
US20160350914A1 (en) * 2015-05-28 2016-12-01 Tokitae Llc Image analysis systems and related methods
JP2017045341A (ja) * 2015-08-28 2017-03-02 カシオ計算機株式会社 診断装置、及び診断装置における学習処理方法、並びにプログラム
US20170147777A1 (en) * 2015-11-25 2017-05-25 Electronics And Telecommunications Research Institute Method and apparatus for predicting health data value through generation of health data pattern
CN108095683A (zh) * 2016-11-11 2018-06-01 北京羽医甘蓝信息技术有限公司 基于深度学习的处理眼底图像的方法和装置
CN106780460A (zh) * 2016-12-13 2017-05-31 杭州健培科技有限公司 一种用于胸部ct影像的肺结节自动检测系统
US20180263568A1 (en) * 2017-03-09 2018-09-20 The Board Of Trustees Of The Leland Stanford Junior University Systems and Methods for Clinical Image Classification
CN107240102A (zh) * 2017-04-20 2017-10-10 合肥工业大学 基于深度学习算法的恶性肿瘤计算机辅助早期诊断方法
CN107368670A (zh) * 2017-06-07 2017-11-21 万香波 基于大数据深度学习的胃癌病理诊断支持系统和方法
CN107492095A (zh) * 2017-08-02 2017-12-19 西安电子科技大学 基于深度学习的医学图像肺结节检测方法
KR101857624B1 (ko) * 2017-08-21 2018-05-14 동국대학교 산학협력단 임상 정보를 반영한 의료 진단 방법 및 이를 이용하는 장치
CN107730489A (zh) * 2017-10-09 2018-02-23 杭州电子科技大学 无线胶囊内窥镜小肠病变计算机辅助检测系统及检测方法
CN107945870A (zh) * 2017-12-13 2018-04-20 四川大学 基于深度神经网络的早产儿视网膜病变检测方法及装置
CN108230339A (zh) * 2018-01-31 2018-06-29 浙江大学 一种基于伪标签迭代标注的胃癌病理切片标注补全方法
CN108364025A (zh) * 2018-02-11 2018-08-03 广州市碳码科技有限责任公司 基于深度学习的胃镜图像识别方法、装置、设备及介质
CN108470359A (zh) * 2018-02-11 2018-08-31 艾视医疗科技成都有限公司 一种糖尿病性视网膜眼底图像病变检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
TOSHIAKI HIRASAWA 等: "Application of AI using a CNN network for detecting gastric cancer in endoscopic images", GASTROINTESTINAL ENDOSCOPY, vol. 87, no. 6, pages 51 *
吴晓红: "反馈神经网络的一种反向传播算法", 系统工程与电子技术, no. 09, pages 65 - 67 *
陈慧岩 等: "无人驾驶车辆理论与设计", vol. 1, 北京理工大学出版社, pages: 218 - 219 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024007861A1 (zh) * 2022-07-08 2024-01-11 海信视像科技股份有限公司 接收装置及元数据生成系统

Also Published As

Publication number Publication date
WO2020071677A1 (ko) 2020-04-09
US20220031227A1 (en) 2022-02-03
JP2022502150A (ja) 2022-01-11
KR102210806B1 (ko) 2021-02-01
KR20200038120A (ko) 2020-04-10

Similar Documents

Publication Publication Date Title
CN112789686A (zh) 利用胃内窥镜图像的深度学习诊断胃病变的装置及方法
JP7404509B2 (ja) 深層学習に基づく消化管早期癌診断補助システム及び検査装置
CN112823396A (zh) 基于实时获得的胃内窥镜图像诊断胃病变的内窥镜装置及方法
Horie et al. Diagnostic outcomes of esophageal cancer by artificial intelligence using convolutional neural networks
US10482313B2 (en) Method and system for classification of endoscopic images using deep decision networks
Pogorelov et al. Deep learning and hand-crafted feature based approaches for polyp detection in medical videos
US9445713B2 (en) Apparatuses and methods for mobile imaging and analysis
EP1769729B1 (en) System and method for in-vivo feature detection
JP5972865B2 (ja) 生体内画像の部分を表示するシステム及びその作動方法
US20180263568A1 (en) Systems and Methods for Clinical Image Classification
BR112020008774A2 (pt) Aparelho para auxiliar no diagnóstico por imagem, método para a coleta de dados, método para auxiliar no diagnóstico por imagem e programa para auxiliar no diagnóstico por imagem
CN111275041B (zh) 内窥镜图像展示方法、装置、计算机设备及存储介质
JPWO2018105063A1 (ja) 画像処理装置
JP2017534322A (ja) 膀胱の診断的マッピング方法及びシステム
CN112566540A (zh) 内窥镜用处理器、信息处理装置、内窥镜系统、程序以及信息处理方法
US11935239B2 (en) Control method, apparatus and program for system for determining lesion obtained via real-time image
WO2020054543A1 (ja) 医療画像処理装置及び方法、内視鏡システム、プロセッサ装置、診断支援装置並びにプログラム
KR102255311B1 (ko) 인공지능 기반의 위내시경 영상 분석 방법
Bejakovic et al. Analysis of Crohn's disease lesions in capsule endoscopy images
CN113613543A (zh) 诊断辅助装置、诊断辅助方法以及程序
CN116206741A (zh) 一种消化科医疗信息处理系统及方法
Sierra et al. An online deep convolutional polyp lesion prediction over Narrow Band Imaging (NBI)
CN114581408A (zh) 一种基于yolov5的胃镜息肉检测方法
US20230298306A1 (en) Systems and methods for comparing images of event indicators
Chuquimia et al. Polyp follow-up in an intelligent wireless capsule endoscopy

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination