JP2021112593A - 消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体 - Google Patents
消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体 Download PDFInfo
- Publication number
- JP2021112593A JP2021112593A JP2021069162A JP2021069162A JP2021112593A JP 2021112593 A JP2021112593 A JP 2021112593A JP 2021069162 A JP2021069162 A JP 2021069162A JP 2021069162 A JP2021069162 A JP 2021069162A JP 2021112593 A JP2021112593 A JP 2021112593A
- Authority
- JP
- Japan
- Prior art keywords
- endoscopic image
- disease
- neural network
- image
- endoscopic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 210000004798 organs belonging to the digestive system Anatomy 0.000 title claims abstract description 322
- 238000003745 diagnosis Methods 0.000 title claims abstract description 220
- 238000000034 method Methods 0.000 title claims abstract description 126
- 230000003902 lesion Effects 0.000 title abstract description 42
- 238000013528 artificial neural network Methods 0.000 claims abstract description 186
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims description 282
- 201000010099 disease Diseases 0.000 claims description 280
- 238000013527 convolutional neural network Methods 0.000 claims description 147
- 210000002784 stomach Anatomy 0.000 claims description 105
- 238000012549 training Methods 0.000 claims description 63
- 238000003860 storage Methods 0.000 claims description 59
- 206010019375 Helicobacter infections Diseases 0.000 claims description 37
- 238000001839 endoscopy Methods 0.000 claims description 35
- 206010009900 Colitis ulcerative Diseases 0.000 claims description 32
- 241000590002 Helicobacter pylori Species 0.000 claims description 32
- 201000006704 Ulcerative Colitis Diseases 0.000 claims description 32
- 229940037467 helicobacter pylori Drugs 0.000 claims description 32
- 210000003238 esophagus Anatomy 0.000 claims description 29
- 210000001198 duodenum Anatomy 0.000 claims description 24
- 206010030216 Oesophagitis Diseases 0.000 claims description 23
- 208000006881 esophagitis Diseases 0.000 claims description 23
- 208000000461 Esophageal Neoplasms Diseases 0.000 claims description 21
- 206010030155 Oesophageal carcinoma Diseases 0.000 claims description 21
- 201000004101 esophageal cancer Diseases 0.000 claims description 21
- 238000012795 verification Methods 0.000 claims description 20
- 230000008029 eradication Effects 0.000 claims description 18
- 208000021302 gastroesophageal reflux disease Diseases 0.000 claims description 18
- 210000003800 pharynx Anatomy 0.000 claims description 16
- 238000004891 communication Methods 0.000 claims description 15
- 238000000605 extraction Methods 0.000 claims description 15
- 210000002318 cardia Anatomy 0.000 claims description 11
- 210000001035 gastrointestinal tract Anatomy 0.000 claims description 10
- 208000018522 Gastrointestinal disease Diseases 0.000 claims description 8
- 230000008859 change Effects 0.000 claims description 7
- 210000004203 pyloric antrum Anatomy 0.000 claims description 7
- 238000003384 imaging method Methods 0.000 claims description 6
- 230000001537 neural effect Effects 0.000 claims description 6
- 210000002249 digestive system Anatomy 0.000 claims description 5
- 210000001187 pylorus Anatomy 0.000 claims description 4
- 238000012360 testing method Methods 0.000 description 59
- 230000003211 malignant effect Effects 0.000 description 44
- 230000035945 sensitivity Effects 0.000 description 28
- 208000015181 infectious disease Diseases 0.000 description 20
- 230000002496 gastric effect Effects 0.000 description 19
- 210000001072 colon Anatomy 0.000 description 15
- 238000013473 artificial intelligence Methods 0.000 description 14
- 208000007882 Gastritis Diseases 0.000 description 13
- 241000589989 Helicobacter Species 0.000 description 13
- 208000005718 Stomach Neoplasms Diseases 0.000 description 13
- 201000011510 cancer Diseases 0.000 description 13
- 210000000664 rectum Anatomy 0.000 description 13
- 206010017758 gastric cancer Diseases 0.000 description 12
- 201000011549 stomach cancer Diseases 0.000 description 12
- 238000001574 biopsy Methods 0.000 description 11
- 210000001519 tissue Anatomy 0.000 description 11
- 238000012216 screening Methods 0.000 description 10
- 206010028980 Neoplasm Diseases 0.000 description 9
- 238000013135 deep learning Methods 0.000 description 9
- 238000001514 detection method Methods 0.000 description 9
- 238000005259 measurement Methods 0.000 description 9
- 230000003287 optical effect Effects 0.000 description 9
- 238000010200 validation analysis Methods 0.000 description 9
- 208000028299 esophageal disease Diseases 0.000 description 8
- 238000011156 evaluation Methods 0.000 description 8
- 210000000867 larynx Anatomy 0.000 description 8
- 210000000981 epithelium Anatomy 0.000 description 7
- 206010061218 Inflammation Diseases 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000009266 disease activity Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 230000004054 inflammatory process Effects 0.000 description 6
- 201000009030 Carcinoma Diseases 0.000 description 5
- 239000000427 antigen Substances 0.000 description 5
- 102000036639 antigens Human genes 0.000 description 5
- 108091007433 antigens Proteins 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000003759 clinical diagnosis Methods 0.000 description 5
- 238000002052 colonoscopy Methods 0.000 description 5
- 208000010643 digestive system disease Diseases 0.000 description 5
- 230000002550 fecal effect Effects 0.000 description 5
- 238000002575 gastroscopy Methods 0.000 description 5
- 210000000056 organ Anatomy 0.000 description 5
- 230000009467 reduction Effects 0.000 description 5
- 208000024891 symptom Diseases 0.000 description 5
- 208000032843 Hemorrhage Diseases 0.000 description 4
- 206010048899 Radiation oesophagitis Diseases 0.000 description 4
- XSQUKJJJFZCRTK-UHFFFAOYSA-N Urea Chemical compound NC(N)=O XSQUKJJJFZCRTK-UHFFFAOYSA-N 0.000 description 4
- 230000002159 abnormal effect Effects 0.000 description 4
- 230000000740 bleeding effect Effects 0.000 description 4
- 239000004202 carbamide Substances 0.000 description 4
- 210000004027 cell Anatomy 0.000 description 4
- 208000037828 epithelial carcinoma Diseases 0.000 description 4
- 208000018685 gastrointestinal system disease Diseases 0.000 description 4
- 210000002429 large intestine Anatomy 0.000 description 4
- 238000010827 pathological analysis Methods 0.000 description 4
- 206010003694 Atrophy Diseases 0.000 description 3
- 206010063560 Excessive granulation tissue Diseases 0.000 description 3
- 208000000453 Skin Neoplasms Diseases 0.000 description 3
- 206010047642 Vitiligo Diseases 0.000 description 3
- 230000005856 abnormality Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 3
- 230000037444 atrophy Effects 0.000 description 3
- 229910052788 barium Inorganic materials 0.000 description 3
- DSAJWYNOEDNPEQ-UHFFFAOYSA-N barium atom Chemical compound [Ba] DSAJWYNOEDNPEQ-UHFFFAOYSA-N 0.000 description 3
- 210000004369 blood Anatomy 0.000 description 3
- 239000008280 blood Substances 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000002183 duodenal effect Effects 0.000 description 3
- 210000002919 epithelial cell Anatomy 0.000 description 3
- 210000001126 granulation tissue Anatomy 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000005855 radiation Effects 0.000 description 3
- 238000012552 review Methods 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 201000000849 skin cancer Diseases 0.000 description 3
- 231100000397 ulcer Toxicity 0.000 description 3
- 210000002700 urine Anatomy 0.000 description 3
- 101150012579 ADSL gene Proteins 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- 102100020775 Adenylosuccinate lyase Human genes 0.000 description 2
- 108700040193 Adenylosuccinate lyases Proteins 0.000 description 2
- 208000012895 Gastric disease Diseases 0.000 description 2
- 206010054949 Metaplasia Diseases 0.000 description 2
- 206010030201 Oesophageal ulcer Diseases 0.000 description 2
- 108010047320 Pepsinogen A Proteins 0.000 description 2
- 208000025865 Ulcer Diseases 0.000 description 2
- 210000003445 biliary tract Anatomy 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000009534 blood test Methods 0.000 description 2
- 210000004204 blood vessel Anatomy 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 238000009535 clinical urine test Methods 0.000 description 2
- 239000003246 corticosteroid Substances 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 2
- 208000035475 disorder Diseases 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000001537 electron coincidence spectroscopy Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 208000019064 esophageal ulcer Diseases 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 210000001156 gastric mucosa Anatomy 0.000 description 2
- 230000035876 healing Effects 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 238000001727 in vivo Methods 0.000 description 2
- 238000013178 mathematical model Methods 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 210000004877 mucosa Anatomy 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000004223 overdiagnosis Methods 0.000 description 2
- 210000000277 pancreatic duct Anatomy 0.000 description 2
- 238000001454 recorded image Methods 0.000 description 2
- 230000001172 regenerating effect Effects 0.000 description 2
- 210000002966 serum Anatomy 0.000 description 2
- 210000000813 small intestine Anatomy 0.000 description 2
- 238000007619 statistical method Methods 0.000 description 2
- 210000003384 transverse colon Anatomy 0.000 description 2
- RBTBFTRPCNLSDE-UHFFFAOYSA-N 3,7-bis(dimethylamino)phenothiazin-5-ium Chemical compound C1=CC(N(C)C)=CC2=[S+]C3=CC(N(C)C)=CC=C3N=C21 RBTBFTRPCNLSDE-UHFFFAOYSA-N 0.000 description 1
- 208000004300 Atrophic Gastritis Diseases 0.000 description 1
- 206010012689 Diabetic retinopathy Diseases 0.000 description 1
- 238000012327 Endoscopic diagnosis Methods 0.000 description 1
- 206010064212 Eosinophilic oesophagitis Diseases 0.000 description 1
- 206010015150 Erythema Diseases 0.000 description 1
- 206010017817 Gastric polyps Diseases 0.000 description 1
- 208000036495 Gastritis atrophic Diseases 0.000 description 1
- 206010020880 Hypertrophy Diseases 0.000 description 1
- 206010030111 Oedema mucosal Diseases 0.000 description 1
- 206010030154 Oesophageal candidiasis Diseases 0.000 description 1
- 206010071192 Oesophageal papilloma Diseases 0.000 description 1
- 206010061534 Oesophageal squamous cell carcinoma Diseases 0.000 description 1
- 240000007594 Oryza sativa Species 0.000 description 1
- 235000007164 Oryza sativa Nutrition 0.000 description 1
- 208000008469 Peptic Ulcer Diseases 0.000 description 1
- 206010051077 Post procedural haemorrhage Diseases 0.000 description 1
- 238000001069 Raman spectroscopy Methods 0.000 description 1
- 208000036765 Squamous cell carcinoma of the esophagus Diseases 0.000 description 1
- 208000007107 Stomach Ulcer Diseases 0.000 description 1
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 206010060926 abdominal symptom Diseases 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 239000003242 anti bacterial agent Substances 0.000 description 1
- 230000000259 anti-tumor effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 210000001815 ascending colon Anatomy 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 208000034158 bleeding Diseases 0.000 description 1
- 238000007664 blowing Methods 0.000 description 1
- 230000000711 cancerogenic effect Effects 0.000 description 1
- 231100000357 carcinogen Toxicity 0.000 description 1
- 239000003183 carcinogenic agent Substances 0.000 description 1
- 230000000747 cardiac effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 208000016644 chronic atrophic gastritis Diseases 0.000 description 1
- 238000012321 colectomy Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 229960001334 corticosteroids Drugs 0.000 description 1
- 230000001086 cytosolic effect Effects 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 230000034994 death Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 210000001731 descending colon Anatomy 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 235000005911 diet Nutrition 0.000 description 1
- 230000037213 diet Effects 0.000 description 1
- 238000003748 differential diagnosis Methods 0.000 description 1
- 230000029087 digestion Effects 0.000 description 1
- 238000012850 discrimination method Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 230000002327 eosinophilic effect Effects 0.000 description 1
- 201000000708 eosinophilic esophagitis Diseases 0.000 description 1
- 230000003628 erosive effect Effects 0.000 description 1
- 201000005655 esophageal candidiasis Diseases 0.000 description 1
- 208000007276 esophageal squamous cell carcinoma Diseases 0.000 description 1
- 239000010794 food waste Substances 0.000 description 1
- 238000013110 gastrectomy Methods 0.000 description 1
- 238000012812 general test Methods 0.000 description 1
- 238000010562 histological examination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 210000004969 inflammatory cell Anatomy 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 238000009533 lab test Methods 0.000 description 1
- 201000011061 large intestine cancer Diseases 0.000 description 1
- 238000012329 magnifying chromoendoscopy Methods 0.000 description 1
- 230000036210 malignancy Effects 0.000 description 1
- KBOPZPXVLCULAV-UHFFFAOYSA-N mesalamine Chemical compound NC1=CC=C(O)C(C(O)=O)=C1 KBOPZPXVLCULAV-UHFFFAOYSA-N 0.000 description 1
- 229960004963 mesalazine Drugs 0.000 description 1
- 229960000907 methylthioninium chloride Drugs 0.000 description 1
- 238000000386 microscopy Methods 0.000 description 1
- 230000017074 necrotic cell death Effects 0.000 description 1
- 230000002956 necrotizing effect Effects 0.000 description 1
- 230000001613 neoplastic effect Effects 0.000 description 1
- 238000011017 operating method Methods 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 208000011906 peptic ulcer disease Diseases 0.000 description 1
- 208000014081 polyp of colon Diseases 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 238000012134 rapid urease test Methods 0.000 description 1
- 238000010992 reflux Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 235000009566 rice Nutrition 0.000 description 1
- 210000001599 sigmoid colon Anatomy 0.000 description 1
- 206010040882 skin lesion Diseases 0.000 description 1
- 231100000444 skin lesion Toxicity 0.000 description 1
- 230000002269 spontaneous effect Effects 0.000 description 1
- 206010041823 squamous cell carcinoma Diseases 0.000 description 1
- 208000017572 squamous cell neoplasm Diseases 0.000 description 1
- 230000001954 sterilising effect Effects 0.000 description 1
- 238000004659 sterilization and disinfection Methods 0.000 description 1
- 208000018556 stomach disease Diseases 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 230000008961 swelling Effects 0.000 description 1
- 238000010998 test method Methods 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 210000002438 upper gastrointestinal tract Anatomy 0.000 description 1
- 230000002485 urinary effect Effects 0.000 description 1
- 210000000264 venule Anatomy 0.000 description 1
- 210000000857 visual cortex Anatomy 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00011—Operational features of endoscopes characterised by signal transmission
- A61B1/00016—Operational features of endoscopes characterised by signal transmission using wireless means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/143—Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/273—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the upper alimentary canal, e.g. oesophagoscopes, gastroscopes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20076—Probabilistic image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30028—Colon; Small intestine
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30028—Colon; Small intestine
- G06T2207/30032—Colon polyp
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30092—Stomach; Gastric
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Surgery (AREA)
- Radiology & Medical Imaging (AREA)
- General Health & Medical Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biomedical Technology (AREA)
- Pathology (AREA)
- Optics & Photonics (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Biophysics (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Quality & Reliability (AREA)
- Signal Processing (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Probability & Statistics with Applications (AREA)
- Software Systems (AREA)
- Computer Networks & Wireless Communication (AREA)
- Endoscopes (AREA)
- Image Analysis (AREA)
Abstract
【課題】ニューラルネットワークを利用した消化器官の内視鏡画像による疾患の診断支援方法等を提供する。【解決手段】ニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法であって、ニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法であって、消化器官の第１の内視鏡画像と、前記第１の内視鏡画像に対応する、前記消化器官の前記疾患の陽性若しくは陰性、過去の疾患、重症度のレベル、又は、撮像された部位に対応する情報の少なくとも１つの確定診断結果と、を用いてニューラルネットワークを訓練し、前記訓練されたニューラルネットワークは、消化器官の第２の内視鏡画像に基いて、当該消化器官の疾患の陽性及び／又は陰性の確率、過去の疾患の確率、疾患の重症度のレベル、又は、撮像された部位に対応する情報の少なくとも１つを出力することを特徴とする。【選択図】図１
Description
本発明は、ニューラルネットワーク（neural network）を用いた消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プロラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体に関する。
消化器官、例えば、喉頭、咽頭、食道、胃、十二指腸、胆道、膵菅、小腸、大腸などに対し、内視鏡検査が多く行われているところ、上部消化器官の内視鏡検査は胃癌、食道癌、消化性潰瘍、逆流性胃炎などのスクリーニングのために、また、大腸の内視鏡検査は大腸癌、大腸ポリープ、潰瘍性大腸炎等のスクリーニングのために、しばしば行われている。特に上部消化器官の内視鏡検査は、様々な上腹部症状の詳細な検査、胃の病気に対するバリウム検査の陽性結果を受けての精密検査、及び、日本の定期健康診断に一般的に組み込まれている異常な血清ペプシノゲンレベルに対する精密検査にも有用である。また、近年では、胃癌検診は従来のバリウム検査から胃内視鏡検査への移行が進んでいる。
胃癌は、最も一般的な悪性腫瘍の１つであり、数年前には世界中で約１００万件も発症したものと推定されている。胃癌発症の根本原因のうち、ヘリコバクター・ピロリ（Helicobacter pylori、以下、「Ｈ．ピロリ」ということがある。）感染は、萎縮性胃炎、腸上皮化生を誘導し、最終的には胃癌発症につながる。世界中で非噴門胃癌のうちの９８％はＨ．ピロリが寄与していると考えられている。Ｈ．ピロリに感染した患者の胃癌の危険性が高まり、Ｈ．ピロリ除菌後の胃癌の発生率が低下したことを考慮し、国際癌研究機関（International Agency for Research on Cancer）は、Ｈ．ピロリを明確な発癌物質と分類している。この結果から、胃癌発症のリスクを低減させるためにはＨ．ピロリの除菌が有用で、抗菌薬による除菌はわが国の保険診療にもなっており、今後とも保健衛生上強く奨励される治療法である。
Ｈ．ピロリ感染の存在についての鑑別診断には、胃内視鏡検査は極めて有用な情報を提供する。毛細血管がきれいに見える場合（ＲＡＣ（regular arrangement of collecting venules））や胃底腺ポリープはＨ．ピロリ陰性の胃粘膜に特徴的であるが、萎縮、発赤、粘膜腫脹、皺壁肥大は、Ｈ．ピロリ感染胃炎の代表的な所見である。Ｈ．ピロリ感染の正確な内視鏡診断は、血液又は尿中の抗Ｈ．ピロリＩｇＧレベル測定、糞便抗原測定、尿素呼気試験、又は迅速ウレアーゼ試験などの様々な検査によって確認され、検査結果が陽性の患者はＨ．ピロリ除菌に進むことができる。内視鏡検査は広く胃病変の検査に使われるが、臨床検体分析によらずに胃病変の確認時にＨ．ピロリ感染までも特定できるようになれば、画一的に血液検査や尿検査等を行うことのなく、患者の負担は大きく減り、また医療経済上の貢献も期待できる。
また、特に先進工業国では潰瘍性大腸炎（ＵＣ）の罹患率が着実に増加しており、欧米の食生活や環境が潰瘍性大腸炎の原因の１つであることが示唆されている。潰瘍性大腸炎の治療のためには、メサラジン、コルチコステロイド、及び抗腫瘍壊死因子モノクローナル抗体を含むいくつかの選択肢があり、患者の臨床症状及び疾患活動指数に従ってこれらの薬物を使用し、疾患活性を寛解状態に保つことが重要である。
臨床症状のスコア以外にも、潰瘍性大腸炎患者の大腸内視鏡検査を用いてその程度及び重症度を主に評価し、以前の研究では内視鏡疾患活動の測定との組み合わせが報告されている。その中でも、Ｍａｙｏ内視鏡スコアは、潰瘍性大腸炎患者の疾患活動性を評価するための臨床実践において最も信頼性が高く、広く使用されている指標の１つである。具体的には、Ｍａｙｏ内視鏡スコアは、０：正常又は被活動性、１：軽症（発赤、血管透未像不明瞭、軽度の易出血性）、２：中等症（著明発赤、血管透見像消失、易出血性、びらん）、３：重傷（自然出血、潰瘍）の４つに分類される。
Ｍａｙｏ内視鏡スコア＜１と定義され、「粘膜治癒」と呼ばれる内視鏡的寛解状態は、コルチコステロイド使用率、入院率、臨床再発率及び結腸切除率の低下と相関することが示されている。しかし、これまでの報告では、非専門家では０．４５〜０．５３の範囲のκ−係数で、疾患活動性の評価にかなりの観察者間の差があり、適度の訓練を受けた専門家でさえも０．７１〜０．７４の範囲の一致度となっている。なお、κ−係数は、観察者間の診断の一致度を評価するパラメータであり、０〜１の値をとり、値が大きいほど一致度が高いと判断される。
このような消化器官の内視鏡検査においては、多くの内視鏡画像が収集されるが、精度管理のために内視鏡専門医による内視鏡画像のダブルチェックが義務付けられている。年に数万件もの内視鏡検診に伴い、二次読影において内視鏡専門医が読影する画像枚数は１人あたり１時間で約２８００枚と膨大なものとなっており、現場の大きな負担となっている。
しかも、これらの内視鏡画像に基づく診断は、内視鏡専門医に対する訓練や、保存画像をチェックするのに多くの時間を要するばかりか、主観的であり、様々な偽陽性判断及び偽陰性判断を生じる可能性がある。さらに、内視鏡専門医による診断は、疲労により精度が悪化することがある。このような現場の多大な負担や精度の低下は、受診者数の制限にもつながる可能性があり、ひいては需要に応じた医療サービスが十分に提供されない懸念も想定される。
上記の内視鏡検査の労務負荷と精度低下の改善のためには、ＡＩ（人工知能：artificial intelligence）の活用が期待されている。近年の画像認識能力が人間を上回ったＡＩを内視鏡専門医のアシストとして使用できれば、二次読影作業の精度とスピードを向上させるものと期待されている。近年、ディープラーニング（深層学習）を用いたＡＩが様々な医療分野で注目されており、放射線腫瘍学、皮膚癌分類、糖尿病性網膜症などの医学画像を専門医に替わってスクリーニングできるとの報告がある。
特に、顕微内視鏡レベルのスクリーニングにおいては、ＡＩが専門医と同等の精度を出せることが証明されている(非特許文献１)。また、皮膚科では、ディープラーニング機能を持ったＡＩが専門医と同等の画像診断能力を発揮することが発表されており(非特許文献２)、各種機械学習法を利用した特許文献（特許文献１、２参照）も存在する。しかし、ＡＩの内視鏡画像診断能力が実際の医療現場において役立つ精度（正確性）と性能（スピード）を満たせるかどうかについては、検証されておらず、機械学習法を利用した内視鏡画像に基づく診断は、未だに実用化されていない。
ディープラーニングは、複数に重ねて構成されたニューラルネットワークを用いて、入力データから高次の特徴量を学習できる。また、ディープラーニングは、バックプロパゲーション・アルゴリズムを使用して、各層の表現を前の層の表現から計算するために使用される内部パラメータを、装置がどのように変更すべきかを示すことによって更新することができる。
医用画像の関連付けに際しては、ディープラーニングは、過去に蓄積された医用画像を用いて訓練することができ、医学的画像から患者の臨床的特徴を直接得ることができる強力な機械学習技術になり得る。ニューラルネットワークは脳の神経回路の特性を計算機上のシミュレーションによって表現した数理モデルであるところ、ディープラーニングを支えるアルゴリズムのアプローチがニューラルネットワークである。
http://www.giejournal.org/article/S0016-5107(14)02171-3/fulltext, "Novel computer-aided diagnostic system for colorectal lesions by using endocytoscopy" Yuichi Mori et. al. Presented at Digestive Disease Week 2014, May 3-6, 2014, Chicago, Illinois, USA
「Nature」2017年2月号、巻頭論文、「皮膚の病変を学習する：人工知能が画像から皮膚がんを検出する能力を強化する」（http://www.natureasia.com/ja-jp/nature/highlights/82762）
http://gentaikyo.or.jp/about/pdf/report/131119.pdf
Kumagai Y, Monma K, Kawada K. "Magnifying chromoendoscopy of the esophagus: in-vivo pathological diagnosis using an endocytoscopy system.", Endoscopy ,2004, vol.36, p590 4.
Esteva A, Kuprel B, Novoa RA, et al. "Dermatologist-level classification of skin cancer with deep neural networks", Nature, 2017, vol. 542, p115-8
消化管内視鏡検査における内視鏡画像の判定作業において、高い精度を維持したうえの効率化が大きな課題になっている。また、この分野の画像解析にＡＩを活用しようとしたときには、そのＡＩ技術の向上が大きな課題となっている。さらに、発明者らが知る限り、Ｈ．ピロリ感染胃炎、潰瘍性大腸炎ないし食道疾患、特に超拡大内視鏡（Endocytoscopy：ＥＣＳ）画像を用いた食道疾患を診断するためのニューラルネットワークの能力に関する報告や、ニューラルネットワークによるディープラーニング介してこれらの消化管内視鏡画像の解析に基づくＨ．ピロリ感染胃炎検査、潰瘍性大腸炎の検査ないし食道疾患の検査に最適化されて医療現場に実装化されて利用されている例はなく、今後の解決すべき課題となっている。
また、上部内視鏡検査においては、胃だけでなく、喉頭、咽頭、食道、十二指腸等の複数の臓器の画像が混在しているが、特に胃癌内視鏡検診においては収集された画像をＡＩにより臓器別ないし部位別に仕分けることができれば、内視鏡専門医による所見記入や二次読影の負担軽減につながると考えられる。
本発明は、消化器官の内視鏡画像を用い、ニューラルネットワークを用いることによって、疾患、例えばＨ．ピロリ感染胃炎、潰瘍性大腸炎ないし食道疾患等の診断を正確に行うことができる、消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体を提供することを目的とする。
本発明の第１の態様の消化器官の内視鏡画像による疾患の診断支援方法は、
ニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法であって、
消化器官の第１の内視鏡画像と、
前記第１の内視鏡画像に対応する、前記消化器官の前記疾患の陽性若しくは陰性、過去の疾患、重症度のレベル、又は、撮像された部位に対応する情報の少なくとも１つの確定診断結果と、
を用いてニューラルネットワークを訓練し、
前記訓練されたニューラルネットワークは、消化器官の第２の内視鏡画像に基いて、当該消化器官の疾患の陽性及び／又は陰性の確率、過去の疾患の確率、疾患の重症度のレベル、又は、撮像された部位に対応する情報の少なくとも１つを出力することを特徴とする。
ニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法であって、
消化器官の第１の内視鏡画像と、
前記第１の内視鏡画像に対応する、前記消化器官の前記疾患の陽性若しくは陰性、過去の疾患、重症度のレベル、又は、撮像された部位に対応する情報の少なくとも１つの確定診断結果と、
を用いてニューラルネットワークを訓練し、
前記訓練されたニューラルネットワークは、消化器官の第２の内視鏡画像に基いて、当該消化器官の疾患の陽性及び／又は陰性の確率、過去の疾患の確率、疾患の重症度のレベル、又は、撮像された部位に対応する情報の少なくとも１つを出力することを特徴とする。
かかる態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法によれば、ニューラルネットワークが複数の被験者のそれぞれについて予め得られている複数の消化器官の内視鏡画像からなる第１の内視鏡画像と、複数の被験者のそれぞれについて予め得られている前記疾患の陽性若しくは陰性、過去の疾患、重症度のレベル、又は、撮像された部位に対応する情報の少なくとも１つの確定診断結果とに基いて訓練されているので、短時間で、実質的に内視鏡専門医に匹敵する精度で被験者の消化器官の疾患の陽性及び／又は陰性の確率、過去の疾患の確率、疾患の重症度のレベル、又は、撮像された部位に対応する情報のいずれか１つ以上を得ることができ、別途確定診断を行わなければならない被験者を短時間で選別することができるようになる。しかも、多数の被験者についての複数の消化器官の内視鏡画像からなるテストデータに対する疾患の陽性及び／又は陰性の確率、過去の疾患の確率、疾患の重症度のレベル、又は、撮像された部位に対応する情報の少なくとも１つを自動診断することができるため、内視鏡専門医によるチェック／修正が容易になるだけでなく、疾患と関連づけられた画像の集合を作成する作業の省略化も図ることができる。
また、本発明の第２の態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法は、第１の態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法システムにおいて、前記第１の内視鏡画像は、コントラストの調整が行なわれていることを特徴とする。
第２の態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法によれば、全ての第１の内視鏡画像のコントラストが実質的に同一の階調となるように調整されているため、疾患の陽性及び陰性のそれぞれの確率ないし重症度のレベルの検出精度が向上する。
また、本発明の第３の態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法は、第１又は第２の態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法において、前記第１の内視鏡画像は、それぞれが撮像された部位に関連付けられていることを特徴とする。
訓練されていないニューラルネットワークでは、具体的な消化器官の内視鏡画像が如何なる部位の画像であるかを識別するのが困難な場合がある。第３の態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法によれば、それぞれの部位によって分類された内視鏡画像を用いて訓練されたニューラルネットワークとなっているので、ニューラルネットワークに対し、それぞれの部位に応じたきめ細かい訓練が可能であるため、第２内視鏡画像に対する疾患の陽性及び陰性のそれぞれの陰性の確率、過去の疾患の確率、疾患の重症度のレベル等の検出精度が向上する。
また、本発明の第４の態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法は、第３の態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法において、前記部位は、咽頭、食道、胃又は十二指腸の少なくとも１つを含むことを特徴とする。
第４の態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法によれば、咽頭、食道、胃及び十二指腸の部位毎の分類が正確にできるので、それぞれの部位に対する疾患の陽性及び陰性のそれぞれの陰性の確率、過去の疾患の確率、疾患の重症度のレベル等の検出精度が向上する。
また、本発明の第５の態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法は、第３又は第４の態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法において、前記部位は、前記複数の消化器官の少なくとも１つにおいて複数箇所に区分されていることを特徴とする。
消化器官はそれぞれ複雑な形状をしているため、部位の分類数が少ないと具体的な内視鏡画像が当該消化器官の如何なる部位の画像であるかを認識するのが困難な場合がある。
第５の態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法によれば、複数の消化器官のそれぞれにおいて複数箇所に区分されているので、短時間に高精度の診断結果を得ることができるようになる。
第５の態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法によれば、複数の消化器官のそれぞれにおいて複数箇所に区分されているので、短時間に高精度の診断結果を得ることができるようになる。
また、本発明の第６の態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法は、第５の態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法において、前記部位が胃である場合には、前記区分は、上部胃、中部胃又は下部胃の少なくとも１つを含むことを特徴とする。また、本発明の第７の態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法は、第５の態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法において、前記部位が胃である場合には、前記区分は、噴門部、胃底部、胃体部、胃角部、前庭部、幽門洞又は幽門部の少なくとも１つを含むことを特徴とする。
本発明の第６又は第７の態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法によれば、胃の各区分ないし部位毎の分類が正確にできるので、それぞれの区分ないし部位に対する疾患の陽性及び陰性のそれぞれの陰性の確率、過去の疾患の確率、疾患の重症度のレベル等の検出精度が向上する。なお、胃の区分ないし部位の選択は、必要に応じて適宜に選択すればよい。
また、本発明の第８の態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法は、第３〜第７のいずれかの態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法において、前記撮像された部位における前記第１の内視鏡画像の数が他の部位に比して少ない場合、前記第１の内視鏡画像を回転、拡大、縮小、画素数の変更、明暗部の抽出、又は、色調変化部位の抽出の少なくとも１つを使用することによって、全ての部位における前記第１の内視鏡画像の数が実質的に等しくなるようにされていることを特徴とする。
複数の被験者のそれぞれについて予め得られている複数の消化器官の内視鏡画像からなる第1の内視鏡画像の数が部位毎に大きく異なる場合がある。第８の態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法によれば、そのような場合においても、その部位の第1の内視鏡画像を適宜に回転、拡大、縮小、画素数の変更、明暗部の抽出、又は、色調変化部位の抽出の少なくとも１つを使用することによってニューラルネットワークを訓練するための画像数を増やすことができるので、部位の相違に基づく疾患の陽性及び陰性のそれぞれの確率、過去の疾患の確率、疾患の重症度のレベル等の検出精度のばらつきが減少する。なお、第８の態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法においては、各部位毎の内視鏡画像の数が必ずしも同一となるようにする必要はなく、数のばらつきが少なくなればよい。
また、本発明の第９の態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法は、第３〜第８のいずれかの態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法において、前記訓練されたニューラルネットワークは、前記第２の内視鏡画像が撮像された部位に対応する情報が出力可能とされていることを特徴とする。
通常、一人の被検者に対して多くの消化器官の内視鏡画像ないし連続撮影画像が得られる。第９の態様の係る態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法によれば、第２の内視鏡画像毎に疾患の陽性及び陰性のそれぞれの確率と部位名とが出力されるので、疾患の陽性部位や分布を理解しやすくなる。
また、本発明の第１０の態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法は、第９の態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法において、前記訓練されたニューラルネットワークは、前記確率ないし前記重症度を前記部位に対応する情報とともに出力することを特徴とする。
第１０の態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法によれば、疾患の陽性の確率ないし重症度の高い順に当該確率ないし重症度及び部位名が出力されるので、精密に検査しなければならない部位が理解しやすくなる。
また、本発明の第１１の態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法は、第１〜第１０のいずれかの態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法において、前記第１の内視鏡画像は胃内視鏡画像を含み、前記疾患がヘリコバクター・ピロリ感染又はヘリコバクター・ピロリ除菌の有無の少なくとも１つを含むことを特徴とする。
第１１の態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法によれば、日本消化器内視鏡学会専門医と同等の精度で被験者のヘリコバクター・ピロリ感染の陽性又は陰性のそれぞれの確率ないしヘリコバクター・ピロリ除菌の有無を予測することができ、別途確定診断を行わなければならない被験者を短時間で正確に選別することができるようになる。なお、確定診断は、選別された被験者に対して血液又は尿の抗Ｈ．ピロリＩｇＧレベル測定、糞便抗原検査、又は尿素呼気検査を行うことにより行うことができる。
また、本発明の第１２の態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法は、第１〜第１０のいずれかの態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法において、前記第１の内視鏡画像は大腸内視鏡画像を含み、前記疾患が少なくとも潰瘍性大腸炎を含み、前記訓練されたニューラルネットワークは前記潰瘍性大腸炎の重症度に応じた複数の段階に区分して出力することを特徴とする。
第１２の態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法によれば、日本消化器内視鏡学会専門医と同等の精度で被験者の潰瘍性大腸炎の重症度を予測することができるので、別途さらなる精密検査を行わなければならない被験者を短時間で正確に選別することができるようになる。
また、本発明の第１３の態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法は、１〜第１０のいずれかの態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法において、前記第１の内視鏡画像は超拡大内視鏡による食道内視鏡画像を含み、前記疾患が食道癌、胃食道逆流症、又は、食道炎の少なくとも１つを含み、前記訓練されたニューラルネットワークは、前記食道癌、胃食道逆流症、又は、食道炎の少なくとも１つを区分して出力することを特徴とする。
第１３の態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法によれば、超拡大内視鏡による食道内視鏡画像に基づいて非癌性の病変を癌性であるとする過剰診断を最小限に押さえることができるので、組織生検を行う必要がある被験者の数を減らすことができるようになる。
また、本発明の第１４の態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法は、第１〜第１３のいずれか態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法において、前記第２の内視鏡画像は、内視鏡で撮影中の画像、通信ネットワークを経由して送信されてきた画像、遠隔操作システム又はクラウド型システムによって提供される画像、コンピュータ読み取り可能な記録媒体に記録された画像、又は、動画の少なくとも１つであることを特徴とする。
第１４の態様の消化器官の内視鏡画像による疾患の診断支援方法によれば、入力された第２の内視鏡画像に対する消化器官の疾患陽性及び陰性のそれぞれの確率ないし重症度を短時間で出力することができるので、第２の内視鏡画像の入力形式によらず、例えば遠隔地から送信された画像であっても、動画であっても利用可能となる。
なお、通信ネットワークとしては、周知のインターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等を利用可能である。また、通信ネットワークを構成する伝送媒体も周知のＩＥＥＥ１３９４シリアルバス、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線回線、ＡＤＳＬ回線等の有線、赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩＥＥＥ８０２．１１等の無線、携帯電話網、衛星回線、地上波デジタル網等の無線等を利用できる。これらによって、いわゆるクラウドサービスや遠隔支援サービスの形態として利用可能である。
また、コンピュータ読み取り可能な記録媒体としては、周知の磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク、ハードディスク等の磁気ディスク、コンパクトディスク−ＲＯＭ／ＭＯ／ＭＤ／デジタルビデオデイスク／コンパクトディスク−Ｒ等の光ディスクを含むディスク系、ＩＣカード、メモリカード、光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系等を用いることができる。これらによって、いわゆる医療機関や検診機関に簡便にシステムを移植又は設置できる形態を提供することができる。
また、本発明の第１５の態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法は、第１〜第１４のいずれかの態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法において、前記ニューラルネットワークとして畳み込みニューラルネットワーク用いることを特徴とする。
ニューラルネットワークとしての畳み込みニューラルネットワークは、脳の視覚野の特性をシミュレーションした数理モデルであり、画像に対する学習能力が非常に優れている。そのため、第１５の態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法によれば、より高感度で、より高特異度となるので、有用性が非常に大きくなる。
さらに、本発明の第１６の態様の消化器官の内視鏡画像による疾患の診断支援システムは、内視鏡画像入力部と、出力部と、ニューラルネットワークが組み込まれたコンピュータと、を有する消化器官の内視鏡画像による疾患の診断支援システムであって、前記コンピュータは、消化器官の第１の内視鏡画像を記憶する第１の記憶領域と、前記第１の内視鏡画像に対応する、前記消化器官の前記疾患の陽性若しくは陰性、過去の疾患、重症度のレベル、又は、撮像された部位に対応する情報の少なくとも１つの確定診断結果を記憶する第２の記憶領域と、前記ニューラルネットワークプログラムを記憶する第３の記憶領域と、を備え、前記ニューラルネットワークプログラムは、前記第１の記憶領域に記憶されている前記第１の内視鏡画像と、前記第２の記憶領域に記憶されている確定診断結果とに基いて訓練されており、前記内視鏡画像入力部から入力された消化器官の第２の内視鏡画像に基いて、前記第２の内視鏡画像に対する消化器官の疾患の陽性及び／又は陰性の確率、過去の疾患の確率、疾患の重症度のレベル、又は、撮像された部位に対応する情報の少なくとも１つを前記出力部に出力することを特徴とする。
また、本発明の第１７の態様の消化器官の内視鏡画像による疾患の診断支援システムは、第１６の態様の消化器官の内視鏡画像による疾患の診断支援システムにおいて、前記訓練／検証データは、コントラストの調整が行なわれていることを特徴とする。
また、本発明の第１８の態様の消化器官の内視鏡画像による疾患の診断支援システムは、第１６又は第１７の態様の消化器官の内視鏡画像による疾患の診断支援システムにおいて、前記第１の内視鏡画像は、それぞれが撮像された部位に関連付けられていることを特徴とする。
また、本発明の第１９の態様の消化器官の内視鏡画像による疾患の診断支援システムは、第１８の態様の消化器官の内視鏡画像による疾患の診断支援システムにおいて、前記部位は、咽頭、食道、胃又は十二指腸の少なくとも１つを含むことを特徴とする。
また、本発明の第２０の態様の消化器官の内視鏡画像による疾患の診断支援システムは、第１８又は第１９の態様の消化器官の内視鏡画像による疾患の診断支援システムにおいて、前記部位は、前記複数の消化器官の少なくとも１つにおいて複数箇所に区分されていることを特徴とする。
また、本発明の第２１の態様の消化器官の内視鏡画像による疾患の診断支援システムは、第２０の態様の消化器官の内視鏡画像による疾患の診断支援システムにおいて、前記部位が胃である場合には、前記区分は、上部胃、中部胃又は下部胃の少なくとも１つを含むことを特徴とする。
また、本発明の第２２の態様の消化器官の内視鏡画像による疾患の診断支援システムは、第２０の態様の消化器官の内視鏡画像による疾患の診断支援システムにおいて、前記部位が胃である場合には、前記区分は、噴門部、胃底部、胃体部、胃角部、前庭部、幽門洞又は幽門部の少なくとも１つを含むことを特徴とする。
また、本発明の第２３の態様の消化器官の内視鏡画像による疾患の診断支援システムは、第１６〜第２２のいずれかの態様の消化器官の内視鏡画像による疾患の診断支援システムにおいて、前記撮像された部位における前記第１の内視鏡画像の数が他の部位に比して少ない場合には、前記第１の内視鏡画像を回転、拡大、縮小、画素数の変更、明暗部の抽出又は色調変化部位の抽出の少なくとも１つを使用することによって、全ての部位における訓練／検証データの数が実質的に等しくなるようにされていることを特徴とする。
また、本発明の第２４の態様の消化器官の内視鏡画像による疾患の診断支援システムは、第１６〜第２３のいずれかの態様の消化器官の内視鏡画像による疾患の診断支援システムにおいて、前記訓練されたニューラルネットワークプログラムは、前記第２の内視鏡画像が撮像された部位に対応する情報が出力可能であることを特徴とする。
また、本発明の第２５の態様の消化器官の内視鏡画像による疾患の診断支援システムは、第２４の態様の消化器官の内視鏡画像による疾患の診断支援システムにおいて、前記訓練されたニューラルネットワークプログラムは、前記確率ないし前記重症度を前記部位に対応する情報とともに出力することを特徴とする。
また、本発明の第２６の態様の消化器官の内視鏡画像による疾患の診断支援システムは、第１６〜第２５のいずれかの態様の消化器官の内視鏡画像による疾患の診断支援システムにおいて、前記第１の内視鏡画像は胃内視鏡画像を含み、前記疾患がヘリコバクター・ピロリ感染又はヘリコバクター・ピロリ除菌の有無の少なくとも１つを含むことを特徴とする。
また、本発明の第２７の態様の消化器官の内視鏡画像による疾患の診断支援システムは、第１６〜第２５のいずれかの態様の消化器官の内視鏡画像による疾患の診断支援システムにおいて、前記第１の内視鏡画像は大腸内視鏡画像を含み、前記疾患が少なくとも潰瘍性大腸炎を含み、前記訓練されたニューラルネットワークプログラムは前記潰瘍性大腸炎の重症度に応じた複数の段階に区分して出力することを特徴とする。
また、本発明の第２８の態様の消化器官の内視鏡画像による疾患の診断支援システムは、第１６〜第２５のいずれかの態様の消化器官の内視鏡画像による疾患の診断支援システムにおいて、前記第１の内視鏡画像は超拡大内視鏡による食道内視鏡画像を含み、前記疾患が食道癌、胃食道逆流症、又は、食道炎の少なくとも１つを含み、前記訓練されたニューラルネットワークは、前記食道癌、胃食道逆流症、又は、食道炎の少なくとも１つを区分して出力することを特徴とする。
また、本発明の第２９の態様の消化器官の内視鏡画像による疾患の診断支援システムは、第１６〜第２８のいずれかの態様の消化器官の内視鏡画像による疾患の診断支援システムにおいて、前記第２の内視鏡画像は、内視鏡で撮影中の画像、通信ネットワークを経由して送信されてきた画像、遠隔操作システム又はクラウド型システムによって提供される画像、コンピュータ読み取り可能な記録媒体に記録された画像、又は、動画の少なくとも１つであることを特徴とする
また、本発明の第３０の態様の内視鏡画像による疾患の診断支援システムは、第１６〜第２９のいずれかの態様の消化器官の内視鏡画像による疾患の診断支援システムにおいて、前記ニューラルネットワークが畳み込みニューラルネットワークであることを特徴とする。
本発明の第１６〜第３０のいずれかの態様の消化器官の内視鏡画像による疾患の診断支援システムによれば、それぞれ第１〜第１５のいずれかの態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法と同様の効果を奏することができる。
さらに、本発明の第３１の態様の消化器官の内視鏡画像による診断支援プログラムは、第１６〜第３０のいずれかの態様の消化器官の内視鏡画像による疾患の診断支援システムにおける各手段としてコンピュータを動作させるためのものであることを特徴とする。
本発明の第３１の態様の消化器官の内視鏡画像による診断支援プログラムによれば、第１６〜第３０のいずれかの態様の消化器官の内視鏡画像による疾患の診断支援システムにおける各手段としてコンピュータを動作させるための、消化器官の内視鏡画像による診断支援プログラムを提供することができる。
また、本発明の第３２の態様の消化器官の内視鏡画像による診断支援プログラムは、第３１の態様の消化器官の内視鏡画像による診断支援プログラムを記録したことを特徴とする。
本発明の第３２の態様の消化器官の内視鏡画像による診断支援プログラムによれば、第３１の態様の消化器官の内視鏡画像による診断支援プログラムを記録したコンピュータ読み取り可能な記録媒体を提供することができる。
さらに、本発明の第３３の態様のニューラルネットワークを用いた消化器官の内視鏡画像による消化器官の部位の判別方法は、ニューラルネットワークを用いた消化器官の内視鏡画像による消化器官の部位の判別方法であって、消化器官の第１の内視鏡画像と、前記第１の内視鏡画像に対応する、撮像された部位に対応する情報の確定情報を用いてニューラルネットワークを訓練し、前記訓練されたニューラルネットワークは、消化器官の第２の内視鏡画像に基いて、当該消化器官の撮像された部位に対応する情報を出力することを特徴とする。
本発明の第３３の態様のニューラルネットワークを用いた消化器官の内視鏡画像による消化器官の部位の判別方法によれば、ニューラルネットワークが消化器官の第１の内視鏡画像と、前記第１の内視鏡画像に対応する、撮像された部位に対応する情報の確定情報を用いて訓練されているので、短時間で、実質的に内視鏡専門医に匹敵する精度で被験者の撮像された部位に対応する情報を得ることができ、診断対象の消化器官の部位を短時間で判別することができるようになる。しかも、多数の被験者についての複数の消化器官の内視鏡画像からなるテストデータに対する撮像された部位に対応する情報を自動判別することができるため、内視鏡専門医によるチェック等が容易になるだけでなく、疾患と関連づけられた画像を解析する作業の省略化も図ることができる。
また、本発明の第３４の態様のニューラルネットワークを用いた消化器官の内視鏡画像による消化器官の部位の判別システムは、内視鏡画像入力部と、出力部と、ニューラルネットワークが組み込まれたコンピュータと、を有する消化器官の内視鏡画像による消化器官の部位の判別システムであって、前記コンピュータは、消化器官の第１の内視鏡画像を記憶する第１の記憶領域と、前記第１の内視鏡画像に対応する、前記消化器官の撮像された部位に対応する情報の確定情報を記憶する第２の記憶領域と、前記ニューラルネットワークプログラムを記憶する第３の記憶領域と、を備え、前記ニューラルネットワークプログラムは、前記第１の記憶領域に記憶されている前記第１の内視鏡画像と、前記第２の記憶領域に記憶されている確定情報とに基いて訓練されており、前記内視鏡画像入力部から入力された消化器官の第２の内視鏡画像に基いて、前記第２の内視鏡画像に対する消化器官の撮像された部位に対応する情報を前記出力部に出力することを特徴とする。
本発明の第３４の態様のニューラルネットワークを用いた消化器官の内視鏡画像による消化器官の部位の判別システムによれば、第３３の態様のニューラルネットワークを用いた消化器官の内視鏡画像による消化器官の部位の判別方法と同様の効果を奏することができる。
また、本発明の第３５の態様の消化器官の内視鏡画像による消化器官の部位の判別プログラムは、第３４の態様の消化器官の内視鏡画像による消化器官の部位の判別システムにおける各手段としてコンピュータを動作させるためのものであることを特徴とする。
本発明の第３５の態様の消化器官の内視鏡画像による消化器官の部位の判別プログラムによれば、第３４の態様の消化器官の内視鏡画像による消化器官の部位の判別システムにおける各手段としてコンピュータを動作させるための、消化器官の内視鏡画像による消化器官の部位の判別プログラムを提供することができる。
また、本発明の第３６の態様のコンピュータ読み取り可能な記録媒体は、第３５の態様の消化器官の内視鏡画像による消化器官の部位の判別プログラムを記録したことを特徴とする。
本発明の第３６の態様のコンピュータ読み取り可能な記録媒体によれば、第３５の態様の消化器官の内視鏡画像による消化器官の部位の判別プログラムを記録したコンピュータ読み取り可能な記録媒体を提供することができる。
以上述べたように、本発明によれば、ニューラルネットワークを組み込んだプログラムが複数の被験者のそれぞれについて予め得られている複数の消化器官の内視鏡画像と、複数の被験者のそれぞれについて予め得られている前記疾患の陽性又は陰性の確定診断結果とに基いて訓練されているので、短時間で、実質的に内視鏡専門医に匹敵する精度で被験者の消化器官の疾患の陽性及び／又は陰性の確率、過去の疾患の確率、疾患の重症度のレベル、撮像された部位に対応する情報等を得ることができ、別途確定診断を行わなければならない被験者を短時間で選別することができるようになる。
以下、本発明に係る消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体について、最初にＨ．ピロリ感染胃炎の場合及び臓器別分類を例にとり、次いで潰瘍性大腸炎及び食道疾患の場合を例にとって詳細に説明する。ただし、以下に示す実施形態は、本発明の技術思想を具体化するための例を示すものであって、本発明をこれらの場合に特定することを意図するものではない。すなわち、本発明は、消化器官の内視鏡画像によって特定され得る疾患一般に及ぶものであり、特許請求の範囲に含まれるその他の実施形態のものにも等しく適応し得るものである。また、本発明において、画像という用語には、静止画像だけでなく、動画が含まれ得る。
最初に、表１に示した四分表を用いて、一般的な検査の精度、感度及び特異度について簡単に説明する。一般に検査値は連続量であるから、カットオフ値（閾値）を決めて、それより高い値の場合を陽性、それよりも低い場合を陰性と判断していく（逆の場合もある）。
表１に示したように、患者の疾患の有無及び検査結果が陽性であるか陰性であるかに応じてａ〜ｄの４つの領域に分類される。なお、患者が疾患有の場合は有病者(有)に分類され、疾患無しの場合は無病者（無）に分類される。ａの領域は、患者が疾患を有しており、検査結果が陽性の場合であり、真陽性の領域である。ｂの領域は、患者が疾患を有していないが、検査結果が陽性の場合であり、偽陽性の領域である。ｃの領域は、患者が疾患を有しているが、検査結果が陰性の場合であり、偽陰性の領域である。同じくｄの領域は、患者が疾患を有しておらず、検査結果が陰性の場合であり、真陰性の場合である。
一方、感度は、有病者において検査結果が陽性となる確率（有病正診率）であり、ａ／（ａ＋ｃ）で表される。特異度は、無病者において検査結果が陰性となる確率（無病正診率）であり、ｄ／（ｂ＋ｄ）で表される。なお、偽陽性率は、無病者において検査結果が陽性となる確率（無病誤診率）であり、ｂ／（ｂ＋ｄ）で表される。また、偽陰性率は、有病者において検査結果が陰性となる確率（有病誤診率）であり、ｃ／（ａ＋ｃ）で表される。
さらに、カットオフ値を変更しながらその都度感度と特異度を算出し、縦軸を感度とし、横軸を偽陽性率（＝１−特異度）としてプロットすると、ＲＯＣ曲線（Receiver Operating Characteristic：受信者動作特性曲線）が得られる（図４及び図５参照）。
［実施形態１］
実施形態１では、本発明の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体について、Ｈ．ピロリ感染胃炎の場合に適用した例を説明する。発明者の一人が属する医院において、延べ３３人の内視鏡検査医が白色光による通常の倍率の内視鏡を用い、食道、胃、十二指腸鏡検査（以下、「ＥＧＤ」という。）を行った。ＥＧＤの適応症は、様々な上腹部症状、胃の病気に対するバリウム検査の陽性結果、異常な血清ペプシノゲンのレベル、胃や十二指腸の既往症又はスクリーニングに関する、プライマリケア医からの紹介であった。全ての内視鏡医は、異常がなくても、喉頭、食道、胃、及び十二指腸の全体像を撮影するよう指示された。胃腸疾患のない患者の典型的な画像数は３４（喉頭１、食道６、胃２５、十二指腸２）であった。
実施形態１では、本発明の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体について、Ｈ．ピロリ感染胃炎の場合に適用した例を説明する。発明者の一人が属する医院において、延べ３３人の内視鏡検査医が白色光による通常の倍率の内視鏡を用い、食道、胃、十二指腸鏡検査（以下、「ＥＧＤ」という。）を行った。ＥＧＤの適応症は、様々な上腹部症状、胃の病気に対するバリウム検査の陽性結果、異常な血清ペプシノゲンのレベル、胃や十二指腸の既往症又はスクリーニングに関する、プライマリケア医からの紹介であった。全ての内視鏡医は、異常がなくても、喉頭、食道、胃、及び十二指腸の全体像を撮影するよう指示された。胃腸疾患のない患者の典型的な画像数は３４（喉頭１、食道６、胃２５、十二指腸２）であった。
標準的な内視鏡（ＥＶＩＳ ＧＩＦ−ＸＰ２９０Ｎ、ＧＩＦ−ＸＰ２６０、ＧＩＦ−ＸＰ２６０ＮＳ、ＧＩＦ−Ｎ２６０等、オリンパスメディカルシステムズ社、東京）で白色光を用いて画像を撮影し、ＥＧＤを行った。得られた画像は通常の倍率の画像で有り、拡大された画像は使用していない。図１に、得られた典型的な胃部内視鏡画像を示す。なお、図１ＡはＨ．ピロリ感染陽性と診断された画像の例であり、図１ＢはＨ．ピロリ感染陰性と診断された画像の例である。
全ての患者は、Ｈ．ピロリ感染の有無の検出のための検査を受けた。その検査は、血液又は尿中の抗Ｈ．ピロリＩｇＧレベル測定、糞便抗原測定及び尿素呼気試験の少なくとも一つであった。そして、これらの検査のいずれかにおいて陽性反応を示した患者は、Ｈ．ピロリ感染陽性と分類された。Ｈ．ピロリ感染陽性と診断されなかった患者において、Ｈ．ピロリ除菌治療を受けた経験がなかった者はＨ．ピロリ陰性と分類された。また、過去にＨ．ピロリ除菌治療を受け、既に除菌に成功した患者は測定対象から除外された。
［データセットについて］
２０１４年１月〜２０１６年１２月にかけて行われた１７６８例のＥＧＤの画像を遡及的にレビューすることにより、ＡＩベースの診断システムの訓練及び構築に使用するデータ（「訓練／検証用データ」という。）のセットを用意した。胃癌、潰瘍、又は粘膜下腫瘍の存在又は病歴を有する患者のデータは、訓練／検証用データセットから除外した。Ｈ．ピロリ感染陽性又はＨ．ピロリ感染陰性と診断された胃の画像から、胃の食物残渣、生検後の出血、ハレーション又はその他の理由により、内視鏡専門医によって除外された画像もあった。また、評価対象となる内視鏡画像データ（「テストデータ」という。）のセットも用意した。なお、この「訓練／検証用データ」が本発明の「第1の内視鏡画像」に対応し、「テストデータ」が本発明の「第２の内視鏡画像」に対応する。これらの患者の人口統計学的特徴及び画像の特徴を表２に示した。
２０１４年１月〜２０１６年１２月にかけて行われた１７６８例のＥＧＤの画像を遡及的にレビューすることにより、ＡＩベースの診断システムの訓練及び構築に使用するデータ（「訓練／検証用データ」という。）のセットを用意した。胃癌、潰瘍、又は粘膜下腫瘍の存在又は病歴を有する患者のデータは、訓練／検証用データセットから除外した。Ｈ．ピロリ感染陽性又はＨ．ピロリ感染陰性と診断された胃の画像から、胃の食物残渣、生検後の出血、ハレーション又はその他の理由により、内視鏡専門医によって除外された画像もあった。また、評価対象となる内視鏡画像データ（「テストデータ」という。）のセットも用意した。なお、この「訓練／検証用データ」が本発明の「第1の内視鏡画像」に対応し、「テストデータ」が本発明の「第２の内視鏡画像」に対応する。これらの患者の人口統計学的特徴及び画像の特徴を表２に示した。
表２に示したように、Ｈ．ピロリ陽性と判定された７５３人の患者及び陰性と分類された１，０１５人の患者からの画像を用いて、３２，２０８枚の訓練／検証用データセットを作成した。このデータセットは、全ての画像のＲＧＢの各信号について、同じ比率でコントラスト調整を行っている。ＲＧＢの各色は、それぞれ８ビット、すなわち０〜２５５までの範囲の値を取るが、ＲＧＢの全色が２５５，２５５，２５５となる点(白色)が必ず１点は存在するようにコントラスト調整を行った。通常、内視鏡画像の画質は、良好であるので、実際にはコントラスト調整を行わない場合も多かった。また、内視鏡の画面には黒い枠が入っているが、自動でトリミングして拡大・縮小を行い、全ての画像が同一のサイズとなるようにした。
分類としては、複数の消化器官のそれぞれにおいて複数箇所に区分されていてもよいが、ここでは胃についてのみ位置に応じて複数箇所に分類された画像を得るとともに、その他の部位についてはそのまま区分せずに用いた。さらに、男女別、年齢別等の属性に分けて入力することによって、属性別の診断を行うことも可能である。
全ての分類について均等な数のデータが得られれば理想的であるが、データ数が少ない分類については、０度から３５９度の間で無作為に回転し、ツールによって適宜拡大又は縮小することによってデータを増やした。その結果として、３２，２０８枚の訓練／検証用のオリジナルの内視鏡画像を得た。
まず、分類データを含まない全ての画像を組み合わせて用いることにより、第１回目のニューラルネットワークの構築を行った。次に、上述のように複数に分類された画像を用いて第２回目のニューラルネットワークの構築を行った。なお、これらのニューラルネットワークの構築は、繰り返し処理が多いので、並列処理により高速化したコンピュータを用いた。
［テストデータの準備］
上述した訓練／検証用データセットを用いて構築された実施形態１のニューラルネットワークと内視鏡検査医との診断精度を評価するために、テストデータセットを準備した。発明者の一人が属する医院において、２０１７年１月〜２月の内視鏡検査を行った５８７人の患者の画像データのうち、Ｈ．ピロリ除菌後の１６６人の患者の画像データ、Ｈ．ピロリ感染状態が不明の２３人の患者の画像データ及び胃切除後の１人の患者の画像データを除外した（図２参照）。結果として、Ｈ．ピロリ感染陽性ないし陰性と判断された残りの３９７人の患者の画像データをテストデータとして用いた。
上述した訓練／検証用データセットを用いて構築された実施形態１のニューラルネットワークと内視鏡検査医との診断精度を評価するために、テストデータセットを準備した。発明者の一人が属する医院において、２０１７年１月〜２月の内視鏡検査を行った５８７人の患者の画像データのうち、Ｈ．ピロリ除菌後の１６６人の患者の画像データ、Ｈ．ピロリ感染状態が不明の２３人の患者の画像データ及び胃切除後の１人の患者の画像データを除外した（図２参照）。結果として、Ｈ．ピロリ感染陽性ないし陰性と判断された残りの３９７人の患者の画像データをテストデータとして用いた。
テストデータセットにおいて、７２人（４３％）は糞便抗原検査で診断され、８７人（２１％）は尿中抗Ｈ．ピロリＩｇＧレベルに基いて診断されている。テストデータセットは、合計３９７人の患者からの合計１１，４８１枚の画像を含んでいる。このうち、７２人はＨ．ピロリ感染陽性と診断され、３２５人はＨ．ピロリ感染陰性と診断されている。テストデータセットと訓練／検証用データセットとの間に重複はない。
［訓練・アルゴリズム］
ＡＩベースの診断システムを構築するため、ディープラーニングニューラルネットワークの開発基盤としてCaffeフレームワークを利用し、畳み込みニューラルネットワーク（ＣＮＮ）アーキテクチャとして２２層からなるGoogLeNetを使用した。
ＡＩベースの診断システムを構築するため、ディープラーニングニューラルネットワークの開発基盤としてCaffeフレームワークを利用し、畳み込みニューラルネットワーク（ＣＮＮ）アーキテクチャとして２２層からなるGoogLeNetを使用した。
本実施形態１で用いたＣＮＮは、図３に示したように、バックプロパゲーション（Backpropagation：誤差逆伝播法）を用いて訓練されている。ＣＮＮの各層は、パラメータ最適化手法の一つであるAdam（https://arxiv.org/abs/1412.6980）を使用して、グローバル学習率0.0001で調整されている。
全ての画像をGoogLeNetと互換性を持たせるために、各画像を２４４×２４４ピクセルにリサイズした。また、ImageNetを通して自然画像の特徴量を学んだ訓練済みのモデルを訓練開始時の初期値として使用した。ImageNet（http://www.image-net.org/）は、２０１７年当初で１，４００万点以上もの画像が収載されているデータベースである。この訓練手法は転移学習と呼ばれ、教師データが少ない場合でも有効であることが認められている。
［評価アルゴリズム］
訓練されたニューラルネットワークは、入力された画像に対してのＨ．ピロリ感染陽性又は陰性の診断結果として、０から１の間の確率値（ＰＳ）を出力する。ＲＯＣ曲線は、陽性と陰性を識別するための閾値を変更することによって、この確率値をプロットしたものである。
訓練されたニューラルネットワークは、入力された画像に対してのＨ．ピロリ感染陽性又は陰性の診断結果として、０から１の間の確率値（ＰＳ）を出力する。ＲＯＣ曲線は、陽性と陰性を識別するための閾値を変更することによって、この確率値をプロットしたものである。
［ＣＮＮ及び内視鏡検査医との間のテストデータセットのパーフォマンス比較］
テストデータセットに対し、ＣＮＮとＥＧＤの経験豊富な２３人の内視鏡検査医とは、それぞれ各患者の内視鏡画像に基づき、各患者をＨ．ピロリ感染陽性又は陰性と分類した。また、Ｈ．ピロリ感染診断の正確さと評価に必要な時間を測定し、それらをＣＮＮと内視鏡専門医との間で比較した。
テストデータセットに対し、ＣＮＮとＥＧＤの経験豊富な２３人の内視鏡検査医とは、それぞれ各患者の内視鏡画像に基づき、各患者をＨ．ピロリ感染陽性又は陰性と分類した。また、Ｈ．ピロリ感染診断の正確さと評価に必要な時間を測定し、それらをＣＮＮと内視鏡専門医との間で比較した。
２３人の内視鏡検査医のうち、６人は、日本消化器内視鏡学会の専門医である。残りの１７人は、ＥＧＤ経験が１０００人以上（ｎ＝９）及び１０００人未満（ｎ＝８）であり、前者を「経験医」及び後者を「研修中医師」に分類した。ＣＮＮの診断精度表示用のＲＯＣ曲線は、Ｒソフトウェア（統計分析フリーソフト）を用いて記述された。ＣＮＮの診断精度表示用のＲＯＣ曲線は、Ｒソフトウェア（統計分析フリーソフト）を用いて記述された。これらの画像に表示された全ての患者の情報は、データ解析に先立って匿名の目的で識別できないようにし、この評価に関与する全ての内視鏡検査医は、識別可能な患者の情報にアクセスできないようにした。この研究は、日本医師会倫理審査委員会の承認を受けて行った（ID JMA-IIA00283）。
［内視鏡検査医の結果］
Ｈ．ピロリ感染の診断についてのそれぞれの内視鏡検査医の感度、特異度及び評価に必要であった時間を表３に纏めて示した。全内視鏡検査医の感度及び特異度はそれぞれ平均で７９．６％及び８３．２％であり、テストデータセットの全ての画像を評価するのに必要であった時間（評価時間）は２３０±６５分（平均±標準偏差）であった。
Ｈ．ピロリ感染の診断についてのそれぞれの内視鏡検査医の感度、特異度及び評価に必要であった時間を表３に纏めて示した。全内視鏡検査医の感度及び特異度はそれぞれ平均で７９．６％及び８３．２％であり、テストデータセットの全ての画像を評価するのに必要であった時間（評価時間）は２３０±６５分（平均±標準偏差）であった。
２３人の内視鏡検査医中、専門医（ｎ＝６）の感度及び特異度は、それぞれ８５．２％及び８９．３％であり、研修中医師（ｎ＝８）の７２．２％及び７６．３％と比すると非常に高い感度及び特異度を備えていた。なお、評価時間は、専門医が２５２．５±９２．３分であったのに対し、研修中医師は２０６．６±５４．７分であった。経験医（ｎ＝９）の感度、特異度及び評価時間は、いずれも専門医と研修中医師の中間の値となっていた。
［ＣＮＮのパーフォマンス］
本実施形態１で構築されたＣＮＮは、１画像あたりのＨ．ピロリ感染確率Ｐを出力し、さらに、患者あたりの標本の標準偏差を計算した。まず、分類データを含まない全ての訓練／検証用データセットを用いて構築された第１回目のＣＮＮの特性を調べた。その際に得られたＲＯＣ曲線を図４に示した。なお、本来のＲＯＣ曲線は、横軸は「１−特異度」を表し、左端が原点「０」であり、右端が「１」となるが、図４（図５においても同様）では横軸が「特異度」を表し、左端の原点が「１」であり、右端が「０」となっている。
本実施形態１で構築されたＣＮＮは、１画像あたりのＨ．ピロリ感染確率Ｐを出力し、さらに、患者あたりの標本の標準偏差を計算した。まず、分類データを含まない全ての訓練／検証用データセットを用いて構築された第１回目のＣＮＮの特性を調べた。その際に得られたＲＯＣ曲線を図４に示した。なお、本来のＲＯＣ曲線は、横軸は「１−特異度」を表し、左端が原点「０」であり、右端が「１」となるが、図４（図５においても同様）では横軸が「特異度」を表し、左端の原点が「１」であり、右端が「０」となっている。
各内視鏡検査医は患者毎にＨ．ピロリ感染の予測を行い、各内視鏡検査医毎の予測結果は、白抜き点で表されている。黒色の点は、全内視鏡検査医の予測値の平均を示す。ＣＮＮは、画像ごとにＨ．ピロリ確率Ｐを出力し、プログラムは、患者１人あたりの確率の標準偏差を計算する。
図４のＲＯＣ曲線の下側部分の面積は０．８９であり、カットオフ値を０．５３と定義すると、第１回目のＣＮＮの感度及び特異度はそれぞれ８１．９％及び８３．４％であった。また、第１回目に構築されたＣＮＮによる全ての画像の診断時間は３．３分であった。この第１回目に構築されたＣＮＮは３９７人中３５０人が正確に診断された（８８．２％）。第１回目に構築されたＣＮＮによる４７人の誤診例について内視鏡検査医が診断した結果は、正確度の平均±標準偏差は、４３．５±３３．４％であった。
次に、複数に分類された同じ訓練／検証用データセットセットによって構築された第２回目のＣＮＮのＲＯＣ曲線を求めた。その結果を図５に示した。図５は、胃についてのみ位置に応じて複数箇所に分類された訓練／検証用データセットを用いて学習することにより得られたＣＮＮによるものであり、第１回目のＣＮＮによるものよりも良い確率を出力している。ＲＯＣ曲線の下の面積は９３％である。各白抜き点は、各内視鏡検査医の予測結果を示し、黒色の点は、全内視鏡検査医の平均値を示し、いずれも図４に示したものと同様である。
図５のＲＯＣ曲線の下側部分の面積は、図４の８９％から９３％に増加した。最適カットオフ値は０．４２であり、この際のＣＮＮの感度及び特異度は、それぞれ８８．９％及び８７．４％であり、これらは日本消化器内視鏡学会の専門医の診断結果に匹敵し、研修中医師よりもはるかに高い値であった。この第２回目のＣＮＮによる全ての画像の診断時間は、３．２分であった。
上述の結果から以下のことが分かる。第１回目のＣＮＮの診断能力は、研修中医師と経験医との間あたりであり、第２回目のＣＮＮの診断能力は経験豊富な内視鏡専門医の診断能力に匹敵しており、第１回目及び第２回目のいずれのＣＮＮも内視鏡専門医よりも劇的に短い時間で診断することができている。この結果は、実施形態１のＣＮＮを用いたＨ．ピロリ感染スクリーニングシステムが臨床実践に適用するのに十分高い感度と特異性を有することを示している。
皮膚や網膜の場合とは異なり、胃は複雑な形状をしており、胃内視鏡検査の画像には見え方の異なるいろいろな部位の画像が含まれているため、胃内の位置に対応する分類がなされていない訓練／検証用データセットを用いて学習することにより得られたＣＮＮ視を用いた場合には、如何なる部位の画像であるかを識別するのが困難な場合がある。したがって、胃についてのみ位置に応じて複数箇所に分類された訓練／検証用データセットを用いてＣＮＮを構築すると、感度は８１．９％から８８．９％に増加し、Ｈ．ピロリ感染胃炎を診断する能力が高くなる。
なお、内視鏡検査医及びＣＮＮは、互いに異なる方法で画像を認識し、診断していると考えられる。萎縮や腸上皮化生などのＨ．ピロリ感染による胃粘膜の変化は、最初、遠位胃（幽門部）で起こり、徐々に近位の胃（噴門部）に拡大する。このように、その中に軽度の変化がある胃では、正常な粘膜を異常ありと誤診してしまう可能性があるので、内視鏡専門医は胃の画像の位置、特に幽門部、角度、又は全体像などを認識した後に診断する。
我が国においては、特に高齢者ではＨ．ピロリ感染が多く、２０１６年から胃癌の内視鏡マススクリーニングが開始されているため、より有効なスクリーニング方法が求められている。本実施形態１で得られた結果は、大量の保存画像をこの自動化システムに接続することにより、内視鏡検査者の評価無しでもＨ．ピロリ感染のスクリーニングを大きく助けることができ、さらなる試験によりＨ．ピロリ感染の確認につながるとともに最終的には根絶治療に至る可能性があることを示唆している。
この実施形態１のＣＮＮは疲労なしにＨ．ピロリ感染のスクリーニング時間をずっと短くすることができ、内視鏡検査後すぐに報告結果が得られるようになる。これにより、世界中で解決すべき大きな課題である内視鏡検査医のＨ．ピロリ感染診断の負担軽減と医療費の削減に貢献することができる。さらに、この実施形態１のＣＮＮによるＨ．ピロリ診断は、内視鏡検査時の画像を入力すれば直ぐに結果が得られるため、完全に「オンライン」でＨ．ピロリ診断補助を行うことができ、いわゆる「遠隔医療」として地域による医師の分布の不均一性の問題を解決することができるようになる。
また、この実施形態１の第２回目のＣＮＮでは、位置に応じて複数箇所に分類された訓練／検証用データセットを用いて学習させた例を示したが、この複数箇所の分類は、３〜１０箇所程度とすればよく、当業者が適宜に定めればよい。なお、第２回目のＣＮＮの構築に際しては、胃だけでなく、咽頭、食道及び十二指腸の画像も含まれていたため、ピロリ感染陽性及び陰性の診断の正確度向上のためにこれらの画像を除外するようにした。
さらに、実施形態１では白色光による通常の倍率の内視鏡を使用して得た訓練／訓練画像を使用した例を示したが、画像数が多くなれば、画像増強内視鏡又は拡大内視鏡によって得た画像や、ＮＢＩ（Narrow Band Imaging：狭帯域光法。波長の異なるレーザ光を照射して観察するもの。上記非特許文献３参照。）や、誘導ラマン散乱顕微鏡法を用いた内視鏡（上記特許文献３参照）等によって得られた画像も使用することができる。
また、実施形態１では、訓練／検証データセットとテストデータセットの両方として、単一の医院でのみ取得されたものを用いているが、他の内視鏡装置及び技法を用いて他の施設で得られた画像を用いた例を追加することにより、よりＣＮＮの感度及び特異性を向上することが可能となると思われる。さらに、実施形態１では、Ｈ．ピロリ除菌後の患者は除外したが、Ｈ．ピロリ除菌後の画像を学習させることによりＨ．ピロリ除菌ができたかどうかの判定に使用することができるようになる。
また、Ｈ．ピロリ感染状態の診断は、血液又は尿の抗Ｈ．ピロリＩｇＧレベル測定、糞便抗原検査、又は尿素呼気検査などの様々な検査によって確認しているが、これらの検査のいずれにおいても１００％の感受性又は１００％の特異性が得られるわけではない。そのため、訓練／検証データセットには、結果として誤った診断を伴う画像が混入している可能性があるが、これについては、複数の臨床検査でＨ．ピロリ感染陰性と診断されているもののみを多く増やしていったり、一つの検査でＨ．ピロリ感染陰性と診断されたものであっても、他の検査でＨ．ピロリ感染陽性と判断されたもの等の分類を作ってこれに対応する画像を収集し、当該分類に対応する訓練／検証データセットを使用してＣＮＮを訓練することによって、解決することができるようになる。
また、実施形態１では、胃の状態、すなわち萎縮の程度、発赤の有無などに応じて診断能力の違いを評価しなかったが、今後、訓練用画像数が増加すれば、そのような所見に応じて訓練用画像をさらに細分化し、ＣＮＮに覚えこませれば、Ｈ．ピロリ感染胃炎の有無だけではなく、当該所見についても将来的に専門医と同等の判定できるようになる可能性がある。加えて、実施形態１では、胃のＨ．ピロリ感染状態の診断の補助に用いるものとして説明したが、内視鏡検査は、胃以外にも、喉頭、咽頭、食道、十二指腸、胆道、膵菅、小腸、大腸などに対しても行われており、これらの部位についての画像集積が進んで、訓練用画像が増加すれば、これらの部位についての診断補助に使用することができる。
特に、疾患が潰瘍性大腸炎の場合は、特徴の抽出と解析アルゴリズムがＨ．ピロリ感染胃炎の有無の場合と類似しているので、ＣＮＮに大腸内視鏡画像を用いて訓練すれば、ＣＮＮは容易に潰瘍性大腸炎の重症度に応じた複数の段階に区分して出力することが可能となる。訓練／検証用データとなる大腸内視鏡画像は、胃の場合と同様に、大腸の部位に応じて複数箇所に分類され、かつ、潰瘍性大腸炎について疾患の陽性又は陰性ないし重症度の段階の確定診断結果が付与されている。この大腸内視鏡画像からなる訓練／検証用データと確定診断結果とに基づいて訓練されたＣＮＮを用いることにより、評価対処とする多数の被験者についての複数の大腸内視鏡画像からなるテストデータに対する疾患の陽性又は陰性ないし重症度のレベルを自動診断することができる。
さらに、内視鏡画像の訓練用データを作成する過程において、人間による手作業があるため、一部のデータにおいて、訓練用データに誤りがある可能性が否定できない。誤った訓練用データが紛れ込んでしまうと、ＣＮＮの判定の精度に悪い影響を及ぼす。本実施形態１で使用した内視鏡画像は、匿名化の処理を施しており、訓練用データにミスがあったかどうかを確認する術はない。これを可能なかぎり排除するため、臨床検査判定の結果から機械的に画像を分類することにより、質の高い訓練用データセットを作ることができる。この訓練用データでＣＮＮを学習させればさらに判定精度を向上させることが可能となる。
なお、実施形態１では、ＣＮＮのアーキテクチャとしてGoogLeNetを使用した例を示したが、ＣＮＮのアーキテクチャは日々進化しており、最新のものを採用するとより良好な結果が得られる場合がある。また、ディープラーニングフレームワークとして同じくオープンソースのCaffeを使用したが、他にCNTK、TensorFlow、Theano、Torch、MXNet等を使用し得る。さらに、最適化手法としてAdamを使用したが、他に周知のＳＧＤ（Stochastic Gradient Descent：確率的勾配降下法）法、ＳＧＤに慣性項（Momentum）を付与したMomentumSGV法、AdaGrad法、AdaDelta法、NesterovAG法、RMSpropGraves法等を適宜に選択して使用し得る。
以上述べたように、本実施形態１のＣＮＮによる胃の内視鏡画像によるＨ．ピロリ感染の診断精度は、内視鏡検査医に匹敵した。したがって、実施形態のＣＮＮは、スクリーニング又はその他の理由により、得られた内視鏡画像からＨ．ピロリ感染患者を選別するのに役立つ。また、Ｈ．ピロリ菌除菌後の画像をＣＮＮに学習させれば、Ｈ．ピロリが除菌できたかどうかの判定にも使える。また、Ｈ．ピロリ菌を除菌したか否かは、問診で簡単にわかるので、Ｈ．ピロリ感染診断については、今回のＨ．ピロリ菌陽性陰性の判定だけで、臨床現場ですぐに応用可能な有用性がある。
［診断支援システム］
実施形態１の診断支援システムとしてのＣＮＮを組み込んだコンピュータは、基本的に、内視鏡画像入力部と、記憶部（ハードディスクないし半導体メモリ）と、画像解析装置と、判定表示装置と、判定出力装置とを備えている。他に、直接内視鏡画像撮像装置を備えているものであってもよい。また、このコンピュータシステムは、内視鏡検査施設から離れて設置され、遠隔地から画像情報を得て中央診断支援システムとしたり、インターネット網を介したクラウド型コンピュータシステムとしても稼働させることができる。
実施形態１の診断支援システムとしてのＣＮＮを組み込んだコンピュータは、基本的に、内視鏡画像入力部と、記憶部（ハードディスクないし半導体メモリ）と、画像解析装置と、判定表示装置と、判定出力装置とを備えている。他に、直接内視鏡画像撮像装置を備えているものであってもよい。また、このコンピュータシステムは、内視鏡検査施設から離れて設置され、遠隔地から画像情報を得て中央診断支援システムとしたり、インターネット網を介したクラウド型コンピュータシステムとしても稼働させることができる。
このコンピュータは、内部の記憶部に、複数の被験者のそれぞれについて予め得られている複数の消化器官の内視鏡画像を記憶する第１の記憶領域と、複数の被験者のそれぞれについて予め得られている前記疾患の陽性又は陰性の確定診断結果を記憶する第２の記憶領域と、ＣＮＮプログラムを記憶する第３の記憶領域と、を備えることになる。この場合、複数の被験者のそれぞれについて予め得られている複数の消化器官の内視鏡画像は数が多くてデータ量が大きくなること、ＣＮＮプログラムの作動時に大量のデータ処理が行われることから、並列処理とすることが好ましく、また、大容量の記憶部を有することが好ましい。
近年、ＣＰＵやＧＰＵの能力の向上が著しく、実施形態１で使用した診断支援システムとしてのＣＮＮを組み込んだコンピュータは、ある程度高性能な市販のパーソナルコンピュータを使用した場合であれば、Ｈ．ピロリ感染胃炎診断システムとしても、１時間に３０００症例以上を処理でき、１枚の画像については約０．２秒で処理することができる。そのため、内視鏡で撮影中の画像データを本実施形態１で使用したＣＮＮを組み込んだコンピュータに与えることにより、リアルタイムでのＨ．ピロリ感染判定も可能となり、世界中や僻地から送信された胃内視鏡画像はもちろんのこと、たとえそれが動画であっても、遠隔で診断可能となる。特に、近年のコンピュータのＧＰＵは性能が非常に優れているので、本実施形態１のＣＮＮを組み込むことにより、高速かつ高精度の画像処理が可能となる。
また、実施形態１の診断支援システムとしてのＣＮＮを組み込んだコンピュータの入力部に入力する被験者の消化器官の内視鏡画像は、内視鏡で撮影中の画像、通信ネットワークを経由して送信されてきた画像又はコンピュータ読み取り可能な記録媒体に記録された画像とすることができる。すなわち実施形態１の診断支援システムとしてのＣＮＮを組み込んだコンピュータは、短時間で入力された被験者の消化器官の内視鏡画像に対して消化器官の疾患陽性及び陰性のそれぞれの確率を出力することができるので、被験者の消化器官の内視鏡画像の入力形式によらず利用可能となる。
なお、通信ネットワークとしては、周知のインターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等を利用可能である。また、通信ネットワークを構成する伝送媒体も周知のＩＥＥＥ１３９４シリアルバス、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線回線、ＡＤＳＬ回線等の有線、赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩＥＥＥ８０２．１１等の無線、携帯電話網、衛星回線、地上波デジタル網等の無線等を利用できる。また、コンピュータ読み取り可能な記録媒体としては、周知の磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク、ハードディスク等の磁気ディスク、コンパクトディスク−ＲＯＭ／ＭＯ／ＭＤ／デジタルビデオデイスク／コンパクトディスク−Ｒ等の光ディスクを含むディスク系、ＩＣカード、メモリカード、光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系等を用いることができる。
［実施形態２］
実施形態１で使用したＣＮＮを組み込んだコンピュータによるＨ．ピロリ感染胃炎診断システムにおいては、入力された画像がどこの部分の画像であるかを自動的に判断することができる。そのため、このＨ．ピロリ感染胃炎診断システムにおいては、噴門部、胃底部、胃体部、胃角部、前庭部、幽門洞の７つの分類のそれぞれについてＨ．ピロリ感染確率を表示したり、これらの部位の幾つかから、例えば、Ｈ．ピロリ感染確率の上位５分類について、分類とともにＨ．ピロリ感染確率を表示したりすることが可能となる。このような分類とともにＨ．ピロリ感染確率を表示することは、最終的には血液検査や尿検査によって確定診断を行う必要があるが、内視鏡専門医の判断に有用となる。
実施形態１で使用したＣＮＮを組み込んだコンピュータによるＨ．ピロリ感染胃炎診断システムにおいては、入力された画像がどこの部分の画像であるかを自動的に判断することができる。そのため、このＨ．ピロリ感染胃炎診断システムにおいては、噴門部、胃底部、胃体部、胃角部、前庭部、幽門洞の７つの分類のそれぞれについてＨ．ピロリ感染確率を表示したり、これらの部位の幾つかから、例えば、Ｈ．ピロリ感染確率の上位５分類について、分類とともにＨ．ピロリ感染確率を表示したりすることが可能となる。このような分類とともにＨ．ピロリ感染確率を表示することは、最終的には血液検査や尿検査によって確定診断を行う必要があるが、内視鏡専門医の判断に有用となる。
そこで、実施形態２では、入力された画像がどこの部分の画像であるかを自動的に判断することができることの検証を行った。まず、内視鏡専門医により、実施形態１において得られたＥＧＤの画像のうち、癌、潰瘍、残渣・異物、出血、ハレーション、ぼけ又は焦点不良のために明確でない画像は除外し、残りの１７５０人の患者からの２７，３３５枚の画像を６つの主要なカテゴリー（喉頭、食道、十二指腸、上部胃、中部胃、下部胃）に分類した。主要な胃カテゴリーの各々は、図６に示したように、複数のサブカテゴリを含んでおり、下部胃は幽門部、幽門洞、前庭部を含み、上部胃は噴門部と胃底部を含み、中部胃は胃角部と胃体部を含んでいる。
これらの２７，３３５枚の元の内視鏡画像を、実施形態１の場合と同様にして、ツールによって０度から３５９度の間で無作為に回転させて画像数を増大させ、各画像を囲む黒いフレームを自動的にトリミングして切り取り、適宜に拡大又は縮小し、通常の倍率を有する通常の白色光画像のみが含まれ、狭帯域画像などの強調された画像を除外し、１００万を超える訓練用画像データを得た。このようにして得られた実施形態２の訓練用画像データは、GoogLeNetと互換性を持たせるために、全ての画像のサイズが２４４×２４４ピクセルにリサイズされている。そして、実施形態２で用いたＣＮＮシステムは、これらの訓練用画像データを用いて、学習率を０．０００２に変更した以外は実施形態１のＣＮＮシステムと同様のものを用いて訓練した。
実施形態２の訓練されたＣＮＮシステムは、０から１００％の範囲の各画像の確率値（ＰＳ）を生成した。これは、各画像の各解剖学的分類に属する確率を示している。最も高い確率値を有するカテゴリーがＣＮＮの最終的な分類として採用され、このＣＮＮによって分類された画像は、２人の内視鏡専門医によって手作業で評価し、正しく分類されたかどうかを評価した。その評価が２人の内視鏡専門医によって異なる場合は、満足のいく解決に達するために議論が行われた。
さらに、ＣＮＮシステムの診断精度を評価するために、２０１７年２月から２０１７年３月までの間に、発明者の一人が属する医院において内視鏡検査を受けた４３５人の患者の１７，０８１の独立した画像データを収集し、一連の検証用画像データを作成した。この検証用画像データは、通常の倍率を有する通常の白色光画像のみが含まれており、強調画像又は解剖学的分類が認識できなかった画像データは、訓練用画像データの場合と同じ方法で検証用画像データから除外された。最終的に、検証用画像データには、喉頭画像３６３件、食道画像２，１４２件、胃画像１３，０４７件、十二指腸画像１，５２８件を含む１７，０８１件の画像が用いられた（表４参照）。
最初に、実施形態２のＣＮＮシステムが、喉頭、食道、胃及び十二指腸の画像を認識できるかどうかについて評価し、次いで、図６に示したように、日本の胃癌分類に基づく胃の位置（上部胃、中部胃、下部胃）を認識できるかどうかについて評価した。そして、実施形態２のＣＮＮシステムによる解剖学的分類についての感度及び特異度が計算された。各臓器の分類のため、受容体作動特性（ＲＯＣ）曲線をプロットし、GraphPad Prism 7(GraphPad software, Inc., California, U.S.A.)により下側部分の面積（ＡＵＣ）を算出した。これらの試験方法の簡単化した概要を図７に示した。
まず、ＧＩＥ画像を４つの主なカテゴリー（喉頭、食道、胃及び十二指腸）に分類した。実施形態２のＣＮＮシステムは、１７，０８１画像のうち１６，６３２（９７％）の解剖学的位置を正確に分類した。ＣＮＮシステムが計算した確率値は０〜１００％の範囲であり、画像の９６％の個々の最高確率値は９０％以上であった（表５参照）。
すなわち、実施形態２のＣＮＮシステムは、ＧＩＥ画像の解剖学的位置を、ＡＵＣ値による正確度で、咽頭は１．００［９５％信頼区間（ＣＩ）：１．００〜１．００，ｐ＜０．０００１］、食道は１．００（９５％ＣＩ：１．００〜１．００，ｐ＜０．０００１）、胃は０．９９（９５％ＣＩ：０．９９〜１．００，ｐ＜０．０００１）、十二指腸は０．９９（９５％ＣＩ：０．９９〜０．９９，ｐ＜０．０００１）で自動的に認識した（図８Ａ〜図８Ｄ参照）。なお、実施形態２のＣＮＮシステムの各部位の解剖学的位置を認識するための感度及び特異度は、喉頭については９３．９％及び１００％、食道については９５．８％及び９９．７％、胃については８９．９％及び９３．０％、十二指腸については８７．０％及び９９．２％であった（表６参照）。
次に、実施形態２のＣＮＮシステムが胃の異なる部分から取得した画像データの解剖学的位置を正しく分類できるかどうかについて検討した。いくつかの胃の疾患は胃の特定の領域に発生する傾向があるため、胃の解剖学的位置を正しく分類することは重要である。実施形態２のＣＮＮシステムの訓練には、上部胃からの３，５３２枚の画像データ、中部胃からの６，３７９枚の画像データ及び下部胃からの３，１３７枚の画像データを含む合計１３，０４８の胃画像データが用いられた。
実施形態２のＣＮＮシステムは、図９に示すように、上部胃、中部胃及び下部胃についてＡＵＣ値０．９９（９５％ＣＩ：０．９９〜０．９９、ｐ＜０．０００１）が得られ、これらの胃画像の解剖学的位置を正確に分類した。各部位の解剖学的位置を分類する際のＣＮＮの感度と特異度は、上部胃が９６．９％及び９８．５％、中部胃が９５．９％及び９８．０％、下部胃が９６．０％及び９８．８％であった（表７参照）。すなわち、実施形態２のＣＮＮシステムは、ＧＩＥ画像データを胃の３つの解剖学的位置（上部胃、中部胃、下部胃）に正しく分類した。
［誤って分類された画像の評価」
最後に、ＣＮＮの性能を向上させるための基礎を提供するために、ＣＮＮによって誤って分類された画像を検討した。誤って分類された画像の典型的な例を図１０〜図１３に示す。図１０Ａは下部胃と誤分類された十二指腸の画像を示し、図１０Ｂは正しく分類された下部胃の画像である。これらの画像に見られるように、横から見ると十二指腸は時には下部胃に似ている。これが誤分類の原因であったと考えられる。
最後に、ＣＮＮの性能を向上させるための基礎を提供するために、ＣＮＮによって誤って分類された画像を検討した。誤って分類された画像の典型的な例を図１０〜図１３に示す。図１０Ａは下部胃と誤分類された十二指腸の画像を示し、図１０Ｂは正しく分類された下部胃の画像である。これらの画像に見られるように、横から見ると十二指腸は時には下部胃に似ている。これが誤分類の原因であったと考えられる。
図１１Ａは下部胃と誤分類された食道の画像を示し、図１１Ｂは正しく下部胃と分類された下部胃の画像を示す。また、図１２Ａは中部胃と誤分類された十二指腸の画像を示し、図１２Ｂは正しく分類された上部胃の画像を示す。さらに、図１３Ａは食道と誤分類された咽頭の画像を示し、図１３Ｂは正しく分類された食道の画像を示す。
図１１Ａ及び図１２Ａの画像は、内腔への空気の吹込みが不十分であること及び／又は管腔壁への内視鏡スコープが近接していることに起因して、全体の構造を認識に使用することができなかったものである。他方、図１３Ａは、喉頭の画像を示すが、肉眼で明らかに異なっており、食道と誤って分類されている。
画像の分類のためのアーキテクチャは絶えず進歩している。そのような技術を使用したImagenet大規模視覚認識チャレンジ２０１６(ILSVRC2016, http://image-net.org/challenges/LSVRC/2016/results)の最新の結果によると、分類エラー率は３．０％〜７．３％となっている。それに対し、実施形態２のＣＮＮシステムは、０．９９〜１．００の高いＡＵＣを有する高精度の分類結果を示し、解剖学的位置によるＧＩＥ画像の分類におけるＣＮＮの潜在的可能性が実証されている。解剖学的分類を認識するこの能力は、ＣＮＮシステムが患者から取得した画像上で病変又は異常所見を自動的に検出することによって、特に胃腸疾患の診断に使用できるかどうかを明らかにする重要なステップである。
医師はＧＩＥの専門家になるために数年に渡って重要な訓練を必要とするため、本発明のＣＮＮシステムは、患者の負担を軽減し、患者にとって有益なものとなる。この点について、本発明の結果は、本発明のＣＮＮシステムが新しいＧＩＥ支援システムを確立する有望な可能性を示している。さらに、自動的に収集され、電子的に保存されるＧＩＥ画像は、疾患を逃さないために第２の観察者によって頻繁に見直されるため、自動ＧＩＥ画像分類自体が臨床設定において有益である。解剖学的に分類された画像は、第２の観察者が解釈することがより容易となり、その負担を軽減することができるようになる。
［実施形態３］
実施形態３では、本発明の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体について、潰瘍性大腸炎の場合に適用した例を説明する。発明者の一人が属する医院において、大腸内視鏡検査を受けた患者の臨床データを回顧的にレビューした。全体的に９５８例の患者の症状、内視鏡所見、 病理学的所見も含まれている。患者全員が全大腸内視鏡検査を受け、得られた大腸内視鏡画像は３人の消化器専門医によってレビューされた。
実施形態３では、本発明の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体について、潰瘍性大腸炎の場合に適用した例を説明する。発明者の一人が属する医院において、大腸内視鏡検査を受けた患者の臨床データを回顧的にレビューした。全体的に９５８例の患者の症状、内視鏡所見、 病理学的所見も含まれている。患者全員が全大腸内視鏡検査を受け、得られた大腸内視鏡画像は３人の消化器専門医によってレビューされた。
実施形態３では、通常の倍率を有する通常の白色光画像のみが含まれ、狭帯域画像などの強調された画像は除外された。便、ぼけ、ハレーション又は空気混入を伴う不明瞭な画像も除外され、他の鮮明な画像は結腸・直腸の部位、すなわち右側結腸（盲腸、上行及び横行結腸）、左結腸（下行及びＳ状結腸）及び直腸、によって分類され、それぞれの内視鏡疾患活動性によって、３区分のＭａｙｏ内視鏡スコア（Ｍａｙｏ０、Ｍａｙｏ１及びＭａｙｏ２−３）に従って分類された。図１４に典型的な直腸のＭａｙｏ０〜Ｍａｙｏ３に分類される大腸内視鏡画像を示す。なお、図１４ＡはＭａｙｏ０、図１４ＢはＭａｙｏ１、図１４ＣはＭａｙｏ２、図１４ＤはＭａｙｏ３の例を示す。
レビューされた各画像について、レビューアの分類が異なる場合には、上記の３人の消化器専門医のうち少なくとも２人がそれぞれの画像を見直し、各画像についてＭａｙｏ内視鏡スコアを再付与した。このようにして再付与されたＭａｙｏ内視鏡スコアを「真のＭａｙｏ分類」と称する。
２００６年１０月から２０１７年３月の間に撮影された８４１人の潰瘍性大腸炎患者からの２６，３０４枚の画像が訓練用データセットとして使用され、４月から２０１７年６月までに収集された１１７人の潰瘍性大腸炎患者からの４，５８９枚の画像が検証用データセットとして使用された。訓練用データセットと検証用データセットの患者特性の詳細を表８に示した。
これらの元の内視鏡画像を０度から３５９度の間でランダムに回転させ、各画像を囲む黒い枠を各側で切り取り、ソフトウェアを使用して０．９倍又は１．１倍に拡大又は縮小した。最後に、訓練用データセットの数が１００万を超えるように増幅された。
全ての画像は、標準的な大腸内視鏡（EVIS LUCERA ELITE、オリンパスメディカルシステムズ、東京、日本）を用いて撮影された。付随する全ての患者情報は、データ分析前に注釈を付けられ、研究に関与する内視鏡医のいずれも識別可能な患者情報にアクセスすることができないようにした。この研究は、日本医師会倫理審査委員会（ID：JMA-IIA00283）の承認を得た。また、インフォームド・コンセントは、この研究が遡及的性質を有しており、完全に匿名化されたデータを使用するために、削除された。
このようにして得られた実施形態３の訓練用画像データは、GoogLeNetと互換性を持たせるために、全ての画像のサイズが２４４×２４４ピクセルにリサイズされている。そして、実施形態３で用いたＣＮＮシステムは、これらの訓練用画像データを用いて、学習率を０．０００２に変更した以外は実施形態１のＣＮＮシステムと同様のものを用いて訓練した。
訓練されたＣＮＮベースの診断システムは、０から１の範囲の各画像の確率値（ＰＳ）を作成し、各画像は各Ｍａｙｏ内視鏡スコアに属する確率を示す。最も高い確率値を有するカテゴリーが、ＣＮＮの最終的な分類として採用された。実施形態３のＣＮＮベースの診断システムの簡単な概要を図１５に示し、実施形態３のＣＮＮの代表的な画像と得られた３区分のＭａｙｏ内視鏡スコアの例を図１６に示した。なお、図１６Ａは横行結腸のＭａｙｏ０に分類される例、図１６Ｂは直腸のＭａｙｏ１に分類される例、図１６Ｃは直腸のＭａｙｏ２ないしＭａｙｏ３に分類される例を示している。
ＣＮＮの性能の検証は、ＣＮＮが各画像を２区分の分類、すなわちＭａｙｏ０〜１及びＭａｙｏ２−３の２区分に分類できるかどうかを評価することにより行った。この理由は、Ｍａｙｏ０及びＭａｙｏ１は寛解（症状がコントロールできている）状態にあるものであり、Ｍａｙｏ２及びＭａｙｏ３は炎症が生じているものであるからである。そして、Ｍａｙｏ内視鏡スコアのために受容体作動特性（ＲＯＣ）曲線をプロットし、９５％信頼区間（ＣＩ）を有するＲＯＣ曲線の下側の面積（ＡＵＣ）をＧｒａｐｈＰａｄ Ｐｒｉｓｍ ７(GraphPad software, Inc, 米国)により測定した。さらに、結腸・直腸の各部位（右側結腸、左側結腸、及び直腸）でＡＵＣを評価した。
表９に真のＭａｙｏ内視鏡スコアとＣＮＮによるＭａｙｏ０−１，Ｍａｙｏ２−３の２区分の分類との間の関連性を示す。また、図１７Ａに、Ｍａｙｏ０−１と、Ｍａｙｏ２−３との２区分のＭａｙｏ内視鏡スコアにおける各確率スコアの例を色の濃淡で示し、同じく図１７ＢにＭａｙｏ０−１と、Ｍａｙｏ２−３との２区分のＭａｙｏ内視鏡スコアにおけるＲＯＣ曲線を示す。
表９及び図１７に示した結果によると、Ｍａｙｏ０−１画像の９６％、Ｍａｙｏ２−３画像の４９％は、ＣＮＮによってそれぞれのＭａｙｏ内視鏡スコアに正しく分類されていた。図１７Ｂに示したＲＯＣ曲線は、Ｍａｙｏ０−１と、Ｍａｙｏ２−３との２区分の分類に対して０．９５（９５％ＣＩ：０．９４−０．９５）の高いＡＵＣを有し、ＣＮＮが高い性能を有していることを示している。
［結腸・直腸の各位置による真のＭａｙｏ分類とＣＮＮ分類との間の関連性］
次に、結腸・直腸の位置がＣＮＮの性能に影響を及ぼす可能性があるので、結腸・直腸の各位置（右側結腸、左側結腸、及び直腸）によるＣＮＮの性能を評価した。
次に、結腸・直腸の位置がＣＮＮの性能に影響を及ぼす可能性があるので、結腸・直腸の各位置（右側結腸、左側結腸、及び直腸）によるＣＮＮの性能を評価した。
表１０は、ＲＯＣ曲線のＡＵＣと、真のＭａｙｏ分類と、各場所におけるＣＮＮの結果との一致度を示す。ＣＮＮの性能は、Ｍａｙｏ０−１と、Ｍａｙｏ２−３との２区分に分類する際には、直腸（ＡＵＣ＝０．８８）よりも右側の結腸（ＡＵＣ＝０．９６）及び左側の結腸（ＡＵＣ＝０．９７）において良好であった。
以上のように、実施形態３によれば、訓練されたＣＮＮによれば、潰瘍性大腸炎画像の内視鏡疾患活動性を識別でき、寛解状態の画像（Ｍａｙｏ０、Ｍａｙｏ１）と重度の炎症（Ｍａｙｏ２，Ｍａｙｏ３）画像とを区別する有望な性能を示すことが確認された。
実施形態３の結果によると、ＣＮＮは、粘膜が治癒状態（Ｍａｙｏ０、Ｍａｙｏ１）にあることを認識するに際して非常に良好な性能を示し、右結腸及び左結腸よりも直腸における方が良好であった。この理由の１つは、用いた画像が治療中の潰瘍性大腸炎患者のものが大部分であったためである。この治療は、炎症の重症度を変えてしまい、炎症を「斑状」又は「非連続病変」に導き、Ｍａｙｏ内視鏡スコアを適切に分類するのが困難になる。これは、直腸がいくつかの治療オプションを有しており、斑状ないし非連続性病変がしばしば起こるので、直腸におけるＣＮＮによる分類に際してより性能低下をもたらす可能性がある。
また、実施形態３では、ＣＮＮによる分類をＭａｙｏ内視鏡スコアの確率値が最も高いものとして定義した。したがって、Ｍａｙｏ１の確率値が０．３４４の画像（最低値）でも、Ｍａｙｏ１の確率値が１．００の画像と同じＭａｙｏ１に分類された。これは、真のＭａｙｏ内視鏡スコアとＣＮＮによる分類との間の一致が、ＡＵＣ値と比較して比較的低い理由の１つである。したがって、ＣＮＮによる分類を定義するために確率値に最適なカットオフ値を設定することによって、ＣＮＮの性能を改善することが可能となる。
実施形態３の測定にはいくつかの制限がある。第1に、これは後向き研究であり、実際の臨床状況におけるＣＮＮの性能を評価するためには前向き研究が必要である。第2に、入院施設を持たない診療所では全ての大腸内視鏡検査画像が収集されたため、Ｍａｙｏ２−３の画像は訓練用データと検証用データの両方で比較的少なかった。したがって、より多くのＭａｙｏ２−３画像でＣＮＮをトレーニングすることで、ＣＮＮのパーフォマンスがより向上すると考えられる。
［実施形態４］
実施形態４では、本発明の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体について、超拡大内視鏡（Endocytoscopy：ＥＣＳ）システムを用いて食道疾患に適用した例を説明する。ここで使用するＥＣＳシステムは、メチレンブルーなどの生体染色を使用してリアルタイムで表面上皮細胞を生体内で観察することを可能にする新規の拡大内視鏡検査である。発明者等は、２００３年にＥＣＳを用いた臨床試験を初めて行い、正常扁平上皮及び食道癌の表面上皮細胞の特徴を報告した（非特許文献４参照）。現在市販されている第４世代のＥＣＳの倍率は、光学的に５００倍で、さらにビデオプロセッサーに内蔵されたデジタル拡大機能を使用して倍率を最大９００倍にまで拡大させることも可能である。
実施形態４では、本発明の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体について、超拡大内視鏡（Endocytoscopy：ＥＣＳ）システムを用いて食道疾患に適用した例を説明する。ここで使用するＥＣＳシステムは、メチレンブルーなどの生体染色を使用してリアルタイムで表面上皮細胞を生体内で観察することを可能にする新規の拡大内視鏡検査である。発明者等は、２００３年にＥＣＳを用いた臨床試験を初めて行い、正常扁平上皮及び食道癌の表面上皮細胞の特徴を報告した（非特許文献４参照）。現在市販されている第４世代のＥＣＳの倍率は、光学的に５００倍で、さらにビデオプロセッサーに内蔵されたデジタル拡大機能を使用して倍率を最大９００倍にまで拡大させることも可能である。
発明者の一人が属する医院において、２０１１年１１月から２０１８年２月までの間に、医院内の２４１人の患者に対して３０８例の食道ＥＣＳ検査を行った。スコープは、ＧＩＦ−Ｙ０００２（光学倍率：４００倍（デジタル倍率７００倍））及びＧＩＦ−Ｙ００７４（光学倍率：５００倍（デジタル倍率９００倍））の２つのプロトタイプＥＣＳ（オリンパスメディカルシステムズ）を用いた。また、内視鏡ビデオスコープシステムとして、標準的な内視鏡ビデオシステム（ＥＶＩＳ ＬＵＣＥＲＡ ＣＶ−２６０／ＣＬＶ−２６０， ＥＶＩＳ ＬＵＣＥＲＡ ＥＬＩＴＥ ＣＶ−２９０／ＣＬＶ−２９０ＳＬ：オリンパスメディカルシステムズ）を使用した。
図１８に示したように、ＥＣＳの最大光学倍率（低倍率画像）の内視鏡画像（図１８のａ〜ｅ）と、デジタル倍率１．８倍の内視鏡画像（高倍率画像、図１８のｆ〜ｊ））とを併せて保存した。３０８例のＥＣＳ検査の中で、２０１１年１１月から２０１６年１２月の間に行われた２４０の症例からの４７１５枚の画像が、ＥＣＳ画像を分析するためのアルゴリズムを開発用の訓練用データセットとして採用された。
訓練用データセットは、食道癌１２６例（表在癌５８例、進行癌６８例）、食道炎１０６例（放射線関連食道炎５２例、胃食道逆流症４５例、カンジダ食道炎、好酸球性食道炎２例、食道炎３例）、正常扁平上皮症８例であった。全ての病変部を生検組織又は切除標本を用いて組織学的に診断した。最後に、訓練用データセットを「悪性画像（画像数：１１４１（低倍率画像：２３１、高倍率画像：９１０））」及び「非悪性画像（画像数：３５７４（低倍率画像：１１５０、高倍率画像：２４２４））」に分類した。実施形態４では低倍率画像と高倍率画像を用いてＣＮＮをまとめて訓練した。
構築されたＣＮＮの診断能力の評価のためのテストデータセットとしては、ＥＣＳにて食道の表面細胞形態を良好に観察可能であった５５例を用いた。テストデータは、悪性病変２７例と非悪性病変２８例からなる１５２０枚の画像（低倍率画像：４６７、高倍率画像：１０５３）を用いた。悪性病変の全ての症例は食道扁平上皮癌であった。このうち表在癌が２０例、進行癌が７例であった。非悪性病変は、食道炎（放射線関連食道炎１４例、胃食道逆流症（ＧＥＲＤ）９例、食道炎４例）が２７例、食道乳頭腫が１例であった。
このようにして得られた実施形態３の訓練用画像データは、GoogLeNetと互換性を持たせるために、全ての画像のサイズが２４４×２４４ピクセルにリサイズされている。そして、実施形態４で用いたＣＮＮシステムは、これらの訓練用画像データを用いて、実施形態１のＣＮＮシステムと同様のものを用いて訓練した。
［ＣＮＮによる診断結果］
訓練データセットを用いてＣＮＮを構築した後、テストデータを検討した。テストデータの各画像について、悪性である確率を計算し、受信機動作特性（ＲＯＣ）曲線をプロットし、ＲＯＣ曲線の下側部分の面積（ＡＵＣ）を計算した。カットオフ値は、ＲＯＣ曲線の感度及び特異性を考慮して決定した。
訓練データセットを用いてＣＮＮを構築した後、テストデータを検討した。テストデータの各画像について、悪性である確率を計算し、受信機動作特性（ＲＯＣ）曲線をプロットし、ＲＯＣ曲線の下側部分の面積（ＡＵＣ）を計算した。カットオフ値は、ＲＯＣ曲線の感度及び特異性を考慮して決定した。
症例ごとの検討では同一病変から取得した複数のＥＣＳ画像に対し、２枚以上が悪性であると診断された場合、悪性であると診断した。食道癌を診断するＣＮＮの感度、陽性的中率（ＰＰＶ）、陰性的中率（ＮＰＶ）、及び特異度を以下のように計算した。
感 度＝ＣＮＮが正しく悪性と診断した数／組織学的に証明された食道癌病変の数
ＰＰＶ＝ＣＮＮが正しく悪性と診断した数／ＣＮＮによる食道癌と診断された病変の数
ＮＰＶ＝ＣＮＮが非悪性病変として正しく診断した数（悪性と診断されたＥＣＳ画像が１枚以下）／ＣＮＮによって非悪性病変と診断された病変の数
特異度＝ＣＮＮが非悪性病変として正しく診断した数／組織学的に証明された非悪性病変
感 度＝ＣＮＮが正しく悪性と診断した数／組織学的に証明された食道癌病変の数
ＰＰＶ＝ＣＮＮが正しく悪性と診断した数／ＣＮＮによる食道癌と診断された病変の数
ＮＰＶ＝ＣＮＮが非悪性病変として正しく診断した数（悪性と診断されたＥＣＳ画像が１枚以下）／ＣＮＮによって非悪性病変と診断された病変の数
特異度＝ＣＮＮが非悪性病変として正しく診断した数／組織学的に証明された非悪性病変
ＣＮＮによる診断の前に、経験豊富な１名の内視鏡専門医が内視鏡検査中に診断を行った。内視鏡専門医は、全ての症例を以下のＴｙｐｅ分類に従って分類した。
Ｔｙｐｅ１：表面上皮細胞は、核／細胞質比が低く、細胞密度が低い。核異型は認められない。（図１９ａ参照）
Ｔｙｐｅ２：核密度は高いが、明らかな核異型はない。細胞間境界は明らかではない。（図１９ｂ参照）
Ｔｙｐｅ３：明らかな核密度の上昇及び核異型が認められる。核の腫大も認められる（図１９ｃ参照）
Ｔｙｐｅ１：表面上皮細胞は、核／細胞質比が低く、細胞密度が低い。核異型は認められない。（図１９ａ参照）
Ｔｙｐｅ２：核密度は高いが、明らかな核異型はない。細胞間境界は明らかではない。（図１９ｂ参照）
Ｔｙｐｅ３：明らかな核密度の上昇及び核異型が認められる。核の腫大も認められる（図１９ｃ参照）
［テストデータの臨床診断と病理診断結果］
テストデータ症例の臨床診断と病理診断結果とを表１１に示した。
テストデータ症例の臨床診断と病理診断結果とを表１１に示した。
表１１に示したように、臨床診断により食道癌と診断された２７例全てが扁平上皮癌であった。臨床診断により胃食道逆流症と診断された９例は、組織学的に４例が再生上皮、３例が食道潰瘍、２例が食道炎と診断された。臨床診断により放射線性食道炎と診断された１４例は、組織学的に２例が再生上皮、８例が食道炎と診断され、他は食道潰瘍、異型細胞を伴う食道炎、肉芽組織及び壊死組織と診断された。
［ＲＯＣ曲線とその下側部分の面積及びカットオフ値］
実施形態４で得られたＣＮＮは、１５２０枚の画像（１画像あたり０．０１１秒）を分析するのに１７秒を要した。全画像からプロットしたＲＯＣ曲線（図２０Ａ）から求められたＡＵＣは０．８５であった。また、高倍率画像（図２０Ｂ）と低倍率画像の場合（図２０Ｃ）とでＲＯＣ曲線を別々作成して分析したところ、高倍率画像の場合のＡＵＣ及び低倍率画像の場合のＡＵＣはそれぞれ０．９０及び０．７２であった。
実施形態４で得られたＣＮＮは、１５２０枚の画像（１画像あたり０．０１１秒）を分析するのに１７秒を要した。全画像からプロットしたＲＯＣ曲線（図２０Ａ）から求められたＡＵＣは０．８５であった。また、高倍率画像（図２０Ｂ）と低倍率画像の場合（図２０Ｃ）とでＲＯＣ曲線を別々作成して分析したところ、高倍率画像の場合のＡＵＣ及び低倍率画像の場合のＡＵＣはそれぞれ０．９０及び０．７２であった。
非悪性病変に対する高い特異性を期待して、ＲＯＣ曲線から悪性腫瘍の確率のカットオフ値を９０％に設定した。表１２に示したとおり、全画像の場合の感度、特異度、ＰＰＶ、ＮＰＶは、それぞれ３９．４，９８．２，９２．９及び７３．２であった。また、高倍率画像の場合及び低倍率画像の場合をそれぞれ別々に分析した場合、高倍率画像の場合の感度、特異性、ＰＰＶ、ＮＰＶはそれぞれ４６．４，９８．４，９５．２及び７２．６であり、低倍率画像の場合の感度、特異性、ＰＰＶ、ＮＰＶはそれぞれ１７．４，９８．２，７９．３，７４．４であった。
高倍率画像で非悪性であると臨床診断された６２２例のうち、１０画像（１．６％）が悪性腫瘍の確率が９０％を超えていた。この１０画像には、白斑部分より得られた７画像、異型上皮より得られた２画像、正常上皮より得られた１画像が含まれていた。低倍率画像で非悪性であると臨床診断された３３２例のうち、食道炎と診断された７画像（２．１％）が、悪性の確率が９０％を超えていた。
［各症例ごとの内視鏡医によるＴｙｐｅ分類の評価とＣＮＮによる診断の比較］
食道扁平上皮癌と診断された２７症例のうち、実施形態４で構築されたＣＮＮによる診断結果と、内視鏡専門医により分類されたＴｙｐｅとの関係を表１３に示した。
食道扁平上皮癌と診断された２７症例のうち、実施形態４で構築されたＣＮＮによる診断結果と、内視鏡専門医により分類されたＴｙｐｅとの関係を表１３に示した。
表１3に示した結果によると、食道扁平上皮癌と診断された２７症例のうち、ＣＮＮは２５症例（感度９２．６％）を悪性（悪性腫瘍の確率が９０％を超えた２以上の画像を含む）と正確に診断した。ＣＮＮはがん細胞が写っている写真の中で悪性であると認識した割合の中央値（範囲）は４０．９（０〜８８．９）％であった。ＣＮＮは非悪性病変の２８症例の２５症例を非悪性（特異性８９．３％）と正確に診断した。ＰＰＶ、ＮＰＶ、及び全体的な精度は、それぞれ８９．３％、９２．６％、９０．９％であった。
内視鏡専門医は、全ての悪性病変をＴｙｐｅ３と診断した。内視鏡専門医は、非悪性病変の２８例中、１３病変をＴｙｐｅ１、１２病変をＴｙｐｅ２、３病変をＴｙｐｅ３と診断した。Ｔｙｐｅ３が悪性腫瘍に対応すると考えられる場合、感度、特異性、ＰＰＶ、ＮＰＶ、内視鏡検査の診断の総合的な精度はそれぞれ１００％、８９．３％、９０．０％、１００％、９４．５％であった。
ＣＮＮが非悪性であると誤診した２例の悪性病変は、内視鏡専門医によってＴｙｐｅ３と正診された。これらの２例は表在癌であり、核密度の増加と核の異常が明らかであった。しかし、核の拡大は明らかではなかった（図２１参照）。なお、図２１Ａは通常内視鏡画像、図２１Ｂは同じくＥＣＳ画像、図２１Ｃは同じく病理組織検査画像である。
ＣＮＮが非悪性病変を悪性と診断した３例のうち、２例が放射線照射後の食道炎であり、１例がグレードＣの胃食道逆流症であった。これらの病変の非拡大内視鏡画像から、内視鏡専門医はこれらを悪性とみなさなかった。しかし、放射線食道炎の１例では、核密度と核異常の明らかな増加のために、内視鏡専門医はＴｙｐｅ３に分類している。この症例では、病変部の組織学的検査により肉芽組織であることが明らかになった（図２２参照）。なお、図２２Ａは通常内視鏡画像、図２２ＢはＥＣＳ画像、図２２Ｃは病理組織検査画像である。
食道に対するＥＣＳ診断の最も有望な目標は、食道扁平上皮癌の生検組織診断の省略である。実施形態４の結果では、特に高倍率画像のＲＯＣ曲線で高いＡＵＣが確認された。以前１名の病理医にＥＣＳ画像のみから、悪性ＥＣＳ画像を区別できるかどうかを試験した。病理学者は、低倍率画像のみを使用した場合、食道炎の約２／３を悪性と診断している。これらの場合、核密度は増加したが、低倍率のために核異型を認識できなかった。その後、核異型の認識のため、デジタル１．８倍（高倍率）の画像で再度試験を行った。その際の病理学者の感度と特異度は９０％以上に劇的に改善した。
実施形態４では、全ての悪性と診断された非悪性低倍率画像は食道炎症例から得られた。これらの画像は高い核密度を示したが、低倍率のため核の異常を評価することはできなかった。したがって、低倍率画像ではなく高倍率画像を参照することが推奨される。他方、悪性であると誤診された大部分の非悪性高倍率画像は、白斑部分の観察から得られている。白斑部分のＥＣＳ画像の特徴は、炎症細胞の集蔟である。これらの画像は扁平上皮癌の低倍率画像として認識されたものであると推測される（図１８参照）。そのため、今後は、高倍率画像と低倍率画像の２つの異なるＣＮＮを別々に確立することが望ましい。
組織生検の省略のためには、非悪性病変の悪性であるとの誤診（偽陽性）を最小限に抑えなければならない。ＥＣＳを用いた内視鏡専門医による扁平上皮腫瘍の過剰診断は、死亡リスクのある手術を必要とする。癌の早期発見のためにＡＩを適用した論文では、一定の偽陽性率が許容される。このためカットオフ値は比較的低い確率で設定されている。今回の検討では悪性腫瘍の確率のカットオフ値を９０％に設定した。これは先に述べた偽陽性を最小限にするためである。
各症例ごとの評価では、内視鏡専門医はＥＣＳによる診断のためのＴｙｐｅ分類を適用した。Ｔｙｐｅ１及びＴｙｐｅ３はそれぞれ非腫瘍性上皮及び食道扁平上皮癌に対応する。これらの症例では、組織生検を省略することができる。しかしながら、Ｔｙｐｅ２は様々な組織学的状況を含むため、治療方針決定のために組織生検を実施すべきである。実施形態４の結果では、ＣＮＮによるＥＣＳ画像の診断結果は、内視鏡専門医の結果に近い９０％を超えていた。
この結果は、高いカットオフ値にもかかわらず許容可能である。これらの症例は、ＣＮＮの支援によって組織生検を省略することができる。さらに、ＣＮＮによって悪性と診断されなかった２例の悪性症例は、内視鏡専門医によって正確にＴｙｐｅ３と診断された。病変通常内視鏡観察から悪性腫瘍であることを明瞭に示しているので、これらの症例はＥＣＳ画像のみでＣＮＮの支援なしに組織生検を省略することができる。
一方、実施形態４の特異度は８９．３％であり、３例の非悪性病変はＣＮＮによって悪性であると診断された。１例はグレードＣの胃食道逆流症であり、他の２例は放射線食道炎であった。これらの病変の病理学的診断は、再生上皮、肉芽組織及び食道潰瘍であった。再生上皮は経験豊富な病理学者であっても食道扁平上皮癌と区別することは困難である。
放射線食道炎の１例は内視鏡専門医によってＴｙｐｅ３と診断され、実施形態４のＣＮＮによって悪性と診断された。放射線照射後、組織生検を行っても再発や残存食道癌を診断することが困難な場合がある。ＥＣＳ観察に加えて、食道癌の放射線照射後のフォローアップの場合には組織生検を実施すべきである。
実施形態４の結果によれば、今回のＣＮＮの検討ではいくつかの限界を指摘することができる。第１に、テストデータの数が少なかったことである。この問題を解決するために動画から膨大な数の画像を取得することを計画している。さらに深く学習したＣＮＮが診断結果を改善することを期待している。第２に、光学倍率が４００倍と５００倍の異なる２つのＥＣＳを使用したことである。これらの２つのＥＣＳの倍率の差は、ＣＮＮによる診断の結果に影響を及ぼす可能性がある。そのため、今後市販された光学倍率５００倍のＥＣＳを使用した画像に限定する必要があると思われる。
結論として、実施形態４のＣＮＮは、内視鏡専門医がＥＣＳ画像に基づいて組織生検を省略することを強くサポートすることが可能である。また、核異型の認識のためには、低倍率画像ではなく、デジタルズームを併用した高倍率画像を参照すべきである。
［実施形態５］
実施形態５のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法について、図２３を用いて説明する。実施形態５では、実施形態１〜４のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法を使用することができる。Ｓ１では、消化器官の第１の内視鏡画像と、第１の内視鏡画像に対応する、消化器官の前記疾患の陽性若しくは陰性、過去の疾患、重症度のレベル、又は、撮像された部位に対応する情報の少なくとも１つの確定診断結果と、を用いてニューラルネットワークを訓練する。Ｓ２では、Ｓ１において訓練されたニューラルネットワークは、消化器官の第２の内視鏡画像に基いて、当該消化器官の疾患の陽性及び／又は陰性の確率、過去の疾患の確率、疾患の重症度のレベル、又は、撮像された部位に対応する情報の少なくとも１つを出力する。
実施形態５のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法について、図２３を用いて説明する。実施形態５では、実施形態１〜４のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法を使用することができる。Ｓ１では、消化器官の第１の内視鏡画像と、第１の内視鏡画像に対応する、消化器官の前記疾患の陽性若しくは陰性、過去の疾患、重症度のレベル、又は、撮像された部位に対応する情報の少なくとも１つの確定診断結果と、を用いてニューラルネットワークを訓練する。Ｓ２では、Ｓ１において訓練されたニューラルネットワークは、消化器官の第２の内視鏡画像に基いて、当該消化器官の疾患の陽性及び／又は陰性の確率、過去の疾患の確率、疾患の重症度のレベル、又は、撮像された部位に対応する情報の少なくとも１つを出力する。
Ｓ１では、第１の内視鏡画像は、コントラストの調整が行なわれていてもよい。また、Ｓ１では、第１の内視鏡画像は、それぞれが撮像された部位に関連付けられていてもよい。部位としては、咽頭、食道、胃又は十二指腸の少なくとも１つを含むことができ、この部位は、複数の消化器官の少なくとも１つにおいて複数箇所に区分されていてもよい。部位が胃である場合には、区分は、上部胃、中部胃又は下部胃の少なくとも１つを含むことができるし、また、区分は、噴門部、胃底部、胃体部、胃角部、前庭部、幽門洞又は幽門部の少なくとも１つを含むこともできる。
撮像された部位における第１の内視鏡画像の数が他の部位に比して少ない場合には、第１の内視鏡画像を回転、拡大、縮小、画素数の変更、明暗部の抽出、又は、色調変化部位の抽出の少なくとも１つを使用することによって、全ての部位における前記第１の内視鏡画像の数が実質的に等しくなるようにすることもできる。
訓練されたニューラルネットワークは、第２の内視鏡画像が撮像された部位に対応する情報が出力可能とされていてもよく、また、確率ないし重症度を部位に対応する情報とともに出力するようにしてもよい。
第１の内視鏡画像は胃内視鏡画像を含む場合には、疾患としてヘリコバクター・ピロリ感染又はヘリコバクター・ピロリ除菌の有無の少なくとも１つを含めてもよい。第１の内視鏡画像は大腸内視鏡画像を含む場合には、疾患として少なくとも潰瘍性大腸炎を含み、訓練されたニューラルネットワークは前記潰瘍性大腸炎の重症度に応じた複数の段階に区分して出力するようにしてもよい。第１の内視鏡画像は食道内視鏡画像を含む場合には、疾患として食道癌、胃食道逆流症、又は、食道炎の少なくとも１つを含み、訓練されたニューラルネットワークは、食道癌、胃食道逆流症、又は、食道炎の少なくとも１つを区分して出力するようにしてもよい。
第２の内視鏡画像は、内視鏡で撮影中の画像、通信ネットワークを経由して送信されてきた画像、遠隔操作システム又はクラウド型システムによって提供される画像、コンピュータ読み取り可能な記録媒体に記録された画像、又は、動画の少なくとも１つであってもよい。また、ニューラルネットワークとして畳み込みニューラルネットワークを用いることもできる。
［実施形態６］
実施形態６のニューラルネットワークを用いた消化器官の内視鏡画像ずよる疾患の診断支援システム、消化器官の内視鏡画像による診断支援プログラム、及び、コンピュータ読み取り可能な記録媒体について図２４を参照して、説明する。実施形態６では、実施形態１〜４で説明した消化器官の内視鏡画像による疾患の診断支援システムを利用することができる。消化器官の内視鏡画像による疾患の診断支援システムは、内視鏡画像入力部１０と、出力部３０と、ニューラルネットワークが組み込まれたコンピュータ２０と、を有する。コンピュータ２０は、消化器官の第１の内視鏡画像を記憶する第１の記憶領域２１と、第１の内視鏡画像に対応する、消化器官の疾患の陽性若しくは陰性、過去の疾患、重症度のレベル、又は、撮像された部位に対応する情報の少なくとも１つの確定診断結果を記憶する第２の記憶領域２２と、ニューラルネットワークプログラムを記憶する第３の記憶領域２３と、を備える。第３の記憶領域２３に記憶されたニューラルネットワークプログラムは、第１の記憶領域２１に記憶されている第１の内視鏡画像と、第２の記憶領域２２に記憶されている確定診断結果とに基いて訓練されており、内視鏡画像入力部１０から入力された消化器官の第２の内視鏡画像に基いて、第２の内視鏡画像に対する消化器官の疾患の陽性及び／又は陰性の確率、過去の疾患の確率、疾患の重症度のレベル、又は、撮像された部位に対応する情報の少なくとも１つを出力部３０に出力する。
実施形態６のニューラルネットワークを用いた消化器官の内視鏡画像ずよる疾患の診断支援システム、消化器官の内視鏡画像による診断支援プログラム、及び、コンピュータ読み取り可能な記録媒体について図２４を参照して、説明する。実施形態６では、実施形態１〜４で説明した消化器官の内視鏡画像による疾患の診断支援システムを利用することができる。消化器官の内視鏡画像による疾患の診断支援システムは、内視鏡画像入力部１０と、出力部３０と、ニューラルネットワークが組み込まれたコンピュータ２０と、を有する。コンピュータ２０は、消化器官の第１の内視鏡画像を記憶する第１の記憶領域２１と、第１の内視鏡画像に対応する、消化器官の疾患の陽性若しくは陰性、過去の疾患、重症度のレベル、又は、撮像された部位に対応する情報の少なくとも１つの確定診断結果を記憶する第２の記憶領域２２と、ニューラルネットワークプログラムを記憶する第３の記憶領域２３と、を備える。第３の記憶領域２３に記憶されたニューラルネットワークプログラムは、第１の記憶領域２１に記憶されている第１の内視鏡画像と、第２の記憶領域２２に記憶されている確定診断結果とに基いて訓練されており、内視鏡画像入力部１０から入力された消化器官の第２の内視鏡画像に基いて、第２の内視鏡画像に対する消化器官の疾患の陽性及び／又は陰性の確率、過去の疾患の確率、疾患の重症度のレベル、又は、撮像された部位に対応する情報の少なくとも１つを出力部３０に出力する。
第１の内視鏡画像は、コントラストの調整が行なわれていてもよい。また、第１の内視鏡画像は、それぞれが撮像された部位に関連付けられていてもよい。部位としては、咽頭、食道、胃又は十二指腸の少なくとも１つを含むことができ、この部位は、複数の消化器官の少なくとも１つにおいて複数箇所に区分されていてもよい。部位が胃である場合には、区分は、上部胃、中部胃又は下部胃の少なくとも１つを含むことができるし、また、区分は、噴門部、胃底部、胃体部、胃角部、前庭部、幽門洞又は幽門部の少なくとも１つを含むこともできる。
撮像された部位における第１の内視鏡画像の数が他の部位に比して少ない場合には、第１の内視鏡画像を回転、拡大、縮小、画素数の変更、明暗部の抽出、又は、色調変化部位の抽出の少なくとも１つを使用することによって、全ての部位における前記第１の内視鏡画像の数が実質的に等しくなるようにすることもできる。
訓練されたニューラルネットワークプログラムは、第２の内視鏡画像が撮像された部位に対応する情報が出力可能とされていてもよく、また、確率ないし重症度を部位に対応する情報とともに出力するようにしてもよい。
第１の内視鏡画像は胃内視鏡画像を含む場合には、疾患としてヘリコバクター・ピロリ感染又はヘリコバクター・ピロリ除菌の有無の少なくとも１つを含めてもよい。第１の内視鏡画像は大腸内視鏡画像を含む場合には、疾患として少なくとも潰瘍性大腸炎を含み、訓練されたニューラルネットワークは前記潰瘍性大腸炎の重症度に応じた複数の段階に区分して出力するようにしてもよい。第１の内視鏡画像は食道内視鏡画像を含む場合には、疾患として食道癌、胃食道逆流症、又は、食道炎の少なくとも１つを含み、訓練されたニューラルネットワークは、食道癌、胃食道逆流症、又は、食道炎の少なくとも１つを区分して出力するようにしてもよい。
第２の内視鏡画像は、内視鏡で撮影中の画像、通信ネットワークを経由して送信されてきた画像、遠隔操作システム又はクラウド型システムによって提供される画像、コンピュータ読み取り可能な記録媒体に記録された画像、又は、動画の少なくとも１つであってもよい。また、ニューラルネットワークとして畳み込みニューラルネットワークを用いることもできる。
消化器官の内視鏡画像による疾患の診断支援システムは、各手段としてコンピュータを動作させるためのもの消化器官の内視鏡画像による診断支援プログラムを備えている。また、消化器官の内視鏡画像による診断支援プログラムは、コンピュータ読み取り可能な記録媒体に記憶しておくことができる。
［実施形態７］
実施形態７のニューラルネットワークを用いた消化器官の内視鏡画像による消化器官の部位の判別方法について図２５を参照して、説明する。実施形態７では、実施形態１〜４で説明したニューラルネットワークを用いた消化器官の内視鏡画像による消化器官の部位の判別方法を利用することができる。S１１では、消化器官の第１の内視鏡画像と、第１の内視鏡画像に対応する、撮像された部位に対応する情報の確定情報を用いてニューラルネットワークを訓練する。Ｓ１２では、訓練されたニューラルネットワークは、消化器官の第２の内視鏡画像に基いて、当該消化器官の撮像された部位に対応する情報を出力する。
実施形態７のニューラルネットワークを用いた消化器官の内視鏡画像による消化器官の部位の判別方法について図２５を参照して、説明する。実施形態７では、実施形態１〜４で説明したニューラルネットワークを用いた消化器官の内視鏡画像による消化器官の部位の判別方法を利用することができる。S１１では、消化器官の第１の内視鏡画像と、第１の内視鏡画像に対応する、撮像された部位に対応する情報の確定情報を用いてニューラルネットワークを訓練する。Ｓ１２では、訓練されたニューラルネットワークは、消化器官の第２の内視鏡画像に基いて、当該消化器官の撮像された部位に対応する情報を出力する。
［実施形態８］
実施形態８のニューラルネットワークを用いた消化器官の内視鏡画像による消化器官の部位の判別システム、消化器官の内視鏡画像による消化器官の部位の判別プログラム、及び、コンピュータ読み取り可能な記録媒体について図２６を参照して、説明する。実施形態８では、実施形態１〜４で説明したニューラルネットワークを用いた消化器官の内視鏡画像による消化器官の部位の判別システムを利用することができる。実施形態８の消化器官の内視鏡画像による消化器官の部位の判別システムは、内視鏡画像入力部４０と、出力部６０と、ニューラルネットワークが組み込まれたコンピュータ５０と、を有する。コンピュータ５０は、消化器官の第１の内視鏡画像を記憶する第１の記憶領域５１と、第１の内視鏡画像に対応する、消化器官の撮像された部位に対応する情報の確定情報を記憶する第２の記憶領域５２と、ニューラルネットワークプログラムを記憶する第３の記憶領域５３と、を備える。第３の記憶領域５３に記憶されたニューラルネットワークプログラムは、第１の記憶領域５１に記憶されている第１の内視鏡画像と、第２の記憶領域５２に記憶されている確定情報とに基いて訓練されており、内視鏡画像入力部４０から入力された消化器官の第２の内視鏡画像に基いて、第２の内視鏡画像に対する消化器官の撮像された部位に対応する情報を出力部６０に出力する。
実施形態８のニューラルネットワークを用いた消化器官の内視鏡画像による消化器官の部位の判別システム、消化器官の内視鏡画像による消化器官の部位の判別プログラム、及び、コンピュータ読み取り可能な記録媒体について図２６を参照して、説明する。実施形態８では、実施形態１〜４で説明したニューラルネットワークを用いた消化器官の内視鏡画像による消化器官の部位の判別システムを利用することができる。実施形態８の消化器官の内視鏡画像による消化器官の部位の判別システムは、内視鏡画像入力部４０と、出力部６０と、ニューラルネットワークが組み込まれたコンピュータ５０と、を有する。コンピュータ５０は、消化器官の第１の内視鏡画像を記憶する第１の記憶領域５１と、第１の内視鏡画像に対応する、消化器官の撮像された部位に対応する情報の確定情報を記憶する第２の記憶領域５２と、ニューラルネットワークプログラムを記憶する第３の記憶領域５３と、を備える。第３の記憶領域５３に記憶されたニューラルネットワークプログラムは、第１の記憶領域５１に記憶されている第１の内視鏡画像と、第２の記憶領域５２に記憶されている確定情報とに基いて訓練されており、内視鏡画像入力部４０から入力された消化器官の第２の内視鏡画像に基いて、第２の内視鏡画像に対する消化器官の撮像された部位に対応する情報を出力部６０に出力する。
消化器官の内視鏡画像による消化器官の部位の判別システムは、各手段として動作させるためのものである、消化器官の内視鏡画像による消化器官の部位の判別プログラムを備えている。また、消化器官の内視鏡画像による消化器官の部位の判別プログラムは、コンピュータ読み取り可能な記録媒体に記憶させることができる。
１０…内視鏡画像入力部
２０…コンピュータ
２１…第１の記憶領域
２２…第２の記憶領域
２３…第３の記憶領域
３０…出力部
４０…内視鏡画像入力部
５０…コンピュータ
５１…第１の記憶領域
５２…第２の記憶領域
５３…第３の記憶領域
６０…出力部
２０…コンピュータ
２１…第１の記憶領域
２２…第２の記憶領域
２３…第３の記憶領域
３０…出力部
４０…内視鏡画像入力部
５０…コンピュータ
５１…第１の記憶領域
５２…第２の記憶領域
５３…第３の記憶領域
６０…出力部
本発明の１つの態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法は、
ニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断システムの作動方法であって、
コンピュータが、
消化器官の第１の内視鏡画像と、
前記第１の内視鏡画像に対応する、前記消化器官の前記疾患の陽性若しくは陰性、過去の疾患、重症度のレベル、又は、撮像された部位に対応する情報の少なくとも１つの確定診断結果と、
を用いてニューラルネットワークを訓練するステップと、
前記訓練されたニューラルネットワークにより、消化器官の第２の内視鏡画像に基いて、当該消化器官の疾患の陽性及び／又は陰性の確率、過去の疾患の確率、疾患の重症度のレベル、又は、撮像された部位に対応する情報の少なくとも１つを出力するステップと、
を実行することを特徴とする。
かかる態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法によれば、ニューラルネットワークが複数の被験者のそれぞれについて予め得られている複数の消化器官の内視鏡画像からなる第１の内視鏡画像と、複数の被験者のそれぞれについて予め得られている前記疾患の陽性若しくは陰性、過去の疾患、重症度のレベル、又は、撮像された部位に対応する情報の少なくとも１つの確定診断結果とに基いて訓練されているので、短時間で、実質的に内視鏡専門医に匹敵する精度で被験者の消化器官の疾患の陽性及び／又は陰性の確率、過去の疾患の確率、疾患の重症度のレベル、又は、撮像された部位に対応する情報のいずれか１つ以上を得ることができ、別途確定診断を行わなければならない被験者を短時間で選別することができるようになる。しかも、多数の被験者についての複数の消化器官の内視鏡画像からなるテストデータに対する疾患の陽性及び／又は陰性の確率、過去の疾患の確率、疾患の重症度のレベル、又は、撮像された部位に対応する情報の少なくとも１つを自動診断することができるため、内視鏡専門医によるチェック／修正が容易になるだけでなく、疾患と関連づけられた画像の集合を作成する作業の省略化も図ることができる。
また、訓練されていないニューラルネットワークでは、具体的な消化器官の内視鏡画像が如何なる部位の画像であるかを識別するのが困難な場合がある。ニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法によれば、それぞれの部位によって分類された内視鏡画像を用いて訓練されたニューラルネットワークとなっているので、ニューラルネットワークに対し、それぞれの部位に応じたきめ細かい訓練が可能であるため、第２内視鏡画像に対する疾患の陽性及び陰性のそれぞれの陰性の確率、過去の疾患の確率、疾患の重症度のレベル等の検出精度が向上する。
また、複数の被験者のそれぞれについて予め得られている複数の消化器官の内視鏡画像からなる第1の内視鏡画像の数が部位毎に大きく異なる場合がある。本態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法によれば、そのような場合においても、その部位の第1の内視鏡画像を適宜に回転、拡大、縮小、画素数の変更、明暗部の抽出、又は、色調変化部位の抽出の少なくとも１つを使用することによってニューラルネットワークを訓練するための画像数を増やすことができるので、部位の相違に基づく疾患の陽性及び陰性のそれぞれの確率、過去の疾患の確率、疾患の重症度のレベル等の検出精度のばらつきが減少する。なお、第８の態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法においては、各部位毎の内視鏡画像の数が必ずしも同一となるようにする必要はなく、数のばらつきが少なくなればよい。
ニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断システムの作動方法であって、
コンピュータが、
消化器官の第１の内視鏡画像と、
前記第１の内視鏡画像に対応する、前記消化器官の前記疾患の陽性若しくは陰性、過去の疾患、重症度のレベル、又は、撮像された部位に対応する情報の少なくとも１つの確定診断結果と、
を用いてニューラルネットワークを訓練するステップと、
前記訓練されたニューラルネットワークにより、消化器官の第２の内視鏡画像に基いて、当該消化器官の疾患の陽性及び／又は陰性の確率、過去の疾患の確率、疾患の重症度のレベル、又は、撮像された部位に対応する情報の少なくとも１つを出力するステップと、
を実行することを特徴とする。
かかる態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法によれば、ニューラルネットワークが複数の被験者のそれぞれについて予め得られている複数の消化器官の内視鏡画像からなる第１の内視鏡画像と、複数の被験者のそれぞれについて予め得られている前記疾患の陽性若しくは陰性、過去の疾患、重症度のレベル、又は、撮像された部位に対応する情報の少なくとも１つの確定診断結果とに基いて訓練されているので、短時間で、実質的に内視鏡専門医に匹敵する精度で被験者の消化器官の疾患の陽性及び／又は陰性の確率、過去の疾患の確率、疾患の重症度のレベル、又は、撮像された部位に対応する情報のいずれか１つ以上を得ることができ、別途確定診断を行わなければならない被験者を短時間で選別することができるようになる。しかも、多数の被験者についての複数の消化器官の内視鏡画像からなるテストデータに対する疾患の陽性及び／又は陰性の確率、過去の疾患の確率、疾患の重症度のレベル、又は、撮像された部位に対応する情報の少なくとも１つを自動診断することができるため、内視鏡専門医によるチェック／修正が容易になるだけでなく、疾患と関連づけられた画像の集合を作成する作業の省略化も図ることができる。
また、訓練されていないニューラルネットワークでは、具体的な消化器官の内視鏡画像が如何なる部位の画像であるかを識別するのが困難な場合がある。ニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法によれば、それぞれの部位によって分類された内視鏡画像を用いて訓練されたニューラルネットワークとなっているので、ニューラルネットワークに対し、それぞれの部位に応じたきめ細かい訓練が可能であるため、第２内視鏡画像に対する疾患の陽性及び陰性のそれぞれの陰性の確率、過去の疾患の確率、疾患の重症度のレベル等の検出精度が向上する。
また、複数の被験者のそれぞれについて予め得られている複数の消化器官の内視鏡画像からなる第1の内視鏡画像の数が部位毎に大きく異なる場合がある。本態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法によれば、そのような場合においても、その部位の第1の内視鏡画像を適宜に回転、拡大、縮小、画素数の変更、明暗部の抽出、又は、色調変化部位の抽出の少なくとも１つを使用することによってニューラルネットワークを訓練するための画像数を増やすことができるので、部位の相違に基づく疾患の陽性及び陰性のそれぞれの確率、過去の疾患の確率、疾患の重症度のレベル等の検出精度のばらつきが減少する。なお、第８の態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法においては、各部位毎の内視鏡画像の数が必ずしも同一となるようにする必要はなく、数のばらつきが少なくなればよい。
また、本発明の１つの態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動プログラムは、第１の態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法の各工程をコンピュータにより実行するためのものであることを特徴とする。
かかる態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動プログラムによれば、第１の態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法と同様の効果を奏することができる。
かかる態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動プログラムによれば、第１の態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援システムの作動方法と同様の効果を奏することができる。
また、本発明の１つの態様の消化器官の内視鏡画像による疾患の診断支援システムは、
内視鏡画像入力部と、出力部と、ニューラルネットワークが組み込まれたコンピュータと、を有する消化器官の内視鏡画像による疾患の診断支援システムであって、前記コンピュータは、消化器官の第１の内視鏡画像を記憶する第１の記憶領域と、前記第１の内視鏡画像に対応する、前記消化器官の前記疾患の陽性若しくは陰性、過去の疾患、重症度のレベル、又は、撮像された部位に対応する情報の少なくとも１つの確定診断結果を記憶する第２の記憶領域と、前記ニューラルネットワークプログラムを記憶する第３の記憶領域と、を備え、前記ニューラルネットワークプログラムは、前記第１の記憶領域に記憶されている前記第１の内視鏡画像と、前記第２の記憶領域に記憶されている確定診断結果とに基いて訓練されており、前記内視鏡画像入力部から入力された消化器官の第２の内視鏡画像に基いて、前記第２の内視鏡画像に対する消化器官の疾患の陽性及び／又は陰性の確率、過去の疾患の確率、疾患の重症度のレベル、又は、撮像された部位に対応する情報の少なくとも１つを前記出力部に出力することを特徴とする。
かかる態様の消化器官の内視鏡画像による疾患の診断支援システムによれば、第１の態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法と同様の効果を奏することができる。
内視鏡画像入力部と、出力部と、ニューラルネットワークが組み込まれたコンピュータと、を有する消化器官の内視鏡画像による疾患の診断支援システムであって、前記コンピュータは、消化器官の第１の内視鏡画像を記憶する第１の記憶領域と、前記第１の内視鏡画像に対応する、前記消化器官の前記疾患の陽性若しくは陰性、過去の疾患、重症度のレベル、又は、撮像された部位に対応する情報の少なくとも１つの確定診断結果を記憶する第２の記憶領域と、前記ニューラルネットワークプログラムを記憶する第３の記憶領域と、を備え、前記ニューラルネットワークプログラムは、前記第１の記憶領域に記憶されている前記第１の内視鏡画像と、前記第２の記憶領域に記憶されている確定診断結果とに基いて訓練されており、前記内視鏡画像入力部から入力された消化器官の第２の内視鏡画像に基いて、前記第２の内視鏡画像に対する消化器官の疾患の陽性及び／又は陰性の確率、過去の疾患の確率、疾患の重症度のレベル、又は、撮像された部位に対応する情報の少なくとも１つを前記出力部に出力することを特徴とする。
かかる態様の消化器官の内視鏡画像による疾患の診断支援システムによれば、第１の態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法と同様の効果を奏することができる。
また、本発明の１つ態様のニューラルネットワークを用いた消化器官の内視鏡画像による消化器官の部位の判別方法は、ニューラルネットワークを用いた消化器官の内視鏡画像による消化器官の部位の判別方法であって、コンピュータが、消化器官の第１の内視鏡画像に対応する、撮像された部位に対応する情報の確定情報を用いてニューラルネットワークを訓練するステップと、前記訓練されたニューラルネットワークが、消化器官の第２の内視鏡画像に基いて、当該消化器官の撮像された部位に対応する情報を出力するステップと、を実行することを特徴とする。
かかる態様のニューラルネットワークを用いた消化器官の内視鏡画像による消化器官の部位の判別方法によれば、ニューラルネットワークが消化器官の第１の内視鏡画像と、前記第１の内視鏡画像に対応する、撮像された部位に対応する情報の確定情報を用いて訓練されているので、短時間で、実質的に内視鏡専門医に匹敵する精度で被験者の撮像された部位に対応する情報を得ることができ、診断対象の消化器官の部位を短時間で判別することができるようになる。しかも、多数の被験者についての複数の消化器官の内視鏡画像からなるテストデータに対する撮像された部位に対応する情報を自動判別することができるため、内視鏡専門医によるチェック等が容易になるだけでなく、疾患と関連づけられた画像を解析する作業の省略化も図ることができる。
また、本発明の１つ態様のニューラルネットワークを用いた消化器官の内視鏡画像による消化器官の部位の判別システムは、内視鏡画像入力部と、出力部と、ニューラルネットワークが組み込まれたコンピュータと、を有する消化器官の内視鏡画像による消化器官の部位の判別システムであって、前記コンピュータは、消化器官の第１の内視鏡画像を記憶する第１の記憶領域と、前記第１の内視鏡画像に対応する、前記消化器官の撮像された部位に対応する情報の確定情報を記憶する第２の記憶領域と、前記ニューラルネットワークプログラムを記憶する第３の記憶領域と、を備え、前記ニューラルネットワークプログラムは、前記第１の記憶領域に記憶されている前記第１の内視鏡画像と、前記第２の記憶領域に記憶されている確定情報とに基いて訓練されており、前記内視鏡画像入力部から入力された消化器官の第２の内視鏡画像に基いて、前記第２の内視鏡画像に対する消化器官の撮像された部位に対応する情報を前記出力部に出力することを特徴とする。
かかる態様のニューラルネットワークを用いた消化器官の内視鏡画像による消化器官の部位の判別システムによれば、上記ニューラルネットワークを用いた消化器官の内視鏡画像による消化器官の部位の判別方法と同様の効果を奏することができる。
かかる態様のニューラルネットワークを用いた消化器官の内視鏡画像による消化器官の部位の判別方法によれば、ニューラルネットワークが消化器官の第１の内視鏡画像と、前記第１の内視鏡画像に対応する、撮像された部位に対応する情報の確定情報を用いて訓練されているので、短時間で、実質的に内視鏡専門医に匹敵する精度で被験者の撮像された部位に対応する情報を得ることができ、診断対象の消化器官の部位を短時間で判別することができるようになる。しかも、多数の被験者についての複数の消化器官の内視鏡画像からなるテストデータに対する撮像された部位に対応する情報を自動判別することができるため、内視鏡専門医によるチェック等が容易になるだけでなく、疾患と関連づけられた画像を解析する作業の省略化も図ることができる。
また、本発明の１つ態様のニューラルネットワークを用いた消化器官の内視鏡画像による消化器官の部位の判別システムは、内視鏡画像入力部と、出力部と、ニューラルネットワークが組み込まれたコンピュータと、を有する消化器官の内視鏡画像による消化器官の部位の判別システムであって、前記コンピュータは、消化器官の第１の内視鏡画像を記憶する第１の記憶領域と、前記第１の内視鏡画像に対応する、前記消化器官の撮像された部位に対応する情報の確定情報を記憶する第２の記憶領域と、前記ニューラルネットワークプログラムを記憶する第３の記憶領域と、を備え、前記ニューラルネットワークプログラムは、前記第１の記憶領域に記憶されている前記第１の内視鏡画像と、前記第２の記憶領域に記憶されている確定情報とに基いて訓練されており、前記内視鏡画像入力部から入力された消化器官の第２の内視鏡画像に基いて、前記第２の内視鏡画像に対する消化器官の撮像された部位に対応する情報を前記出力部に出力することを特徴とする。
かかる態様のニューラルネットワークを用いた消化器官の内視鏡画像による消化器官の部位の判別システムによれば、上記ニューラルネットワークを用いた消化器官の内視鏡画像による消化器官の部位の判別方法と同様の効果を奏することができる。
本発明の第１の態様の消化器官の内視鏡画像による疾患の診断支援方法は、
ニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法であって、
消化器官の第１の内視鏡画像と、
前記第１の内視鏡画像に対応する、前記消化器官の前記疾患の陽性若しくは陰性、過去の疾患、重症度のレベル、又は、撮像された部位に対応する情報の少なくとも１つの確定診断結果と、
を用いてニューラルネットワークを訓練し、
前記訓練されたニューラルネットワークは、消化器官の第２の内視鏡画像に基いて、当該消化器官の疾患の陽性及び／又は陰性の確率、過去の疾患の確率、疾患の重症度のレベル、又は、撮像された部位に対応する情報の少なくとも１つを出力することを特徴とする。
かかる態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法によれば、ニューラルネットワークが複数の被験者のそれぞれについて予め得られている複数の消化器官の内視鏡画像からなる第１の内視鏡画像と、複数の被験者のそれぞれについて予め得られている前記疾患の陽性若しくは陰性、過去の疾患、重症度のレベル、又は、撮像された部位に対応する情報の少なくとも１つの確定診断結果とに基いて訓練されているので、短時間で、実質的に内視鏡専門医に匹敵する精度で被験者の消化器官の疾患の陽性及び／又は陰性の確率、過去の疾患の確率、疾患の重症度のレベル、又は、撮像された部位に対応する情報のいずれか１つ以上を得ることができ、別途確定診断を行わなければならない被験者を短時間で選別することができるようになる。しかも、多数の被験者についての複数の消化器官の内視鏡画像からなるテストデータに対する疾患の陽性及び／又は陰性の確率、過去の疾患の確率、疾患の重症度のレベル、又は、撮像された部位に対応する情報の少なくとも１つを自動診断することができるため、内視鏡専門医によるチェック／修正が容易になるだけでなく、疾患と関連づけられた画像の集合を作成する作業の省略化も図ることができる。
また、本発明の第２の態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法は、第１の態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法システムにおいて、前記第１の内視鏡画像は、コントラストの調整が行なわれていることを特徴とする。
第２の態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法によれば、全ての第１の内視鏡画像のコントラストが実質的に同一の階調となるように調整されているため、疾患の陽性及び陰性のそれぞれの確率ないし重症度のレベルの検出精度が向上する。
また、本発明の第３の態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法は、第１又は第２の態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法において、前記第１の内視鏡画像は、それぞれが撮像された部位に関連付けられていることを特徴とする。
ニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法であって、
消化器官の第１の内視鏡画像と、
前記第１の内視鏡画像に対応する、前記消化器官の前記疾患の陽性若しくは陰性、過去の疾患、重症度のレベル、又は、撮像された部位に対応する情報の少なくとも１つの確定診断結果と、
を用いてニューラルネットワークを訓練し、
前記訓練されたニューラルネットワークは、消化器官の第２の内視鏡画像に基いて、当該消化器官の疾患の陽性及び／又は陰性の確率、過去の疾患の確率、疾患の重症度のレベル、又は、撮像された部位に対応する情報の少なくとも１つを出力することを特徴とする。
かかる態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法によれば、ニューラルネットワークが複数の被験者のそれぞれについて予め得られている複数の消化器官の内視鏡画像からなる第１の内視鏡画像と、複数の被験者のそれぞれについて予め得られている前記疾患の陽性若しくは陰性、過去の疾患、重症度のレベル、又は、撮像された部位に対応する情報の少なくとも１つの確定診断結果とに基いて訓練されているので、短時間で、実質的に内視鏡専門医に匹敵する精度で被験者の消化器官の疾患の陽性及び／又は陰性の確率、過去の疾患の確率、疾患の重症度のレベル、又は、撮像された部位に対応する情報のいずれか１つ以上を得ることができ、別途確定診断を行わなければならない被験者を短時間で選別することができるようになる。しかも、多数の被験者についての複数の消化器官の内視鏡画像からなるテストデータに対する疾患の陽性及び／又は陰性の確率、過去の疾患の確率、疾患の重症度のレベル、又は、撮像された部位に対応する情報の少なくとも１つを自動診断することができるため、内視鏡専門医によるチェック／修正が容易になるだけでなく、疾患と関連づけられた画像の集合を作成する作業の省略化も図ることができる。
また、本発明の第２の態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法は、第１の態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法システムにおいて、前記第１の内視鏡画像は、コントラストの調整が行なわれていることを特徴とする。
第２の態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法によれば、全ての第１の内視鏡画像のコントラストが実質的に同一の階調となるように調整されているため、疾患の陽性及び陰性のそれぞれの確率ないし重症度のレベルの検出精度が向上する。
また、本発明の第３の態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法は、第１又は第２の態様のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法において、前記第１の内視鏡画像は、それぞれが撮像された部位に関連付けられていることを特徴とする。
Claims (36)
- ニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法であって、
消化器官の第１の内視鏡画像と、
前記第１の内視鏡画像に対応する、前記消化器官の前記疾患の陽性若しくは陰性、過去の疾患、重症度のレベル、又は、撮像された部位に対応する情報の少なくとも１つの確定診断結果と、
を用いてニューラルネットワークを訓練し、
前記訓練されたニューラルネットワークは、消化器官の第２の内視鏡画像に基いて、当該消化器官の疾患の陽性及び／又は陰性の確率、過去の疾患の確率、疾患の重症度のレベル、又は、撮像された部位に対応する情報の少なくとも１つを出力することを特徴とする、ニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法。 - 前記第１の内視鏡画像は、コントラストの調整が行なわれていることを特徴とする、請求項１に記載のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法。
- 前記第１の内視鏡画像は、それぞれが撮像された部位に関連付けられていることを特徴とする、請求項１又は２に記載のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法。
- 前記部位は、咽頭、食道、胃又は十二指腸の少なくとも１つを含むことを特徴とする、請求項３に記載のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法。
- 前記部位は、前記複数の消化器官の少なくとも１つにおいて複数箇所に区分されていることを特徴とする、請求項３又は４に記載のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法。
- 前記部位が胃である場合には、前記区分は、上部胃、中部胃又は下部胃の少なくとも１つを含むことを特徴とする、請求項５に記載のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法。
- 前記部位が胃である場合には、前記区分は、噴門部、胃底部、胃体部、胃角部、前庭部、幽門洞又は幽門部の少なくとも１つを含むことを特徴とする、請求項５に記載のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法。
- 前記撮像された部位における前記第１の内視鏡画像の数が他の部位に比して少ない場合、前記第１の内視鏡画像を回転、拡大、縮小、画素数の変更、明暗部の抽出、又は、色調変化部位の抽出の少なくとも１つを使用することによって、全ての部位における前記第１の内視鏡画像の数が実質的に等しくなるようにされていることを特徴とする、請求項３〜７のいずれか１項に記載のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法。
- 前記訓練されたニューラルネットワークは、前記第２の内視鏡画像が撮像された部位に対応する情報が出力可能とされていることを特徴とする、請求項３〜８のいずれか１項に記載のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法。
- 前記訓練されたニューラルネットワークは、前記確率ないし前記重症度を前記部位に対応する情報とともに出力することを特徴とする、請求項９に記載のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法。
- 前記第１の内視鏡画像は胃内視鏡画像を含み、前記疾患がヘリコバクター・ピロリ感染又はヘリコバクター・ピロリ除菌の有無の少なくとも１つを含むことを特徴とする、請求項１〜１０のいずれか１項に記載のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法。
- 前記第１の内視鏡画像は大腸内視鏡画像を含み、前記疾患が少なくとも潰瘍性大腸炎を含み、前記訓練されたニューラルネットワークは前記潰瘍性大腸炎の重症度に応じた複数の段階に区分して出力することを特徴とする、請求項１〜１０のいずれか１項に記載のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法。
- 前記第１の内視鏡画像は超拡大内視鏡による食道内視鏡画像を含み、前記疾患が食道癌、胃食道逆流症、又は、食道炎の少なくとも１つを含み、前記訓練されたニューラルネットワークは、前記食道癌、胃食道逆流症、又は、食道炎の少なくとも１つを区分して出力することを特徴とする、請求項１〜１０のいずれか１項に記載のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法。
- 前記第２の内視鏡画像は、内視鏡で撮影中の画像、通信ネットワークを経由して送信されてきた画像、遠隔操作システム又はクラウド型システムによって提供される画像、コンピュータ読み取り可能な記録媒体に記録された画像、又は、動画の少なくとも１つであることを特徴とする、請求項１〜１３のいずれか１項に記載のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法。
- 前記ニューラルネットワークとして畳み込みニューラルネットワークを用いることを特徴とする、請求項１〜１４のいずれか１項に記載のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援方法。
- 内視鏡画像入力部と、出力部と、ニューラルネットワークが組み込まれたコンピュータと、を有する消化器官の内視鏡画像による疾患の診断支援システムであって、
前記コンピュータは、
消化器官の第１の内視鏡画像を記憶する第１の記憶領域と、
前記第１の内視鏡画像に対応する、前記消化器官の前記疾患の陽性若しくは陰性、過去の疾患、重症度のレベル、又は、撮像された部位に対応する情報の少なくとも１つの確定診断結果を記憶する第２の記憶領域と、
前記ニューラルネットワークプログラムを記憶する第３の記憶領域と、
を備え、
前記ニューラルネットワークプログラムは、
前記第１の記憶領域に記憶されている前記第１の内視鏡画像と、前記第２の記憶領域に記憶されている確定診断結果とに基いて訓練されており、
前記内視鏡画像入力部から入力された消化器官の第２の内視鏡画像に基いて、前記第２の内視鏡画像に対する消化器官の疾患の陽性及び／又は陰性の確率、過去の疾患の確率、疾患の重症度のレベル、又は、撮像された部位に対応する情報の少なくとも１つを前記出力部に出力することを特徴とする、消化器官の内視鏡画像による疾患の診断支援システム。 - 前記第１の内視鏡画像は、コントラストの調整が行なわれていることを特徴とする、請求項１６に記載の消化器官の内視鏡画像による疾患の診断支援システム。
- 前記第１の内視鏡画像は、それぞれが撮像された部位に関連付けられていることを特徴とする、請求項１６又は１７に記載の消化器官の内視鏡画像による疾患の診断支援システム。
- 前記部位は、咽頭、食道、胃又は十二指腸の少なくとも１つを含むことを特徴とする、請求項１８に記載の消化器官の内視鏡画像による疾患の診断支援システム。
- 前記部位は、前記複数の消化器官の少なくとも１つにおいて複数箇所に区分されていることを特徴とする、請求項１８又は１９に記載の消化器官の内視鏡画像による疾患の診断支援システム。
- 前記部位が胃である場合には、前記区分は、上部胃、中部胃又は下部胃の少なくとも１つを含むことを特徴とする、請求項２０に記載の消化器官の内視鏡画像による疾患の診断支援システム。
- 前記部位が胃である場合には、前記区分は、噴門部、胃底部、胃体部、胃角部、前庭部、幽門洞又は幽門部の少なくとも１つを含むことを特徴とする、請求項２０に記載の消化器官の内視鏡画像による疾患の診断支援システム。
- 前記撮像された部位における前記第１の内視鏡画像の数が他の部位に比して少ない場合には、前記第１の内視鏡画像を回転、拡大、縮小、画素数の変更、明暗部の抽出又は色調変化部位の抽出の少なくとも１つを使用することによって、全ての部位における訓練／検証データの数が実質的に等しくなるようにされていることを特徴とする、請求項１６〜２２のいずれか１項に記載の消化器官の内視鏡画像による疾患の診断支援システム。
- 前記訓練されたニューラルネットワークプログラムは、前記第２の内視鏡画像が撮像された部位に対応する情報が出力可能であることを特徴とする、請求項１６〜２３のいずれか１項に記載の消化器官の内視鏡画像による疾患の診断支援システム。
- 前記訓練されたニューラルネットワークプログラムは、前記確率ないし前記重症度を前記部位に対応する情報とともに出力することを特徴とする、請求項２４に記載の消化器官の内視鏡画像による疾患の診断支援システム。
- 前記第１の内視鏡画像は胃内視鏡画像を含み、前記疾患がヘリコバクター・ピロリ感染又はヘリコバクター・ピロリ除菌の有無の少なくとも１つを含むことを特徴とする、請求項１６〜２５のいずれか１項に記載の消化器官の内視鏡画像による疾患の診断支援システム。
- 前記第１の内視鏡画像は大腸内視鏡画像を含み、前記疾患が少なくとも潰瘍性大腸炎を含み、前記訓練されたニューラルネットワークプログラムは前記潰瘍性大腸炎の重症度に応じた複数の段階に区分して出力することを特徴とする、請求項１６〜２５のいずれか１項に記載のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援システム。
- 前記第１の内視鏡画像は超拡大内視鏡による食道内視鏡画像を含み、前記疾患が食道癌、胃食道逆流症、又は、食道炎の少なくとも１つを含み、前記訓練されたニューラルネットワークは、前記食道癌、胃食道逆流症、又は、食道炎の少なくとも１つを区分して出力することを特徴とする、請求項１６〜２５のいずれか１項に記載のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援システム。
- 前記第２の内視鏡画像は、内視鏡で撮影中の画像、通信ネットワークを経由して送信されてきた画像、遠隔操作システム又はクラウド型システムによって提供される画像、コンピュータ読み取り可能な記録媒体に記録された画像、又は、動画の少なくとも１つであることを特徴とする、請求項１６〜２８のいずれか１項に記載のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援システム。
- 前記ニューラルネットワークが畳み込みニューラルネットワークであることを特徴とする、請求項１６〜２９のいずれか１項に記載のニューラルネットワークを用いた消化器官の内視鏡画像による疾患の診断支援システム。
- 請求項１６〜３０のいずれか１項に記載の消化器官の内視鏡画像による疾患の診断支援システムにおける各手段としてコンピュータを動作させるためのものであることを特徴とする、消化器官の内視鏡画像による診断支援プログラム。
- 請求項３１に記載の消化器官の内視鏡画像による診断支援プログラムを記録したことを特徴とする、コンピュータ読み取り可能な記録媒体。
- ニューラルネットワークを用いた消化器官の内視鏡画像による消化器官の部位の判別方法であって、
消化器官の第１の内視鏡画像と、
前記第１の内視鏡画像に対応する、撮像された部位に対応する情報の確定情報を用いてニューラルネットワークを訓練し、
前記訓練されたニューラルネットワークは、消化器官の第２の内視鏡画像に基いて、当該消化器官の撮像された部位に対応する情報を出力することを特徴とする、ニューラルネットワークを用いた消化器官の内視鏡画像による消化器官の部位の判別方法。 - 内視鏡画像入力部と、出力部と、ニューラルネットワークが組み込まれたコンピュータと、を有する消化器官の内視鏡画像による消化器官の部位の判別システムであって、
前記コンピュータは、
消化器官の第１の内視鏡画像を記憶する第１の記憶領域と、
前記第１の内視鏡画像に対応する、前記消化器官の撮像された部位に対応する情報の確定情報を記憶する第２の記憶領域と、
前記ニューラルネットワークプログラムを記憶する第３の記憶領域と、
を備え、
前記ニューラルネットワークプログラムは、
前記第１の記憶領域に記憶されている前記第１の内視鏡画像と、前記第２の記憶領域に記憶されている確定情報とに基いて訓練されており、
前記内視鏡画像入力部から入力された消化器官の第２の内視鏡画像に基いて、前記第２の内視鏡画像に対する消化器官の撮像された部位に対応する情報を前記出力部に出力することを特徴とする、ニューラルネットワークを用いた消化器官の内視鏡画像による消化器官の部位の判別システム。 - 請求項３４に記載の消化器官の内視鏡画像による消化器官の部位の判別システムにおける各手段として動作させるためのものであることを特徴とする、消化器官の内視鏡画像による消化器官の部位の判別プログラム。
- 請求項３５に記載の消化器官の内視鏡画像による消化器官の部位の判別プログラムを記録したことを特徴とする、コンピュータ読み取り可能な記録媒体。
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017114792 | 2017-06-09 | ||
| JP2017114792 | 2017-06-09 | ||
| JP2017213311 | 2017-11-02 | ||
| JP2017213311 | 2017-11-02 | ||
| JP2019523412A JP6875709B2 (ja) | 2017-06-09 | 2018-05-11 | 消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019523412A Division JP6875709B2 (ja) | 2017-06-09 | 2018-05-11 | 消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2021112593A true JP2021112593A (ja) | 2021-08-05 |
| JP7216376B2 JP7216376B2 (ja) | 2023-02-01 |
Family
ID=64567036
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019523412A Active JP6875709B2 (ja) | 2017-06-09 | 2018-05-11 | 消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体 |
| JP2021069162A Active JP7216376B2 (ja) | 2017-06-09 | 2021-04-15 | 消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体 |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019523412A Active JP6875709B2 (ja) | 2017-06-09 | 2018-05-11 | 消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US11270433B2 (ja) |
| JP (2) | JP6875709B2 (ja) |
| CN (1) | CN111278348A (ja) |
| SG (1) | SG11201911791RA (ja) |
| TW (1) | TW201902411A (ja) |
| WO (1) | WO2018225448A1 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023089718A1 (ja) | 2021-11-18 | 2023-05-25 | 日本電気株式会社 | 情報処理装置、情報処理方法、及び、記録媒体 |
| KR20230097646A (ko) * | 2021-12-24 | 2023-07-03 | 주식회사 인피니트헬스케어 | 위장 질환 및 위암 검출률 향상을 위한 인공 지능 기반 위 내시경 영상 진단 보조 시스템 및 방법 |
Families Citing this family (51)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019088121A1 (ja) * | 2017-10-30 | 2019-05-09 | 公益財団法人がん研究会 | 画像診断支援装置、資料収集方法、画像診断支援方法および画像診断支援プログラム |
| EP3727243B1 (en) | 2017-12-22 | 2023-07-12 | Coloplast A/S | Base plate and sensor assembly of an ostomy system having a leakage sensor |
| US12064369B2 (en) | 2017-12-22 | 2024-08-20 | Coloplast A/S | Processing schemes for an ostomy system, monitor device for an ostomy appliance and related methods |
| WO2019120441A1 (en) | 2017-12-22 | 2019-06-27 | Coloplast A/S | Sensor assembly part and a base plate for an ostomy appliance and a method for manufacturing a sensor assembly part and a base plate |
| JP7348184B2 (ja) | 2017-12-22 | 2023-09-20 | コロプラスト アクティーゼルスカブ | オストミーベースプレート及びセンサ組立体部分のためのヒンジを有する結合部 |
| WO2019157078A1 (en) * | 2018-02-06 | 2019-08-15 | The Regents Of The University Of Michigan | Systems and methods for analysis and remote interpretation of optical histologic images |
| US12029582B2 (en) | 2018-02-20 | 2024-07-09 | Coloplast A/S | Accessory devices of a medical system, and related methods for changing a medical appliance based on future operating state |
| KR102237441B1 (ko) * | 2018-02-28 | 2021-04-07 | 이화여자대학교 산학협력단 | 뉴럴 네트워크를 이용하여 캡슐 내시경 영상으로부터 병변 판독 방법 및 장치 |
| LT3764961T (lt) | 2018-03-15 | 2024-03-25 | Coloplast A/S | Aparatas ir būdai ostomijos prietaiso vartotojo navigacijai į persisirengimo kambarį |
| CN111936032B (zh) * | 2018-04-13 | 2024-03-26 | 富士胶片株式会社 | 图像处理装置、内窥镜系统及图像处理方法 |
| JP7017198B2 (ja) * | 2018-06-22 | 2022-02-08 | 株式会社Ａｉメディカルサービス | 消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体 |
| EP3853616A4 (en) * | 2018-09-20 | 2021-11-17 | Siemens Healthcare Diagnostics, Inc. | HYPOTHESIS AND VERIFICATION NETWORKS AND PROCEDURES FOR SAMPLE CLASSIFICATION |
| KR102210806B1 (ko) * | 2018-10-02 | 2021-02-01 | 한림대학교 산학협력단 | 위 내시경 이미지의 딥러닝을 이용하여 위 병변을 진단하는 장치 및 방법 |
| CN109523522B (zh) | 2018-10-30 | 2023-05-09 | 腾讯医疗健康(深圳)有限公司 | 内窥镜图像的处理方法、装置、系统及存储介质 |
| AU2019409410A1 (en) | 2018-12-20 | 2021-07-15 | Coloplast A/S | Ostomy condition classification with image data transformation, devices and related methods |
| CN113260341A (zh) * | 2018-12-20 | 2021-08-13 | 科洛普拉斯特公司 | 利用掩蔽进行造口术状况分类的装置和相关方法 |
| JPWO2020162275A1 (ja) | 2019-02-08 | 2021-12-02 | 富士フイルム株式会社 | 医療画像処理装置、内視鏡システム、及び医療画像処理方法 |
| WO2020170791A1 (ja) * | 2019-02-19 | 2020-08-27 | 富士フイルム株式会社 | 医療画像処理装置及び方法 |
| WO2020174778A1 (ja) * | 2019-02-28 | 2020-09-03 | 富士フイルム株式会社 | 超音波内視鏡システムおよび超音波内視鏡システムの作動方法 |
| TWI711050B (zh) * | 2019-03-12 | 2020-11-21 | 宏碁股份有限公司 | 醫療影像辨識裝置及醫療影像辨識方法 |
| CN112566540B (zh) * | 2019-03-27 | 2023-12-19 | Hoya株式会社 | 内窥镜用处理器、信息处理装置、内窥镜系统、程序以及信息处理方法 |
| US11779222B2 (en) * | 2019-07-10 | 2023-10-10 | Compal Electronics, Inc. | Method of and imaging system for clinical sign detection |
| JP7477269B2 (ja) * | 2019-07-19 | 2024-05-01 | 株式会社ニコン | 学習装置、判定装置、顕微鏡、学習済みモデル、及びプログラム |
| WO2021020187A1 (ja) * | 2019-07-26 | 2021-02-04 | 知明 久慈 | 医療システム、医療デバイス及び医療プログラム |
| CN110495847B (zh) | 2019-08-23 | 2021-10-08 | 重庆天如生物科技有限公司 | 基于深度学习的消化道早癌辅助诊断系统和检查装置 |
| TWI709147B (zh) * | 2019-10-16 | 2020-11-01 | 中國醫藥大學附設醫院 | 基於全身骨掃描影像之深度學習攝護腺癌骨轉移辨識系統 |
| WO2021086719A1 (en) * | 2019-10-31 | 2021-05-06 | Siemens Healthcare Diagnostics Inc. | Methods and apparatus for protecting patient information during characterization of a specimen in an automated diagnostic analysis system |
| CN114945315A (zh) * | 2020-01-20 | 2022-08-26 | 富士胶片株式会社 | 医疗图像处理装置、医疗图像处理装置的动作方法、及内窥镜系统 |
| WO2021157392A1 (ja) * | 2020-02-07 | 2021-08-12 | 富士フイルム株式会社 | 画像処理装置、内視鏡システム、及び画像処理方法 |
| US11232570B2 (en) * | 2020-02-13 | 2022-01-25 | Olympus Corporation | System and method for diagnosing severity of gastritis |
| WO2021166749A1 (ja) * | 2020-02-18 | 2021-08-26 | ソニー・オリンパスメディカルソリューションズ株式会社 | 学習装置及び医療用画像処理装置 |
| CN111353547B (zh) * | 2020-03-06 | 2023-07-04 | 重庆金山医疗技术研究院有限公司 | 一种基于深度学习的图片处理方法、设备及系统 |
| JP7451680B2 (ja) * | 2020-03-11 | 2024-03-18 | オリンパス株式会社 | 処理システム、画像処理方法、学習方法及び処理装置 |
| US20230162356A1 (en) * | 2020-04-10 | 2023-05-25 | Japanese Foundation For Cancer Research | Diagnostic imaging device, diagnostic imaging method, diagnostic imaging program, and learned model |
| CN115460968A (zh) | 2020-04-27 | 2022-12-09 | 公益财团法人癌研究会 | 图像诊断装置、图像诊断方法、图像诊断程序和学习完毕模型 |
| US11478124B2 (en) * | 2020-06-09 | 2022-10-25 | DOCBOT, Inc. | System and methods for enhanced automated endoscopy procedure workflow |
| KR102492463B1 (ko) * | 2020-06-24 | 2023-01-27 | 주식회사 뷰노 | 병변 판독 결과 표시 방법 |
| US20230289926A1 (en) * | 2020-07-06 | 2023-09-14 | Aillis Inc. | Processing device, processing program, processing method, and processing system |
| CN116324572A (zh) * | 2020-10-09 | 2023-06-23 | 富士胶片株式会社 | 医疗图像处理装置及其工作方法 |
| US11100373B1 (en) | 2020-11-02 | 2021-08-24 | DOCBOT, Inc. | Autonomous and continuously self-improving learning system |
| CN112508827B (zh) * | 2020-11-06 | 2022-04-22 | 中南大学湘雅医院 | 一种基于深度学习的融合多场景的危及器官的分割方法 |
| CN112396591A (zh) * | 2020-11-25 | 2021-02-23 | 暨南大学附属第一医院（广州华侨医院） | 一种基于腰椎x线图像的骨质疏松智能评估方法 |
| TWI767456B (zh) * | 2020-12-18 | 2022-06-11 | 陳階曉 | 黃疸分析系統及其方法 |
| CN113539476A (zh) * | 2021-06-02 | 2021-10-22 | 复旦大学 | 基于人工智能的胃内窥活检拉曼图像辅助诊断方法和系统 |
| CN113610847B (zh) * | 2021-10-08 | 2022-01-04 | 武汉楚精灵医疗科技有限公司 | 一种白光模式下胃部标志物评估方法及系统 |
| CN113989284B (zh) * | 2021-12-29 | 2022-05-10 | 广州思德医疗科技有限公司 | 一种幽门螺杆菌辅助检测系统及检测装置 |
| CN114664410B (zh) * | 2022-03-11 | 2022-11-08 | 北京医准智能科技有限公司 | 一种基于视频的病灶分类方法、装置、电子设备及介质 |
| US12062169B2 (en) | 2022-04-25 | 2024-08-13 | Hong Kong Applied Science and Technology Research Institute Company Limited | Multi-functional computer-aided gastroscopy system optimized with integrated AI solutions and method |
| WO2024075240A1 (ja) * | 2022-10-06 | 2024-04-11 | 日本電気株式会社 | 画像処理装置、画像処理方法及び記憶媒体 |
| WO2024142290A1 (ja) * | 2022-12-27 | 2024-07-04 | 日本電気株式会社 | 画像処理装置、画像処理方法及び記憶媒体 |
| CN116012367B (zh) * | 2023-02-14 | 2023-09-12 | 山东省人工智能研究院 | 一种基于深度学习的胃部胃黏膜特征及位置识别方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002165757A (ja) * | 2000-11-30 | 2002-06-11 | Olympus Optical Co Ltd | 診断支援装置 |
| JP2009095644A (ja) * | 2007-04-12 | 2009-05-07 | Fujifilm Corp | 画像認識結果判定装置、方法、およびプログラム |
| US7599533B2 (en) * | 2002-12-05 | 2009-10-06 | Olympus Corporation | Image processing system and image processing method |
| US8285016B2 (en) * | 2006-04-17 | 2012-10-09 | Olympus Medical System Corp. | Endoscope insertion direction detecting device and endoscope insertion direction detecting method |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5831901B2 (ja) | 2011-11-28 | 2015-12-09 | 国立大学法人大阪大学 | 誘導ラマン散乱顕微鏡 |
| WO2016094330A2 (en) | 2014-12-08 | 2016-06-16 | 20/20 Genesystems, Inc | Methods and machine learning systems for predicting the liklihood or risk of having cancer |
| CN104732243B (zh) | 2015-04-09 | 2018-04-17 | 西安电子科技大学 | 基于cnn的sar目标识别方法 |
| WO2017027475A1 (en) * | 2015-08-07 | 2017-02-16 | Jianming Liang | Methods, systems, and media for simultaneously monitoring colonoscopic video quality and detecting polyps in colonoscopy |
| JP6528608B2 (ja) | 2015-08-28 | 2019-06-12 | カシオ計算機株式会社 | 診断装置、及び診断装置における学習処理方法、並びにプログラム |
| WO2017042812A2 (en) * | 2015-09-10 | 2017-03-16 | Magentiq Eye Ltd. | A system and method for detection of suspicious tissue regions in an endoscopic procedure |
| JP6545591B2 (ja) | 2015-09-28 | 2019-07-17 | 富士フイルム富山化学株式会社 | 診断支援装置、方法及びコンピュータプログラム |
| US10482313B2 (en) * | 2015-09-30 | 2019-11-19 | Siemens Healthcare Gmbh | Method and system for classification of endoscopic images using deep decision networks |
| JP6656357B2 (ja) * | 2016-04-04 | 2020-03-04 | オリンパス株式会社 | 学習方法、画像認識装置およびプログラム |
| CN205665697U (zh) | 2016-04-05 | 2016-10-26 | 陈进民 | 基于细胞神经网络或卷积神经网络的医学影像识别诊断系统 |
| CN106372390B (zh) | 2016-08-25 | 2019-04-02 | 汤一平 | 一种基于深度卷积神经网络的预防肺癌自助健康云服务系统 |
| CN110049709B (zh) * | 2016-12-07 | 2022-01-11 | 奥林巴斯株式会社 | 图像处理装置 |
| US10806334B2 (en) * | 2017-02-28 | 2020-10-20 | Verily Life Sciences Llc | System and method for multiclass classification of images using a programmable light source |
-
2018
- 2018-05-11 CN CN201880037797.9A patent/CN111278348A/zh active Pending
- 2018-05-11 SG SG11201911791RA patent/SG11201911791RA/en unknown
- 2018-05-11 JP JP2019523412A patent/JP6875709B2/ja active Active
- 2018-05-11 WO PCT/JP2018/018316 patent/WO2018225448A1/ja active Application Filing
- 2018-05-11 TW TW107116169A patent/TW201902411A/zh unknown
- 2018-05-11 US US16/620,861 patent/US11270433B2/en active Active
-
2021
- 2021-04-15 JP JP2021069162A patent/JP7216376B2/ja active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002165757A (ja) * | 2000-11-30 | 2002-06-11 | Olympus Optical Co Ltd | 診断支援装置 |
| US7599533B2 (en) * | 2002-12-05 | 2009-10-06 | Olympus Corporation | Image processing system and image processing method |
| US8285016B2 (en) * | 2006-04-17 | 2012-10-09 | Olympus Medical System Corp. | Endoscope insertion direction detecting device and endoscope insertion direction detecting method |
| JP2009095644A (ja) * | 2007-04-12 | 2009-05-07 | Fujifilm Corp | 画像認識結果判定装置、方法、およびプログラム |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023089718A1 (ja) | 2021-11-18 | 2023-05-25 | 日本電気株式会社 | 情報処理装置、情報処理方法、及び、記録媒体 |
| KR20230097646A (ko) * | 2021-12-24 | 2023-07-03 | 주식회사 인피니트헬스케어 | 위장 질환 및 위암 검출률 향상을 위한 인공 지능 기반 위 내시경 영상 진단 보조 시스템 및 방법 |
| KR102714219B1 (ko) | 2021-12-24 | 2024-10-08 | 주식회사 인피니트헬스케어 | 위장 질환 및 위암 검출률 향상을 위한 인공 지능 기반 위 내시경 영상 진단 보조 시스템 및 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| JPWO2018225448A1 (ja) | 2020-07-30 |
| SG11201911791RA (en) | 2020-01-30 |
| US11270433B2 (en) | 2022-03-08 |
| WO2018225448A1 (ja) | 2018-12-13 |
| JP7216376B2 (ja) | 2023-02-01 |
| JP6875709B2 (ja) | 2021-05-26 |
| CN111278348A (zh) | 2020-06-12 |
| TW201902411A (zh) | 2019-01-16 |
| US20200279368A1 (en) | 2020-09-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6875709B2 (ja) | 消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体 | |
| JP7037220B2 (ja) | 消化器官の内視鏡画像による疾患の診断支援システム、診断支援システムの作動方法、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体 | |
| JP7017198B2 (ja) | 消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体 | |
| JP6657480B2 (ja) | 画像診断支援装置、画像診断支援装置の作動方法および画像診断支援プログラム | |
| Cai et al. | Using a deep learning system in endoscopy for screening of early esophageal squamous cell carcinoma (with video) | |
| Chen et al. | Accurate classification of diminutive colorectal polyps using computer-aided analysis | |
| EP3811845A1 (en) | Method of assisting disease diagnosis based on endoscope image of digestive organ, diagnosis assistance system, diagnosis assistance program, and computer-readable recording medium having said diagnosis assistance program stored thereon | |
| WO2021054477A2 (ja) | 消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体 | |
| JP7476800B2 (ja) | 医療支援システム、医療支援装置及び医療支援方法 | |
| TW200532523A (en) | Methods and systems for predicting occurrence of an event | |
| JP7550409B2 (ja) | 画像診断装置、画像診断方法、および画像診断プログラム | |
| US20230206435A1 (en) | Artificial intelligence-based gastroscopy diagnosis supporting system and method for improving gastrointestinal disease detection rate | |
| Saraiva et al. | Artificial intelligence and high-resolution anoscopy: automatic identification of anal squamous cell carcinoma precursors using a convolutional neural network | |
| Nawab et al. | A Review of Applications of Artificial Intelligence in Gastroenterology | |
| JP2023079866A (ja) | 超拡大内視鏡による胃癌の検査方法、診断支援方法、診断支援システム、診断支援プログラム、学習済みモデル及び画像診断支援装置 | |
| Oğuz et al. | Weighted ensemble deep learning approach for classification of gastrointestinal diseases in colonoscopy images Aided by explainable AI |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210514 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210514 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220426 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220510 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20220708 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220906 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20220915 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20221109 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221220 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230112 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7216376 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |