JP2023079866A - 超拡大内視鏡による胃癌の検査方法、診断支援方法、診断支援システム、診断支援プログラム、学習済みモデル及び画像診断支援装置 - Google Patents
超拡大内視鏡による胃癌の検査方法、診断支援方法、診断支援システム、診断支援プログラム、学習済みモデル及び画像診断支援装置 Download PDFInfo
- Publication number
- JP2023079866A JP2023079866A JP2021193544A JP2021193544A JP2023079866A JP 2023079866 A JP2023079866 A JP 2023079866A JP 2021193544 A JP2021193544 A JP 2021193544A JP 2021193544 A JP2021193544 A JP 2021193544A JP 2023079866 A JP2023079866 A JP 2023079866A
- Authority
- JP
- Japan
- Prior art keywords
- image
- endoscopic
- lesion
- diagnosis support
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003745 diagnosis Methods 0.000 title claims abstract description 98
- 238000000034 method Methods 0.000 title claims abstract description 46
- 208000005718 Stomach Neoplasms Diseases 0.000 title claims abstract description 38
- 206010017758 gastric cancer Diseases 0.000 title claims abstract description 38
- 201000011549 stomach cancer Diseases 0.000 title claims abstract description 38
- 238000007689 inspection Methods 0.000 title claims abstract description 8
- 238000013528 artificial neural network Methods 0.000 claims abstract description 27
- 238000010276 construction Methods 0.000 claims abstract description 17
- 238000010801 machine learning Methods 0.000 claims abstract description 8
- 230000003902 lesion Effects 0.000 claims description 74
- 210000004088 microvessel Anatomy 0.000 claims description 30
- 230000003287 optical effect Effects 0.000 claims description 21
- 238000003384 imaging method Methods 0.000 claims description 20
- 238000012545 processing Methods 0.000 claims description 19
- 238000001839 endoscopy Methods 0.000 claims description 16
- 201000010099 disease Diseases 0.000 claims description 15
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims description 15
- 230000002496 gastric effect Effects 0.000 claims description 12
- 238000004458 analytical method Methods 0.000 claims description 11
- 230000001788 irregular Effects 0.000 claims description 11
- 210000002784 stomach Anatomy 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 8
- 238000004891 communication Methods 0.000 claims description 2
- 208000018556 stomach disease Diseases 0.000 claims 1
- 206010028980 Neoplasm Diseases 0.000 abstract description 32
- 201000011510 cancer Diseases 0.000 abstract description 20
- 230000035945 sensitivity Effects 0.000 abstract description 9
- 210000004204 blood vessel Anatomy 0.000 abstract description 2
- 238000013473 artificial intelligence Methods 0.000 description 18
- 238000011161 development Methods 0.000 description 12
- 238000012549 training Methods 0.000 description 10
- 238000010200 validation analysis Methods 0.000 description 10
- 238000012360 testing method Methods 0.000 description 9
- 238000012323 Endoscopic submucosal dissection Methods 0.000 description 8
- 210000001519 tissue Anatomy 0.000 description 8
- 238000002059 diagnostic imaging Methods 0.000 description 5
- 230000008029 eradication Effects 0.000 description 5
- 210000002569 neuron Anatomy 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000003860 storage Methods 0.000 description 5
- 206010019375 Helicobacter infections Diseases 0.000 description 4
- XSQUKJJJFZCRTK-UHFFFAOYSA-N Urea Chemical compound NC(N)=O XSQUKJJJFZCRTK-UHFFFAOYSA-N 0.000 description 4
- 239000004202 carbamide Substances 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 238000002405 diagnostic procedure Methods 0.000 description 4
- 238000012326 endoscopic mucosal resection Methods 0.000 description 4
- 208000015181 infectious disease Diseases 0.000 description 4
- 238000012216 screening Methods 0.000 description 4
- 238000010186 staining Methods 0.000 description 4
- 238000002560 therapeutic procedure Methods 0.000 description 4
- 238000012327 Endoscopic diagnosis Methods 0.000 description 3
- 241000590002 Helicobacter pylori Species 0.000 description 3
- 108010047320 Pepsinogen A Proteins 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 3
- 230000007717 exclusion Effects 0.000 description 3
- 210000001156 gastric mucosa Anatomy 0.000 description 3
- 229940037467 helicobacter pylori Drugs 0.000 description 3
- 210000003097 mucus Anatomy 0.000 description 3
- 208000003200 Adenoma Diseases 0.000 description 2
- 208000000461 Esophageal Neoplasms Diseases 0.000 description 2
- 238000000729 Fisher's exact test Methods 0.000 description 2
- 238000005452 bending Methods 0.000 description 2
- 239000008280 blood Substances 0.000 description 2
- 210000004369 blood Anatomy 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 210000001035 gastrointestinal tract Anatomy 0.000 description 2
- 238000002575 gastroscopy Methods 0.000 description 2
- 238000003780 insertion Methods 0.000 description 2
- 230000037431 insertion Effects 0.000 description 2
- 230000009545 invasion Effects 0.000 description 2
- 230000001575 pathological effect Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000007619 statistical method Methods 0.000 description 2
- RBTBFTRPCNLSDE-UHFFFAOYSA-N 3,7-bis(dimethylamino)phenothiazin-5-ium Chemical compound C1=CC(N(C)C)=CC2=[S+]C3=CC(N(C)C)=CC=C3N=C21 RBTBFTRPCNLSDE-UHFFFAOYSA-N 0.000 description 1
- 206010001233 Adenoma benign Diseases 0.000 description 1
- 206010009944 Colon cancer Diseases 0.000 description 1
- 208000001333 Colorectal Neoplasms Diseases 0.000 description 1
- 208000012895 Gastric disease Diseases 0.000 description 1
- 108090001072 Gastricsin Proteins 0.000 description 1
- 102000001554 Hemoglobins Human genes 0.000 description 1
- 108010054147 Hemoglobins Proteins 0.000 description 1
- 238000001347 McNemar's test Methods 0.000 description 1
- 206010030155 Oesophageal carcinoma Diseases 0.000 description 1
- 208000025865 Ulcer Diseases 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000001574 biopsy Methods 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 208000029742 colonic neoplasm Diseases 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000000875 corresponding effect Effects 0.000 description 1
- 239000013078 crystal Substances 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 201000004101 esophageal cancer Diseases 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 230000008595 infiltration Effects 0.000 description 1
- 238000001764 infiltration Methods 0.000 description 1
- 210000004969 inflammatory cell Anatomy 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 230000003211 malignant effect Effects 0.000 description 1
- 229960000907 methylthioninium chloride Drugs 0.000 description 1
- 201000011591 microinvasive gastric cancer Diseases 0.000 description 1
- 230000003843 mucus production Effects 0.000 description 1
- 238000000491 multivariate analysis Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 210000004798 organs belonging to the digestive system Anatomy 0.000 description 1
- 238000010827 pathological analysis Methods 0.000 description 1
- 230000007170 pathology Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000010837 poor prognosis Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000002271 resection Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000007447 staining method Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000004083 survival effect Effects 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000007473 univariate analysis Methods 0.000 description 1
- 210000000264 venule Anatomy 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Landscapes
- Endoscopes (AREA)
Abstract
【課題】EC-NBI(狭帯域光観察併用超拡大内視鏡)による胃癌の診断体系を確立し、効率的かつ診断性能の良い検査方法、及びAIによる学習モデルを用いた胃癌の内視鏡画像による診断支援方法、診断支援システム、診断支援プログラム及び学習済みモデルを提供する。【解決手段】EC-NBIにより撮像された超拡大狭帯域光観察画像D1において、微小血管構築像パターンのみにより胃癌の有無を判定する。これにより、経験の浅い内視鏡医であっても、精度、感度が良く判定することができる。さらに、AIによる機械学習、特にニューラルネットワークを用いた学習済みデータに基づいて観察画像の癌あるいは非癌を判定し、出力する画像診断支援システムを構築する。【選択図】図3
Description
本発明は狭帯域光観察併用超拡大内視鏡を用いた胃癌の検査方法、及びArtificial Intelligence(AI)を用いた胃癌の内視鏡画像による診断支援方法、診断支援システム、診断支援プログラム、及び学習済みモデルに関する。
近年内視鏡機器の進歩により、胃癌は早期発見率が向上し、死亡率が減少しているが、依然として罹患率、死亡率ともに高い癌の一つである。進行胃癌は予後不良であるが、早期に発見することができれば、5年生存率は90%以上であり、治療成績の良い腫瘍である。しかし、早期胃癌は自覚症状がほとんどないことから、検診による発見が重要となっている。
胃内視鏡検査は、複数の観察研究において死亡率減少効果を示す相応な証拠があることが確認され、厚生労働省は、対策型胃癌検診として、胃部X線検査(バリウム検査)の他に胃内視鏡検査が選択できるとされている。そのため、年々胃内視鏡による検診数も増加し、内視鏡による検査、診断の重要性が増している。胃癌の内視鏡検査は、胃の粘膜を直接観察することができるため、微小な病変の発見に優れ、検査と同時に組織の一部を採取し、病理検査による診断の確定を行うことができる。また、早期であれば内視鏡的粘膜切除術(EMR)又は内視鏡的粘膜下層剥離術(ESD)による切除が可能であり、侵襲性が小さく胃を温存することが可能であり、QOLの向上を期待できる。
消化管に発生する腫瘍に対して行う内視鏡検査は、これまでは白色光(通常光)を使って観察し、腫瘍の存在診断を行うとともに、腫瘍と非腫瘍を鑑別する質的診断、腫瘍の深さ、範囲の診断を行う量的・範囲診断が行われてきた。近年、NBI(Narrow Band Imaging(登録商標):狭帯域光観察)を行うことにより、質的診断、量的診断、範囲診断をより正確に行うことができるようになってきた。
NBIは、血液中のヘモグロビンに吸収されやすい狭帯域化された2つの波長の光を照射することによって、粘膜表面の毛細血管、粘膜微細模様が強調して表示される。癌領域では血管走行が周辺部とは異なることから、NBIを用いることによって、より正確に診断を行うことができる。狭帯域光観察併用拡大内視鏡(Magnifying endoscopy with narrow-band imaging:ME-NBI)を用いることにより、その診断精度の向上が報告されており、現在の標準検査となっている(非特許文献1、2)。すなわち、現行では非拡大白色光、あるいは非拡大NBIで検査を行い、異常所見らしきところが見つかった場合には、拡大して(ME-NBI)検査を行うのが標準検査とされている。
さらに近年、超拡大内視鏡(Endocytoscopy:EC)が開発された。従来の拡大内視鏡の拡大率は80~100倍程度の拡大率であるのに対し、ECは400~500倍程度まで拡大観察可能である。ECの拡大倍率は病理診断における顕微鏡と同等であることから、メチレンブルー、クリスタルバイオレットによる染色法を用いることで、細胞や核の形状を観察することができる。そのため、生検せずに診断を行うことが可能となり、食道癌や大腸癌の診断において、その有用性が報告されている(非特許文献3~7)。胃においても、染色法による胃癌の診断の報告はあるものの、胃は粘液産生が多く、染色がまばらになってしまい、染色に時間を要し、さらに染色刺激により粘液産生が助長され、病変が不明瞭となる問題点が指摘されている(非特許文献8、9)。
最近、本願発明者のグループは、胃癌においてME-NBIによる診断性能とEC-NBI(狭帯域光観察併用超拡大内視鏡)による診断性能の比較検討を行い報告している(非特許文献10)。日本消化器内視鏡学会は、胃の内視鏡検査のME-NBIによる診断ガイドラインとして微小血管構築像(microvascular)及び表面微細構造(microsurface)による分類(Vessel Plus Surface classification、以下VS分類と記載する。)に基づく診断体系を提唱しているが、EC-NBIを用いた診断体系は構築されていない。本願発明者は、EC-NBIにVS分類を適用し、その診断性能を解析した。106症例について経験の異なる61名の内視鏡医がVS分類により診断した結果、正診率、感度、陰性的中率においては優位にEC-NBIの診断性能の方がME-NBIに比べ高いことが示された。この結果を踏まえると、胃の内視鏡検査は、染色による刺激が誘発する胃粘膜からの粘液産生を回避するために、食道癌や大腸癌の場合のように染色を行わずに検査をすること、さらに、ME-NBIの診断体系であるVS分類を用いればEC-NBIによっても診断性能が高い検査を行えることを示している。
しかしながら、EC-NBIを用いた胃癌の診断方法が確立したわけではなく、現時点では日常診療で一般化しておらず、感度、精度、特異度に優れ、より簡便な汎用性の高い診断方法の確立が望まれる。一方で、集団検診において胃部エックス線検査に代えて、胃内視鏡検査が選択できる自治体が増加し、胃の内視鏡による検査数が増加してきていることから、内視鏡医の経験によらず、的確な診断を行うことができるように、画像認識能力が高いAIを利用した診断支援方法の構築が報告されている(特許文献1~3)。さらに、ディープラーニングを用いたAIは様々な医療分野で注目されているが、内視鏡診断においても、診断支援方法が構築され、臨床現場での試験が行われている。AIによる診断支援によって、内視鏡専門医の経験や、種々の要因により偽陽性判断及び偽陰性判断を生じる可能性を低減し、高い診断精度が得られる可能性がある。そこで、もしAIによるEC-NBI診断が可能となれば、大きな啓蒙効果が期待でき、EC-NBIの日常診療における一般化が加速すると考えられる。よって、胃癌の早期発見のためにも、EC-NBIによる検査方法の確立と、AIによるEC-NBI診断の臨床現場への導入が望まれる。
Ezoe Y., et al., 2011, Gastroenterology, Vol. 141, pp.2017-2025.
Yao K. et al., 2009, Endoscopy, Vol.41, pp.462-467.
Kumagai Y. et al., 2004, Endoscopy. Vol.36, pp.590-594.
Inoue H., et al., 2004, Gastrointest Endosc. Clin. N. Am., Vol.14,pp.589-594.
KumagaiY., et al., 2017, Endoscopy, Vol.49, pp.176-180.
Sasajima K., et al., 2006, Gastrointest. Endosc. Vol.63, pp.1010-1017.
Sako T., et al., 2018, Endoscopy, Vol.50, pp.69-74.
Kaise M. et al., 2015, Endoscopy, Vol.47, pp.19-25.
Abad M.R.A., et al., 2020, Transl. Gastroenterol. Hepatol., 5: 28.doi:10.21037/tgh.2019.11.12
HoriuchiY., et al., 2020, Gastric Cancer, DOI:10.1007/s10120-020-01125-w
日本胃癌学会、胃癌治療ガイドライン 2018、第5版、Gastric Cancer.2020, https://doi.org/10.1007/s10120-020-01042-y
Muto M., et al. 2016, Dig. Endosc. Vol.28, pp.379-393.
Nakanishi H., et al. 2017, Endoscopy. Vol.49, pp.957-967.
上述のように、EC-NBIを用いた胃癌の診断体系については本願発明者の報告はあるものの、検証がされているわけではなく、診断方法が確立しているとはいい難い。非特許文献10においても、ME-NBIで用いている診断基準であるVS分類をそのまま用いて診断を行っており、診断体系を検証しているわけではない。ME-NBIに比べて、EC-NBIはより高い拡大倍率で画像を観察することができることから、ME-NBIとは異なる診断体系が必要となる可能性がある。EC-NBIに特化した新しい胃癌の診断体系の開発と評価を行い、EC-NBIによる胃癌の検査方法を提供することを課題とする。
また、特許文献1~3に記載の方法は、AIを用いた消化器管の診断に関する発明であるが、胃のEC-NBIに特化した方法ではない。そのため、これらの方法をそのままEC-NBIを用いた胃癌に適用することはできない。消化器官とはいえ、器官毎に、あるいは内視鏡の種類毎に確立された診断体系があり、それに基づく診断支援方法が存在する。EC-NBIによって撮像した胃の画像を用いてAIを用いた診断技術が確立すれば、多くの被験者を検査する必要のある人間ドックなどにおける検診でも精度良く、かつ効率的に検査を行うことができる。その結果、胃癌の早期発見に寄与するものと考えられる。本発明は、EC-NBI画像による新しい診断体系に基づいたAIを用いた診断支援方法を提供することを課題とする。
EC-NBIを用いた胃癌の新しい診断体系を確立したことによる胃癌の検査方法に関する。さらに、AIを用いた胃癌の診断支援方法、診断支援システム、診断支援プログラム、学習済みモデル及び画像診断支援装置に関する。
本発明の一態様は、
EC-NBI(狭帯域光観察併用超拡大内視鏡)によって撮像された胃狭帯域光拡大内視鏡観察画像であって、
微小血管構築像パターンを微小血管構築像パターンの典型画像と比較され、
胃癌の有無を判定されることを特徴とする検査方法である。
EC-NBI(狭帯域光観察併用超拡大内視鏡)によって撮像された胃狭帯域光拡大内視鏡観察画像であって、
微小血管構築像パターンを微小血管構築像パターンの典型画像と比較され、
胃癌の有無を判定されることを特徴とする検査方法である。
また、他の態様では、EC-NBIを用いた胃の疾患の診断方法であって、非拡大内視鏡画像で観察し、異常所見が認められる箇所において、EC-NBIに切り替えて撮像を行い、微小血管構築像により疾患の有無を判断する診断方法である。さらに、上記診断に基づいて、内視鏡的粘膜切除術(EMR)、内視鏡的粘膜下層剥離術(ESD)、又は外科的手術によって処置することを特徴とする治療方法である。
1.診断体系の確立
[内視鏡手技について]
以下に示すように、本実施態様で示す診断体系を使用することによって、経験の浅い内視鏡医であっても熟練した内視鏡医とほぼ同等の診断能力を示す。したがって、胃癌患者のEC-NBIによる内視鏡診断は、胃癌の疑いのある場合はもちろん、人間ドックなどの検診において、胃癌のスクリーニング検査に用いる方法としても非常に有用である。
[内視鏡手技について]
以下に示すように、本実施態様で示す診断体系を使用することによって、経験の浅い内視鏡医であっても熟練した内視鏡医とほぼ同等の診断能力を示す。したがって、胃癌患者のEC-NBIによる内視鏡診断は、胃癌の疑いのある場合はもちろん、人間ドックなどの検診において、胃癌のスクリーニング検査に用いる方法としても非常に有用である。
EC-NBIを使用した胃癌の検査、診断における内視鏡の操作は、通常の内視鏡やME-NBIと同様に、検査対象者にマウスピースをくわえさせ、内視鏡を経口的に挿入し、湾曲部の湾曲操作、内視鏡の挿入操作を適宜行いながら、挿入開始から、挿入最深部まで観察、診断を行う。一般にEC-NBIで検査を行う場合、非拡大(白色光による観察画像)、あるいは非拡大NBIで検査を行い、異常所見と思われる箇所が見つかった場合には、胃粘膜に対物レンズを接触させ、操作部のズームレバーを操作して観察に適した倍率に拡大する。その際に、白色光で観察していた場合には、NBIに切り替えて観察し診断を行う。また、粘液が対物レンズに付着して観察が困難になった場合には、送気・送ガスボタン、送ガス・送水ボタン等を使用して対物レンズや観察領域の洗浄を行う。操作部のリモートスイッチを押すことにより画像を撮影、記録することができる。ここでは撮像した画像について検討を行っているが、撮像と同時に以下に記載するAIを用いた診断支援方法を利用しても良い。
[検討方法]
レトロスペクティブな単施設観察研究により検討を行った。2016年7月から2019年7月までに、一人の施行医が内視鏡検査及び内視鏡的粘膜下層剥離(ESD)を担当した114の連続症例における、118病変の情報を電子カルテから抽出し評価対象とした。EC-NBIによる検査、撮像は治療日直前(治療日と同日)に実施した。なお、調査解析は機関内倫理委員会(IRB)承認を経て行われ、ヘルシンキ宣言およびその後の改正の原則に従って実施した。この調査のデータを記録している間、すべての個人識別情報は削除し、病理標本と研究目的での画像データの使用に関するインフォームドコンセントは、各患者から得ている。
レトロスペクティブな単施設観察研究により検討を行った。2016年7月から2019年7月までに、一人の施行医が内視鏡検査及び内視鏡的粘膜下層剥離(ESD)を担当した114の連続症例における、118病変の情報を電子カルテから抽出し評価対象とした。EC-NBIによる検査、撮像は治療日直前(治療日と同日)に実施した。なお、調査解析は機関内倫理委員会(IRB)承認を経て行われ、ヘルシンキ宣言およびその後の改正の原則に従って実施した。この調査のデータを記録している間、すべての個人識別情報は削除し、病理標本と研究目的での画像データの使用に関するインフォームドコンセントは、各患者から得ている。
[画像の規準]
症例画像とデータは電子カルテから抽出した。
適格基準
(1)治療と同日にEC-NBI画像を撮影していること
(2)EC-NBI画像は、癌領域と非癌領域の境界が容易に定義できるように、癌領域の口腔側に隣接する非癌領域をカバーしていること
除外基準
(1)EC-NBIで画像が得られなかった症例
(2)粘液、血液、ハレーションなどで画像が不明瞭な症例
(3)腺腫などの境界病変
ESD後の病理検査結果をゴールドスタンダードとし、胃癌治療ガイドライン 第5版(非特許文献11)に基づき、全例で癌領域と非癌領域の確認を行った。また、すべての画像は日本消化器内視鏡学会指導医1名が選定した。さらにその画像をもう一人の日本消化器内視鏡学会指導医が適格規準、除外規準を満たしているか確認を行った。EC-NBIには、GIF-Y0002及びGIF-H290ECエンドサイトスコープ(いずれもOLYMPUS Medical Systems)を使用した。
症例画像とデータは電子カルテから抽出した。
適格基準
(1)治療と同日にEC-NBI画像を撮影していること
(2)EC-NBI画像は、癌領域と非癌領域の境界が容易に定義できるように、癌領域の口腔側に隣接する非癌領域をカバーしていること
除外基準
(1)EC-NBIで画像が得られなかった症例
(2)粘液、血液、ハレーションなどで画像が不明瞭な症例
(3)腺腫などの境界病変
ESD後の病理検査結果をゴールドスタンダードとし、胃癌治療ガイドライン 第5版(非特許文献11)に基づき、全例で癌領域と非癌領域の確認を行った。また、すべての画像は日本消化器内視鏡学会指導医1名が選定した。さらにその画像をもう一人の日本消化器内視鏡学会指導医が適格規準、除外規準を満たしているか確認を行った。EC-NBIには、GIF-Y0002及びGIF-H290ECエンドサイトスコープ(いずれもOLYMPUS Medical Systems)を使用した。
[画像の判定を行う内視鏡医と判定方法]
連絡先を把握している日本全国の施設の内視鏡医にEC-NBI画像を用いた癌、非癌の診断の検討への参加の諾否について連絡し、参加の同意が得られた内視鏡医を対象とした。診断を行った内視鏡医は、非特許文献10において、先にME-NBIとEC-NBIの診断性能を比較した際に診断を依頼した内視鏡医と同一である。具体的には、参加した内視鏡医は45施設61名であり、内視鏡経験年数が10年以上の内視鏡医が65.6%、内視鏡施行件数が1万件以上の内視鏡医が50.8%、専門医取得ありが68.9%、ME-NBI研修ありが54.1%、ME-NBI施行歴5年以上が34.4%、EC施行歴ありが13.1%であった。
連絡先を把握している日本全国の施設の内視鏡医にEC-NBI画像を用いた癌、非癌の診断の検討への参加の諾否について連絡し、参加の同意が得られた内視鏡医を対象とした。診断を行った内視鏡医は、非特許文献10において、先にME-NBIとEC-NBIの診断性能を比較した際に診断を依頼した内視鏡医と同一である。具体的には、参加した内視鏡医は45施設61名であり、内視鏡経験年数が10年以上の内視鏡医が65.6%、内視鏡施行件数が1万件以上の内視鏡医が50.8%、専門医取得ありが68.9%、ME-NBI研修ありが54.1%、ME-NBI施行歴5年以上が34.4%、EC施行歴ありが13.1%であった。
診断方法は日本消化器内視鏡学会が診断ガイドラインとして提唱しているME-NBIの診断分類であるVS分類を用いた(非特許文献2、12)。なお、VS分類は、上述のようにME-NBIによる癌、非癌の鑑別に関する分類であり、それぞれ微小血管構築像(microvascuclar(MV) architecture:V)、表面微細構造(microsurface(MS) structure:S)について、規則的(regular)、不規則(irregular)、欠如(absent)の3つのパターンに分類し診断を行う体系である。依頼した内視鏡医は、これに、いずれとも判断できない不確定の判定を加え診断を行ってもらった。各画像の微小血管構築像、あるいは表面微細構造のいずれかについて不規則と認めた場合に癌と診断し、それ以外を非癌とみなした。診断前にEC-NBIの微小血管構築像、表面微細構造の「規則的」パターンの典型的な画像(以下「典型画像」という)、「不規則」パターンの典型画像、「欠如」パターンの典型画像を配布した(図1)。
VS分類はME-NBIの診断システムとして確立された分類体系であり、ME-NBIの専門研修を受けた内視鏡医は、ME-NBIを用いた診断ではより精度の高い診断を行うことが報告されている(非特許文献13)。そこで、参加した内視鏡医をME-NBIの専門研修の受講の有無によって2群に分け、ME-NBIの専門研修を受けた内視鏡医をDevelopment群、ME-NBIの専門研修を受けていない内視鏡医をValidation群とした。Development群の内視鏡医は、ME-NBIによる診断能力が高いことが報告されていることから、EC-NBIのシステムについても一定の能力があると考えられる。そこで、Development群の診断結果をもとに、EC-NBI診断システムの開発、評価を行い、さらに、開発した診断システムによって、Validation群の内視鏡医の診断能力を評価することで、開発した診断システムが一般化できるかどうかを検証した。
内視鏡医に、各画像について、「規則的」、「不規則」、「欠如」、あるいは「不確定」の判断を行ってもらい、内視鏡医が最も多く選択した判断をその画像の最終診断とした。複数の回答が上位にランクされた場合、その画像の最終診断は確定診断ではないと判断することとした。各画像の診断一致率は、その画像の最終診断と一致した回答数と、全回答数の比率として定義した。Development群とValidation群について、微小血管構築像と表面微細構造のパターン毎に、すべての画像について診断一致率の中央値を計算し確認した。50%以上の診断一致率が得られた場合、診断を「一般的(general)」と定義した。Development群及びValidation群における微小血管構築像パターンおよび表面微細構造パターンの診断を、癌画像および非癌画像ごとに集計した。
得られた集計結果をもとに、診断の精度、感度、特異度、陽性的中率(positive predictive value:PPV)、陰性的中率(negative predictive value:NPV)を決定した。結果は、微小血管構築像パターンのみによる診断(「不規則」パターンのみが観察された場合は癌を示す画像と判断する。)、表面微細構造パターンのみによる診断(「不規則」パターンのみが観察された場合は癌を示す画像と判断する。)、両パターンによる診断(いずれかのパターンにおいて「不規則」であると認められた場合には癌を示す画像と判断する。)で判定した。その後、微小血管構築像パターンのみ、表面微細構造パターンのみ、両パターンによる診断結果を、Development群およびValidation群間で比較し検証を行った。
診断項目が少なく、診断精度の高い診断システムが最も効率的で精度の高い診断システムであると考えられる。そこで、診断精度を以下のように定義した。
診断精度=
(癌病変中癌病変と正しく診断された数+非癌性組織中非癌性組織と正しく診断された数)/総画像数
さらに、最も効率的で診断精度の高い診断システムの性能をDevelopment群およびValidation群で比較した。Development群では、診断精度が最も高く効率的な診断システムを用いて、癌病変、非癌組織において誤診した症例を抽出し、正しく診断された症例と誤診した症例の特徴を比較した。癌病変の画像では、年齢、性別、部位、肉眼型、腫瘍径、浸潤深さ、潰瘍性所見、組織型、ヘリコバクター・ピロリ(H.ピロリ)感染歴を比較し、非癌性組織の画像では、年齢、性別、部位、H.ピロリ感染歴を比較した。年齢と腫瘍径のカットオフ値は、全体の中央値を参考にして決定した。
診断精度=
(癌病変中癌病変と正しく診断された数+非癌性組織中非癌性組織と正しく診断された数)/総画像数
さらに、最も効率的で診断精度の高い診断システムの性能をDevelopment群およびValidation群で比較した。Development群では、診断精度が最も高く効率的な診断システムを用いて、癌病変、非癌組織において誤診した症例を抽出し、正しく診断された症例と誤診した症例の特徴を比較した。癌病変の画像では、年齢、性別、部位、肉眼型、腫瘍径、浸潤深さ、潰瘍性所見、組織型、ヘリコバクター・ピロリ(H.ピロリ)感染歴を比較し、非癌性組織の画像では、年齢、性別、部位、H.ピロリ感染歴を比較した。年齢と腫瘍径のカットオフ値は、全体の中央値を参考にして決定した。
H.ピロリ感染症例は、以下の6つの基準を満たす症例と定義した。
(1)過去にH.ピロリの除菌歴がない
(2)尿素呼気検査結果陰性
(3)H.ピロリ抗体陰性
(4)ペプシノゲン検査陰性(陽性カットオフ値:ペプシノゲンI≦70ng/mL、ペプシノゲンI/II比≦3)
(5)内視鏡的に胃体下部の集合細静脈が規則的に配列する像が確認されること
(6)組織学的にH.ピロリ非感染が確認され、改訂されたSydney systemによる炎症性細胞浸潤が陰性であること
これらの基準を満たさない症例は、H.ピロリ感染の既往歴があるものと判定した。なお、尿素呼気検査はUBiT(大塚製薬)、H.ピロリ抗体検査はH.ピロリ抗体II(栄研化学)を用いた。
(1)過去にH.ピロリの除菌歴がない
(2)尿素呼気検査結果陰性
(3)H.ピロリ抗体陰性
(4)ペプシノゲン検査陰性(陽性カットオフ値:ペプシノゲンI≦70ng/mL、ペプシノゲンI/II比≦3)
(5)内視鏡的に胃体下部の集合細静脈が規則的に配列する像が確認されること
(6)組織学的にH.ピロリ非感染が確認され、改訂されたSydney systemによる炎症性細胞浸潤が陰性であること
これらの基準を満たさない症例は、H.ピロリ感染の既往歴があるものと判定した。なお、尿素呼気検査はUBiT(大塚製薬)、H.ピロリ抗体検査はH.ピロリ抗体II(栄研化学)を用いた。
H.ピロリ感染既往除菌群は、以下の基準を満たす者とした。
(1)初診時にH.ピロリ抗体陰性が確認された患者、または当院または他院でのH.ピロリ除菌治療後、H.ピロリ菌除菌治療を受けた後に尿素呼気検査陰性が確認された患者。
(2)当院での初診時にH.ピロリ抗体が陽性または尿素呼気検査が陽性であった場合、H.ピロリ除菌治療開始後4週間以上経過した時点で尿素呼気検査が陰性であることが確認された患者。
H.ピロリ感染未除菌群は、上述の包含基準を満たしていない患者が含まれていた。
(1)初診時にH.ピロリ抗体陰性が確認された患者、または当院または他院でのH.ピロリ除菌治療後、H.ピロリ菌除菌治療を受けた後に尿素呼気検査陰性が確認された患者。
(2)当院での初診時にH.ピロリ抗体が陽性または尿素呼気検査が陽性であった場合、H.ピロリ除菌治療開始後4週間以上経過した時点で尿素呼気検査が陰性であることが確認された患者。
H.ピロリ感染未除菌群は、上述の包含基準を満たしていない患者が含まれていた。
[統計解析]
全画像の診断一致率を算出する際には、中央値と四分位間距離(IQR)を用いた。微小血管構築像パターンのみによる診断、表面微細構造パターンのみによる診断、両パターンによる診断の精度、感度、特異度、PPV、NPVを95%信頼区間(95%CI)で算出した。精度、感度、特異度はMcNemar検定を用い、PPV、NPVはFisher’s exact testを用いた。統計的有意水準は、同一母集団における2つの比較の性能について、ボンフェローニ法でp<0.05/2とした。
全画像の診断一致率を算出する際には、中央値と四分位間距離(IQR)を用いた。微小血管構築像パターンのみによる診断、表面微細構造パターンのみによる診断、両パターンによる診断の精度、感度、特異度、PPV、NPVを95%信頼区間(95%CI)で算出した。精度、感度、特異度はMcNemar検定を用い、PPV、NPVはFisher’s exact testを用いた。統計的有意水準は、同一母集団における2つの比較の性能について、ボンフェローニ法でp<0.05/2とした。
一変量解析として、正答例と誤答例の比較にはフィッシャーの正確検定を用いた。有意差のある項目については、多変量解析としてロジスティック回帰分析を行った。オッズ比と95%CIを算出し、有意水準を<0.05とした。統計解析はJMPバージョン13.2(SAS Institute)を用いて行った。
内視鏡的粘膜下層剥離術を施行した114症例、118病変のうち、除外基準に従い、腺腫などの境界病変を除いた110症例、114病変の癌領域、非癌領域の各114画像を用いた。診断には、癌領域と非癌領域のEC-NBI画像、計228枚を使用した(図2)。表1に患者の背景データをまとめた。年齢中央値は71歳(IQR:61.8~77歳)、腫瘍径中央値は14mm(IQR:9~20.3mm)であった。
全画像の診断一致率を表2に示す。表中のデータは中央値をパーセントで、( )は四分位範囲、[ ]は範囲を表している。ME-NBIの研修を受講しているDevelopment群の33名の内視鏡医による判定では、微小血管構築像パターンによって診断した場合には癌領域、非癌領域合わせた全画像の84.8%(IQR:72.7~93.9%)、表面微細構造パターンによって診断した場合には、全画像の69.7%(IQR:51.5~87.9%)の診断一致率であった。Validation群の28名の内視鏡医による判定では、微小血管構築像パターンを用いて診断した場合には、全画像の75.0%(IQR:60.7-89.3%)、表面微細構造パターンによって診断した場合には、全画像の58.9%(IQR:47.3-75.0%)の診断一致率であった。上述のように、50%以上の診断一致率が得られた場合、診断が「一般的(general)」であると定義する。微小血管構築像パターンを用いた場合の診断は、両群とも四分位範囲の下限値が50%以上であった。しかし、表面微細構造パターンを用いて診断した場合には、Validation群の四分位範囲の下限は50%未満であり、「一般的」な診断結果が得られているとはいい難い。
表3に微小血管構築像パターンと表面微細構造パターンの診断結果を示す。Development群では、非癌領域では、微小血管構築像パターン単独、表面微細構造パターン単独、両パターンでの診断すべてで、「規則的」との判断が最も多く、癌領域では「不規則」との判断が最も多かった。Validation群でも同様の結果が得られた。
表3に示した結果をもとにEC-NBIによる胃癌の診断性能を算出した。診断性能について、微小血管構築像パターン単独と表面微細構造パターン単独との比較、微小血管構築像単独と両パターンとの比較を行った(表4)。Development群では、微小血管構築像パターンのみに基づく診断の精度、感度、NPVは、表面微細構造パターンのみに基づく診断の精度、感度、NPVよりも有意に高かった。微小血管構築像パターン単独と両パターンの比較については、すべての項目で有意差は認められなかった。Validation群の結果も、Development群の結果と同様であった。
上記結果は、微小血管構築像パターンのみに基づく診断が、最も診断精度が高いとことを示している。表面微細構造パターンの検討を行わずとも、診断結果に影響を与えることがないため、微小血管構築像パターンのみで診断の検討を行えばよい。そのため、非常に効率的な診断を行うことができる。また、Development群とValidation群の診断精度を比較したところ、微小血管構築像パターンのみでは両群間の診断精度に有意差は認められなかった(表5)。この結果は、内視鏡医としての経験の浅い医師であっても、また、特別な研修を受講しなくても、EC-NBIを用いて検査を行うことにより、経験豊富な医師と同等の診断結果が得られることを意味している。
従来ME-NBIを用いたVS分類による胃癌の診断では、高い診断一致率を得るためには、ME-NBIの専門的なトレーニングが必要とされていた。これに対し、上記で示したようにEC-NBIによる胃癌の診断は、ME-NBIの専門的なトレーニングを受けていない経験の浅い内視鏡医であっても、高い診断一致率を得ることができ、一般化に適した診断方法である。したがって、集団検診などにおいても非常に有用な診断体系であると考えられる。さらに、微小血管構築像パターンのみで診断を行えることから非常に効率的な診断体系である。
さらに、AIを用いた疾患の診断支援方法を適用することによって、EC-NBI診断の一般化が加速し、より精度よく診断を行うことができる。将来的に検診など、多くの対象をEC-NBIで検査を行う必要があると考えられるから、AIを用いた診断支援方法が重要となる。
2.AIによる診断支援方法、診断支援システムの構築
EC-NBIによって撮像された内視鏡画像は、AIを用いた診断支援方法、診断支援システムを用いることによって、より効率的で精度の高い診断を行うことが可能となる。AIを用いた診断支援方法、診断支援システムは、ニューラルネットワーク(Neural Netwark:NN)の画像認識能力の高いモデルを用いて構築すればよい。具体的なニューラルネットワークとしては、vision transformer、EfficinentNet、Big Transfer(BiT)、ResNeXtなどが挙げられる。さらに、今後画像認識モデルとして高い性能を示す機械学習手法を使用できることは言うまでもない。
EC-NBIによって撮像された内視鏡画像は、AIを用いた診断支援方法、診断支援システムを用いることによって、より効率的で精度の高い診断を行うことが可能となる。AIを用いた診断支援方法、診断支援システムは、ニューラルネットワーク(Neural Netwark:NN)の画像認識能力の高いモデルを用いて構築すればよい。具体的なニューラルネットワークとしては、vision transformer、EfficinentNet、Big Transfer(BiT)、ResNeXtなどが挙げられる。さらに、今後画像認識モデルとして高い性能を示す機械学習手法を使用できることは言うまでもない。
EC-NBIによって撮像された胃の内視鏡画像において、疾患に関して陽性若しくは陰性の判断、疾患名、過去のピロリ菌感染なども含めた疾患に関する情報、部位、肉眼型、腫瘍径や深達度などの重症度のレベル、組織型の少なくとも1つ以上の情報を用いて機械学習させ、訓練された学習済みモデルによって、対象となる被験者の内視鏡画像に基づいて、対象の陽性及び/又は陰性の確率、疾患名、過去の疾患の確率、撮像された部位、肉眼型、疾患の重症度のレベル、又は組織型に対応する情報の少なくとも1つを出力する。
[内視鏡による画像診断支援装置の構成]
具体的な内視鏡による画像診断支援装置は、例えば以下の構成とすることができる(図3)。画像診断支援装置1は、内視鏡画像取得部11、病変判定部12、表示制御部13を備え、胃の内視鏡検査においてニューラルネットワークによる内視鏡画像の診断能力を使用し、内視鏡医による診断を支援する。画像診断支援装置1には、内視鏡撮像装置2及び表示装置3が接続されている。内視鏡撮像装置2は、撮像装置が内蔵されたEC-NBIである。内視鏡撮像装置2は、被験者の口又は鼻から胃に挿入され、診断対象部位を撮像する。画像診断支援装置1の診断支援に供される画像は、EC-NBIの拡大機能によって拡大された狭帯域光拡大観察画像である。内視鏡撮像装置2によって撮像された内視鏡画像データD1は、画像診断支援装置1に出力される。内視鏡画像は、強拡大された画像であることから、ここでは主として静止画像を対象としているが、動画像であっても良い。表示装置3は、例えば、液晶ディスプレイ、有機ELディスプレイなどであり、画像診断支援装置1から出力された画像を医師に表示する。
具体的な内視鏡による画像診断支援装置は、例えば以下の構成とすることができる(図3)。画像診断支援装置1は、内視鏡画像取得部11、病変判定部12、表示制御部13を備え、胃の内視鏡検査においてニューラルネットワークによる内視鏡画像の診断能力を使用し、内視鏡医による診断を支援する。画像診断支援装置1には、内視鏡撮像装置2及び表示装置3が接続されている。内視鏡撮像装置2は、撮像装置が内蔵されたEC-NBIである。内視鏡撮像装置2は、被験者の口又は鼻から胃に挿入され、診断対象部位を撮像する。画像診断支援装置1の診断支援に供される画像は、EC-NBIの拡大機能によって拡大された狭帯域光拡大観察画像である。内視鏡撮像装置2によって撮像された内視鏡画像データD1は、画像診断支援装置1に出力される。内視鏡画像は、強拡大された画像であることから、ここでは主として静止画像を対象としているが、動画像であっても良い。表示装置3は、例えば、液晶ディスプレイ、有機ELディスプレイなどであり、画像診断支援装置1から出力された画像を医師に表示する。
画像診断支援装置1は、主な構成としてCPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Randam Access Memory)、外部記憶装置、及び通信インターフェース、GPU(Graphics Processing Unit)等を備えたコンピューターである。画像診断支援装置1の各機能は、CPUがROM、RAM、外部記憶装置等に記憶された制御プログラム(例えば、画像診断支援プログラム)や各種データ(例えば、内視鏡画像データ、教師データ、ニューラルネットワークのモデルデータ)などを参照することによって実現される。また、モデルデータは構造データや学習済み重みパラメータ等、必要に応じて参照を可能にすることができる。
なお、各機能の一部又は全部は、CPUによる処理に代えて、又はこれと共にDSP(Digital Single Processor)による処理によって実現することもできる。また、各機能の一部又は全部は、ソフトウェアによる処理に代えて、又はこれと共に、専用のハードウェア回路によって実現されても良い。
[画像取得部]
内視鏡画像取得部11は、内視鏡撮像装置2から出力された内視鏡画像データD1を取得する。そして、内視鏡画像取得部11は、取得した内視鏡画像データD1を病変判定部12に出力する。ここで、内視鏡画像データD1として出力されるデータは、EC-NBIによって撮像された拡大狭帯域光観察画像である。なお、内視鏡画像取得部11は、内視鏡画像データD1を取得する際に、内視鏡撮像装置2から直接取得してもよいし、外部記憶装置に格納された内視鏡画像データD1や、インターネット回線等を通じて取得しても良い。
内視鏡画像取得部11は、内視鏡撮像装置2から出力された内視鏡画像データD1を取得する。そして、内視鏡画像取得部11は、取得した内視鏡画像データD1を病変判定部12に出力する。ここで、内視鏡画像データD1として出力されるデータは、EC-NBIによって撮像された拡大狭帯域光観察画像である。なお、内視鏡画像取得部11は、内視鏡画像データD1を取得する際に、内視鏡撮像装置2から直接取得してもよいし、外部記憶装置に格納された内視鏡画像データD1や、インターネット回線等を通じて取得しても良い。
[病変判定部]
病変判定部12は、ニューラルネットワークを用いて、内視鏡画像取得部11から出力された内視鏡画像データD1の内視鏡画像内に病変が存在するか否か等を学習装置14の教師データに基づいて判定し、当該病変名を判定し、かつ、病変の有無の判定結果及び病変名の判定結果の確度を判定する。そして、病変判定部12は、内視鏡画像取得部11から出力された内視鏡画像データD1と、病変の有無の判定結果、病変名の判定結果、及び確度の判定結果を表す判定結果データD2とを表示制御部13に出力する。病変判定部は、確度を示す指標として確率スコアを算出する。確率スコアは、0より大きく、1以下の値で表すことができる。あるいは、0~100%の値であっても良いし、数段階のレベル値で表される態様であっても構わない。確率スコアが高いほど、確度が高いことを意味し、医師の判断を助けることができる。
病変判定部12は、ニューラルネットワークを用いて、内視鏡画像取得部11から出力された内視鏡画像データD1の内視鏡画像内に病変が存在するか否か等を学習装置14の教師データに基づいて判定し、当該病変名を判定し、かつ、病変の有無の判定結果及び病変名の判定結果の確度を判定する。そして、病変判定部12は、内視鏡画像取得部11から出力された内視鏡画像データD1と、病変の有無の判定結果、病変名の判定結果、及び確度の判定結果を表す判定結果データD2とを表示制御部13に出力する。病変判定部は、確度を示す指標として確率スコアを算出する。確率スコアは、0より大きく、1以下の値で表すことができる。あるいは、0~100%の値であっても良いし、数段階のレベル値で表される態様であっても構わない。確率スコアが高いほど、確度が高いことを意味し、医師の判断を助けることができる。
ニューラルネットワークは複数のニューロンを所持しており、それぞれのニューロンの基本的な働きは信号の入力と出力とからなる。ただし、各層のニューロン間は、相互に信号を伝達する際に、入力された信号をそのまま出力するのではなく、それぞれの入力に対して結合荷重を設定し、その重み付きの入力の総和に対して線形もしくは非線形の活性化関数を適用した信号を次の層のニューロンに出力する。ニューロン間の結合荷重に関しては学習データからあらかじめ算出しておく。これによって、リアルタイムのデータを入力しても、あるいは記憶装置からデータを入力しても出力値の推定が可能となる。この目的にかなうニューラルネットワークであれば、それを構成するアルゴリズムは特に限定されない。
ニューラルネットワークは、あらかじめ経験豊富な内視鏡医によって選定されたレファレンスデータ、いわゆる教師データを用いて学習処理を行っておく。これにより入力される内視鏡画像から所望の判定結果(ここでは、病変の有無、病変名、及び確率スコア等を指す。)を出力し得るように、判定機能を保有することができる。
本実施形態におけるニューラルネットワークは、内視鏡画像データD1を入力し、当該内視鏡画像データD1により表される内視鏡画像の画像特徴に応じ、病変の有無、病変が存在した場合には病変名、及び確率スコアを判定結果データD2として出力するように構成される。
また、ニューラルネットワークは、内視鏡画像データD1に加えて、年齢、性別、既病歴、ピロリ菌感染の有無など、医師が胃癌の診断を行う際に参照する可能性のある情報を入力し得る構成としてすることができる。実臨床におけるリアルワールドデータの重要性は特に認められていることから、こうした患者属性の情報を追加することによって、実臨床において、より有用なシステムに展開することができる。すなわち、内視鏡画像の特徴は、年齢、性別、既病歴、ピロリ菌感染の有無に係る情報と相関関係を有しており、ニューラルネットワークに、内視鏡画像データD1に加えて、年齢等の患者属性情報を参照させることによって、より高精度に病変名、病変位置を判定し得る構成とすることができる。また、病変判定部12は、ニューラルネットワークによる処理の他、前処理として、内視鏡画像のサイズやアスペクト比に変換する処理、内視鏡画像の色分割処理、内視鏡画像の色変換処理、色抽出処理、輝度勾配抽出処理等を行っても良い。
[表示制御部]
表示制御部13は、病変判定部12から出力された内視鏡画像データD1により表される内視鏡画像上において、病変判定部12から出力された判定結果データD2により表される病変の有無、病変が存在する場合にはその病変名、及び確率スコアを表示する解析結果画像を生成する。そして、表示制御部13は、内視鏡画像データD1と、生成した解析結果画像を表す解析結果画像データD3とを表示装置3に出力する。表示装置3は、表示制御部13から出力された内視鏡画像データD1により表される内視鏡画像上に、解析結果画像データD3により表される解析結果画像を表示させる。表示された内視鏡画像および解析結果画像は、例えば、内視鏡画像のダブルチェック作業に用いられる。
表示制御部13は、病変判定部12から出力された内視鏡画像データD1により表される内視鏡画像上において、病変判定部12から出力された判定結果データD2により表される病変の有無、病変が存在する場合にはその病変名、及び確率スコアを表示する解析結果画像を生成する。そして、表示制御部13は、内視鏡画像データD1と、生成した解析結果画像を表す解析結果画像データD3とを表示装置3に出力する。表示装置3は、表示制御部13から出力された内視鏡画像データD1により表される内視鏡画像上に、解析結果画像データD3により表される解析結果画像を表示させる。表示された内視鏡画像および解析結果画像は、例えば、内視鏡画像のダブルチェック作業に用いられる。
[学習装置]
学習装置14は、病変判定部12のニューラルネットワークが内視鏡画像データD1から病変の有無や位置、病変名および確率スコアを判定し得るように、図示しない外部記憶装置に記憶されている教師データD4を入力し、学習装置14のニューラルネットワークに対して学習処理を行う。
学習装置14は、病変判定部12のニューラルネットワークが内視鏡画像データD1から病変の有無や位置、病変名および確率スコアを判定し得るように、図示しない外部記憶装置に記憶されている教師データD4を入力し、学習装置14のニューラルネットワークに対して学習処理を行う。
本実施形態では、学習装置14は、被験者の胃について内視鏡撮像装置2により撮像された拡大狭帯域光内視鏡画像と、医師によりあらかじめ判定された微小血管構築像パターンの「規則的」、「不規則」、「欠如」の3つのパターンから判定し得る病変の有無、病変名を教師データD4として用いて学習処理を行う。具体的には、学習装置14は、ニューラルネットワークに内視鏡画像を入力した際の正解値(病変の有無及び病変名)に対する出力データの誤差が小さくなるように学習処理を行う。
学習処理における教師データD4としての内視鏡画像は、日本トップクラスのがん治療専門病院のデータベースを主に使用し、豊富な診断・治療経験を有する日本消化器内視鏡学会指導医がすべての画像を詳細に検討、選別し、精密な手動処理で病変の選定を行った。レファレンスデータとなる教師データD4(狭帯域光拡大内視鏡画像データ)の精度管理は、そのまま画像診断支援装置1の解析精度に直結するために、豊富な経験を有するエキスパート内視鏡医による画像選別と病変同定のマーキングは極めて重要な工程である。
内視鏡画像の教師データD4は、画素値のデータであっても良いし、所定の色変換処理等がなされたデータであっても良い。また、前処理として、テクスチャ特徴、形状特徴、広がり特徴等を抽出したものが用いられても良い。なお、教師データD4は、内視鏡画像データに加えて、年齢、性別、地域または既病歴等に係る情報を関連付けて学習処理を行ってもよい。
また、学習装置14が学習処理を行う際のアルゴリズムは、公知の手法であってよい。学習装置14がニューラルネットワークを用いるものであれば、例えば、公知のバックプロパゲーション(誤差逆伝播法)を用いて、ニューラルネットワークに対して学習処理を施し、ネットワークパラメータ(重み係数、バイアス等)を調整する。そして、学習装置14によって学習処理が施されたニューラルネットワークのモデルデータは、例えば、画像診断支援プログラムと共に、外部記憶装置に格納される。
以上詳しく説明したように、本実施形態では、画像診断支援装置1は、EC-NBI撮像装置により撮像された被験者の胃の狭帯域光拡大内視鏡画像内に存在する病変の有無、疾患の名称、及び確度の情報を、ニューラルネットワークによって判定する病変判定部と、当該病変の名称と、それらの確度とを表示する解析結果画像を生成して、胃狭帯域光拡大内視鏡画像上に表示させる制御を行う表示制御部とを備える。ニューラルネットワークは、狭帯域光拡大内視鏡によって撮像された画像の微小血管構築像の特徴抽出によってあらかじめ判定された複数の胃癌内視鏡画像内に存在する病変(病変画像)及び正常組織(正常組織画像)に基づいて学習処理が行われる。
このように構成した本実施形態によれば、ニューラルネットワークが複数の胃の狭帯域光拡大内視鏡画像から予め得られた病変の有無、病変名、病変名の確定診断結果に基づいて学習されているため、短時間、かつ、実質的に経験豊富な内視鏡医に匹敵する精度で、新規被験者の病変名および病変位置を判定することができる。したがって、胃の内視鏡検査において、本発明によるニューラルネットワークが有する内視鏡画像の診断能力を使用し、内視鏡医による内視鏡画像の診断を強力に支援することができる。実臨床においては、内視鏡医は、診察室で直接的に診断支援ツールとして利用することもできる一方、複数の診察室からクラウドに伝送される内視鏡画像を診断する中央診断支援サービス(クラウド型システム)とすることや、インターネット回線を通じた遠隔操作によって、遠隔地の機関に対する診断支援サービス(遠隔操作システム)、あるいは画像を記録した記録媒体を送付して診断を依頼する等のサービスとして利用することもできる。また、経験の浅い医師の教育ツールとしても利用することができる。
なお、上記実施の形態は、何れも本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその要旨、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。
[実施例1]
AIを用いてEC-NBI画像診断支援を行った例を示す。癌、非癌各92例から得られた癌画像1091枚、非癌画像1026枚を教育画像として、EfficientNetを用い学習済みモデルを作成した。先に内視鏡医に検証を行ってもらった表1の110症例、114病変の癌領域、非癌領域の画像を用いて診断を行ったところ、正診率87.72%、感度90.35%、特異度85.09%、PPV85.83%、NPV89.81%という結果が得られた。この結果は、61人の内視鏡医の結果と比較すると、正診率は7位、感度は14位、特異度は37位である。正診率では高い値が得られているが、今後教育画像を増やすこと等により、より高い診断性能を備えた学習モデルを作成することができる。
AIを用いてEC-NBI画像診断支援を行った例を示す。癌、非癌各92例から得られた癌画像1091枚、非癌画像1026枚を教育画像として、EfficientNetを用い学習済みモデルを作成した。先に内視鏡医に検証を行ってもらった表1の110症例、114病変の癌領域、非癌領域の画像を用いて診断を行ったところ、正診率87.72%、感度90.35%、特異度85.09%、PPV85.83%、NPV89.81%という結果が得られた。この結果は、61人の内視鏡医の結果と比較すると、正診率は7位、感度は14位、特異度は37位である。正診率では高い値が得られているが、今後教育画像を増やすこと等により、より高い診断性能を備えた学習モデルを作成することができる。
上述のように、EC-NBIによって撮像された胃狭帯域光拡大内視鏡観察画像をVS分類より簡便な手法でありながら高い診断性能を備えた方法によって、胃癌を判定することができる。さらに、AIによる機械学習モデルによって、胃癌の判定を支援することができることから、経験の浅い内視鏡医であっても高い精度で診断を行うことが可能となる。
Claims (12)
- EC-NBI(狭帯域光観察併用超拡大内視鏡)によって撮像された胃狭帯域光拡大内視鏡観察画像は、
微小血管構築像パターンを
微小血管構築像パターンの典型画像と比較され、
胃癌の有無が判定されることを特徴とする検査方法。 - 前記典型画像は、「規則的」パターンの典型画像、「不規則」パターンの典型画像、及び「欠如」パターンの典型画像であり、
前記胃狭帯域光拡大内視鏡観察画像を「規則的」パターン、「不規則」パターン、又は「欠如」パターンのいずれか1つに分類することを特徴とする請求項1記載の検査方法。 - AIによる機械学習を用いた胃のEC-NBIによる疾患の診断支援方法であって、
狭帯域光拡大内視鏡観察画像の微小血管構築像パターンと疾患に関する情報を用いて機械学習モデルを構築し、
被験者の狭帯域光拡大内視鏡観察画像を前記機械学習モデルに基づいて疾患に関する情報を判定し、判定結果を出力する診断支援方法。 - 前記疾患に関する情報が病変の有無、病変の位置、及び病変名である請求項3記載の診断支援方法。
- 前記構築された機械学習モデルは、
前記疾患が検出された場合に撮像された前記被験者の狭帯域光拡大内視鏡観察画像内に、
病変の有無、病変の位置及び病変名の判定結果の確度を表す確率スコアを表示することを特徴とする請求項3、又は4記載の診断支援方法。 - 前記被験者の狭帯域光拡大内視鏡観察画像は、
EC-NBIにより撮影中の画像、通信ネットワークを経由して送信された画像、遠隔操作システム若しくはクラウド型システムによって提供される画像、又は記録媒体によって記録された画像の少なくとも1つであることを特徴とする請求項3~5いずれか1項記載の診断支援方法。 - 内視鏡撮像装置と、画像診断支援装置と、表示装置と、学習装置とを備えた内視鏡画像による診断支援システムであって、
前記診断支援システムは胃の疾患の診断を支援するシステムであり、
前記内視鏡撮像装置がEC-NBIによる内視鏡画像を撮影可能な装置であり、
前記学習装置はニューラルネットワークによる狭帯域光拡大内視鏡観察画像の微小血管構築像パターン及び確定診断結果に基づいて訓練されており、
前記内視鏡撮像装置から入力された被験者の狭帯域光拡大内視鏡観察画像に対する疾患の陽性又は陰性を判定する診断支援システム。 - 前記画像診断支援装置は、
前記内視鏡撮像装置から前記内視鏡画像を取得する内視鏡画像取得部と、
前記内視鏡画像取得部によって取得された内視鏡画像内に病変の存在を学習装置の教師データに基づいて判定する病変判定部と、
前記病変判定部の判定結果に基づいて解析結果画像を生成し、前記表示装置に出力する表示制御部とを備えていることを特徴とする請求項7記載の診断支援システム。 - 請求項7又は8記載の診断支援システムにおいて、
前記ニューラルネットワークに対する学習処理によって得られ、
前記内視鏡画像内の病変の存在の有無を出力するよう機能させる学習済みモデル。 - コンピューターに、
内視鏡画像に存在する病変の有無を出力するニューラルネットワークを用いて、内視鏡撮像装置により撮像された被験者の胃内視鏡画像内に存在する病変の有無を判定して出力する処理を実行させ、
前記ニューラルネットワークは、複数の胃内視鏡画像内においてあらかじめ判定された病変画像及び正常組織画像を教師データとして学習処理が行われる、画像診断支援プログラム。 - EC-NBIによる内視鏡画像を撮影可能な内視鏡撮像装置から内視鏡画像を取得する内視鏡画像取得部と、
ニューラルネットワークによる狭帯域光拡大内視鏡観察画像の微小血管構築像パターン及び確定診断結果に基づいて訓練された教師データに基づいて、前記内視鏡画像取得部によって取得された内視鏡画像内に病変の存在を判定する病変判定部と、
前記病変判定部の判定結果に基づいて解析結果画像を生成し、表示装置に出力する表示制御部と、を備える、
画像診断支援装置。 - 前記病変判定部は、前記病変の病変名を判定し、かつ、前記病変の存在の判定結果及び前記病変名の推定結果の確度を示す確率スコアを算出し、
前記表示制御部は、前記確率スコアを前記表示装置に出力する、
請求項11記載の画像診断支援装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021193544A JP2023079866A (ja) | 2021-11-29 | 2021-11-29 | 超拡大内視鏡による胃癌の検査方法、診断支援方法、診断支援システム、診断支援プログラム、学習済みモデル及び画像診断支援装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021193544A JP2023079866A (ja) | 2021-11-29 | 2021-11-29 | 超拡大内視鏡による胃癌の検査方法、診断支援方法、診断支援システム、診断支援プログラム、学習済みモデル及び画像診断支援装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023079866A true JP2023079866A (ja) | 2023-06-08 |
Family
ID=86646840
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021193544A Pending JP2023079866A (ja) | 2021-11-29 | 2021-11-29 | 超拡大内視鏡による胃癌の検査方法、診断支援方法、診断支援システム、診断支援プログラム、学習済みモデル及び画像診断支援装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2023079866A (ja) |
-
2021
- 2021-11-29 JP JP2021193544A patent/JP2023079866A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6875709B2 (ja) | 消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体 | |
JP7335552B2 (ja) | 画像診断支援装置、学習済みモデル、画像診断支援装置の作動方法および画像診断支援プログラム | |
JP7037220B2 (ja) | 消化器官の内視鏡画像による疾患の診断支援システム、診断支援システムの作動方法、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体 | |
Ohmori et al. | Endoscopic detection and differentiation of esophageal lesions using a deep neural network | |
JP7017198B2 (ja) | 消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体 | |
Igarashi et al. | Anatomical classification of upper gastrointestinal organs under various image capture conditions using AlexNet | |
Yao et al. | Diagnostic performance and limitations of magnifying narrow-band imaging in screening endoscopy of early gastric cancer: a prospective multicenter feasibility study | |
WO2019245009A1 (ja) | 消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体 | |
WO2018165620A1 (en) | Systems and methods for clinical image classification | |
WO2021054477A2 (ja) | 消化器官の内視鏡画像による疾患の診断支援方法、診断支援システム、診断支援プログラム及びこの診断支援プログラムを記憶したコンピュータ読み取り可能な記録媒体 | |
Horiuchi et al. | Real-time computer-aided diagnosis of diminutive rectosigmoid polyps using an auto-fluorescence imaging system and novel color intensity analysis software | |
JPWO2020121906A1 (ja) | 医療支援システム、医療支援装置及び医療支援方法 | |
US20230255467A1 (en) | Diagnostic imaging device, diagnostic imaging method, diagnostic imaging program, and learned model | |
Zhang et al. | Effect of a deep learning–based automatic upper GI endoscopic reporting system: a randomized crossover study (with video) | |
Horiuchi et al. | Diagnostic performance in gastric cancer is higher using endocytoscopy with narrow-band imaging than using magnifying endoscopy with narrow-band imaging | |
Gan et al. | A feasibility trial of computer-aided diagnosis for enteric lesions in capsule endoscopy | |
JP2021065606A (ja) | 画像処理方法、教師データ生成方法、学習済みモデル生成方法、発病予測方法、画像処理装置、画像処理プログラム、およびそのプログラムを記録した記録媒体 | |
JP2023079866A (ja) | 超拡大内視鏡による胃癌の検査方法、診断支援方法、診断支援システム、診断支援プログラム、学習済みモデル及び画像診断支援装置 | |
US20230162356A1 (en) | Diagnostic imaging device, diagnostic imaging method, diagnostic imaging program, and learned model | |
Xiu et al. | The Diagnosis of Early Gastric Cancer Based on Medical Imaging Technology and Mathematical Modeling | |
Shiroma et al. | Ability of artificial intelligence to detect T1 esophageal squamous cell carcinoma from endoscopic videos: supportive effects of real-time assistance |