JP2022545124A

JP2022545124A - 深層学習に基づく消化管早期癌診断補助システム及び検査装置

Info

Publication number: JP2022545124A
Application number: JP2022512824A
Authority: JP
Inventors: 国▲華▼ 王; 燃王; 国▲應▼ 柏; ▲鋭▼ ▲譚▼
Original assignee: Individual
Current assignee: Individual
Priority date: 2019-08-23
Filing date: 2020-08-18
Publication date: 2022-10-25
Anticipated expiration: 2040-08-18
Also published as: WO2021036863A1; JP2024028975A; EP4018909A4; CN110495847B; EP4018909A1; CN110495847A; US20220189015A1; JP7404509B2

Abstract

本願は、深層学習に基づく消化管早期癌検査診断補助システム及び装置を提供し、当該システムは、特徴抽出ネットワークと、画像分類モデルと、内視鏡分類器と、早期癌識別モデルとを含み、特徴抽出ネットワークは、ニューラルネットワークモデルに基づいて内視鏡画像に対して初期特徴抽出を行うためのものであり、画像分類モデルは、初期特徴を抽出して、画像モダリティ特徴を取得するものであり、内視鏡分類器は、初期特徴を特徴抽出し、内視鏡分類特徴を取得して、胃鏡又は結腸鏡の画像を分類するためのものであり、早期癌識別モデルは、初期特徴、内視鏡分類特徴、画像モダリティ特徴及び画像分類特徴をつなぎ合わせて、対応する部位の白色光画像、電子染色画像又は化学染色画像での早期癌病巣の確率を取得し、或いは対応する部位の洗浄提示又は位置識別提示を取得するものである。本願は、ＡＩ支援診断の品質と消化管内視鏡による検査診断の効率を向上させた。

Description

本願は、医療検査機器に関し、具体的には、消化管早期癌診断補助システム及び検査装置に関する。

［相互参照］
本願は、２０１９年０８月２３日に提出された、出願番号が第２０１９１０７８５０５７Ｘ号であり、発明の名称が「深層学習に基づく消化管早期癌診断補助システム及び検査装置」である中国特許出願を引用し、その全体が参照により本願に組み込まれる。

深層学習に基づく人工知能技術の発展に伴い、医学画像診断の分野における人工知能の応用もますます注目を集めている。人工知能技術により、医用画像に基づいて存在する可能性のある病変を自動的に判断し、医用画像の自動スクリーニングを実現することができる。現在、人工知能技術は、すでに乳癌の病理検査、肺癌検査、心血管イメージングなどの様々な分野において広く研究されている。

消化管疾患は、よく発生する一般的な疾患であり、人の生命と健康を深刻に脅かしている。消化管内視鏡及び色素内視鏡は消化管疾患の診断のための最も好ましい選択肢であるが、消化管粘膜表面には常に大量の泡と粘液で覆われていることにより、内視鏡の視野がぼやけ、内視鏡の医師の観察に深刻な影響を与え、更には各種のアーチファクトを引き起こし、診断漏れや誤診断の主な原因の１つである。そのため、消化管内視鏡検査中における粘膜の洗浄は、診断漏れや誤診断を減らすための主要な措置の１つであり、ほとんどの粘膜染色の必要な基礎でもある。

通常の白色光内視鏡による消化管病変のスクリーニングの診断漏れ率は、特に結腸における微小病変と扁平型病変の場合、２５％にも達している。色素内視鏡検査は、通常の白色光内視鏡に基づいて、粘膜を染色することで、病巣と正常粘膜の色とのコントラストをより明らかにし、病変の認識、生検、及び鏡下での診療に寄与する。色素内視鏡と腫瘍病変の可視化と検査を容易にするためのその他の高度な画像技術は、胃腸管全体に応用されており、色素内視鏡検査、特に拡大内視鏡検査と組み合わせることで、胃腸粘膜腫瘍病変の検査する手段を著しく改善できる。

中国では、消化器系の腫瘍の発生率が最も高く、食道癌、胃癌及び結腸直腸癌などの消化管腫瘍はすべて、中国での癌の発病率の上位６位にランクされている。特に、胃癌は、毎年の新規症例数と死亡症例数は全世界中の数のほぼ半分に占めている。研究によると、消化管腫瘍は、早期に発見されれば、治癒率を大幅に向上させることができる。

消化管腫瘍は早期発見、早期診断、早期治療は、最も効果的である。中国の癌予防と抑制要綱では、癌の早期発見、早期診断及び早期治療が死亡率を下げ、生存率を高めるための主要な策略であると明確に指摘された。早期病変の検出率と診断率の向上に基づいて、内視鏡による早期治療を行うことは、消化管腫瘍患者の予後を改善し、国の医療資源を節約し、家族や社会への負担を軽減する効果的な方法である。

消化管内視鏡検査と病理学的生検は、現在中国で消化管早期癌の検出と診断のための標準である。北京協和病院が主導した、早期胃癌及び前癌病変のスクリーニング検査における４種類の強化拡大内視鏡の診断価値の前向きの多施設共同研究結論として、色素拡大内視鏡は正確、簡便、安全且つ手頃な早期胃癌の診断方法であり、ＮＢＩ拡大内視鏡の診断効率は色素拡大内視鏡より優れていない。

現在、中国では、消化管内視鏡による検査診断により消化管の早期癌のスクリーニングを実現するために、大病院の検査人数が多いため、医者が仕事に疲れ、小病院の検査人数が少ないため、医者の仕事が非常に不飽和状態になり、医者のトレーニング周期が長いため、その診断レベルの向上が遅く、検査中の視野がぼやけ、洗浄方法が欠如するため、時間がかかり、効果が良くなく、色素内視鏡に用いる染色液が不揃いで、医者の自製方法が千差万別で、用いる濃度が統一せず、使用方法の差が大きいため、標準化された診断マップを作成できないという主要な難題に直面している。

本願は、従来技術の上記課題を解決するために、消化管早期癌診断補助システム及び検査装置を提供する。

本願の一態様によれば、深層学習に基づく消化管早期癌検査診断補助システムを提供し、当該システムは、特徴抽出ネットワークと、画像分類モデルと、内視鏡分類器と、早期癌識別モデルとを含み、前記特徴抽出ネットワークは、ニューラルネットワークモデルに基づいて内視鏡画像に対して初期特徴抽出を行うためのものであり、前記画像分類モデルは、前記初期特徴を二次抽出して、画像分類特徴を取得するためのものであり、前記内視鏡分類器は、特徴抽出ネットワークによって取得された前記初期特徴を特徴抽出し、内視鏡分類特徴を取得して、胃鏡又は結腸鏡の画像を分類するためのものであり、前記早期癌識別モデルは、入力された初期特徴、内視鏡分類特徴、及び画像分類特徴をつなぎ合わせて、対応する部位の白色光画像、電子染色画像又は化学染色画像での早期癌病巣の確率を取得し、或いは対応する部位の洗浄提示又は位置識別提示を取得するためのものである。

本願の一態様によれば、深層学習に基づく消化管早期癌検査診断補助装置を提供し、当該装置は、ＡＩビデオディスプレイと、ＡＩプロセッサと、機能モジュールと、制御スイッチとを備え、前記機能モジュールは、洗浄及び染色操作モジュールであり、前記ＡＩプロセッサは、電気信号線を介して機能モジュールに接続され、ＡＩプロセッサの判断結果に基づいて、制御スイッチの信号により機能モジュールを制御するものであり、前記機能モジュールと胃腸鏡との間は、洗浄管路及び染色管路を介して接続され、前記機能モジュールと制御スイッチとの間は、フットスイッチの回線を介して接続される。

従来技術と比べ、本願は、消化管早期癌スクリーニングの臨床ガイドライン又は専門家のコンセンサスに従うに基づいて、基層医療機関に適合し、既存の大部分の胃腸鏡に適合する、医者を指導及び監督すると共に、その検査と診断のレベルと効率を向上できる検査装置及びシステムを提供する。本願の装置は、ＡＩ支援消化管内視鏡検査、消化管内視鏡の品質管理と消化管内視鏡診断の機能を有し、基層医者に消化器内視鏡の検査を指導及び監督すると共に、その検査と診の断レベルを高めるこ共できる。当該システム及び装置は、医療機構のほとんどの胃腸鏡とセットで使用することができる。

本願のシステムは、ＡＩ技術とＡＩホストの特別な粘膜洗浄クリニック技術及び特別な粘膜染色技術を一体に有機的に組み合わせて、ＡＩ診断補助の品質と消化管内視鏡検査の診断効率を向上させる面で、望外の効果が得られた。

その中で、本願のシステムの粘膜洗浄技術は、よりきれいで鮮明な画像を提供することにより、白色光内視鏡の条件下での画像識別の感度と特異度を向上させる。

その中で、本願のシステムの粘膜染色技術は、統一的な標準化生産の高品質の染色を利用することにより、その粘膜染色の比較性を更に強くさせ、標準化の診断マップの作成に有利で、染色効果がよりよく、比較性がより強い画像を提供することで、色素内視鏡の条件下での画像識別の感度と特異度を向上させる。

その中で、本願のシステムの粘膜洗浄技術は、より清潔で粘液のない粘膜を提供することにより、粘膜の染色効果をより良くする。本願のシステムのＡＩ画像識別技術、粘膜洗浄技術と粘膜染色技術の三者の結合により、内視鏡検査の効率を共同で向上させる。

本願の実施形態に係る消化管早期癌検査補助システムの全体のブロック図である。本願の実施形態に係る特徴抽出ネットワークの構成の模式図である。本願の実施形態に係る特徴抽出ネットワークのＤＷＳＥモジュールの構成の模式図である。本願の実施形態に係る消化管早期癌検査補助装置の概略の模式図である。本願の実施形態に係る消化管早期癌検査補助装置の表示画面の模式図である。本願の実施形態に係る消化管早期癌検査補助システムの操作方法の模式図である。本願の実施形態に係る消化管早期癌検査補助装置の操作のフローチャートである。

以下、図面及び実施形態を参照して本願の実施形態を更に詳細に説明する。以下の例は、本願を説明するためものであり、本願の範囲を限定するものではない。

本願の一実施形態では、消化管早期癌検査補助システムを提供し、当該システムの全体のブロック図が図１に示される。その中で、当該検査システムは、特徴抽出ネットワークと、画像分類モデルと、内視鏡分類器と、早期癌識別モデルとを含み、特徴抽出ネットワークは、ニューラルネットワークモデルに基づいて、内視鏡画像に対して初期特徴抽出を行うためのものであり、画像分類モデルは、前記初期特徴を二次抽出し、画像分類特徴を取得すると共に、入力画像モダリティを分類するためのものであり、内視鏡分類器は、特徴抽出ネットワークによって取得された初期特徴に対して更に特徴抽出を行って、内視鏡分類特徴を取得するためのものであり、早期癌識別モデルは、入力された初期特徴、内視鏡分類特徴、画像モダリティ特徴、及び画像分類特徴をつなぎ合わせて、対応する部位の白色光画像、電子染色画像又は化学染色画像での早期癌病巣の確率を取得し、或いは対応する部位の洗浄提示又は位置識別提示を取得するためのものである。

更に、当該システムは、初期特徴及び内視鏡分類特徴に応じて、胃鏡又は結腸鏡の早期癌識別モデルを選択して起用する内視鏡コントローラを更に含む。

その中で、一実施形態では、特徴抽出ネットワークは、画像分類モデル、内視鏡分類器、及び画像コントローラに接続されて、画像分類モデル、内視鏡分類器、及び画像コントローラにそれぞれ初期特徴を提供してもよい。

一実施形態では、当該システムは、内視鏡画像に対してラベリング及び対応する標準化処理を行うための画像前処理モジュールを更に含む。その中で、当該内視鏡画像は、上部消化管又は結腸鏡の白色光、電子染色、化学染色画像のいずれかであってもよい。

一実施形態では、前記早期癌識別モデルは、胃鏡早期癌識別モデルと結腸鏡早期癌識別モデルを含む。その中で、胃鏡早期癌識別モデルは、胃鏡白色光早期癌識別モデル、胃鏡電子染色早期癌識別モデル、及び胃鏡化学染色早期癌識別モデルを含み、結腸鏡早期癌識別モデルは、結腸鏡白色光早期癌識別モデル、結腸鏡電子染色早期癌識別モデル、及び結腸鏡化学染色早期癌識別モデルを含む。

その中で、当該システムは、アクティブされた早期癌識別モデルにおける対応する画像識別モデルの結果を重み付け処理して、対応する部位の白色光画像、電子染色画像又は化学染色画像での対応する早期癌病巣の確率を更新するための重みモジュールを更に含む。

その中で、他の実施形態では、画像分類モデルは、入力画像モダリティを分類し、白色光画像、電子染色画像、又は化学染色画像の３種類のモダリティの画像データを取得するために使用されるものである。また、前記画像分類モデルは、更に、画像コントローラに制御信号、重みモジュールに制御信号、胃鏡早期癌識別モデル及び結腸鏡早期癌識別モデルに画像分類特徴を提供するためにも使用されるものである。

その中で、他の実施形態では、前記内視鏡分類器は、入力画像が胃鏡画像でかるか、又は結腸鏡画像であるかを判別するために使用され、また、前記内視鏡分類器は、前記内視鏡コントローラに制御信号を提供すると共に、胃鏡早期癌識別モデル及び結腸鏡早期癌識別モデルに内視鏡分類特徴を提供するために使用される。

その中で、画像コントローラは、特徴抽出ネットワークの初期特徴を受信するためのものであり、３つの出力ポートａ、ｂ、ｃに対応し、それぞれ、白色光特徴出力、電子染色特徴出力、化学染色特徴出力に対応する。更に、画像分類モデルの分類結果は、画像コントローラの３つの出力ポートに対応しており、画像コントローラは、一回で１つの出力ポートのみがアクティブされて出力を行う。

その中で、内視鏡コントローラは、対応する画像コントローラの３つの出力を受信して、対応する結腸鏡画像特徴と上部消化管画像特徴を取得し、当該結腸鏡画像特徴と上部消化管画像特徴をそれぞれ、結腸鏡早期癌識別モデルと胃鏡早期癌識別モデルに送信する。その中で、結腸鏡早期癌識別モデルは結腸位置分類器にも接続され、胃鏡早期癌識別モデルは胃鏡位置分類器にも接続されている。

その中で、内視鏡コントローラは、更に、内視鏡分類器から提供される制御信号を受信し、結腸鏡早期癌識別モデル及び胃鏡早期癌識別モデルへの出力をアクティブするために１つの出力ポートを起用する。

その中で、胃鏡早期癌識別モデルは、入力された胃鏡の特徴をつなぎ合わせ、対応する識別モデルに入力する。その中で、入力される胃鏡画像特徴は、特徴抽出ネットワークの初期特徴、画像分類特徴、内視鏡分類特徴、及び胃鏡位置特徴を含む。

その中で、前記胃鏡早期癌識別モデルは、胃鏡白色光早期癌識別モデル、胃鏡電子染色早期癌識別モデル、及び胃鏡化学染色早期癌識別モデルを含む。

更に、胃鏡早期癌識別モデルの動作メカニズムは、以下の通りである。臨床医師による内視鏡スクリーニングにより、画像分類モデルが最初に出力した結果が白色光画像である場合、白色光特徴チャネルａがまずアクティブされ、つなぎ合わせた胃鏡特徴がまず胃鏡白色光早期癌識別モデルに入力される。白色光の下でこの画像での癌の病巣存在確率＞Ｐ（Ｐ値は１％～１０％の間に設定され得る）値であると判断された場合、医師に染色操作を提示すると共に、胃鏡染色コントローラの出力がアクティブされる。染色実行後の画像特徴が胃鏡早期癌識別モデルに入力され、胃鏡染色の制御により、この特徴が対応する染色識別モデルに入る。

その中で、結腸鏡早期癌識別モデルは、入力された結腸鏡画像特徴をつなぎ合わせ、対応する識別モデルに入力するためのものである。入力された結腸鏡画像特徴は、特徴抽出ネットワークの初期特徴、画像分類特徴、内視鏡分類特徴、及び結腸鏡位置特徴を含む。

その中で、結腸鏡早期癌識別モデルは、結腸白色光識別モデル、結腸電子染色識別モデル、及び結腸化学染色識別モデルを含む。

その中で、結腸鏡早期癌識別モデルの動作メカニズムは、胃鏡早期癌識別モデルのメカニズムと同様であり、つなぎ合わせた結腸鏡画像特徴は、まず結腸白色光識別モデルに入力される。白色光の下でこの画像での癌の病巣存在確率>Ｐ値であると判断された場合、医師に染色操作の更なる確認を提示すると共に、結腸鏡染色コントローラの出力がアクティブされる。そして、他の２つの染色識別モデルがアクティブされる。

その中で、胃鏡早期癌識別モデルと結腸鏡早期癌識別モデルは、全部で、Ｐ_１、Ｐ_２、Ｐ_３の３つの出力を有し、それぞれ、現在部位の白色光画像、電子染色画像、化学染色画像における早期癌病巣が存在する確率に対応する。

その中で、他の実施形態では、重みモジュールは、３つの接続される識別モデルの結果を重み付けして出力し、精度のより高い予測結果を得るものである。重みモジュールにおけるＰ_１、Ｐ_２、Ｐ_３の値は常に更新され、新しい識別モデルの入力が元の値に置き換え、新しい入力確率値が更新されるまで保存される。画像分類モデルは、重みモジュールの制御信号の入力として１つの出力を有し、画像分類モデルが白色光画像の入力を検出した場合、Ｐ_１、Ｐ_２、Ｐ_３の値が同時にクリアされる。重みモジュールの出力は、白色光、電子染色、化学染色識別モデルが協働した結果である。

その中で、他の実施形態では、全ての内視鏡画像は、白色光、電子染色、化学染色の３種類に分類される。対象の観点から、すべての画像は、胃鏡画像、結腸鏡画像の２種類に分類される。結果的には、すべての画像は、癌の病巣領域の存在する／存在しない２つのカテゴリに分類される。

その中で、画像前処理モジュールは、画像の切り出し、画像のスケーリング、画像の標準化、及び画像の規格化を行うためのものである。その中で、元の胃腸鏡画像の解像度は１９２０×１０８０であり、有効な画像領域は中央の組織あり領域のみであり、周囲の枠は手動で切り出しする必要がある。切り出された画像は、入力ネットワーク上でのサイズ５２８×５２８にスケーリングされる。

画像の標準化は、胃腸鏡画像データベース全体の平均画像と標準偏差画像を計算することを含む。計算方式は、以下通りである。

ここで、Ｘ_ｉは（５２８、５２８、３）画像マトリクスであり、Ｎはデータベース内の画像数である。各入力ネットワークの画像Ｘ_ｊごとに標準化処理を行う必要がある。

画像の規格化とは、Ｘ_ｊの画素値を０から１の間に変換することである。トレーニング時には、画像データベースは、画像の明るさ、コントラスト変換、画像のスケーリング変換、画像の回転変換、画像の鏡像変換、及び局所的な歪み変換を含むデータ拡張操作を行う。

予測部分の前処理は、同様に、画像の切り出し、画像のスケーリング、画像の標準化、及び画像の規格化を含む。

その中で、特徴抽出ネットワークは、主に、入力された画像に対して特徴を初期抽出し、後述のの分類器、識別モデルのために用意する。具体的には、特徴抽出ネットワークは、同様に、ＶＧＧ－Ｎｅｔ、Ｒｅｓ－Ｎｅｔ、ＳＥ－Ｎｅｔ、ＮＡＳ－Ｎｅｔ等のネットワークを採用してもよい。

一実施形態では、特徴抽出ネットワークは、１層の通常の畳み込み層と、７つのＤＷＳＥモジュールとを含み、図２に示すように、いくつかのＤＷＳＥモジュールの首尾に短リンクが付される。特徴ネットワーク画像入力は（Ｂａｔｃｈ、３、５２８、５２８）であり、出力特徴ベクトルは（Ｂａｔｃｈ、５１２、１３２、１３２）であり、ここで、Ｂａｔｃｈはネットワークバッチのサイズである。

その中で、ＤＷＳＥモジュール構成は、図３に示すように、２層のコアが１ｘ１の畳み込み層Ｃｏｎｖ１及びＣｏｎｖ２と、１層の深度分離可能な畳み込み層ＤｗＣｏｎｖ及びＳＥ－ＮｅｔにおけるＳＥモジュールとからなる。特徴抽出ネットワークの各層の畳み込みの後に、いずれもＢＮ層及びＥＬＵアクティブ層が接続される。

更に、一実施形態では、画像分類モデルは、特徴抽出ネットワークにおける初期特徴の更なる抽出を完了した後、画像分類特徴を取得し、入力画像モダリティ（白色光、電子染色、化学染色画像）の分類タスクを完了する。モダリティ分類の結果を用いて、画像コントローラの出力と、重みモジュールの確率値の記憶を制御する。

更に、内視鏡分類器は、同様に、特徴抽出ネットワーク特徴の初期特徴を更に特徴抽出して、内視鏡分類特徴を得て、入力画像が胃鏡又は結腸鏡の画像に属する分類タスクを完了する。更に、内視鏡分類器の分類結果を用いて、内視鏡コントローラの出力を制御する。

その中で、胃鏡早期癌識別モデルは、特徴抽出ネットワークの初期特徴、画像分類モデル特徴、内視鏡分類器特徴、及び胃鏡位置分類器特徴のつなぎ合わせに基づいて、画像コントローラ及び胃鏡染色コントローラの制御により、つなぎ合わせた特徴を対応する識別モデルに入力する。

その中で、胃鏡早期癌識別モデルが動作するようにアクティブされるか否かは、内視鏡コントローラによって制御される。入力画像が胃鏡画像である場合、内視鏡分類器は、胃鏡早期癌識別モデルの動作がアクティブされるように内視鏡コントローラを制御する。

その中で、図１によれば、臨床内視鏡医師の操作手順によれば、胃鏡画像は、まず白色光画像のはずであり、つなぎ合わせた白色光画像の特徴は、胃鏡白色光早期癌識別モデルに入力されるべきである。この識別モデル予測画像での癌の病巣存在確率＞Ｐ値である場合、他の２つの胃鏡早期癌識別モデルが動作するようにアクティブされ、内視鏡医師に染色操作を提示すると共に、画像中に癌化領域が存在する確率を提示する。この確率は、単に胃鏡白色光画像識別モデルの予測結果である。

医師が染色（電子染色又は化学染色）操作を行うと、対応する胃鏡染色識別モデルが動作し、この識別モデルからも予測確率値が出力される。このときの提示情報における予測癌化領域の確率は、胃鏡白色光、染色識別モデル（電子染色識別モデルもしくは化学染色識別モデル、又は両方）が出力する確率を重み付けしたものとなる。

その中で、結腸鏡早期癌識別モデルの原理は、胃鏡早期癌識別モデルの原理と同じであり、胃鏡、結腸鏡早期癌識別モデルがアクティブされるか否かは、内視鏡コントローラによって制御される。入力画像が結腸鏡画像である場合、内視鏡分類器は、特徴抽出ネットワーク特徴を結腸識別モデルに入力するように内視鏡コントローラを制御する。この時、結腸識別モデルが動作し始め、胃鏡早期癌識別モデルは待機状態となる。

その中で、重みモジュールは、アクティブされた識別モデル（胃鏡早期癌識別モデル又は結腸鏡早期癌識別モデル）のうち３つの画像識別モデル（白色光、電子染色、化学染色）の結果を重み付けして出力し、より精度の高い予測結果を得る。計算方法は、以下の通りである。

ここで、Ｐ_ｏｕｔは最終的に画像に癌化領域が存在するか否かを判別した確率であり、Ｐ_１、Ｐ_２、Ｐ_３は、３つのアクティブされた識別モデルが画像に癌の病変が存在することを認識した確率であり、Ｗ_１、Ｗ_２、Ｗ_３は、重みモジュールの重みパラメータである。

白色光識別モデルがアクティブされた後、識別モデル出力Ｐ_１の値は重みモジュールに保持され、白色光識別モデルが連続的にアクティブされると、記憶されているＰ_１が継続的に更新され、他の２つの識別モデルについて同様である。染色識別モデルがアクティブされると、白色光識別モデルの予測確率は、重みモジュールに記憶されたＰ_１によって決定され、他の２つの識別モデルがアクティブされた確率値も重みモジュールに記憶される。１つの部位の癌化領域の診断が完了した後、プローブの視野が別の位置に入り、入力画像も再び白色光画像になる。この時、重みモジュールは、画像分類器の支援（つまり、入力画像が染色画像から白色光画像に変更したことをネットワークが検出すると）下で、Ｐ_１、Ｐ_２、Ｐ_３の値をクリアし、Ｐ_１の値は、現在の白色光画像での癌の病変領域が存在する確率に更新する。

本願の別の実施形態では、消化管早期癌検査補助装置を提供する。その中で、図４に示すように、消化管早期癌検査補助装置は、ＡＩビデオディスプレイと、ＡＩプロセッサと、機能モジュールと、制御スイッチとを備える。前記機能モジュールは、洗浄及び染色操作モジュールである。接続されている通常の消化管内視鏡は、胃腸鏡ビデオディスプレイ、胃腸鏡、及び胃腸鏡ホストを含む。

その中で、ＡＩビデオディスプレイとＡＩプロセッサとの間、及びＡＩプロセッサと胃腸鏡ホストとの間は、ビデオラインを介して接続されている。ＡＩプロセッサと機能モジュールとの間は、電気信号線を介して接続されている。機能モジュールと胃腸鏡の間は、洗浄管路と染色管路を介して接続されている。機能モジュールと制御スイッチとの間は、空気圧スイッチの空気圧管を介して接続されている。

その中で、内視鏡医師は、胃鏡又は結腸鏡を操作して、ＡＩビデオディスプレイを観察し、ＡＩプロセッサの分析によってディスプレイに洗浄が必要であることが提示される場合、制御スイッチを踏むと、機能モジュールは動作し、３７度の恒温で泡と粘液を除去する効果を有する洗浄液を利用て、目標区域を洗浄し、制御スイッチが解放されると、動作がが終了する。それと同時に、ＡＩプロセッサは、品質管理チェックのために、洗浄提示及び洗浄応答に関する情報を自動的に記録する。

ＡＩプロセッサの分析によって、ディスプレイに粘膜染色が提示されると、医者は、ＡＩプロセッサの洗浄/染色切り替えボタンと染色液選択ボタンを押して、制御スイッチを踏むと、機能モジュールは、粘膜染色液を利用して、目標区域の粘膜に対して一定の速度で均一に噴霧及び染色を行い、制御スイッチが解放されると動作が終了する。それと同時に、ＡＩプロセッサは、品質管理チェックのために、染色提示及び染色応答に関する情報を自動的に記録する。

食道の複合ヨウ素溶液による染色を行う場合は、医者がＡＩプロセッサの染色液選択ボタンを押すだけで、ヨウ素化合物溶液中和剤（５％チオ硫酸ナトリウム溶液）を選択する。制御スイッチを踏むと、機能モジュールは、目標区域の粘膜に対して一定の速度で均一に噴霧及び中和を行い、余分な複合ヨウ素溶液による胃腸管への更なる刺激を防止し、制御スイッチが解放されると動作が終了する。

同様に、このようにして他の染色を行う場合には、医者が洗浄/染色切り替えのボタンを押して、制御スイッチを踏むだけで、機能モジュールは、目標粘膜染色領域の余分な染色液を洗浄し、制御スイッチが解放されると動作が終了する。

ＡＩ技術によってディスプレイに粘膜を染色していない（白色光内視鏡）場合の早期癌が提示される場合、医者が装置におけるＡＩホストを染色モードにおける対応する希望の染色液に調整してから、制御スイッチを踏むだけで、機能モジュールは、目標区域の粘膜に対して一定の速度で均一に噴霧及び染色を行い（目的は生検位置決め）、制御スイッチが解放されると動作が終了して、最後に、医者が染色噴出管を取り出して、生検鉗子を挿入して状況に応じて生検を行う。

色素内視鏡での早期癌の提示であれば、医者が染色噴出管を取り出して、生検鉗子を挿入して状況に応じて生検を行う。以上の手順は、生検を行う時に、看護師の協力が必要な場合を除いて、他の場合は、内視鏡医師が独自に実行することができる。

一般的には、洗浄管は、胃腸鏡の鉗子管口又は副送水口に接続される。結腸鏡検査を実施され、被検者の腸管の準備が不十分である場合（この時、ＡＩ技術によってディスプレイに洗浄が必要であることが提示される）は、通常の洗浄管路を洗浄吸引一体管路に変更して、吸引口に接続すると共に、結腸鏡の吸引ボタンを当該装置の独自の無線ボタンに変更する。それと同時に、ＡＩプロセッサにおける洗浄清潔モードボタンを洗浄吸引一体モードに切り替えて、腸管の準備が不十分な腸管粘膜に対して洗浄を行うことができる。腸管の準備が不十分であるため、通常の洗浄は、胃腸鏡の吸引チャネルの閉塞を引き起こしやすい。

当該装置のＡＩビデオディスプレイのレイアウトは図５に示される。図５のように、胃腸鏡のリアルタイム操作画面は、ＡＩにより指示ブロック図がラベリングされない限り、胃腸鏡の画面と同じである。位置提示、洗浄提示、染色提示、早期癌提示、及び撮像統計情報が左側に配置されている。

更に、一実施形態では、図７に示すようなＡＩプロセッサの処理機能のフローチャートは、解析処理のための左側方案と右側方案を示している。

その中で、左側方案は、主に胃鏡と結腸鏡を２つの異なるモデルで実現し、１つの内視鏡分類モデルによって２つの異なる洗浄位置モデルの動作を制御する。この方案は、主に、画像前処理、特徴抽出ネットワーク、内視鏡分類器、内視鏡コントローラ、胃鏡洗浄及び位置識別モデル、結腸鏡洗浄及び位置識別モデルを含む。その中で、画像前処理モジュールは、モデルトレーニングの精度や汎化能力を向上させるものであり、当該部分は、主に、モデルトレーニング時の前処理と予測時の前処理に分けられる。トレーニング部分の前処理は、大量の内視鏡データに対してモデルトレーニングを行い、すべての内視鏡データに対して手動でラベリングを行う必要があり、ラベリング内容は、位置ラベリングと洗浄ラベリングとを含む。

その中で、位置ラベリングは上下部消化管に適用され、上部消化管の位置は、口咽頭部、食道、噴門、胃底、胃体、胃角、胃前庭部、幽門、十二指腸球部、及び十二指腸下行部に分けられ、下部消化管の位置は、回盲部（回盲弁、虫垂陰窩を含む）、上行結腸、肝曲、横行結腸、脾曲、下行結腸、Ｓ状結腸、及び直腸を含む。

その中で、内視鏡での上部消化管の視野鮮明度の等級付け判定基準は、以下の通りである。Ａ級－泡なし、粘液なし、及び視野が明らかである。Ｂ級－少量の粘液性泡、視野がやや明らかである。Ｃ級－粘液性泡が散見され、視野が影響を受ける。Ｄ級－大量の粘液性泡又は逆流性の胆汁や血液、視野が明らかではない。視野鮮明度がＡ級とＢ級の場合、洗浄を必要としない画像に分けられ、視野鮮明度がＣ級とＤ級の場合、洗浄を必要とする画像に分けられる。

その中で、下部消化管の視野鮮明度の等級付け判定基準は、以下の通りである。１級－腸腔内に糞便及び液体が残存しない。２級－腸腔内に少量の糞便水があり、腸道粘膜全体がはっきり見える。３級－腸腔内に少量の糞便があり、ほとんどの腸粘膜がはっきり見える。４級－腸腔内に糞便が多く、腸粘膜の観察に大きく影響する。視野鮮明度が１級と２級の場合、洗浄を必要としない画像に分けられ、視野鮮明度が３級と４級の場合、洗浄を必要とする画像に分けられる。

その中で、図６に示すように、当該ＡＩプロセッサは、特徴抽出ネットワーク、画像分類モデル、洗浄位置識別モデル、及び早期癌識別モデルを含み、特徴抽出ネットワークは、ニューラルネットワークモデルに基づいて、胃腸鏡ホストから送信された内視鏡画像を初期特徴抽出するためのものであり、画像分類モデルは、前記初期特徴を二次抽出して、画像分類特徴を取得すると共に、入力画像モダリティを分類するためのものであり、洗浄位置識別モデルは、特徴抽出ネットワークの初期特徴を受信し、ニューラルネットワークに基づいて、上下部消化管の各部位の位置情報の判別を取得して、洗浄情報を確認し、早期癌識別モデルは、入力された初期特徴と画像分類特徴とをつなぎ合わせて、対応する部位の白色光画像、電子染色画像又は化学染色画像での早期癌病巣の確率を取得するためのものである。

その中で、洗浄位置識別モデルは、胃鏡洗浄位置識別モデルと、結腸鏡洗浄位置識別モデルを含み、前記洗浄位置識別モデルの入力は、特徴抽出ネットワークの初期特徴であり、出力は、位置情報（上下部消化管の各部位）の判別、及び洗浄情報（洗浄要否）の判別である。その中で、画像中の特徴を、ニューラルネットワークフレームワーク（ＶＧＧ－１６、ＶＧＧ－１９、ＲｅｓＮＥｔなど）で抽出し、モデルを２つの分岐に分け、各分岐のそれぞれは、異なる畳み込み層、全リンク層、ｓｏｆｔｍａｘ層から構成することで、洗浄情報と位置情報の分類を実現する。

更に、当該システムは、内視鏡分類器と、内視鏡コントローラとを更に含む。その中で、前記内視鏡分類器は、特徴抽出ネットワークによって取得された初期特徴に対して更に特徴抽出を行って、内視鏡分類特徴を取得すると共に、胃鏡又は結腸鏡の画像を分類するためのものであり、内視鏡コントローラは、初期特徴と内視鏡分類特徴に応じて、胃鏡又は結腸鏡の早期癌識別モデル、及び洗浄位置識別モデルを選択して起用する。

その中で、一実施形態では、特徴抽出ネットワークは、画像分類モデル、内視鏡分類器、及び画像コントローラに接続されて、画像分類モデル、内視鏡分類器、及び画像コントローラのそれぞれに初期特徴を提供してもよい。

一実施形態では、前記早期癌識別モデルは、胃鏡早期癌識別モデルと結腸鏡早期癌識別モデルを含む。その中で、胃鏡早期癌識別モデルは、胃鏡白色光早期癌識別モデル、胃鏡電子染色早期癌識別モデル、及び胃鏡化学染色早期癌識別モデルを含む。結腸鏡早期癌識別モデルは、結腸鏡白色光早期癌識別モデル、結腸鏡電子染色早期癌識別モデル、及び結腸鏡化学染色早期癌識別モデルを含む。

その中で、当該システムは、アクティブされた早期癌識別モデルにおける対応する画像識別モデルの結果を重み付け処理して、対応する部位の白色光画像、電子染色画像又は化学染色画像での早期癌病巣の確率を更新する重みモジュールを更に含む。

その中で、他の実施形態では、画像分類モデルは、入力画像モダリティを分類し、白色光画像、電子染色画像、又は化学染色画像の３種類のモダリティの画像データを取得するために使用されるものである。また、画像分類モデルは、更に、画像コントローラに制御信号、重みモジュールに制御信号、胃鏡早期癌識別モデル及び結腸鏡早期癌識別モデルに画像分類特徴を提供するためにも使用されるものである。

その中で、他の実施形態では、前記内視鏡分類器は、入力画像が胃鏡画像であるか、又は結腸鏡画像であるかを判別するために使用され、また、前記内視鏡分類器は、内視鏡コントローラに制御信号を提供すると共に、胃鏡早期癌識別モデル及び結腸鏡早期癌識別モデルに内視鏡分類特徴を提供するために使用される。

その中で、内視鏡コントローラは、対応する画像コントローラの３つの出力を受信して、対応する結腸鏡画像特徴と上部消化管画像特徴を取得し、当該結腸鏡画像特徴と上部消化管画像特徴をそれぞれ、結腸鏡早期癌識別モデルと胃鏡早期癌識別モデルに送信する。その中で、結腸鏡早期癌識別モデルは結腸位置分類器にも接続され、胃鏡早期癌識別モデルは胃鏡位置分類器にも接続される。

その中で、胃鏡早期癌識別モデルは、入力された胃鏡特徴をつなぎ合わせ、対応する識別モデルに入力する。その中で、入力される胃鏡画像特徴は、特徴抽出ネットワークの初期特徴、画像分類特徴、内視鏡分類特徴、及び胃鏡位置特徴を含む。

その中で、結腸鏡早期癌識別モデルは、入力された結腸鏡画像特徴をつなぎ合わせ、対応する識別モデルに入力する。入力された結腸鏡画像特徴は、特徴抽出ネットワークの初期特徴、画像分類特徴、内視鏡分類特徴、及び結腸鏡位置特徴を含む。

その中で、図１によれば、臨床内視鏡医師の操作手順によれば、胃鏡画像は、まず白色光画像のはずであり、つなぎ合わせた白色光画像の特徴は、胃鏡白色光早期癌識別モデルに入力されるべきである。この識別モデル予測画像での癌の病巣存在確率＞Ｐ値である場合、他の２つの胃鏡早期癌識別モデルが動作するようにをアクティブされ、内視鏡医師に染色操作を提示すると共に、画像中に癌化領域が存在する確率を提示する。この確率は、単に胃鏡白色光画像識別モデルの予測結果である。

その中で、重みモジュールは、アクティブされた識別モデル（胃鏡早期癌識別モデル又は結腸鏡早期癌識別モデル）のうち３つの画像識別モデル（白色光、電子染色、化学染色）の結果を重み付けして出力し、精度のより高い予測結果を得る。

白色光識別モデルがアクティブされた後、識別モデル出力Ｐ１の値は重みモジュールに保持され、白色光識別モデルが連続的にアクティブされると、記憶されているＰ１が継続的に更新され、他の２つの識別モデルについて同様である。染色識別モデルがアクティブされると、白色光識別モデルの予測確率は、重みモジュールに記憶されたＰ１によって決定され、他の２つの識別モデルがアクティブされた確率値も重みモジュールに記憶される。１つの部位の癌化領域の診断が完了した後、プローブの視野が別の位置に入り、入力画像も再び白色光画像になる。この時、重みモジュールは、画像分類器の支援（つまり、入力画像が染色画像から白色光画像に変更したことをネットワークが検出すると）下で、Ｐ１、Ｐ２、Ｐ３の値をクリアし、Ｐ１の値は、現在の白色光画像での癌の病変領域が存在する確率に更新する。その中で、右側方案は、洗浄位置認識モデルの汎化能力を強化し、より深い汎用ネットワークを用いて特徴抽出を行い、胃鏡と結腸鏡を合わせて洗浄位置認識を行う。

その中で、本願システムの提示情報は、主に洗浄提示、位置提示、早期癌提示、染色提示である。提示情報間の論理的関係は、通常受検者のグループの検査時、白色光条件下でのある部位の提示情報には洗浄提示と染色の提示が同時に存在し、ＡＩディスプレイには、洗浄提示のみを出力する。医師が洗浄操作を行った後、この時点で依然として洗浄提示と染色の提示が同時に存在すれば、２つの提示情報はＡＩディスプレイに同時に出力される。

染色提示の表示は、早期癌識別モデル及び内視鏡医者による高リスクグループの判別により共に決定される。この症例が医師によって高リスクグループとして定義された場合、食道部と結腸鏡の各部位の検査時にシステムによって粘膜染色が自動的に一回提示され（今回の提示は早期癌識別モデルからの影響を受けない）、胃部、十二指腸部の検査時に、通常受検者と同様に早期癌識別モデルに基づいて提示が出力される。

その中で、リアルタイム操作画面における撮像統計は、主に、国の要求に応じた撮像数及び実際の治療時の医師による撮像数の履歴表示である。

本願は、主に、内視鏡医師が内視鏡検査（食道、胃、十二指腸、結腸などを含む部位）において見落とされやすい早期癌病変領域を発見し、早期癌の検査漏れ率を低下させるのを支援するものである。

当業者であれば理解できるように、上述した方法の実施形態を実現するためのステップの全部又は一部が、プログラム指令に関連するハードウェアによって実現できる。前記プログラムは、コンピュータ読み取り可能な記憶媒体に記憶可能であり、当該プログラムが実行される時、上述した方法の実施形態を含むステップが実行される。前記記憶媒体は、ＲＯＭ、ＲＡＭ、磁気ディスク、光ディスク等の様々なプログラムコードを記憶可能なものである。

上述した電子機器の実施形態は単なる例示的ものであって、分離部品として説明されたユニットは、物理的に分離されていてもよく、分離されていなくてもよく、ユニットとして示した部品は、物理的なユニットであってもよく、物理的なユニットでなくてもよく、即ち、１つの位置にあってもよく、複数のネットワークユニットに分布されていてもよい。本実施形態の方案の目的は、実際のニーズに応じて、その一部又は全部のモジュールを選択することで達成することができる。当業者は、創造的な労働を要しない前提で、それを理解し、実施することができる。

以上の実施形態の説明により、当業者にとって、各実施形態がソフトウェアと必要な汎用ハードウェアプラットフォームを組み合わせった形態で実現可能であることは明らかであり、勿論、ハードウェアによっても実現可能である。このような理解に基づいて、上述の技術方案は本質的に、或いは従来技術に寄与する部分が、例えばＲＯＭ／ＲＡＭ、磁気ディスク、光ディスクなどのコンピュータ読み取り可能な記憶媒体に記憶され得るコンピュータソフトウェア製品の形態で具現化することができ、１つのコンピュータ装置（例えば、パーソナルコンピュータ、サーバ、又はネットワーク機器など）に様々な実施形態や実施形態の一部のいくつかの方法を実行させるための命令を含む。

最後に、本願の方法は、好ましい実施方案に過ぎず、本願の保護範囲を限定するものではない。本願の精神と原則の範囲内におけるいかなる修正、均等な置換、改善などは、本願の保護範囲に含まれるものとする。

Claims

特徴抽出ネットワークと、画像分類モデルと、内視鏡分類器と、早期癌識別モデルとを含み、
前記特徴抽出ネットワークは、ニューラルネットワークモデルに基づいて内視鏡画像に対して初期特徴抽出を行うためのものであり、
前記画像分類モデルは、前記初期特徴を抽出して、画像モダリティ特徴を取得すると共に、対応する胃鏡又は結腸鏡の画像の画像分類特徴を取得するためのものであり、
前記内視鏡分類器は、前記初期特徴を特徴抽出して、内視鏡分類特徴を取得するためのものであり、
前記早期癌識別モデルは、前記初期特徴、内視鏡分類特徴、画像モダリティ特徴、及び画像分類特徴をつなぎ合わせて、対応する部位の白色光画像、電子染色画像又は化学染色画像での早期癌病巣の確率を取得し、或いは対応する部位の洗浄提示又は位置識別提示を取得するためのものであることを特徴とする深層学習に基づく消化管早期癌検査診断補助システム。
初期特徴及び内視鏡分類特徴に応じて、胃鏡又は結腸鏡の早期癌識別モデルを選択して起用する内視鏡コントローラを更に含むことを特徴とする請求項１に記載のシステム。
前記内視鏡画像に対してラベリング及び対応する標準化処理を行うための画像前処理モジュールを更に含み、
前記内視鏡画像は、上部消化管又は結腸鏡の白色光、電子染色、化学染色画像のいずれかであることを特徴とする請求項１に記載のシステム。
前記早期癌識別モデルは、胃鏡早期癌識別モデルと結腸鏡早期癌識別モデルを含み、
胃鏡早期癌識別モデルは、胃鏡白色光早期癌識別モデル、胃鏡電子染色早期癌識別モデル、及び胃鏡化学染色早期癌識別モデルを含み、
結腸鏡早期癌識別モデルは、結腸鏡白色光早期癌識別モデル、結腸鏡電子染色早期癌識別モデル、及び結腸鏡化学染色早期癌識別モデルを含むことを特徴とする請求項１に記載のシステム。
アクティブされた早期癌識別モデルにおける対応する部位の白色光画像、電子染色画像又は化学染色画像での早期癌病巣の確率を重み付け処理して、対応する部位の白色光画像、電子染色画像又は化学染色画像での早期癌病巣の確率を更新するための重みモジュールを更に含むことを特徴とする請求項４に記載のシステム。
前記画像分類モデルは、入力画像モダリティを分類し、白色光画像、電子染色画像、又は化学染色画像の３種類のモダリティの画像モダリティ特徴を取得するために使用されるものであり、
また、前記画像分類モデルは、画像コントローラに制御信号、重みモジュールに制御信号、胃鏡早期癌識別モデル及び結腸鏡早期癌識別モデルに画像分類特徴を提供するためにも使用されるものであることを特徴とする請求項５に記載のシステム。
前記内視鏡分類器は、入力画像が胃鏡画像であるか、又は結腸鏡画像であるかを判別するために使用され、
また、前記内視鏡分類器は、前記内視鏡コントローラに制御信号を提供すると共に、胃鏡早期癌識別モデル及び結腸鏡早期癌識別モデルに内視鏡分類特徴を提供するためにも使用されることを特徴とする請求項１に記載のシステム。
前記内視鏡コントローラは、内視鏡分類器から提供される制御信号を受信し、結腸鏡早期癌識別モデル及び胃鏡早期癌識別モデルをアクティブするために１つの出力ポートを起用するためのものであることを特徴とする請求項７に記載のシステム。
前記胃鏡早期癌識別モデルは、初期特徴、画像分類特徴、内視鏡分類特徴、及び位置特徴のつなぎ合わせに基づいて、画像コントローラ及び胃鏡染色コントローラの制御により、つなぎ合わせた特徴を対応する識別モデルに入力して、対応する部位の白色光画像、電子染色画像、又は化学染色画像の早期癌病巣の確率を取得するためのものであることを特徴とする請求項７に記載のシステム。
ＡＩビデオディスプレイと、ＡＩプロセッサと、機能モジュールと、制御スイッチとを備え、
前記機能モジュールは、洗浄及び染色操作モジュールであり、
前記ＡＩプロセッサは、電気信号線を介して機能モジュールに接続され、ＡＩプロセッサの判断結果に基づいて、制御スイッチの信号により機能モジュールを制御するものであり、
前記機能モジュールと胃腸鏡との間は、洗浄管路及び染色管路を介して接続され、
前記機能モジュールと制御スイッチとの間は、フットスイッチの回線を介して接続されることを特徴とする深層学習に基づく消化管早期癌検査診断補助装置。
前記ＡＩプロセッサは、特徴抽出ネットワークと、画像分類モデルと、洗浄位置識別モデルと、早期癌識別モデルとを有し、
前記特徴抽出ネットワークは、ニューラルネットワークモデルに基づいて、胃腸鏡ホストから送信された内視鏡画像に対して初期特徴抽出を行うためのものであり、
画像分類モデルは、前記初期特徴を抽出して、画像分類特徴を取得すると共に、入力画像モダリティを分類するためのものであり、
洗浄位置識別モデルは、特徴抽出ネットワークの初期特徴を受信し、ニューラルネットワークに基づいて、上下部消化管の各部位の位置情報の判別を取得して、洗浄情報を確認するためのものであり、
前記早期癌識別モデルは、入力された初期特徴と画像分類特徴をつなぎ合わせて、対応する部位の白色光画像、電子染色画像又は化学染色画像での早期癌病巣の確率を取得するためのものであることを特徴とする請求項１０に記載の装置。
前記洗浄位置識別モデルは、胃鏡洗浄位置識別モデルと、結腸鏡洗浄位置識別モデルとを含み、前記洗浄位置識別モデルは、特徴抽出ネットワークの初期特徴に基づいて、上下部消化管の各部位の位置情報を判別し、対応する位置の洗浄情報を確認するためのものであることを特徴とする請求項１０に記載の装置。
前記ＡＩビデオディスプレイは、ＡＩプロセッサの結果に基づいて、洗浄操作及び染色操作を行うように提示し、
前記制御スイッチは、対象領域を洗浄又は染色するように機能モジュールを起動するためのものであり、
前記ＡＩプロセッサは、洗浄や染色の提示、及び洗浄応答と染色応答に関連情報を記録するためにも使用されることを特徴とする請求項１１に記載の画像処理装置。
前記ＡＩプロセッサは、画像前処理モジュールを更に有し、
前記画像前処理モジュールは、内視鏡画像に対して、ラベリング及び対応する標準化処理を行うためのものであり、
前記内視鏡画像は、上部消化管又は結腸鏡の白色光、電子染色及び化学染色画像のいずれかであることを特徴とする請求項１１に記載の装置。
前記早期癌識別モデルは、胃鏡早期癌識別モデルと結腸鏡早期癌識別モデルを含み、
胃鏡早期癌識別モデルは、胃鏡白色光早期癌識別モデル、胃鏡電子染色早期癌識別モデル、及び胃鏡化学染色早期癌識別モデルを含み、
結腸鏡早期癌識別モデルは、結腸鏡白色光早期癌識別モデル、結腸鏡電子染色早期癌識別モデル、及び結腸鏡化学染色早期癌識別モデルを含むことを特徴とする請求項１１に記載の装置。
前記内視鏡分類器は、入力画像が胃鏡画像であるか、又は結腸鏡画像であるかを判別するために使用され、また、前記内視鏡分類器は、内視鏡コントローラに制御信号を提供すると共に、胃鏡早期癌識別モデル及び結腸鏡早期癌識別モデルに内視鏡分類特徴を提供するためにも使用されることを特徴とする請求項１１に記載の装置。
前記洗浄位置識別モデルは、特徴抽出ネットワークの初期特徴、画像分類特徴、及び内視鏡分類特徴のつなぎ合わせに基づいて、内視鏡コントローラにより、つなぎ合わせた特徴を対応する識別モデルに入力して、上下部消化管の各部位の位置情報の判別を取得し、洗浄情報を確認するためのものであることを特徴とする請求項１１に記載の装置。
前記洗浄位置識別モデルは、特徴抽出ネットワークの初期特徴、画像分類特徴に基づいて、つなぎ合わせた特徴を識別モデルに入力して、上下部消化管の各部位の位置情報の判別を取得し、洗浄情報を確認するためにも使用されることを特徴とする請求項１１に記載の装置。