JP2020073081A - 画像診断支援装置、学習済みモデル、画像診断支援方法および画像診断支援プログラム - Google Patents

Abstract

【課題】内視鏡医による内視鏡画像の診断を支援することが可能な画像診断支援装置、資料収集方法、画像診断支援方法および画像診断支援プログラムを提供する。【解決手段】画像診断支援装置は、消化器内視鏡撮像装置により撮像された被験者の消化器内視鏡画像内に存在する病変の名称および位置と、それらの確度の情報とを、畳み込みニューラルネットワークによって推定する病変推定部と、当該病変の名称および位置と、それらの確度とを表示する解析結果画像を生成して、消化器内視鏡画像上に表示させる制御を行う表示制御部と、を備え、畳み込みニューラルネットワークは、萎縮、腸上皮化生、粘膜の隆起または陥凹、粘膜色調の状況の特徴抽出によってあらかじめ判定された複数の消化器腫瘍内視鏡画像内に存在する病変の病変名および病変位置に基づいて学習処理が行われる。【選択図】図１

Description

本発明は、画像診断支援装置、学習済みモデル、画像診断支援方法および画像診断支援プログラムに関する。

がんは世界で最も死因の高い疾患であり、世界保健機関（ＷＨＯ）の統計によれば、２０１５年には８８０万人が死亡し、臓器別では胃や大腸などを含めた消化器系がトップを占める。特に胃がんは、世界で５番目に多い悪性腫瘍、かつ、世界で３番目に多いがん関連死の原因であり、毎年、約１００万の新規症例が発生し、約７０万人が死亡している。胃がん患者の予後は、診断時のがんのステージ（進行度）に依存する。進行した胃がんは予後不良であるが、早期胃がんの５年生存率は９０％以上であり、早期の病巣をいち早く発見し、外科的に切除することで多くの胃がんを完治させることができる。したがって、早期胃がんの内視鏡的検出は、胃がん死亡率を減少させるための最も有効な手段であり、内視鏡的粘膜切除術（ＥＭＲ）または内視鏡的粘膜下層剥離術（ＥＳＤ）のような臓器保存型の内視鏡療法で治療する技術の普及は、患者に多大の恩恵をもたらすことができる。

消化器の内視鏡検査（特に上部消化管内視鏡検査：ＥＧＤ）は、胃がんを診断するための標準的手法であるが、ＥＧＤによる観察で胃がんを検出する際の偽陰性率は２６％とも言われ（非特許文献１を参照）、高頻度である。さらに、ほとんどの胃がんは、萎縮性粘膜から生じ、早期胃がんの一部は微細な形態変化しか示さず、萎縮性変化を伴う背景粘膜と区別することが困難であるため、経験の浅い内視鏡医では、胃がんを見逃す傾向がある。したがって、内視鏡医は、胃がんを適切に検出するための特別な研修と経験が必要であるが、一定の経験を経た内視鏡医の育成には、１万枚の画像診断経験と１０年の期間がかかるとも言われている。

消化器の内視鏡検査においては、多くの内視鏡画像が収集されるが、診断精度を管理するために内視鏡医による内視鏡画像のダブルチェックが望ましく、「対策型検診のための胃内視鏡検診マニュアル」（一般社団法人 日本消化器がん検診学会編）ではダブルチェックが義務付けられている。ただし、内視鏡画像のダブルチェックには多くの時間を要するため、医療現場の内視鏡医にとって重い負担となっている。

しかも、これらの内視鏡画像に基づく診断は、いわば経験と観察に基づく主観的判定であり、様々な偽陽性判断及び偽陰性判断を生じる可能性がある。さらに、医療機器は機器自体の性能と操作者の確実な操作の両条件が満たされてこそ、最高度の性能が発揮されるものであるが、内視鏡診断では内視鏡医の疲労により精度が低下することがある。こうした内視鏡医の属人的要件を補完するために、近年、機械学習による画像認識の精度が飛躍的に向上したＡＩ（人工知能：artificial intelligence）を内視鏡医の支援として活用することで、内視鏡画像のダブルチェック作業の精度とスピードが向上するものと期待されている。

近年、ディープラーニング（深層学習）を用いたＡＩが様々な医療分野で注目されており、放射線腫瘍学、皮膚がん分類、糖尿病性網膜症、胃生検の組織学的分類、超拡大内視鏡による大腸病変の特徴付けを含む医療分野の画像診断をＡＩが専門医に替わって行うことができるとの様々な報告がある。特に、顕微内視鏡レベルにおいてはＡＩが専門医と同等の精度を出せることが証明されている(非特許文献２を参照)。また、皮膚科では、ディープラーニング機能を持ったＡＩが専門医と同等の画像診断能力を発揮することが発表されており(非特許文献３を参照)、各種機械学習法を利用した特許文献（特許文献１、２を参照）も存在する。

特開２０１７−０４５３４１号公報 特開２０１７−０６７４８９号公報

Hosokawa O et al., Hepatogastroenterology.2007;54(74):442-4. http://www.giejournal.org/article/S0016-5107(14)02171-3/fulltext, "Novel computer-aided diagnostic system for colorectal lesions by using endocytoscopy" Yuichi Mori et. al. Presented at Digestive Disease Week 2014, May 3-6, 2014, Chicago, Illinois, USA 「Nature」2017年2月号、巻頭論文、「皮膚の病変を学習する：人工知能が画像から皮膚がんを検出する能力を強化する」（http://www.natureasia.com/ja-jp/nature/highlights/82762）

上記のように、ＡＩの画像認識能力は人間専門医並みであることが示唆されているが、消化器の通常内視鏡検査においては、ＡＩの内視鏡画像の診断能力を使用した診断支援技術は、まだ医療現場には導入されておらず、今後の実用化が期待されている状況である。

本発明の目的は、内視鏡医による内視鏡画像の診断を支援することが可能な画像診断支援装置、資料収集方法、画像診断支援方法および画像診断支援プログラムを提供することである。

本発明に係る画像診断支援装置は、
内視鏡画像における病変の位置を入力することなく当該内視鏡画像を入力した場合、当該内視鏡画像内に存在する病変の位置を出力する畳み込みニューラルネットワークの出力結果により、消化器内視鏡撮像装置により撮像された被験者の消化器内視鏡画像内に存在する病変の位置を、畳み込みニューラルネットワークによって推定して出力する病変推定部を備え、
前記畳み込みニューラルネットワークは、複数の消化器腫瘍内視鏡画像内においてあらかじめ判定された病変を教師データとして学習処理が行われる。

本発明に係る学習済みモデルは、前記畳み込みニューラルネットワークに対する前記学習処理によって得られ、
内視鏡画像における病変の位置を入力することなく当該内視鏡画像を入力した場合、当該内視鏡画像内に存在する病変の位置を出力するようコンピューターを機能させる。

本発明に係る画像診断支援方法は、
内視鏡画像における病変の位置を入力することなく当該内視鏡画像を入力した場合、当該内視鏡画像内に存在する病変の位置を出力する畳み込みニューラルネットワークの出力結果により、消化器内視鏡撮像装置により撮像された被験者の消化器内視鏡画像内に存在する病変の位置を、畳み込みニューラルネットワークによって推定して出力する病変推定部を備える装置を用い、
前記畳み込みニューラルネットワークは、複数の消化器腫瘍内視鏡画像内においてあらかじめ判定された病変を教師データとして学習処理が行われる。

本発明に係る画像診断支援プログラムは、
コンピューターに、
内視鏡画像における病変の位置を入力することなく当該内視鏡画像を入力した場合、当該内視鏡画像内に存在する病変の位置を出力する畳み込みニューラルネットワークの出力結果により、消化器内視鏡撮像装置により撮像された被験者の消化器内視鏡画像内に存在する病変の位置を、畳み込みニューラルネットワークによって推定して出力する処理を実行させ、
前記畳み込みニューラルネットワークは、複数の消化器腫瘍内視鏡画像内においてあらかじめ判定された病変を教師データとして学習処理が行われる。

本発明における病変部位（萎縮、腸上皮化生、粘膜の隆起または陥凹、粘膜色調の状況）の特徴抽出による判定に係る基準は、経験豊富な内視鏡医によって精度高く設定することが可能であり、例えば、本発明者の著書（「通常内視鏡観察による早期胃癌の拾い上げと診断」、平澤俊明／河内洋・著、藤崎順子・監修、日本メディカルセンター、２０１６年）に詳しく記載されている。

本発明によれば、内視鏡医による内視鏡画像の診断を支援する技術を提供することができる。

本実施の形態における画像診断支援装置の全体構成を示すブロック図である。 本実施の形態における画像診断支援装置のハードウェア構成を示す図である。 本実施の形態における畳み込みニューラルネットワークの構成を示す図である。 本実施の形態における内視鏡画像上に解析結果画像を表示させる例を示す図である。 評価試験用データセットに用いられた内視鏡画像に関する患者および病変の特徴を示す図である。 図６Ａ，図６Ｂは、内視鏡画像および解析結果画像の例を示す図である。 複数の内視鏡画像にがんが存在する場合について説明する図である。 図８Ａ，図８Ｂは、医師によって診断された病変位置（範囲）と、畳み込みニューラルネットワークによって診断された病変位置（範囲）との違いを説明する図である。 腫瘍の深さおよび腫瘍サイズの違いに応じた感度の変化を示す図である。 畳み込みニューラルネットワークによって見逃された病変の詳細を示す図である。 図１１Ａ，図１１Ｂ，図１１Ｃ，図１１Ｄ，図１１Ｅ，図１１Ｆは、畳み込みニューラルネットワークによって見逃された病変が存在する内視鏡画像を示す図である。 畳み込みニューラルネットワークによって胃がんとして検出された非がん性病変の詳細を示す図である。 図１３Ａ，図１３Ｂ，図１３Ｃは、畳み込みニューラルネットワークによって胃がんとして検出された非がん性病変を含む解析結果画像を示す図である。 図１４Ａ，図１４Ｂ，図１４Ｃ，図１４Ｄ，図１４Ｅ，図１４Ｆは、腺腫、過形成性ポリープまたはＳＳＡＰを含む大腸の内視鏡画像を示す図である。 図１５Ａ，図１５Ｂ，図１５Ｃ，図１５Ｄ，図１５Ｅ，１５Ｆは、稀なタイプの大腸ポリープを含む大腸の内視鏡画像を示す図である。 学習用データセットに用いられた内視鏡画像に関する大腸ポリープ等の特徴を示す図である。 評価試験用データセットに用いられた内視鏡画像に関する大腸ポリープ等の特徴を示す図である。 偽陽性画像および偽陰性画像の分類結果を示す図である。 図１９Ａ，図１９Ｂは、ＣＮＮ分類と組織分類との一致度合いを示す図である。 ５ｍｍ以下の大腸ポリープについてＣＮＮ分類と組織分類との一致度合いを示す図である。 図２１Ａ，図２１Ｂ，図２１Ｃ，図２１Ｄ，図２１Ｅ，図２１Ｆは、第２の評価試験における内視鏡画像および解析結果画像の例を示す図である。 図２２Ａ，図２２Ｂ，図２２Ｃ，図２２Ｄ，図２２Ｅ，図２２Ｆ，図２２Ｇ，図２２Ｈは、第２の評価試験における内視鏡画像および解析結果画像の例を示す図である。 評価試験用データセットに用いられた内視鏡画像に関する患者および病変の特徴を示す図である。 図２４Ａ，図２４Ｂ，図２４Ｃ，図２４Ｄは、第３の評価試験における内視鏡画像および解析結果画像の例を示す図である。 畳み込みニューラルネットワークによる食道がん／非食道がんの検出結果、および、生検による食道がん／非食道がんの検出結果を示す図である。 白色光感度、ＮＢＩ用狭帯域光感度および包括的感度を示す図である。 畳み込みニューラルネットワークによる食道がん／非食道がんの検出結果、および、生検による食道がん／非食道がんの検出結果を示す図である。 白色光感度およびＮＢＩ用狭帯域光感度を示す図である。 ＣＮＮ分類と深達度との一致度合いを示す図である。 偽陽性画像および偽陰性画像の分類結果を示す図である。 図３１Ａ，図３１Ｂ，図３１Ｃ，図３１Ｄ，図３１Ｅ，図３１Ｆは、畳み込みニューラルネットワークによって誤って検出および分類された内視鏡画像および解析結果画像を偽陽性画像として示す図である。 図３２Ａ，図３２Ｂ，図３２Ｃ，図３２Ｄ，図３２Ｅは、畳み込みニューラルネットワークによって検出されなかった食道がんを含む内視鏡画像を偽陰性画像として示す図である。

以下、本実施の形態を図面に基づいて詳細に説明する。

［画像診断支援装置の全体構成］
まず、本実施の形態における画像診断支援装置１００の構成について説明する。図１は、画像診断支援装置１００の全体構成を示すブロック図である。図２は、本実施の形態における画像診断支援装置１００のハードウェア構成の一例を示す図である。

画像診断支援装置１００は、消化器（例えば、食道、胃、十二指腸や大腸など）の内視鏡検査において、畳み込みニューラルネットワーク（CNN：Convolutional Neural Network）が有する内視鏡画像の診断能力を使用し、医師（例えば、内視鏡医）による内視鏡画像の診断を支援する。画像診断支援装置１００には、内視鏡撮像装置２００（本発明の「消化器内視鏡撮像装置」に対応）および表示装置３００が接続されている。

内視鏡撮像装置２００は、例えば、撮像手段を内蔵した電子内視鏡（ビデオスコープともいう）や、光学式内視鏡に撮像手段を内蔵したカメラヘッドを装着したカメラ装着内視鏡等である。内視鏡撮像装置２００は、例えば、被験者の口または鼻から消化器に挿入され、当該消化器内の診断対象部位を撮像する。そして、内視鏡撮像装置２００は、消化器内の診断対象部位を撮像した内視鏡画像（本発明の「消化器内視鏡画像」に対応）を表す内視鏡画像データＤ１（静止画像）を画像診断支援装置１００に出力する。なお、内視鏡画像データＤ１ではなく、内視鏡動画像であっても良い。

表示装置３００は、例えば、液晶ディスプレイであり、画像診断支援装置１００から出力された解析結果画像を、医師に識別可能に表示する。

画像診断支援装置１００は、主たるコンポーネントとして、ＣＰＵ（Central Processing Unit）１０１、ＲＯＭ（Read Only Memory）１０２、ＲＡＭ（Random Access Memory）１０３、外部記憶装置（例えば、フラッシュメモリ）１０４、及び通信インターフェイス１０５、ＧＰＵ（Graphics Processing Unit）１０６等を備えたコンピューターである。

画像診断支援装置１００の各機能は、例えば、ＣＰＵ１０１がＲＯＭ１０２、ＲＡＭ１０３、外部記憶装置１０４等に記憶された制御プログラム（例えば、画像診断支援プログラム）や各種データ（例えば、内視鏡画像データ、教師データ、畳み込みニューラルネットワークのモデルデータ（構造データおよび学習済み重みパラメータ等）などを参照することによって実現される。なお、ＲＡＭ１０３は、例えば、データの作業領域や一時退避領域として機能する。

なお、各機能の一部または全部は、ＣＰＵによる処理に代えて、または、これと共に、ＤＳＰ（Digital Signal Processor）による処理によって実現されても良い。また、同様に、各機能の一部または全部は、ソフトウェアによる処理に代えて、または、これと共に、専用のハードウェア回路による処理によって実現されても良い。

図１に示すように、画像診断支援装置１００は、内視鏡画像取得部１０、病変推定部２０、表示制御部３０を備えている。学習装置４０は、画像診断支援装置１００において使用される畳み込みニューラルネットワークのモデルデータ（構造データおよび学習済み重みパラメータ等）を生成する機能を有する。

［画像取得部］
画像取得部１０は、内視鏡撮像装置２００から出力された内視鏡画像データＤ１を取得する。そして、画像取得部１０は、取得した内視鏡画像データＤ１を病変推定部２０に出力する。なお、画像取得部１０は、内視鏡画像データＤ１を取得する際、内視鏡撮像装置２００から直接取得しても良いし、外部記憶装置１０４に格納された内視鏡画像データＤ１や、インターネット回線等を介して提供された内視鏡画像データＤ１を取得しても良い。

［病変推定部］
病変推定部２０は、畳み込みニューラルネットワークを用いて、内視鏡画像取得部１０から出力された内視鏡画像データＤ１により表される内視鏡画像内に存在する病変の病変名（名称）および病変位置（位置）と、当該病変名および病変位置の確度とを推定する。そして、病変推定部２０は、内視鏡画像取得部１０から出力された内視鏡画像データＤ１と、病変名、病変位置および確度の推定結果を表す推定結果データＤ２とを表示制御部３０に出力する。

本実施の形態では、病変推定部２０は、病変名および病変位置の確度を示す指標として確率スコアを推定する。確率スコアは、０より大きく、１以下の値で表される。確率スコアが高いほど、病変名および病変位置の確度が高いことを意味する。

なお、確率スコアは、病変名および病変位置の確度を示す指標の一例であって、その他の任意の態様の指標が用いられてよい。例えば、確率スコアは、０％〜１００％の値で表される態様であっても良いし、数段階のレベル値のうちの何れで表される態様であっても良い。

畳み込みニューラルネットワークは、順伝播型ニューラルネットワークの一種であって、脳の視覚野の構造における知見に基づくものである。基本的に、画像の局所的な特徴抽出を担う畳み込み層と、局所毎に特徴をまとめあげるプーリング層（サブサンプリング層）とを繰り返した構造となっている。畳み込みニューラルネットワークの各層によれば、複数のニューロン(Neuron)を所持し、個々のニューロンが視覚野と対応するような形で配置されている。それぞれのニューロンの基本的な働きは、信号の入力と出力とからなる。ただし、各層のニューロン間は、相互に信号を伝達する際に、入力された信号をそのまま出力するのではなく、それぞれの入力に対して結合荷重を設定し、その重み付きの入力の総和が各ニューロンに設定されている閾値を超えた時に、次の層のニューロンに信号を出力する。学習データからこれらニューロン間の結合荷重を算出しておく。これによって、リアルタイムのデータを入力することによって、出力値の推定が可能となる。この目的にかなう畳み込みニューラルネットワークであれば、それを構成するアルゴリズムは特に限定されない。

図３は、本実施の形態における畳み込みニューラルネットワークの構成を示す図である。なお、畳み込みニューラルネットワークのモデルデータ（構造データおよび学習済み重みパラメータ等）は、画像診断支援プログラムと共に、外部記憶装置１０４に格納されている。

図３に示すように、畳み込みニューラルネットワークは、例えば、特徴抽出部Ｎａと識別部Ｎｂとを有する。特徴抽出部Ｎａは、入力される画像（内視鏡画像データＤ１）から画像特徴を抽出する処理を施す。識別部Ｎｂは、特徴抽出部Ｎａにより抽出された画像特徴から画像に係る推定結果を出力する。

特徴抽出部Ｎａは、複数の特徴量抽出層Ｎａ１、Ｎａ２・・・が階層的に接続されて構成される。各特徴量抽出層Ｎａ１、Ｎａ２・・・は、畳み込み層（Convolution layer）、活性化層（Activation layer）およびプーリング層（Pooling layer）を備える。

第１層目の特徴量抽出層Ｎａ１は、入力される画像を、ラスタスキャンにより所定サイズ毎に走査する。そして、特徴量抽出層Ｎａ１は、走査したデータに対して、畳み込み層、活性化層およびプーリング層によって特徴量抽出処理を施すことにより、入力画像に含まれる特徴量を抽出する。第１層目の特徴量抽出層Ｎａ１は、例えば、水平方向に延びる線状の特徴量や斜め方向に延びる線状の特徴量等の比較的シンプルな単独の特徴量を抽出する。

第２層目の特徴量抽出層Ｎａ２は、前階層の特徴量抽出層Ｎａ１から入力される画像（特徴マップとも称される）を、例えば、ラスタスキャンにより所定サイズ毎に走査する。そして、特徴量抽出層Ｎａ２は、走査したデータに対して、同様に、畳み込み層、活性化層およびプーリング層による特徴量抽出処理を施すことにより、入力画像に含まれる特徴量を抽出する。なお、第２層目の特徴量抽出層Ｎａ２は、第１層目の特徴量抽出層Ｎａ１が抽出した複数の特徴量の位置関係などを参照しながら統合させることで、より高次元の複合的な特徴量を抽出する。

第２層目以降の特徴量抽出層（図３では、説明の便宜として、特徴量抽出層Ｎａを２階層のみを示す）は、第２層目の特徴量抽出層Ｎａ２と同様の処理を実行する。そして、最終層の特徴量抽出層の出力（複数の特徴マップのマップ内の各値）が、識別部Ｎｂに対して入力される。

識別部Ｎｂは、例えば、複数の全結合層（Fully Connected）が階層的に接続された多層パーセプトロンによって構成される。

識別部Ｎｂの入力側の全結合層は、特徴抽出部Ｎａから取得した複数の特徴マップのマップ内の各値に全結合し、その各値に対して重み係数を変化させながら積和演算を行って出力する。

識別部Ｎｂの次階層の全結合層は、前階層の全結合層の各素子が出力する値に全結合し、その各値に対して重み係数を異ならせながら積和演算を行う。そして、識別部Ｎｂの最後段には、内視鏡画像内に存在する病変の病変名および病変位置と、当該病変名および病変位置の確率スコア（確度）とを出力する層（例えば、ソフトマックス関数等）が設けられる。

畳み込みニューラルネットワークは、あらかじめ経験豊富な内視鏡医によってマーキング処理されたレファレンスデータ（以下、「教師データ」という。）を用いて学習処理を行っておくことよって、入力される内視鏡画像から所望の推定結果（ここでは、病変名、病変位置および確率スコア）を出力し得るように、推定機能を保有することができる。

本実施の形態における畳み込みニューラルネットワークは、内視鏡画像データＤ１を入力とし（図３のｉｎｐｕｔ）、当該内視鏡画像データＤ１により表される内視鏡画像の画像特徴に応じた病変名、病変位置および確率スコアを推定結果データＤ２として出力する（図３のｏｕｔｐｕｔ）ように構成される。

なお、畳み込みニューラルネットワークは、より好適には、内視鏡画像データＤ１に加えて、年齢、性別、地域、または既病歴に係る情報を入力し得る構成（例えば、識別部Ｎｂの入力素子として設ける）としても良い。実臨床におけるリアルワールドデータの重要性は特に認められていることから、こうした患者属性の情報を追加することによって、実臨床において、より有用なシステムに展開することができる。すなわち、内視鏡画像の特徴は、年齢、性別、地域または既病歴に係る情報と相関関係を有しており、畳み込みニューラルネットワークに、内視鏡画像データＤ１に加えて、年齢等の患者属性情報を参照させることによって、より高精度に病変名、病変位置を推定し得る構成とすることができる。この手法は、地域や人種間によっても疾患の病態が異なることがあることから、特に本発明を国際的に活用する場合には、取り入れるべき事項である。

また、病変推定部２０は、畳み込みニューラルネットワークによる処理の他、前処理として、内視鏡画像のサイズやアスペクト比に変換する処理、内視鏡画像の色分割処理、内視鏡画像の色変換処理、色抽出処理、輝度勾配抽出処理等を行っても良い。

［表示制御部］
表示制御部３０は、病変推定部２０から出力された内視鏡画像データＤ１により表される内視鏡画像上において、病変推定部２０から出力された推定結果データＤ２により表される病変名、病変位置および確率スコアを表示する解析結果画像を生成する。そして、表示制御部３０は、内視鏡画像データＤ１と、生成した解析結果画像を表す解析結果画像データＤ３とを表示装置３００に出力する。この場合、内視鏡画像の病変部の構造強調や色彩強調、高コントラスト化、高精細化などのデジタル画像処理システムを接続し、観察者の理解と判定を助ける加工を施して表示させることもできる。

表示装置３００は、表示制御部３０から出力された内視鏡画像データＤ１により表される内視鏡画像上に、解析結果画像データＤ３により表される解析結果画像を表示させる。表示された内視鏡画像および解析結果画像は、例えば、内視鏡画像のダブルチェック作業に用いられる。また、本実施の形態では、１枚の内視鏡画像および解析結果画像を表示するまでの時間がとても早いため、内視鏡画像のダブルチェック作業以外にも、内視鏡動画として医師によるリアルタイムでの診断補助に用いることができる。

図４は、本実施の形態における内視鏡画像上に解析結果画像を表示させる例を示す図である。図４に示すように、解析結果画像には、病変推定部２０により推定された病変位置（範囲）を示す矩形枠５０、病変名（早期がん：early stomach cancer）および確率スコア（０．８）が表示されている。本実施の形態では、解析結果画像を参照する医師の注意喚起を促す観点から、確率スコアがある閾値（例えば、０．４）以上の場合、病変推定部２０により推定された病変位置（範囲）を示す矩形枠は、黄色で表示される。すなわち、表示制御部３０は、病変推定部２０から出力された推定結果データＤ２により表される確率スコアに応じて、解析結果画像における病変位置を特定する病変位置特定情報（本実施の形態では、矩形枠）の表示態様を変更する。なお、矩形枠５２は、参考までに、医師によって胃がんと診断された病変位置（範囲）を示しており、実際の解析結果画像には表示されないが、熟練した内視鏡医の判定と同一結果となることを示している。

［学習装置］
学習装置４０は、病変推定部２０の畳み込みニューラルネットワークが内視鏡画像データＤ１から病変位置、病変名および確率スコアを推定し得るように、図示しない外部記憶装置に記憶されている教師データＤ４を入力し、学習装置４０の畳み込みニューラルネットワークに対して学習処理を行う。

本実施の形態では、学習装置４０は、被験者の消化器について内視鏡撮像装置２００により撮像された内視鏡画像（本発明の「消化器腫瘍内視鏡画像」に対応）と、医師により萎縮、腸上皮化生、粘膜の隆起または陥凹、粘膜色調の状況の特徴抽出によってあらかじめ判定された、当該内視鏡画像内に存在する病変の病変名および病変位置と、を教師データＤ４として用いて学習処理を行う。具体的には、学習装置４０は、畳み込みニューラルネットワークに内視鏡画像を入力した際の正解値（病変名および病変位置）に対する出力データの誤差（損失とも称される）が小さくなるように、畳み込みニューラルネットワークの学習処理を行う。

本実施の形態では、教師データＤ４としての内視鏡画像には、被験者の消化器内に対して白色光を照射して撮像された内視鏡画像、被験者の消化器内に対して色素（例えば、インジゴカルミン、ヨード液）を散布して撮像された内視鏡画像、および、被験者の消化器内に対して狭帯域光（例えば、ＮＢＩ（Narrow Band Imaging）用狭帯域光、ＢＬＩ（Blue Laser Imaging）用狭帯域光）を照射して撮像された内視鏡画像が含まれる。学習処理における教師データＤ４としての内視鏡画像は、日本トップクラスのがん治療専門病院のデータベースを主に使用し、豊富な診断・治療経験を有する日本消化器内視鏡学会指導医がすべての画像を詳細に検討、選別し、精密な手動処理で病変の病変位置に対するマーキングを行った。レファレンスデータとなる教師データＤ４（内視鏡画像データ）の精度管理は、そのまま画像診断支援装置１００の解析精度に直結するために、豊富な経験を有するエキスパート内視鏡医による画像選別と病変同定、特徴抽出のマーキングは極めて重要な工程である。

内視鏡画像の教師データＤ４は、画素値のデータであっても良いし、所定の色変換処理等がなされたデータであっても良い。また、前処理として、テクスチャ特徴、形状特徴、広がり特徴等を抽出したものが用いられても良い。なお、教師データＤ４は、内視鏡画像データに加えて、年齢、性別、地域または既病歴に係る情報を関連付けて学習処理を行ってもよい。

なお、学習装置４０が学習処理を行う際のアルゴリズムは、公知の手法であってよい。学習装置４０は、例えば、公知のバックプロパゲーション（Backpropagation：誤差逆伝播法）を用いて、畳み込みニューラルネットワークに対して学習処理を施し、ネットワークパラメータ（重み係数、バイアス等）を調整する。そして、学習装置４０によって学習処理が施された畳み込みニューラルネットワークのモデルデータ（構造データおよび学習済み重みパラメータ等）は、例えば、画像診断支援プログラムと共に、外部記憶装置１０４に格納される。

以上詳しく説明したように、本実施の形態では、画像診断支援装置１００は、消化器内視鏡撮像装置により撮像された被験者の消化器内視鏡画像内に存在する病変の名称および位置と、それらの確度の情報とを、畳み込みニューラルネットワークによって推定する病変推定部と、当該病変の名称および位置と、それらの確度とを表示する解析結果画像を生成して、消化器内視鏡画像上に表示させる制御を行う表示制御部と、を備える。畳み込みニューラルネットワークは、萎縮、腸上皮化生、粘膜の隆起または陥凹、粘膜色調の状況の特徴抽出によってあらかじめ判定された複数の消化器腫瘍内視鏡画像内に存在する病変の病変名および病変位置に基づいて学習処理が行われる。

このように構成した本実施の形態によれば、畳み込みニューラルネットワークが複数の被験者のそれぞれについて予め得られている複数の消化器の内視鏡画像と、複数の被験者のそれぞれについて予め得られている病変の病変名および病変位置の確定診断結果とに基づいて学習されているため、短時間、かつ、実質的に経験豊富な内視鏡医に匹敵する精度で、新規被験者の消化器の病変名および病変位置を推定することができる。したがって、消化器の内視鏡検査において、本発明による畳み込みニューラルネットワークが有する内視鏡画像の診断能力を使用し、内視鏡医による内視鏡画像の診断を強力に支援することができる。実臨床においては、内視鏡医は、診察室で直接的に診断支援ツールとして利用することもできる一方、複数の診察室から伝送される内視鏡画像を中央診断支援サービスとすることや、インターネット回線を通じた遠隔操作によって、遠隔地の機関に対する診断支援サービスとして利用することもできる。

なお、上記実施の形態は、何れも本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその要旨、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。

［実験例］
最後に、上記実施の形態の構成における効果を確認するための評価試験について説明する。

［学習用データセットの準備］
２００４年４月〜２０１６年１２月にかけて行われたＥＧＤの内視鏡画像を、画像診断支援装置における畳み込みニューラルネットワークの学習に使用する学習用データセット（教師データ）として用意した。ＥＧＤは、日常診療におけるスクリーニングまたは術前検査のために実施され、内視鏡画像は、標準的な内視鏡（ＧＩＦ−Ｈ２９０Ｚ、ＧＩＦ−Ｈ２９０、ＧＩＦ−ＸＰ２９０Ｎ、ＧＩＦ−Ｈ２６０Ｚ、ＧＩＦ−Ｑ２６０Ｊ、ＧＩＦ−ＸＰ２６０、ＧＩＦ−ＸＰ２６０ＮＳ、ＧＩＦ−Ｎ２６０等、オリンパスメディカルシステムズ社、東京）および標準的な内視鏡ビデオシステム（ＥＶＩＳ ＬＵＣＥＲＡ ＣＶ−２６０／ＣＬＶ−２６０、ＥＶＩＳ ＬＵＣＥＲＡ ＥＬＩＴＥ ＣＶ−２９０／ＣＬＶ−２９０ＳＬ、オリンパスメディカルシステムズ社）を用いて収集した。

学習用データセットとしての内視鏡画像には、被験者の消化器内に対して白色光を照射して撮像された内視鏡画像、被験者の消化器内に対して色相（例えば、インジゴカルミン、ヨード液）を散布して撮像された内視鏡画像、および、被験者の消化器内に対して狭帯域光（例えば、ＮＢＩ用狭帯域光、ＢＬＩ用狭帯域光）を照射して撮像された内視鏡画像を含めた。また、送気不足による胃の伸展不良、生検後の出血、ハレーション、レンズのくもり、焦点外れまたは粘液等のために、画像品質が悪い内視鏡画像は、学習用データセットから除外した。

最終的に、学習用データセットとして、組織学的に証明された２，６３９の胃がんについて、１３，５８４の内視鏡画像を収集した。胃がんの専門家であり、日本消化器内視鏡学会指導医（がん専門病院で１０年以上の経験を有し、胃がんの６，０００症例以上の胃がんを診断した実績を有する）は、収集された内視鏡画像において、全ての胃がん（早期がんまたは進行がん）の病変名および病変位置を精密に手動で特徴抽出のマーキング設定し、学習用データセットを用意した。

［学習・アルゴリズム］
画像診断支援装置を構築するため、ＶＧＧ(https://arxiv.org/abs/1409.1556)をベースとした１６層以上で構成される畳み込みニューラルネットワークを使用した。バークレービジョン及びラーニングセンター(Berkeley Vision and Learning Center (BVLC))で開発されたCaffeディープラーニングフレームワークを学習および評価試験に使用した。畳み込みニューラルネットワークの全ての層は、確率的勾配降下法を使用して、グローバル学習率０．０００１で微調整されている。ＣＮＮと互換性を持たせるために、各画像を３００×３００ピクセルにリサイズした。

［評価試験用データセットの準備］
構築された畳み込みニューラルネットワークベースの画像診断支援装置の診断精度を評価するために、２０１７年３月１日〜２０１７年３月３１日まで、公益財団法人がん研究会有明病院で通常の臨床検査としてＥＧＤを受けた６９人の患者（胃がん７７病変）を対象にして、２，２９６の内視鏡画像（胃）を評価試験用データセットとして収集した。その結果、６２人に胃がんが１病変存在し、６人に胃がんが２病変存在し、１人に胃がんが３病変存在していた。全てのＥＧＤは、標準的な内視鏡（ＧＩＦ−Ｈ２９０Ｚ、オリンパスメディカルシステムズ社、東京）および標準的な内視鏡ビデオシステム（ＥＶＩＳ ＬＵＣＥＲＡ ＥＬＩＴＥ ＣＶ−２９０／ＣＬＶ−２９０ＳＬ、オリンパスメディカルシステムズ社）を用いて実施した。ＥＧＤでは、胃内をくまなく観察し、内視鏡画像を撮影し、撮影枚数は１人の患者あたり１８〜６９枚となった。

図５は、評価試験用データセットに用いられた内視鏡画像に関する患者および病変の特徴を示す図である。図５に示すように、腫瘍サイズ（直径）の中央値は２４ｍｍであり、腫瘍サイズ（直径）の範囲は３〜１７０ｍｍであった。肉眼的分類では、５５病変（７１．４％）で表在型（０−ＩＩａ、０−ＩＩｂ、０−ＩＩｃ、０−ＩＩａ＋ＩＩｃ、０−ＩＩｃ＋ＩＩｂ、０−ＩＩｃ＋ＩＩＩ）が最も多かった。腫瘍の深さでは、早期胃がん（Ｔ１）が４２病変（６７．５％）であり、進行胃がん（Ｔ２−Ｔ４）が２５病変（３２．５％）であった。

［評価試験の方法］
本評価試験では、学習用データセットを用いて学習処理が行われた畳み込みニューラルネットワークベースの画像診断支援装置に対して評価試験用データセットを入力し、当該評価試験用データセットを構成する各内視鏡画像から胃がんを正しく検出できるか否かについて評価した。胃がんを正しく検出できた場合を「正解」とみなした。畳み込みニューラルネットワークは、内視鏡画像から胃がん（病変）を検出すると、その病変名（早期胃がんまたは進行胃がん）、病変位置および確率スコアを出力する。

なお、評価試験用データセットを構成する内視鏡画像に存在する胃がんのうち、いくつかの胃がんは複数の内視鏡画像に存在していたため、以下の定義を使用して評価試験を行った。

（定義１）
畳み込みニューラルネットワークが複数の内視鏡画像で同一（１つ）の胃がんを検出した場合は、正解とみなした。図６は、複数の内視鏡画像に同一のがんが存在する場合について説明する図である。図６Ａ，６Ｂにおいて、矩形枠５４，５６は、医師により手動で設定された胃がんの病変位置（範囲）を示す。矩形枠５８は、畳み込みニューラルネットワークにより推定された胃がんの病変位置（範囲）を示す。図６Ａは、胃がんを遠景で撮像した内視鏡画像を示し、図６Ｂは、当該胃がんを近視野で撮像した内視鏡画像を示す。図６Ａ，６Ｂに示すように、畳み込みニューラルネットワークは、遠景では胃がんを検出することはできなかったが、近景では胃がんを検出することができた。このような場合、本評価試験では、正解とみなした。

（定義２）
偽陽性の病変（胃がん）が異なる内視鏡画像で検出されても、それらが同じ病変であった場合、それらは１つの病変とみなした。

（定義３）
胃がんの病変位置（範囲）の境界線が不明確な場合があるため、畳み込みニューラルネットワークが胃がんの一部を検出した場合は正解とみなした。図７は、医師によって診断された病変位置（範囲）と、畳み込みニューラルネットワークによって診断された病変位置（範囲）との違いを説明する図である。図７において、矩形枠６０は、医師により手動で設定された胃がんの病変位置（範囲）を示す。矩形枠６２は、畳み込みニューラルネットワークにより推定された胃がんの病変位置（範囲）を示す。図７に示すように、医師により手動で設定された胃がんの病変位置（範囲）と、畳み込みニューラルネットワークにより推定された胃がんの病変位置（範囲）との間には差異があった。このように畳み込みニューラルネットワークが胃がんの少なくとも一部を検出した場合、本評価試験では正解とみなした。

また、本評価試験では、胃がんを検出する畳み込みニューラルネットワークの診断能力に対する感度および陽性的中率（ＰＰＶ）を次の式（１），（２）を用いて算出した。
感度＝（畳み込みニューラルネットワークが検出した胃がんの数）／（評価試験用データセットを構成する内視鏡画像に存在する胃がんの数（７７））・・・（１）
陽性的中率＝（畳み込みニューラルネットワークが検出した胃がんの数）／（畳み込みニューラルネットワークが胃がんと診断した病変の数）・・・（２）

［評価試験の結果］
畳み込みニューラルネットワークは、評価試験用データセットを構成する２，２９６の内視鏡画像を分析する処理を４７秒という短い時間で終了させた。また、畳み込みニューラルネットワークは、７７の胃がん（病変）のうち７１の胃がんを検出した。すなわち、畳み込みニューラルネットワークの診断能力に対する感度は９２．２％であった。

図８は、内視鏡画像および解析結果画像の例を示す図である。図８Ａは、胃体中部小弯にわずかに赤くて平坦な病変が存在する内視鏡画像である。胃がんは背景粘膜の萎縮と類似しているため、図８Ａの内視鏡画像から胃がんを検出することは内視鏡医でも困難と思われた。図８Ｂは、畳み込みニューラルネットワークが胃がん（０−ＩＩｃ、５ｍｍ、ｔｕｂ１、Ｔ１ａ）を検出したことを示す解析結果画像である。図８Ｂにおいて、矩形枠６４は、医師により手動で設定された胃がんの病変位置（範囲）を示す。矩形枠６６は、畳み込みニューラルネットワークにより推定された胃がんの病変位置（範囲）を示す。

図９は、本評価試験において、腫瘍の深さおよび腫瘍サイズの違いに応じた感度の変化を示す図である。図９に示すように、畳み込みニューラルネットワークは、腫瘍サイズ（直径）が６ｍｍ以上である７１の胃がんのうち７１の胃がん（９８．６％）を検出した。また、畳み込みニューラルネットワークは、全ての浸潤がん（Ｔ１ｂ、Ｔ２、Ｔ３、Ｔ４ａ）を検出した。

一方、畳み込みニューラルネットワークは、６つの胃がんを見逃した。６つの胃がんのうち５つは、微小ながん（腫瘍サイズ≦５ｍｍ）であった。見逃された全ての胃がんは、内視鏡医でさえも胃炎と区別することが困難な分化型粘膜内がんであった。なお、胃粘膜内がんのダブリングタイム（腫瘍の体積が２倍になる時間）は２〜３年と考えられているため、例え、このような小さながんを見逃しても毎年のＥＧＤで粘膜内がんとして検出されると考えられ、本発明の畳み込みニューラルネットワークの有用性と臨床応用を妨げるものではない。

図１０は、畳み込みニューラルネットワークによって見逃された病変（胃がん）の詳細を示す図である。図１１は、畳み込みニューラルネットワークによって見逃された病変が存在する内視鏡画像（解析結果画像）を示す図である。

図１１Ａにおいて、矩形枠７０は、畳み込みニューラルネットワークによって見逃された胃がん（前庭部大弯、０−ＩＩｃ、３ｍｍ、ｔｕｂ１、Ｔ１ａ）の病変位置（範囲）を示す。図１１Ｂにおいて、矩形枠７２は、畳み込みニューラルネットワークによって見逃された胃がん（胃体中部の小弯、０−ＩＩｃ、４ｍｍ、ｔｕｂ１、Ｔ１ａ）の病変位置（範囲）を示す。

図１１Ｃにおいて、矩形枠７４は、畳み込みニューラルネットワークによって見逃された胃がん（前庭部後壁、０−ＩＩｃ、４ｍｍ、ｔｕｂ１、Ｔ１ａ）の病変位置（範囲）を示す。図１１Ｄにおいて、矩形枠７６は、畳み込みニューラルネットワークによって見逃された胃がん（前庭部後壁、０−ＩＩｃ、５ｍｍ、ｔｕｂ１、Ｔ１ａ）の病変位置（範囲）を示す。

図１１Ｅにおいて、矩形枠７８は、畳み込みニューラルネットワークによって見逃された胃がん（前庭部大弯、０−ＩＩｃ、５ｍｍ、ｔｕｂ１、Ｔ１ａ）の病変位置（範囲）を示す。矩形枠８０は、畳み込みニューラルネットワークによって胃がんと推定された非がん性病変（幽門輪）である。図１１Ｆにおいて、矩形枠８２は、畳み込みニューラルネットワークによって見逃された胃がん（胃体下部の前壁、０−ＩＩｃ、１６ｍｍ、ｔｕｂ１、Ｔ１ａ）の病変位置（範囲）を示す。

また、畳み込みニューラルネットワークは、１６１の非がん性病変を胃がんとして検出した。陽性的中率は３０．６％であった。図１２は、畳み込みニューラルネットワークによって胃がんとして検出された非がん性病変の詳細を示す図である。図１２に示すように、胃がんとして検出された非がん性病変のほぼ半分は、色調の変化または不規則な粘膜表面の変化を伴う胃炎であった。このような胃炎は、内視鏡医が胃がんと区別することが困難なことも多く、胃生検による胃がん診断の陽性反応的中度（ＰＰＶ：Positive Predictive Value）は３．２〜５．６％という報告がある。がんの臨床診断に関しては、がん検出の見逃しは患者の治療機会喪失につながることから、偽陽性よりも偽陰性が問題となる。内視鏡医による生検のＰＰＶが低いことを考慮すると、畳み込みニューラルネットワークのＰＰＶは臨床的に十分許容可能であると考えられる。

図１３は、畳み込みニューラルネットワークによって胃がんとして検出された非がん性病変を含む解析結果画像を示す図である。図１３Ａにおいて、矩形枠８４は、畳み込みニューラルネットワークにより胃がんとして検出された胃炎（不整な粘膜表面構造を伴う腸上皮化生）の病変位置（範囲）を示す。図１３Ｂにおいて、矩形枠８６は、畳み込みニューラルネットワークにより胃がんとして検出された胃炎（局所的な萎縮による白色粘膜）の病変位置（範囲）を示す。図１３Ｃにおいて、矩形枠８８は、畳み込みニューラルネットワークにより胃がんとして検出された胃炎（慢性胃炎による粘膜の発赤）の病変位置（範囲）を示す。

次に、上記実施の形態の構成における効果を確認するための第２の評価試験について説明する。

［学習用データセットの準備］
２０１３年１２月〜２０１７年３月にかけて行われた大腸の内視鏡検査１２，８９５例の内視鏡画像を、画像診断支援装置における畳み込みニューラルネットワークの学習に使用する学習用データセット（教師データ）として用意した。内視鏡画像には、認定病理学者によって組織学的に証明された腺がん、腺腫、過形成性ポリープ、ＳＳＡＰ（ｓｅｓｓｉｌｅ ｓｅｒｒａｔｅｄ ａｄｅｎｏｍａ／ｐｏｌｙｐｓ）、若年性ポリープ、Ｐｅｕｔｚ−Ｊｅｇｈｅｒｓポリープ、炎症性ポリープ、リンパ球様凝集塊などが含まれる。ＥＧＤは、日常診療におけるスクリーニングまたは術前検査のために実施され、内視鏡画像は、標準的な内視鏡ビデオシステム（ＥＶＩＳ ＬＵＣＥＲＡ：ＣＦ ＴＹＰＥ Ｈ２６０ＡＬ／Ｉ、ＰＣＦ ＴＹＰＥ Ｑ２６０ＡＩ，Ｑ２６０ＡＺＩ、Ｈ２９０Ｉ，Ｈ２９０Ｚ、オリンパスメディカルシステムズ社）を用いて収集した。

図１４Ａは、突出型の腺腫を含む大腸の内視鏡画像を示す。図１４Ｂは、平坦型の腫瘍（点線９０を参照）を含む大腸の内視鏡画像を示す。図１４Ｃは、突出型の過形成性ポリープを含む大腸の内視鏡画像を示す。図１４Ｄは、平坦型の過形成性ポリープ（点線９２を参照）を含む大腸の内視鏡画像を示す。図１４Ｅは、突出型のＳＳＡＰを含む大腸の内視鏡画像を示す。図１４Ｆは、平坦型のＳＳＡＰ（点線９４を参照）を含む大腸の内視鏡画像を示す。

学習用データセットとしての内視鏡画像には、被験者の大腸内に対して白色光を照射して撮像された内視鏡画像、および、被験者の大腸内に対して狭帯域光（例えば、ＮＢＩ用狭帯域光）を照射して撮像された内視鏡画像を含めた。また、糞便の残留物、ハレーション、生検後の出血のために、画像品質が悪い内視鏡画像は、学習用データセットから除外した。

図１５Ａは、被験者の大腸内のＰｅｕｔｚ−Ｊｅｇｈｅｒｓポリープに対して白色光を照射して撮像された内視鏡画像を示す。図１５Ｂは、被験者の大腸内のＰｅｕｔｚ−Ｊｅｇｈｅｒｓポリープに対して狭帯域光（ＮＢＩ用狭帯域光）を照射して撮像された内視鏡画像を示す。図１５Ｃは、被験者の大腸内の炎症性ポリープに対して白色光を照射して撮像された内視鏡画像を示す。図１５Ｄは、被験者の大腸内の炎症性ポリープに対して狭帯域光（ＮＢＩ用狭帯域光）を照射して撮像された内視鏡画像を示す。図１５Ｅは、被験者の大腸内においてポリープ状領域のように見える非腫瘍性粘膜を撮像した内視鏡画像を示す。図１５Ｆは、被験者の大腸内においてポリープ状領域のように見えるリンパ球集合体を撮像した内視鏡画像を示す。

最終的に、学習用データセットとして、組織学的に証明された４，７５２の大腸ポリープに関する２０，４３１の内視鏡画像を収集するとともに、正常な大腸粘膜に関する４，０１３の内視鏡画像を収集した。収集された内視鏡画像において、全ての大腸ポリープの病変名（種類）および病変位置を精密に手動で特徴抽出のマーキング設定を行った。図１６は、学習用データセットに用いられた内視鏡画像に関する大腸ポリープ等の特徴を示す図である。なお、図１６において、１つの内視鏡画像において複数の大腸ポリープが含まれる場合、当該複数の大腸ポリープのそれぞれを、異なる内視鏡画像として数えた。

［学習・アルゴリズム］
画像診断支援装置を構築するため、Ｓｉｎｇｌｅ Ｓｈｏｔ ＭｕｌｔｉＢｏｘ Ｄｅｔｅｃｔｏｒ（ＳＳＤ、https://arxiv.org/abs/1512.02325）をベースとした１６層以上で構成される畳み込みニューラルネットワークを使用した。バークレービジョン及びラーニングセンター(Berkeley Vision and Learning Center (BVLC))で開発されたCaffeディープラーニングフレームワークを学習および評価試験に使用した。畳み込みニューラルネットワークの全ての層は、確率的勾配降下法を使用して、グローバル学習率０．０００１で微調整されている。ＣＮＮと互換性を持たせるために、各画像を３００×３００ピクセルにリサイズした。各画像のリサイズに応じて、病変の病変位置に対するマーキングのサイズ変更を行った。

［評価試験用データセットの準備］
構築された畳み込みニューラルネットワークベースの画像診断支援装置の診断精度を評価するために、２０１７年１月１日〜２０１７年３月３１日まで、通常の臨床検査としてＥＧＤを受けた１７４人の患者を対象にして、大腸ポリープを有する８８５の内視鏡画像を含む６，７５９の内視鏡画像（大腸）を評価試験用データセットとして収集した。通常の臨床検査における画像診断支援装置の診断精度を評価するため、便または送気不足を伴う内視鏡画像も評価試験用データセットとして収集した。しかし、炎症性腸疾患を伴う内視鏡画像は、診断結果が変わる可能性があるため、評価試験用データセットから除外した。また、生検後の出血を伴う内視鏡画像、および、内視鏡治療後の内視鏡画像についても評価試験用データセットから除外した。評価試験用データセットとしての内視鏡画像には、学習用データセットと同様に、被験者の大腸内に対して白色光を照射して撮像された内視鏡画像、および、被験者の大腸内に対して狭帯域光（例えば、ＮＢＩ用狭帯域光）を照射して撮像された内視鏡画像を含めた。図１７は、評価試験用データセットに用いられた内視鏡画像に関する大腸ポリープ等の特徴を示す図である。なお、図１７において、１つの内視鏡画像において複数の大腸ポリープが含まれる場合、当該複数の大腸ポリープのそれぞれを、異なる内視鏡画像として数えた。

［評価試験の方法］
本評価試験では、学習用データセットを用いて学習処理が行われた畳み込みニューラルネットワークベースの画像診断支援装置に対して評価試験用データセットを入力し、当該評価試験用データセットを構成する各内視鏡画像から大腸ポリープを正しく検出できるか否かについて評価した。大腸ポリープを正しく検出できた場合を「正解」とみなした。畳み込みニューラルネットワークは、内視鏡画像から大腸ポリープを検出すると、その病変名（種類）、病変位置および確率スコアを出力する。

なお、評価試験の結果を取得する際、以下の定義を使用して評価試験を行った。

（定義１）
医師によって診断された大腸ポリープの病変位置（範囲）の８０％以上の領域で、畳み込みニューラルネットワークによって診断された大腸ポリープの病変位置（範囲）が重なった場合、本評価試験では、畳み込みニューラルネットワークが内視鏡画像から大腸ポリープを正しく検出したと判断し、正解とみなした。
（定義２）
畳み込みニューラルネットワークが内視鏡画像から種類の異なる２つ以上の大腸ポリープを同じ病変位置（範囲）として検出した場合、本評価試験では、畳み込みニューラルネットワークは、確率スコアの最も高い種類の大腸ポリープを検出したと判断した。

また、本評価試験では、大腸ポリープを検出する畳み込みニューラルネットワークの診断能力に対する感度および陽性的中率（ＰＰＶ）を次の式（１），（２）を用いて算出した。
感度＝（畳み込みニューラルネットワークが検出した大腸ポリープの数）／（評価試験用データセットを構成する内視鏡画像に存在する大腸ポリープの数）・・・（１）
陽性的中率＝（畳み込みニューラルネットワークが検出した大腸ポリープの数）／（畳み込みニューラルネットワークが大腸ポリープと診断した病変の数）・・・（２）

［評価試験の結果］
畳み込みニューラルネットワークは、評価試験用データセットを構成する内視鏡画像を分析する処理を４８．７枚／秒（すなわち１枚の内視鏡画像当たりの分析処理時間：２０ｍｓ）という速い速度で終了させた。また、畳み込みニューラルネットワークは、評価試験用データセットを構成する内視鏡画像において１，２４７の大腸ポリープの病変位置を推定し、１，１７２の真正な（組織学的に証明された）大腸ポリープのうち、１，０７３の大腸ポリープを正しく検出した。畳み込みニューラルネットワークの診断能力に対する感度および陽性的中率は、それぞれ９２％および８６％であった。

具体的には、被験者の大腸内に対して白色光を照射して撮像された内視鏡画像において、畳み込みニューラルネットワークの診断能力に対する感度および陽性的中率は、それぞれ９０％および８２％であった。また、被験者の大腸内に対して狭帯域光（ＮＢＩ用狭帯域光）を照射して撮像された内視鏡画像において、畳み込みニューラルネットワークの診断能力に対する感度および陽性的中率は、それぞれ９７％および９８％であった。

また、畳み込みニューラルネットワークは、評価試験用データセットを構成する内視鏡画像（１０ｍｍ未満のみの真正な大腸ポリープを含む）において１，１４３の大腸ポリープの病変位置を推定し、１，１４３の真正な大腸ポリープのうち、９６９の大腸ポリープを正しく検出した。畳み込みニューラルネットワークの診断能力に対する感度および陽性的中率は、それぞれ９２％および８５％であった。

畳み込みニューラルネットワークの診断能力を向上させるためには、畳み込みニューラルネットワークによって真正な大腸ポリープが正しく検出されなかった、すなわち見逃された理由を検証することが重要である。そこで、本発明者らは、畳み込みニューラルネットワークによって誤って大腸ポリープが検出された内視鏡画像（偽陽性画像）、および、畳み込みニューラルネットワークによって真正な大腸ポリープが検出されなかった内視鏡画像（偽陰性画像）の全てをレビューし、いくつかのカテゴリに分類した。

図１８は、偽陽性画像および偽陰性画像の分類結果を示す図である。図１８に示すように、１６５の偽陽性画像のうち６４の偽陽性画像（３９％）は大腸ポリープと区別しやすい正常構造であり、その大部分は回盲弁（Ｎ＝５６）であった。また、５５の偽陽性画像（３３％）は大腸ひだであり、その大部分は送気不足を伴う画像であった。他の偽陽性画像（２０％）には、真正な大腸ポリープと区別しやすく、ハレーション（Ｎ＝１４）、カメラレンズの表面曇り（Ｎ＝４）、ぼやけ、ぼやけ（Ｎ＝２）または排泄物（Ｎ＝４）により人工的に生じた異常画像が含まれた。また、１２の偽陽性画像（７％）は、真正なポリープとして疑われたが、最終的に確認できなかった。

また、図１８に示すように、８９の偽陰性画像のうち５０の偽陰性画像（５６％）は、主に小さい又は暗いことにより大腸ポリープの表面の質感を認識しにくく、畳み込みニューラルネットワークによって真正な大腸ポリープとして検出されなかったと考えられる。また、３４の偽陰性画像（３８％）は、大腸ポリープが側方から、または部分的に撮像されたため、畳み込みニューラルネットワークによって真正な大腸ポリープとして検出されなかったと考えられる。また、５の偽陰性画像（６％）は、大腸ポリープがとても大きいため、畳み込みニューラルネットワークによって真正な大腸ポリープとして検出されなかったと考えられる。

また、本発明者らは、畳み込みニューラルネットワークによって検出されて分類された大腸ポリープの分類（ＣＮＮ分類）と、組織学的に証明された大腸プロープの分類（組織分類）との一致度合いを畳み込みニューラルネットワークの分類精度としてレビューした。図１９は、ＣＮＮ分類と組織分類との一致度合いを示す図である。

図１９Ａに示すように、被験者の大腸内に対して白色光を照射して撮像された内視鏡画像では、全体の８３％の大腸ポリープの分類が、畳み込みニューラルネットワークによって正しく分類されていた。組織学的に腺腫として証明された大腸ポリープのうち９７％の大腸ポリープは、畳み込みニューラルネットワークによって腺腫として正しく分類された。その際における畳み込みニューラルネットワークの診断能力（分類能力）に対する陽性的中率および陰性的中率は、それぞれ８６％および８５％であった。また、組織学的に過形成性ポリープとして証明された大腸ポリープのうち４７％の大腸ポリープは、畳み込みニューラルネットワークによって過形成性ポリープとして正しく分類された。その際における畳み込みニューラルネットワークの診断能力（分類能力）に対する陽性的中率および陰性的中率は、それぞれ６４％および９０％であった。また、組織学的にＳＳＡＰとして証明された大腸ポリープの多くは、畳み込みニューラルネットワークによって腺腫（２６％）または過形成性ポリープ（５２％）として誤って分類された。

図１９Ｂに示すように、被験者の大腸内に対して狭帯域光（ＮＢＩ用狭帯域光）を照射して撮像された内視鏡画像では、全体の８１％の大腸ポリープの分類が、畳み込みニューラルネットワークによって正しく分類されていた。組織学的に腺腫として証明された大腸ポリープのうち９７％の大腸ポリープは、畳み込みニューラルネットワークによって腺腫として正しく分類された。その際における畳み込みニューラルネットワークの診断能力（分類能力）に対する陽性的中率および陰性的中率は、それぞれ８３％および９１％であった。

また、本発明者らは、５ｍｍ以下の大腸ポリープについて、畳み込みニューラルネットワークによって検出されて分類された大腸ポリープの分類（ＣＮＮ分類）と、組織学的に証明された大腸プロープの分類（組織分類）との一致度合いを畳み込みニューラルネットワークの分類精度としてレビューした。図２０は、５ｍｍ以下の大腸ポリープについて、ＣＮＮ分類と組織分類との一致度合いを示す図である。

図２０に示すように、被験者の大腸内に対して白色光を照射して撮像された内視鏡画像では、組織学的に腺腫として証明された大腸ポリープ（Ｎ＝３５６）のうち９８％の大腸ポリープ（Ｎ＝３４８）は、畳み込みニューラルネットワークによって腺腫として正しく分類された。その際における畳み込みニューラルネットワークの診断能力（分類能力）に対する陽性的中率および陰性的中率は、それぞれ８５％および８８％であった。また、組織学的に過形成性ポリープとして証明された大腸ポリープのうち５０％の大腸ポリープは、畳み込みニューラルネットワークによって過形成性ポリープとして正しく分類された。その際における畳み込みニューラルネットワークの診断能力（分類能力）に対する陽性的中率および陰性的中率は、それぞれ７７％および８８％であった。また、図示していないが、被験者の大腸内に対して狭帯域光（ＮＢＩ用狭帯域光）を照射して撮像された内視鏡画像では、組織学的に腺腫として証明された大腸ポリープ（Ｎ＝１４２）のうち９７％の大腸ポリープ（Ｎ＝１３８）は、畳み込みニューラルネットワークによって腺腫として正しく分類された。その際における畳み込みニューラルネットワークの診断能力（分類能力）に対する陽性的中率および陰性的中率は、それぞれ８４％および８８％であった。図１９，２０に示す結果から明らかなように、畳み込みニューラルネットワークの診断能力（分類能力）は、大腸ポリープの大きさに関係なく同等であることを示している。

以上の第２の評価試験の結果から、畳み込みニューラルネットワークは、大腸ポリープが小さくても、かなり正確かつ驚くべき速度で大腸ポリープを効果的に検出し、大腸の内視鏡検査における大腸ポリープの見逃しを減らすのに役立つ可能性があることが判った。さらに、畳み込みニューラルネットワークは、検出された大腸ポリープを正確に分類し、内視鏡医による内視鏡画像の診断を強力に支援することができることが判った。

図２１，２２は、第２の評価試験における内視鏡画像および解析結果画像の例を示す図である。図２１Ａは、畳み込みニューラルネットワークによって正しく検出および分類された大腸ポリープ（腺腫）を含む内視鏡画像および解析結果画像を示す。図２１Ａに示すように、解析結果画像には、畳み込みニューラルネットワークにより推定された病変位置（範囲）を示す矩形枠１１０、病変名（腺腫：Adenoma）および確率スコア（０．９７）が表示されている。なお、矩形枠１１２は、参考までに、組織学的に証明された大腸ポリープ（腺腫）の病変位置（範囲）を示しており、実際の解析結果画像には表示されない。

図２１Ｂは、畳み込みニューラルネットワークによって正しく検出および分類された大腸ポリープ（過形成性ポリープ）を含む内視鏡画像および解析結果画像を示す。図２１Ｂに示すように、解析結果画像には、畳み込みニューラルネットワークにより推定された病変位置（範囲）を示す矩形枠１１４、病変名（過形成性ポリープ：Hyperplastic）および確率スコア（０．８３）が表示されている。なお、矩形枠１１６は、参考までに、組織学的に証明された大腸ポリープ（過形成性ポリープ）の病変位置（範囲）を示しており、実際の解析結果画像には表示されない。

図２１Ｃは、畳み込みニューラルネットワークによって検出されなかった、すなわち見逃された大腸ポリープ（腺腫）を含む内視鏡画像を偽陰性画像として示す。矩形枠１１８は、参考までに、組織学的に証明された大腸ポリープ（腺腫）の病変位置（範囲）を示しており、実際の解析結果画像には表示されない。

図２１Ｄは、畳み込みニューラルネットワークによって誤って検出および分類された正常な大腸ひだを含む内視鏡画像および解析結果画像を偽陽性画像として示す。図２１Ｄに示すように、解析結果画像には、畳み込みニューラルネットワークにより推定された病変位置（範囲）を示す矩形枠１２０、病変名（腺腫：Hyperplastic）および確率スコア（０．７０）が表示されている。

図２１Ｅは、畳み込みニューラルネットワークによって病変位置（範囲）が正しく検出されたものの、誤って分類された大腸ポリープ（腺腫）を含む内視鏡画像および解析結果画像を示す。図２１Ｅに示すように、解析結果画像には、畳み込みニューラルネットワークにより推定された病変位置（範囲）を示す矩形枠１２２、病変名（過形成性ポリープ：Hyperplastic）および確率スコア（０．５４）が表示されている。なお、矩形枠１２４は、参考までに、組織学的に証明された大腸ポリープ（腺腫）の病変位置（範囲）を示しており、実際の解析結果画像には表示されない。

図２１Ｆは、畳み込みニューラルネットワークによって病変位置（範囲）が正しく検出されたものの、誤って分類された大腸ポリープ（過形成性ポリープ）を含む内視鏡画像および解析結果画像を示す。図２１Ｆに示すように、解析結果画像には、畳み込みニューラルネットワークにより推定された病変位置（範囲）を示す矩形枠１２６、病変名（腺腫：Adenoma）および確率スコア（０．６２）が表示されている。なお、矩形枠１２８は、参考までに、組織学的に証明された大腸ポリープ（過形成性ポリープ）の病変位置（範囲）を示しており、実際の解析結果画像には表示されない。

図２２Ａは、畳み込みニューラルネットワークによって検出されなかった、すなわち見逃された大腸ポリープ（腺腫）を含む内視鏡画像を偽陰性画像として示す。矩形枠１３０，１３２は、参考までに、組織学的に証明された大腸ポリープ（腺腫）の病変位置（範囲）を示しており、実際の解析結果画像には表示されない。矩形枠１３０，１３２により示される大腸ポリープ（腺腫）はとても小さく、当該大腸ポリープを認識しにくい状況であったため、畳み込みニューラルネットワークによって検出されなかったと考えられる。

図２２Ｂは、畳み込みニューラルネットワークによって検出されなかった、すなわち見逃された大腸ポリープ（腺腫）を含む内視鏡画像を偽陰性画像として示す。矩形枠１３４は、参考までに、組織学的に証明された大腸ポリープ（腺腫）の病変位置（範囲）を示しており、実際の解析結果画像には表示されない。矩形枠１３４により示される大腸ポリープ（腺腫）は暗く、当該大腸ポリープを認識しにくい状況であったため、畳み込みニューラルネットワークによって検出されなかったと考えられる。

図２２Ｃは、畳み込みニューラルネットワークによって検出されなかった、すなわち見逃された大腸ポリープ（腺腫）を含む内視鏡画像を偽陰性画像として示す。矩形枠１３６は、参考までに、組織学的に証明された大腸ポリープ（腺腫）の病変位置（範囲）を示しており、実際の解析結果画像には表示されない。矩形枠１３６により示される大腸ポリープ（腺腫）が側方から、または、部分的に撮像されたため、畳み込みニューラルネットワークによって検出されなかったと考えられる。

図２２Ｄは、畳み込みニューラルネットワークによって検出されなかった、すなわち見逃された大腸ポリープ（腺腫）を含む内視鏡画像を偽陰性画像として示す。矩形枠１３８は、参考までに、組織学的に証明された大腸ポリープ（腺腫）の病変位置（範囲）を示しており、実際の解析結果画像には表示されない。矩形枠１３８により示される大腸ポリープ（腺腫）はとても大きく、当該大腸ポリープを認識しにくい状況であったため、畳み込みニューラルネットワークによって検出されなかったと考えられる。

図２２Ｅは、畳み込みニューラルネットワークによって誤って検出および分類された回盲弁（正常構造）を含む内視鏡画像および解析結果画像を偽陽性画像として示す。図２２Ｅに示すように、解析結果画像には、畳み込みニューラルネットワークにより推定された病変位置（範囲）を示す矩形枠１４０、病変名（その他：The others）および確率スコア（０．６２）が表示されている。

図２２Ｆは、畳み込みニューラルネットワークによって誤って検出および分類された正常な大腸ひだを含む内視鏡画像および解析結果画像を偽陽性画像として示す。図２２Ｆに示すように、解析結果画像には、畳み込みニューラルネットワークにより推定された病変位置（範囲）を示す矩形枠１４２、病変名（腺腫：Adenoma）および確率スコア（０．３２）が表示されている。

図２２Ｇは、畳み込みニューラルネットワークによって誤って検出および分類されたハレーション（人工的な異常画像）を含む内視鏡画像および解析結果画像を偽陽性画像として示す。図２２Ｇに示すように、解析結果画像には、畳み込みニューラルネットワークにより推定された病変位置（範囲）を示す矩形枠１４４、病変名（腺腫：Adenoma）および確率スコア（０．４３）が表示されている。

図２２Ｈは、畳み込みニューラルネットワークによって誤って検出および分類されたポリープを含む内視鏡画像および解析結果画像を偽陽性画像として示す。当該ポリープは、真正なポリープと疑われたが、最終的に確認できなかった。図２２Ｈに示すように、解析結果画像には、畳み込みニューラルネットワークにより推定された病変位置（範囲）を示す矩形枠１４６、病変名（過形成性ポリープ：Hyperplastic）および確率スコア（０．４８）が表示されている。

次に、上記実施の形態の構成における効果を確認するための第３の評価試験について説明する。

［学習用データセットの準備］
２０１６年２月〜２０１７年４月にかけて行われた食道の内視鏡画像８，４２８枚（３８４人）を、画像診断支援装置における畳み込みニューラルネットワークの学習に使用する学習用データセット（教師データ）として用意した。内視鏡画像には、認定病理学者によって組織学的に証明された食道がん（具体的には、扁平上皮がん（ＥＳＣＣ）または腺がん（ＥＡＣ））が含まれる。内視鏡検査は、日常診療におけるスクリーニングまたは術前検査のために実施され、内視鏡画像は、標準的な内視鏡（ＧＩＦ−Ｈ２９０Ｚ、ＧＩＦ−Ｈ２９０、ＧＩＦ−ＸＰ２９０Ｎ、ＧＩＦ−Ｈ２６０Ｚ、ＧＩＦ−Ｈ２６０、オリンパスメディカルシステムズ社、東京）および標準的な内視鏡ビデオシステム（ＥＶＩＳ ＬＵＣＥＲＡ ＣＶ−２６０／ＣＬＶ−２６０、ＥＶＩＳ ＬＵＣＥＲＡ ＥＬＩＴＥ ＣＶ−２９０／ＣＬＶ−２９０ＳＬ、オリンパスメディカルシステムズ社）を用いて収集した。

学習用データセットとしての内視鏡画像には、被験者の食道内に対して白色光を照射して撮像された内視鏡画像、および、被験者の食道内に対して狭帯域光（ＮＢＩ用狭帯域光）を照射して撮像された内視鏡画像を含めた。また、ハレーション、レンズのくもり、焦点外れ、粘液または送気不足等のために、画像品質が悪い内視鏡画像は、学習用データセットから除外した。

最終的に、学習用データセットとして、組織学的に証明された食道がんに関する８，４２８枚の内視鏡画像を収集した。当該内視鏡画像には、表在型食道がん３３２病変と進行胃がん６５病変とからなる３９７病変の扁平上皮がんと、表在型食道がん１９病変と進行胃がん１３病変とからなる腺がん３２病変とが含まれていた。収集された内視鏡画像において、上部内視鏡検査の件数が２，０００症例以上の経験豊富な内視鏡医は、全ての食道がん（扁平上皮がんまたは腺がん）の病変名（表在型食道がん、または、進行型食道がん）および病変位置を精密に手動で特徴抽出のマーキング設定を行った。

［学習・アルゴリズム］
画像診断支援装置を構築するため、Ｓｉｎｇｌｅ Ｓｈｏｔ ＭｕｌｔｉＢｏｘ Ｄｅｔｅｃｔｏｒ（ＳＳＤ、https://arxiv.org/abs/1512.02325）をベースとした１６層以上で構成される畳み込みニューラルネットワークを使用した。バークレービジョン及びラーニングセンター(Berkeley Vision and Learning Center (BVLC))で開発されたCaffeディープラーニングフレームワークを学習および評価試験に使用した。畳み込みニューラルネットワークの全ての層は、確率的勾配降下法を使用して、グローバル学習率０．０００１で微調整されている。ＣＮＮと互換性を持たせるために、各画像を３００×３００ピクセルにリサイズした。各画像のリサイズに応じて、病変の病変位置に対するマーキングのサイズ変更を行った。

［評価試験用データセットの準備］
構築された畳み込みニューラルネットワークベースの画像診断支援装置の診断精度を評価するために、通常の臨床検査として内視鏡検査を受けた９７人の患者（４７人：食道がん４９病変を有する、５０人：食道がんを有しない）を対象にして、１，１１８の内視鏡画像（食道）を評価試験用データセットとして収集した。その結果、４７人の患者のうち４５人に食道がんが１病変存在し、２人に食道がんが２病変存在していた。評価試験用データセットとしての内視鏡画像には、学習用データセットと同様に、被験者の食道内に対して白色光を照射して撮像された内視鏡画像、および、被験者の食道内に対して狭帯域光（ＮＢＩ用狭帯域光）を照射して撮像された内視鏡画像を含めた。

図２３は、評価試験用データセットに用いられた内視鏡画像に関する患者（ｎ＝４７）および病変（ｎ＝４９）の特徴を示す図である。図２３に示すように、腫瘍サイズ（直径）の中央値は２０ｍｍであり、腫瘍サイズ（直径）の範囲は５〜７００ｍｍであった。肉眼的分類では、４３病変で表在型（０−Ｉ型、０−ＩＩａ型、０−ＩＩｂ型、０−ＩＩｃ型）が進行型（６病変）より多かった。腫瘍の深さでは、表在型食道がん（粘膜がん：Ｔ１ａ、粘膜下がん：Ｔ１ｂ）が４２病変であり、進行胃がん（Ｔ２−Ｔ４）が７病変であった。組織病理学では、扁平上皮がんが４１病変であり、腺がんが８病変であった。

［評価試験の方法］
本評価試験では、学習用データセットを用いて学習処理が行われた畳み込みニューラルネットワークベースの画像診断支援装置に対して評価試験用データセットを入力し、当該評価試験用データセットを構成する各内視鏡画像から食道がんを正しく検出できるか否かについて評価した。食道がんを正しく検出できた場合を「正解」とみなした。畳み込みニューラルネットワークは、内視鏡画像から食道がんを検出すると、その病変名（表在型食道がん、または、進行型食道がん）、病変位置および確率スコアを出力する。

なお、評価試験の結果を取得する際、以下の定義を使用して評価試験を行った。

（定義１）
畳み込みニューラルネットワークが食道がんの一部でも検出した場合、本評価試験では、畳み込みニューラルネットワークは、食道がんを検出したと判断し、正解とみなした。なぜなら、内視鏡画像において食道がんの境界全体を認識することが困難な場合があるからです。ただし、畳み込みニューラルネットワークによって検出された食道がんの病変位置（範囲）を示す矩形枠内に実際に食道がんが存在した場合でも、その矩形枠が非食道がんの部位を広範囲（内視鏡画像の８０％以上）に含むときには、本評価試験では、畳み込みニューラルネットワークは食道がんを検出できなかったと判断した。
（定義２）
食道がんが２病変存在していた２人の患者に関する内視鏡画像において、畳み込みニューラルネットワークが当該２病変を検出した場合に限り、本評価試験では、畳み込みニューラルネットワークが食道がんを検出したと判断し、正解とみなした。
（定義３）
食道がんの存在しない内視鏡画像において畳み込みニューラルネットワークが少なくとも１つの非食道がんの部位を食道がんとして検出した場合、本評価試験では、畳み込みニューラルネットワークが食道がんを誤検出したと判断し、偽陽性とみなした。ただし、食道がんの存在しない１つの内視鏡画像において畳み込みニューラルネットワークが２つの非食道がんの部位を食道がんとして誤検出した場合、本評価試験では、２つではなく１つの偽陽性としてカウントした。

また、本評価試験では、各内視鏡画像における食道がんを検出する畳み込みニューラルネットワークの診断能力に対する感度、特異度、陽性的中率（ＰＰＶ）および陰性的中率（ＮＰＶ）を次の式（１）〜（４）を用いて算出した。
感度＝（畳み込みニューラルネットワークが食道がんを正しく検出した内視鏡画像の数）／（評価試験用データセットを構成し、食道がんが存在する内視鏡画像の数）・・・（１）
特異度＝（畳み込みニューラルネットワークが、食道がんが存在しないことを正しく検出した内視鏡画像の数）／（評価試験用データセットを構成し、食道がんが存在しない内視鏡画像の数）・・・（２）
陽性的中率＝（畳み込みニューラルネットワークが食道がんを正しく検出した内視鏡画像の数）／（畳み込みニューラルネットワークが食道がんを検出した内視鏡画像の数）・・・（３）
陰性的中率＝（畳み込みニューラルネットワークが、食道がんが存在しないことを正しく検出した内視鏡画像の数）／（畳み込みニューラルネットワークが、食道がんが存在しないことを検出した内視鏡画像の数）・・・（４）

［評価試験の結果］
畳み込みニューラルネットワークは、評価試験用データセットを構成する１，１１８の内視鏡画像を分析する処理を２７秒で終了させた。注目すべきことに、畳み込みニューラルネットワークは、腫瘍サイズが１０ｍｍ未満である全て（７つ）の食道がんを正しく検出した。畳み込みニューラルネットワークの診断能力に対する陽性的中率は４０％であり、陰影と正常構造の誤診断であったが、陰性的中率は９５％であった。また、畳み込みニューラルネットワークは、食道がんの分類（表在型食道がんまたは進行型食道がん）を９８％の精度で正しく検出した。

図２４は、第３の評価試験における内視鏡画像および解析結果画像の例を示す図である。図２４Ａは、畳み込みニューラルネットワークによって正しく検出および分類された食道がんを含む内視鏡画像（被験者の食道内に対して白色光を照射して撮像された内視鏡画像）および解析結果画像を示す。図２４Ａに示すように、解析結果画像には、畳み込みニューラルネットワークにより推定された病変位置（範囲）を示す矩形枠１５０、病変名（表在型食道がん）および確率スコア（０．９１）が表示されている。なお、矩形枠１５２は、参考までに、組織学的に証明された食道がんの病変位置（範囲）を示しており、実際の解析結果画像には表示されない。

図２４Ｂは、図２４Ａに対応し、畳み込みニューラルネットワークによって正しく検出および分類された食道がんを含む内視鏡画像（被験者の食道内に対してＮＢＩ用狭帯域光を照射して撮像された内視鏡画像）および解析結果画像を示す。図２４Ｂに示すように、解析結果画像には、畳み込みニューラルネットワークにより推定された病変位置（範囲）を示す矩形枠１５４、病変名（表在型食道がん）および確率スコア（０．９７）が表示されている。なお、矩形枠１５６は、参考までに、組織学的に証明された食道がんの病変位置（範囲）を示しており、実際の解析結果画像には表示されない。

図２４Ｃは、畳み込みニューラルネットワークによって検出されなかった、すなわち見逃された食道がんを含む内視鏡画像（被験者の食道内に対して白色光を照射して撮像された内視鏡画像）を偽陰性画像として示す。矩形枠１５８は、参考までに、組織学的に証明された食道がんの病変位置（範囲）を示しており、実際の解析結果画像には表示されない。

図２４Ｄは、図２４Ｃに対応し、畳み込みニューラルネットワークによって正しく検出および分類された食道がんを含む内視鏡画像（被験者の食道内に対してＮＢＩ用狭帯域光を照射して撮像された内視鏡画像）および解析結果画像を示す。図２４Ｄに示すように、解析結果画像には、畳み込みニューラルネットワークにより推定された病変位置（範囲）を示す矩形枠１６０、病変名（表在型食道がん）および確率スコア（０．９８）が表示されている。なお、矩形枠１６２は、参考までに、組織学的に証明された食道がんの病変位置（範囲）を示しており、実際の解析結果画像には表示されない。

図２５は、食道がんを有する４７人の症例（食道がん）、食道がんを有しない５０人の症例（非食道がん）について、畳み込みニューラルネットワークによる食道がん／非食道がんの検出結果、および、生検による食道がん／非食道がんの検出結果を示す図である。図２５において、包括的な診断結果では、被験者の食道内に対して白色光およびＮＢＩ用狭帯域光の少なくとも一方を照射して撮像された内視鏡画像において、畳み込みニューラルネットワークが食道がん／非食道がんを正しく検出した場合、本評価試験では、畳み込みニューラルネットワークが食道がん／非食道がんを正しく検出したと判断した。図２５に示すように、畳み込みニューラルネットワークは、包括的な診断を行った場合、内視鏡画像に食道がんが存在する症例の９８％（４６／４７）において、食道がんを正しく検出した。また、図示していないが、畳み込みニューラルネットワークは、腫瘍サイズが１０ｍｍ未満である全ての食道がんを正しく検出した。

図２６は、図２５に示す各症例において、白色光を照射して撮像された内視鏡画像における感度（以下、白色光感度）、ＮＢＩ用狭帯域光を照射して撮像された内視鏡画像における感度（以下、ＮＢＩ用狭帯域光感度）、および、白色光およびＮＢＩ用狭帯域光の少なくとも一方を照射して撮像された内視鏡画像における感度（以下、包括的感度）を示す図である。図２６に示すように、図２５に示す各症例において、ＮＢＩ用狭帯域光感度（８９％）は白色光感度（８１％）より高く、包括的感度（９８％）は白色光感度より非常に高かった。扁平上皮がんに関する白色光感度、ＮＢＩ用狭帯域光感度および包括的感度は、それぞれ７９％、８９％、９７％であった。腺がんに関する白色光感度、ＮＢＩ用狭帯域光感度および包括的感度は、それぞれ８８％、８８％、１００％であった。

図２７は、白色光またはＮＢＩ用狭帯域光を照射して撮像された各内視鏡画像について、畳み込みニューラルネットワークによる食道がん／非食道がんの検出結果、および、生検による食道がん／非食道がんの検出結果を示す図である。図２８は、図２７に示す各内視鏡画像において、白色光を照射して撮像された内視鏡画像における感度（以下、白色光感度）、および、ＮＢＩ用狭帯域光を照射して撮像された内視鏡画像における感度（以下、ＮＢＩ用狭帯域光感度）を示す図である。

図２７に示すように、畳み込みニューラルネットワークは、生検結果として食道がんが存在すると診断された内視鏡画像の７４％（１２５／１６８）において、食道がんを正しく検出した。そして、畳み込みニューラルネットワークの診断能力に対する感度、特異度、陽性的中率および陰性的中率は、それぞれ７４％、８０％、４０％および９５％であった。また、図２８に示すように、ＮＢＩ用狭帯域光感度（８１％）は、白色光感度（６９％）より高かった。扁平上皮がんに関する白色光感度およびＮＢＩ用狭帯域光感度は、それぞれ７２％、８４％であった。腺がんに関する白色光感度およびＮＢＩ用狭帯域光感度は、それぞれ５５％、６７％であった。

本発明者らは、畳み込みニューラルネットワークによって検出されて分類された食道がんの分類（ＣＮＮ分類）と、組織学的に証明された食道がんの分類（深達度）との一致度合いを畳み込みニューラルネットワークの分類精度としてレビューした。図２９は、ＣＮＮ分類と深達度との一致度合いを示す図である。

図２９に示すように、被験者の食道内に対して白色光を照射して撮像された内視鏡画像では、全体の１００％（８９／８９）の食道がんの分類が、畳み込みニューラルネットワークによって正しく分類されていた。すなわち、組織学的に表在型食道がんとして証明された食道がんのうち１００％（７５／７５）の食道がんは、畳み込みニューラルネットワークによって表在型食道がんとして正しく分類された。また、組織学的に進行型食道がんとして証明された食道がんのうち１００％（１４／１４）の食道がんは、畳み込みニューラルネットワークによって進行型食道がんとして正しく分類された。

また、被験者の食道内に対してＮＢＩ用狭帯域光を照射して撮像された内視鏡画像では、全体の９６％（７６／７９）の食道がんの分類が、畳み込みニューラルネットワークによって正しく分類されていた。組織学的に表在型食道がんとして証明された食道がんのうち９９％（６７／６８）の食道がんは、畳み込みニューラルネットワークによって表在型食道がんとして正しく分類された。また、組織学的に進行型食道がんとして証明された食道がんのうち８２％（９／１１）の食道がんは、畳み込みニューラルネットワークによって進行型食道がんとして正しく分類された。

また、被験者の食道内に対して白色光またはＮＢＩ用狭帯域光を照射して撮像された内視鏡画像では、全体の９８％（１６５／１６８）の食道がんの分類が、畳み込みニューラルネットワークによって正しく分類されていた。組織学的に表在型食道がんとして証明された食道がんのうち９９％（１４２／１４３）の食道がんは、畳み込みニューラルネットワークによって表在型食道がんとして正しく分類された。また、組織学的に進行型食道がんとして証明された食道がんのうち９２％（２３／２５）の食道がんは、畳み込みニューラルネットワークによって進行型食道がんとして正しく分類された。以上のように、畳み込みニューラルネットワークの分類精度は、非常に高いことが判った。なお、扁平上皮がんおよび腺がんに関する畳み込みニューラルネットワークの分類精度は、それぞれ９９％（１４６／１４７）および９０％（１９／２１）であった。

畳み込みニューラルネットワークの診断能力を向上させるためには、畳み込みニューラルネットワークによって誤って食道がんが検出された理由と、真正な食道がんが正しく検出されなかった、すなわち見逃された理由とを検証することが重要である。そこで、本発明者らは、畳み込みニューラルネットワークによって誤って食道がんが検出された内視鏡画像（偽陽性画像）、および、畳み込みニューラルネットワークによって真正な食道がんが検出されなかった内視鏡画像（偽陰性画像）の全てをレビューし、いくつかのカテゴリに分類した。

図３０は、偽陽性画像および偽陰性画像の分類結果を示す図である。図３０に示すように、１８８の偽陽性画像のうち９５の偽陽性画像（５０％）は陰影を伴っていた。また、６１の偽陽性画像（３２％）は食道がんと判別しやすい正常構造を含み、その大部分は食道胃接合部（ＥＧＪ）や左主気管支であった。また、３２の偽陽性画像（１７％）は食道がんとして誤診される可能性がある良性病変を含み、その大部分は術後瘢痕、焦点萎縮、バレット食道、炎症であった。

図３１Ａは、陰影を伴っていたため、畳み込みニューラルネットワークによって誤って検出および分類された内視鏡画像および解析結果画像を偽陽性画像として示す図である。図３１Ａに示すように、解析結果画像には、畳み込みニューラルネットワークにより推定された病変位置（範囲）を示す矩形枠１７０、病変名（表在型食道がん）および確率スコア（０．７０）が表示されている。

図３１Ｂは、食道がんと判別しやすい正常構造（食道胃接合部）を含んでいたため、畳み込みニューラルネットワークによって誤って検出および分類された内視鏡画像および解析結果画像を偽陽性画像として示す図である。図３１Ｂに示すように、解析結果画像には、畳み込みニューラルネットワークにより推定された病変位置（範囲）を示す矩形枠１７２、病変名（表在型食道がん）および確率スコア（０．５７）が表示されている。

図３１Ｃは、食道がんと判別しやすい正常構造（左主気管支）を含んでいたため、畳み込みニューラルネットワークによって誤って検出および分類された内視鏡画像および解析結果画像を偽陽性画像として示す図である。図３１Ｃに示すように、解析結果画像には、畳み込みニューラルネットワークにより推定された病変位置（範囲）を示す矩形枠１７４、病変名（表在型食道がん）および確率スコア（０．６０）が表示されている。

図３１Ｄは、食道がんと判別しやすい正常構造（椎体）を含んでいたため、畳み込みニューラルネットワークによって誤って検出および分類された内視鏡画像および解析結果画像を偽陽性画像として示す図である。図３１Ｄに示すように、解析結果画像には、畳み込みニューラルネットワークにより推定された病変位置（範囲）を示す矩形枠１７６、病変名（表在型食道がん）および確率スコア（０．８０）が表示されている。

図３１Ｅは、食道がんとして誤診される可能性がある良性病変（術後瘢痕）を含んでいたため、畳み込みニューラルネットワークによって誤って検出および分類された内視鏡画像および解析結果画像を偽陽性画像として示す図である。図３１Ｅに示すように、解析結果画像には、畳み込みニューラルネットワークにより推定された病変位置（範囲）を示す矩形枠１７８、病変名（表在型食道がん）および確率スコア（０．８８）が表示されている。

図３１Ｆは、食道がんとして誤診される可能性がある良性病変（焦点萎縮）を含んでいたため、畳み込みニューラルネットワークによって誤って検出および分類された内視鏡画像および解析結果画像を偽陽性画像として示す図である。図３１Ｆに示すように、解析結果画像には、畳み込みニューラルネットワークにより推定された病変位置（範囲）を示す矩形枠１８０、病変名（表在型食道がん）および確率スコア（０．８３）が表示されている。

また、図３０に示すように、４１の偽陰性画像のうち１０の偽陰性画像（２５％）は、畳み込みニューラルネットワークによって背景粘膜による炎症として誤診断された結果として、真正な食道がんとして検出されなかったと考えられる。また、７の偽陰性画像（１７％）は、ＮＢＩ用狭帯域光を照射された扁平上皮がんが不明瞭に撮像されたため、畳み込みニューラルネットワークによって真正な食道がんとして検出されなかったと考えられる。

また、４の偽陰性画像（１０％）は、バレット食道腺がんが存在したものの腺がんに関する学習に不十分なところがあったため、畳み込みニューラルネットワークによって真正な食道がんとして検出されなかったと考えられる。また、２０の偽陰性画像（４９％）は、内視鏡画像において病変が遠方に存在する、病変の一部のみが存在する等の診断困難な状態であったため、畳み込みニューラルネットワークによって真正な食道がんとして検出されなかったと考えられる。

図３２Ａは、内視鏡画像において病変が遠方に存在し診断困難な状態であったため、畳み込みニューラルネットワークによって検出されなかった食道がんを含む内視鏡画像を偽陰性画像として示す図である。矩形枠１８２は、参考までに、組織学的に証明された食道がんの病変位置（範囲）を示しており、実際の解析結果画像には表示されない。

図３２Ｂは、内視鏡画像において病変の一部のみが存在し診断困難な状態であったため、畳み込みニューラルネットワークによって検出されなかった食道がんを含む内視鏡画像を偽陰性画像として示す図である。矩形枠１８４は、参考までに、組織学的に証明された食道がんの病変位置（範囲）を示しており、実際の解析結果画像には表示されない。

図３２Ｃは、背景粘膜による炎症として誤診断された結果として、畳み込みニューラルネットワークによって検出されなかった食道がんを含む内視鏡画像を偽陰性画像として示す図である。矩形枠１８６は、参考までに、組織学的に証明された食道がんの病変位置（範囲）を示しており、実際の解析結果画像には表示されない。

図３２Ｄは、ＮＢＩ用狭帯域光を照射された扁平上皮がんが不明瞭に撮像されたため、畳み込みニューラルネットワークによって検出されなかった食道がんを含む内視鏡画像を偽陰性画像として示す図である。矩形枠１８８は、参考までに、組織学的に証明された食道がんの病変位置（範囲）を示しており、実際の解析結果画像には表示されない。

図３２Ｅは、バレット食道腺がんが存在したものの腺がんに関する学習に不十分なところがあったため、畳み込みニューラルネットワークによって検出されなかった食道がん（バレット食道腺がん）を含む内視鏡画像を偽陰性画像として示す図である。矩形枠１９０は、参考までに、組織学的に証明された食道がんの病変位置（範囲）を示しており、実際の解析結果画像には表示されない。

以上の第３の評価試験の結果から、畳み込みニューラルネットワークは、食道がんが小さくても、かなり正確かつ驚くべき速度で食道がんを効果的に検出し、食道の内視鏡検査における食道がんの見逃しを減らすのに役立つ可能性があることが判った。さらに、畳み込みニューラルネットワークは、検出された食道がんを正確に分類し、内視鏡医による内視鏡画像の診断を強力に支援することができることが判った。そして、より多くの学習処理を行うことによって、畳み込みニューラルネットワークはより高い診断精度を達成すると考えられる。

２０１７年１０月３０日出願の特願２０１７−２０９２３２、２０１８年１月２２日出願の特願２０１８−００７９６７、２０１８年３月５日出願の特願２０１８−０３８８２８の日本出願に含まれる明細書、図面および要約書の開示内容は、全て本願に援用される。

本発明は、内視鏡医による内視鏡画像の診断を支援することが可能な画像診断支援装置、資料収集方法、画像診断支援方法および画像診断支援プログラムとして有用である。

１０ 内視鏡画像取得部
２０ 病変推定部
３０ 表示制御部
４０ 学習装置
１００ 画像診断支援装置
１０１ ＣＰＵ
１０２ ＲＯＭ
１０３ ＲＡＭ
１０４ 外部記憶装置
１０５ 通信インターフェイス
２００ 内視鏡撮像装置
３００ 表示装置
Ｄ１ 内視鏡画像データ
Ｄ２ 推定結果データ
Ｄ３ 解析結果画像データ
Ｄ４ 教師データ

Claims (7)

1. 内視鏡画像における病変の位置を入力することなく当該内視鏡画像を入力した場合、当該内視鏡画像内に存在する病変の位置を出力する畳み込みニューラルネットワークの出力結果により、消化器内視鏡撮像装置により撮像された被験者の消化器内視鏡画像内に存在する病変の位置を、畳み込みニューラルネットワークによって推定して出力する病変推定部を備え、
   前記畳み込みニューラルネットワークは、複数の消化器腫瘍内視鏡画像内においてあらかじめ判定された病変を教師データとして学習処理が行われる、
   画像診断支援装置。
2. 前記病変推定部は、前記消化器内視鏡画像内に存在する病変の名称および位置と、それらの確度の情報とを、前記畳み込みニューラルネットワークによって推定して出力し、
   前記畳み込みニューラルネットワークは、前記複数の消化器腫瘍内視鏡画像内においてあらかじめ判定された病変の病変名および病変を教師データとして学習処理が行われる、
   請求項１に記載の画像診断支援装置。
3. 前記病変推定部は、病変の位置を入力することなく複数の診察室から伝送される内視鏡画像を入力した場合、前記消化器内視鏡画像内に存在する病変の位置を、前記畳み込みニューラルネットワークによって推定する、
   請求項１に記載の画像診断支援装置。
4. 前記病変推定部は、遠隔地からの遠隔操作により、前記消化器内視鏡画像内に存在する病変の位置を、前記畳み込みニューラルネットワークによって推定する、
   請求項１に記載の画像診断支援装置。
5. 請求項１に記載の前記畳み込みニューラルネットワークに対する前記学習処理によって得られ、
   内視鏡画像における病変の位置を入力することなく当該内視鏡画像を入力した場合、当該内視鏡画像内に存在する病変の位置を出力するようコンピューターを機能させる学習済みモデル。
6. 内視鏡画像における病変の位置を入力することなく当該内視鏡画像を入力した場合、当該内視鏡画像内に存在する病変の位置を出力する畳み込みニューラルネットワークの出力結果により、消化器内視鏡撮像装置により撮像された被験者の消化器内視鏡画像内に存在する病変の位置を、畳み込みニューラルネットワークによって推定して出力する病変推定部を備える装置を用い、
   前記畳み込みニューラルネットワークは、複数の消化器腫瘍内視鏡画像内においてあらかじめ判定された病変を教師データとして学習処理が行われる、
   画像診断支援方法。
7. コンピューターに、
   内視鏡画像における病変の位置を入力することなく当該内視鏡画像を入力した場合、当該内視鏡画像内に存在する病変の位置を出力する畳み込みニューラルネットワークの出力結果により、消化器内視鏡撮像装置により撮像された被験者の消化器内視鏡画像内に存在する病変の位置を、畳み込みニューラルネットワークによって推定して出力する処理を実行させ、
   前記畳み込みニューラルネットワークは、複数の消化器腫瘍内視鏡画像内においてあらかじめ判定された病変を教師データとして学習処理が行われる、
   画像診断支援プログラム。