JP2023143318A - 画像処理装置、医療診断装置、内視鏡装置、及び画像処理方法 - Google Patents

Abstract

【課題】病変の誤鑑別を抑制することができる画像処理装置、医療診断装置、内視鏡装置、及び画像処理方法を提供する。【解決手段】画像処理装置のプロセッサは、病変領域を含む医療画像を取得し、判定器が医療画像に基づいて病変の種類を判定する判定処理を行う。第１判定処理は、第１カテゴリに分類される第１種類と第２カテゴリに分類される第２種類とを含む第１グループに種類が属するか、又は、第２カテゴリに分類される第３種類を含む第２グループに種類が属するかを判定する処理である。第２判定処理は、種類が第１種類であるか、又は、種類が前記第２種類であるかを判定する処理である。プロセッサは、第１判定処理の判定結果と第２判定処理の判定結果とに基づいて、種類が第１カテゴリに分類されるか、又は、種類が第２カテゴリに分類されるかを特定可能な第１信号を出力する。【選択図】図６

Description

本開示の技術は、画像処理装置、医療診断装置、内視鏡装置、及び画像処理方法に関する。

特許文献１には、病変の種類を特定する医用画像診断支援装置が開示されている。特許文献１に記載の医用画像診断支援装置は、撮影対象に対して所定方向に走査しつつ得られた複数の断面画像を取得する画像取得部と、病変画像及び病変画像に対する病変の種類を含む教師データに基づいて学習した学習モデルを用いて、画像取得部が取得した複数の断面画像のそれぞれに対する病変の種類を判別する判別部と、判別部による複数の断面画像に対する判別結果に基づいて、撮影対象に対する病変の種類を特定する特定部と、を備える。また、判別部は、複数の断面画像のそれぞれに対して、病変の種類毎に病変の種類である可能性を示す確率を算出し、特定部は、判別部が病変の種類毎に算出した確率と、断面画像のそれぞれにおける病変領域の大きさとに基づいて、撮影対象に対する病変の種類を特定する。

特開２０２０－０１０８０４号公報

本開示の技術に係る一つの実施形態は、病変の誤鑑別を抑制することができる画像処理装置、医療診断装置、内視鏡装置、及び画像処理方法を提供する。

本開示の技術に係る第１の態様は、プロセッサを備え、プロセッサが、病変を示す病変領域を含む医療画像を取得し、判定器が医療画像に基づいて病変の種類を判定する判定処理を行い、判定器が、第１判定器と第２判定器と、を含み、判定処理が、第１判定器による第１判定処理と第２判定器による第２判定処理と、を含み、第１判定処理が、第１カテゴリに分類される第１種類と第２カテゴリに分類される第２種類とを含む第１グループに種類が属するか、又は、第２カテゴリに分類される第３種類を含む第２グループに種類が属するかを判定する処理であり、第２判定処理が、種類が第１種類であるか、又は、種類が第２種類であるかを判定する処理であり、プロセッサが、第１判定処理の判定結果と第２判定処理の判定結果とに基づいて、種類が第１カテゴリに分類されるか、又は、種類が第２カテゴリに分類されるかを特定可能な第１信号を出力する第１出力処理、及び、第１判定処理の判定結果及び第２判定処理の判定結果に基づいて、種類が第１種類であるか、又は、種類が第２種類であるかを特定可能な第２信号を出力する第２出力処理のうちの少なくとも一方を行う画像処理装置である。

本開示の技術に係る第２の態様は、プロセッサが、第１判定処理によって第１グループに種類が属すると判定され、かつ、第２判定処理によって種類が第２種類であると判定された場合に、第１信号として、種類が第２カテゴリに分類されることを特定可能な第２カテゴリ信号を出力する、第１の態様に係る画像処理装置である。

本開示の技術に係る第３の態様は、プロセッサが、第１判定処理によって第１グループに種類が属すると判定され、かつ、第２判定処理によって種類が第１種類であると判定された場合に、第１信号として、種類が第１カテゴリに分類されることを特定可能な第１カテゴリ信号を出力する、第１の態様又は第２の態様に係る画像処理装置である。

本開示の技術に係る第４の態様は、プロセッサが、第１判定処理の判定結果と第２判定処理の判定結果とに基づいて、種類が第１カテゴリに分類されることを示す第１カテゴリ情報と、種類が第２カテゴリに分類されることを示す第２カテゴリ情報とを区別可能な表示態様で表示装置に対して表示させる表示処理、及び、第１判定処理の判定結果と第２判定処理の判定結果とに基づいて、第１カテゴリ情報と第２カテゴリ情報とを医療画像単位で区別可能に保存する保存処理のうちの少なくとも一方を行う、第１の態様から第３の態様の何れか１つの態様に係る画像処理装置である。

本開示の技術に係る第５の態様は、表示態様が、医療画像と第１カテゴリ情報とを対比可能に表示装置に対して表示させる第１態様と、医療画像と第２カテゴリ情報とを対比可能に表示装置に対して表示させる第２態様と、を含む、第４の態様に係る画像処理装置である。

本開示の技術に係る第６の態様は、第１カテゴリ情報及び第２カテゴリ情報のうちの少なくとも１つは判定器から得られる特徴量マップに基づく情報である、第４の態様又は第５の態様に係る画像処理装置である。

本開示の技術に係る第７の態様は、第２判定処理が、第１判定器の中間特徴量を利用した処理である、第１の態様から第６の態様の何れか１つの態様に係る画像処理装置である。

本開示の技術に係る第８の態様は、判定器が、ニューラルネットワークであり、第１判定器及び第２判定器が、入力層以降の複数の層を共用している、第１の態様から第７の態様の何れか１つの態様に係る画像処理装置である。

本開示の技術に係る第９の態様は、第１判定器が、第１種類に対応する第１病変が写っている第１病変画像と、第２種類に対応する第２病変が写っている第２病変画像とを第１グループに対応する画像として学習させ、第３種類に対応する第３病変が写っている第３病変画像を第２グループに対応する画像として学習させたモデルである、第１の態様から第８の態様の何れか１つの態様に係る画像処理装置である。

本開示の技術に係る第１０の態様は、プロセッサが、複数のフレームにわたって医療画像を時系列で取得し、フレーム毎に、第１判定処理の判定結果と第２判定処理の判定結果とに基づいて、種類が第１種類及び第２種類を含む複数の病変種の何れであるかを判定し、複数のフレームのうちの第１フレームについての種類が第２種類であると判定された場合に種類が第２種類であると判定されたことを示す第２種類判定信号に対応する信号を出力し、複数のフレームのうち、第１フレームから既定フレーム数の範囲内の第２フレームについて種類が第２種類と異なる病変種であると判定された場合に第２種類判定信号に対応する信号を出力する、第１の態様から第９の態様の何れか１つの態様に係る画像処理装置である。

本開示の技術に係る第１１の態様は、第１カテゴリが、非腫瘍性を示すカテゴリであり、第２カテゴリが、腫瘍性を示すカテゴリである、第１の態様から第１０の態様の何れか１つの態様に係る画像処理装置である。

本開示の技術に係る第１２の態様は、第１種類が、非腫瘍性の病変である、第１の態様から第１１の態様の何れか１つの態様に係る画像処理装置である。

本開示の技術に係る第１３の態様は、第２種類が、鋸歯状病変である、第１の態様から第１２の態様の何れか１つの態様に係る画像処理装置である。

本開示の技術に係る第１４の態様は、第３種類が、鋸歯状病変とは異なる腫瘍性の病変である、第１の態様から第１３の態様の何れか１つの態様に係る画像処理装置である。

本開示の技術に係る第１５の態様は、病変を示す病変領域を含む医療画像を取得すること、及び判定器が医療画像に基づいて病変の種類を判定する判定処理を行うことを備え、判定器が、第１判定器と第２判定器と、を含み、判定処理が、第１判定器による第１判定処理と第２判定器による第２判定処理と、を含み、第１判定処理が、第１カテゴリに分類される第１種類と第２カテゴリに分類される第２種類とを含む第１グループに種類が属するか、又は、第２カテゴリに分類される第３種類を含む第２グループに種類が属するかを判定する処理であり、第２判定処理が、種類が第１種類であるか、又は、種類が第２種類であるかを判定する処理であり、第１判定処理の判定結果と第２判定処理の判定結果とに基づいて、種類が第１カテゴリに分類されるか、又は、種類が第２カテゴリに分類されるかを特定可能な第１信号を出力する第１出力処理、及び、第１判定処理の判定結果及び第２判定処理の判定結果に基づいて、種類が第１種類であるか、又は、種類が第２種類であるかを特定可能な第２信号を出力する第２出力処理のうちの少なくとも一方を行うことを備える画像処理方法である。

本開示の技術に係る第１６の態様は、プロセッサを備え、プロセッサが、病変を示す病変領域を含む医療画像を複数のフレームにわたって時系列で取得し、フレーム毎に、医療画像に基づいて病変の種類を第１種類及び第２種類を含む複数の病変種の何れであるかを判定し、複数のフレームのうちの第１フレームについて種類が第２種類であると判定された場合に、複数のフレームのうち、第１フレームから既定フレーム数の範囲内の第２フレームについて種類が第２種類であると判定されたことを示す第２種類判定信号に対応する信号を出力し、第１フレームについて種類が第１種類であると判定された場合に、第２フレームについて種類に対する判定結果に対応する判定結果信号を出力する画像処理装置である。

本開示の技術に係る第１７の態様は、第１種類が属するカテゴリが、非腫瘍性を示すカテゴリであり、第２種類が属するカテゴリが、腫瘍性を示すカテゴリである、第１６の態様に係る画像処理装置である。

本開示の技術に係る第１８の態様は、第１種類が、非腫瘍性を示す種類であり、第２種類が、鋸歯状病変を示す種類である、第１６の態様又は第１７の態様に係る画像処理装置である。

本開示の技術に係る第１９の態様は、プロセッサが、第２種類判定信号に対応する信号に基づく情報及び判定結果信号に基づく情報をフレーム単位で表示装置に対して表示させる表示処理、及び、第２種類判定信号に対応する信号に基づく情報及び判定結果信号に基づく情報をフレーム単位で保存する保存処理のうちの少なくとも一方を行う、第１６の態様から第１８の態様の何れか１つの態様に係る画像処理装置である。

本開示の技術に係る第２０の態様は、第１の態様から第１４の態様及び第１６の態様から第１９の態様の何れか１つの態様に係る画像処理装置と、被検体の観察対象領域を撮像することで観察対象領域を示す画像を医療画像として取得する撮像装置と、を備える医療診断装置である。

本開示の技術に係る第２１の態様は、第１の態様から第１４の態様及び第１６の態様から第１９の態様の何れか１つの態様に係る画像処理装置と、体内に挿入されて体内の観察対象領域を撮像することで観察対象領域を示す画像を医療画像として取得する内視鏡と、を備える内視鏡装置である。

内視鏡システムが用いられている態様の一例を示す概念図である。 内視鏡システムの全体構成の一例を示す概念図である。 内視鏡の挿入部が被検者の大腸に挿入されている態様の一例を示す概念図である。 内視鏡用処理装置のハードウェア構成の一例を示すブロック図である。 内視鏡用処理装置のプロセッサの要部機能の一例を示すブロック図である。 第１判定器及び第２判定器の構成の一例を示す概念図である。 第１学習実行部の処理内容の一例を示す概念図である。 第２学習実行部の処理内容の一例を示す概念図である。 取得部及び判定部の処理内容の一例を示す概念図である。 ＳＳＬスコアがＨＰスコア以上である場合の制御部の処理内容の一例を示す概念図である。 ＳＳＬスコアがＨＰスコア以上である場合に制御部が表示装置に対して行う処理内容の一例を示す概念図である。 ＳＳＬスコアがＨＰスコア未満である場合の制御部の処理内容の一例を示す概念図である。 ＳＳＬスコアがＨＰスコア未満である場合に制御部が表示装置に対して行う処理内容の一例を示す概念図である。 ＨＰスコアがＮＰスコア未満である場合の制御部の処理内容の一例を示す概念図である。 ＨＰスコアがＮＰスコア未満である場合に制御部が表示装置に対して行う処理内容の一例を示す概念図である。 第１学習処理の流れの一例を示すフローチャートである。 第２学習処理の流れの一例を示すフローチャートである。 推論処理の流れの一例を示すフローチャートである。 図１８Ａに示すフローチャートの続きである。 第１変形例に係る制御部の処理内容の一例を示す概念図である。 ＳＳＬスコアがＨＰスコア以上である場合の第２変形例に係る制御部の処理内容の一例を示す概念図である。 ＳＳＬスコアがＨＰスコア以上である場合に第２変形例に係る制御部が表示装置に対して行う処理内容の一例を示す概念図である。 ＳＳＬスコアがＨＰスコア未満である場合の第２変形例に係る制御部の処理内容の一例を示す概念図である。 ＳＳＬスコアがＨＰスコア未満である場合に第２変形例に係る制御部が表示装置に対して行う処理内容の一例を示す概念図である。 ＨＰスコアがＮＰスコア未満である場合の第２変形例に係る制御部の処理内容の一例を示す概念図である。 ＨＰスコアがＮＰスコア未満である場合に第２変形例に係る制御部が表示装置に対して行う処理内容の一例を示す概念図である。 第３変形例に係る制御部の処理内容の一例を示す概念図である。 第３変形例に係る制御部の処理内容の一例を示す概念図である。 第４変形例に係る制御部の処理内容の一例を示す概念図である。

以下、添付図面に従って本開示の技術に係る画像処理装置、医療診断装置、内視鏡装置、及び画像処理方法の実施形態の一例について説明する。

先ず、以下の説明で使用される文言について説明する。

ＣＰＵとは、“Central Processing Unit”の略称を指す。ＧＰＵとは、“Graphics Processing Unit”の略称を指す。ＲＡＭとは、“Random Access Memory”の略称を指す。ＮＶＭとは、“Non-volatile memory”の略称を指す。ＥＥＰＲＯＭとは、“Electrically Erasable Programmable Read-Only Memory”の略称を指す。ＡＳＩＣとは、“Application Specific Integrated Circuit”の略称を指す。ＰＬＤとは、“Programmable Logic Device”の略称を指す。ＦＰＧＡとは、“Field-Programmable Gate Array”の略称を指す。ＳｏＣとは、“System-on-a-chip”の略称を指す。ＳＳＤとは、“Solid State Drive”の略称を指す。ＵＳＢとは、“Universal Serial Bus”の略称を指す。ＨＤＤとは、“Hard Disk Drive”の略称を指す。ＥＬとは、“Electro-Luminescence”の略称を指す。Ｉ／Ｆとは、“Interface”の略称を指す。ＣＭＯＳとは、“Complementary Metal Oxide Semiconductor”の略称を指す。ＣＣＤとは、“Charge Coupled Device”の略称を指す。ＣＴとは、“Computed Tomography”の略称を指す。ＭＲＩとは、“Magnetic Resonance Imaging”の略称を指す。ＡＩとは、“Artificial Intelligence”の略称を指す。ＦＩＦＯとは、“First In First Out”の略称を指す。ＳＳＬとは、“Sessile Serrated Lesion”の略称を指す。ＮＰとは、“Neoplastic Polyp”を指す。ＨＰとは、“Hyperplastic Polyp”を指す。ＧＡＰとは、“Global Average Pooling”を指す。ＣＡＭとは、“Class Activation Mapping”を指す。

一例として図１に示すように、内視鏡システム１０は、内視鏡装置１２及び表示装置１４を備えている。内視鏡装置１２は、医師１６、看護師１７、及び／又は技師等の医療従事者（以下、「ユーザ」と称する）によって用いられる。内視鏡装置１２は、内視鏡１８を備えており、内視鏡１８を介して被検者２０（例えば、患者）の体内に対する診療を行うための装置である。内視鏡装置１２は、本開示の技術に係る「医療診断装置」及び「内視鏡装置」の一例である。内視鏡１８は、本開示の技術に係る「撮像装置」及び「内視鏡」の一例である。

内視鏡１８は、医師１６によって被検者２０を撮像することで体内の態様を示す画像を取得して出力する。図１に示す例では、内視鏡１８が被検者２０の肛門から体腔内に挿入されている態様が示されている。なお、図１に示す例では、内視鏡１８が被検者２０の肛門から体腔内に挿入されているが、これは、あくまでも一例に過ぎず、内視鏡１８が被検者２０の口、鼻孔、又は穿孔等から体腔内に挿入されてもよく、内視鏡１８が挿入される箇所は、内視鏡１８の種類及び術式等によって決められる。

表示装置１４は、画像を含めた各種情報を表示する。表示装置１４の一例としては、液晶ディスプレイ又はＥＬディスプレイ等が挙げられる。表示装置１４には、複数の画面が並べて表示される。図１に示す例では、複数の画面の一例として、第１画面２２及び第２画面２４が示されている。

第１画面２２には、内視鏡画像２６が表示される。内視鏡画像２６は、本開示の技術に係る「医療画像」の一例である。内視鏡画像２６は、観察対象領域を示す円形状の画像である。すなわち、内視鏡画像２６は、被検者２０の体腔内で内視鏡１８によって観察対象領域が撮像されることによって取得された画像である。図１に示す例では、内視鏡画像２６の一例として、部位領域２６Ａ及び病変領域２６Ｂを含む画像が示されている。

部位領域２６Ａは、被検者２０の体内に含まれる部位を示す画像領域である。図１に示す例では、部位領域２６Ａの一例として、大腸の内壁を示す画像領域が示されている。大腸の内壁は、あくまでも一例に過ぎず、小腸、十二指腸、又は胃等の他の部位の内壁又は外壁等であってもよい。病変領域２６Ｂは、病変を示す画像領域である。病変としては、例えば、腫瘍性ポリープ（以下、「ＮＰ」と称する）及び非腫瘍性ポリープが挙げられる。

第１画面２２に表示される内視鏡画像２６は、複数のフレームを含んで構成される動画像に含まれる１つのフレームである。つまり、第１画面２２には、複数のフレームの内視鏡画像２６が既定のフレームレート（例えば、３０フレーム／秒又は６０フレーム／秒等）で表示される。動画像の一例としては、ライブビュー方式の動画像が挙げられる。ライブビュー方式は、あくまでも一例に過ぎず、ポストビュー方式の動画像のように、メモリ等に一時的に保存されてから表示される動画像であってもよい。また、メモリ等の保存されている記録用動画像に含まれる各フレームが内視鏡画像２６として第１画面２２に再生表示されてもよい。

第２画面２４は、第１画面２２よりも小さな画面である。図１に示す例では、第２画面２２の正面視右下に重畳表示されている。ここでは、重畳表示を例示しているが、これは、あくまでも一例に過ぎず、埋め込み表示であってもよい。また、第２画面２２の表示位置は、第１表示装置１４の画面内であれば、どこでもよいが、内視鏡画像２６と対比可能な位置に表示されることが好ましい。第２画面２４には、位置特定画像２８が表示される。位置特定画像２８は、内視鏡画像２６に対応する画像であり、内視鏡画像２６内での病変領域２６Ｂの位置を特定するのにユーザ等によって参照される画像である。

位置特定画像２８は、外枠２８Ａ、ターゲットマーク２８Ｂ、及び病変マーク２８Ｃを有する。外枠２８Ａは、内視鏡画像２６の円環状の輪郭が縮小された円環枠の上下の一部が第２画面２４の上辺及び下辺によって切り欠かれた形状の枠である。

ターゲットマーク２８Ｂは、位置特定画像２８の表示領域の中央で十字状に交差するマークである。ターゲットマーク２８Ｂの交差点が内視鏡画像２６の中央点に対応している。

病変マーク２８Ｃは、内視鏡画像２６内での病変領域２６Ｂに対応するマークであり、病変領域２６Ｂにより示される病変の大きさ、形状、及び種類に応じた表示態様で表示される。

一例として図２に示すように、内視鏡１８は、操作部３０及び挿入部３２を備えている。挿入部３２は、管状に形成されている。挿入部３２は、先端部３４、湾曲部３６、及び軟性部３７を有する。先端部３４、湾曲部３６、及び軟性部３７は、挿入部３２の先端側から基端側にかけて、先端部３４、湾曲部３６、及び軟性部３７の順に配置されている。軟性部３７は、長尺状の可撓性を有する素材で形成されており、操作部３０と湾曲部３６とを連結している。湾曲部３６は、操作部３０が操作されることにより部分的に湾曲したり、挿入部３２の軸心周りに回転したりする。この結果、挿入部３２は、体腔の形状（例えば、食道、胃、十二指腸、小腸、及び大腸等の消化管の形状、又は気管支の管路の形状）に応じて湾曲したり、挿入部３２の軸心周りに回転したりしながら体腔内の奥側に送り込まれる。

先端部３４には、照明装置３８、内視鏡スコープ４０、及び処置具用開口４２が設けられている。照明装置３８は、照明窓３８Ａ及び照明窓３８Ｂを有する。照明装置３８は、照明窓３８Ａ及び照明窓３８Ｂを介して光（例えば、三原色光からなる白色光又は近赤外光等）を照射する。内視鏡スコープ４０は、体内を光学的手法で撮像する。内視鏡スコープ４０の一例としては、ＣＭＯＳカメラが挙げられる。ＣＭＯＳカメラは、あくまでも一例に過ぎず、ＣＣＤカメラ等の他種のカメラであってもよい。

処置具用開口４２は、処置具４４を先端部３４から突出させるための開口である。操作部３０には、処置具挿入口４６が形成されており、処置具４４は、処置具挿入口４６から挿入部３２内に挿入される。処置具４４は、挿入部３２内を通過して処置具用開口４２から外部に突出する。図２に示す例では、処置具４４として、穿刺針４８が処置具用開口４２から突出している。ここでは、処置具４４として、穿刺針４８を例示しているが、これは、あくまでも一例に過ぎず、処置具４４は、把持鉗子、メス、スネア、及び／又はガイドシース付き穿刺針等であってもよい。なお、処置具用開口４２は、血液及び体内汚物等を吸引する吸引口としても機能する。

内視鏡装置１２は、ユニバーサルコード５０、内視鏡用処理装置５２、及び光源装置５４を備えている。内視鏡用処理装置５２は、本開示の技術に係る「画像処理装置」の一例である。

ユニバーサルコード５０は、基端部５０Ａ、第１先端部５０Ｂ、及び第２先端部５０Ｃを有する。基端部５０Ａは、操作部３０に接続されている。第１先端部５０Ｂは、内視鏡用処理装置５２に接続されている。第２先端部５０Ｃは、光源装置５４に接続されている。

内視鏡システム１０は、受付装置５６を備えている。受付装置５６は、ユーザからの指示を受け付ける。受付装置５６の一例としては、複数のハードキー及び／又はタッチパネル等を有する操作パネル、キーボード、マウス、トラックボール、フットスイッチ、スマートデバイス、及び／又はマイクロフォン等が挙げられる。

内視鏡用処理装置５２には、受付装置５６が接続されている。内視鏡用処理装置５２は、受付装置５６によって受け付けられた指示に従って内視鏡スコープ４０との間で各種信号の授受を行ったり、光源装置５４を制御したりする。内視鏡用処理装置５２は、内視鏡スコープ４０に対して撮像を行わせ、内視鏡スコープ４０から内視鏡画像２６（図１参照）を取得して出力する。光源装置５４は、内視鏡用処理装置５２の制御下で発光し、光を照明装置３８に供給する。照明装置３８には、ライトガイドが内蔵されており、光源装置５４から供給された光はライトガイドを経由して照明窓３８Ａ及び３８Ｂから照射される。

内視鏡用処理装置５２には、表示装置１４が接続されている。内視鏡用処理装置５２は、受付装置５６によって受け付けられた指示に従って表示装置１４を制御する。内視鏡用処理装置５２は、内視鏡スコープ４０によって観察対象領域が撮像されることで得られた内視鏡画像２６を表示装置１４に対して表示させる（図１参照）。

一例として図３に示すように、内視鏡１８の挿入部３２は、被検者２０の肛門から大腸５８に挿入される。内視鏡スコープ４０は、大腸５８内を撮像することにより内視鏡画像２６を生成する。内視鏡画像２６は、内壁５８Ａの態様を示す画像として生成される。例えば、大腸５８に挿入された内視鏡スコープ４０は、大腸５８の入り口側から奥側に進み、既定のフレームレートに従ってライブビュ―方式で大腸５８の入り口側から奥側にかけて内壁５８Ａを撮像する。これにより、大腸５８の入り口側から奥側にかけての内壁５８Ａの態様を示す複数フレームの内視鏡画像２６を含む動画像が生成される。

一例として図４に示すように、内視鏡用処理装置５２は、コンピュータ６０及び入出力インタフェース６２を備えている。コンピュータ６０は、プロセッサ６４、ＲＡＭ６６、及びＮＶＭ６８を備えている。入出力インタフェース６２、プロセッサ６４、ＲＡＭ６６、及びＮＶＭ６８は、バス７０に接続されている。

プロセッサ６４は、本開示の技術に係る「プロセッサ」の一例である。例えば、プロセッサ６４は、ＣＰＵ及びＧＰＵを有しており、内視鏡用処理装置５２の全体を制御する。ＧＰＵは、ＣＰＵの制御下で動作し、グラフィック系の各種処理の実行を担う。なお、プロセッサ６４は、ＧＰＵ機能を統合した１つ以上のＣＰＵであってもよいし、ＧＰＵ機能を統合していない１つ以上のＣＰＵであってもよい。

ＲＡＭ６６は、一時的に情報が格納されるメモリであり、プロセッサ６４によってワークメモリとして用いられる。ＮＶＭ６８は、各種プログラム及び各種パラメータ等を記憶する不揮発性の記憶装置である。ＮＶＭ６８の一例としては、フラッシュメモリ（例えば、ＥＥＰＲＯＭ及び／又はＳＳＤ）が挙げられる。なお、フラッシュメモリは、あくまでも一例に過ぎず、ＨＤＤ等の他の不揮発性の記憶装置であってもよいし、２種類以上の不揮発性の記憶装置の組み合わせであってもよい。

入出力インタフェース６２には、受付装置５６が接続されており、プロセッサ６４は、受付装置５６によって受け付けられた指示を、入出力インタフェース６２を介して取得し、取得した指示に応じた処理を実行する。

また、入出力インタフェース６２には、内視鏡スコープ４０が接続されている。プロセッサ６４は、入出力インタフェース６２を介して内視鏡スコープ４０を制御したり、内視鏡スコープ４０によって被検者２０の体内が撮像されることで得られた内視鏡画像２６（図１及び図３参照）を、入出力インタフェース６２を介して取得したりする。

また、入出力インタフェース６２には、光源装置５４が接続されている。プロセッサ６４は、入出力インタフェース６２を介して光源装置５４を制御することで、照明装置３８に光を供給したり、照明装置３８に供給する光の光量を調節したりする。

また、入出力インタフェース６２には、表示装置１４が接続されており、プロセッサ６４は、入出力インタフェース６２を介して表示装置１４を制御することで、表示装置１４に対して各種情報を表示させる。例えば、プロセッサ６４は、内視鏡スコープ４０から内視鏡画像２６（図１及び図３参照）を取得し、表示装置１４に対して内視鏡画像２６を表示させる（図１参照）。また、例えば、プロセッサ６４は、位置特定画像２８を生成し、表示装置１４に対して位置特定画像２８を表示させる（図１参照）。

ところで、大腸５８に生じる病変として、鋸歯状病変であるＳＳＬが知られている。ＳＳＬは、ＮＰに属する病変の一種であり、病理学的に鋸歯状構造を有する。内視鏡診断において、ＳＳＬは、要処置対象と鑑別されるので、ＳＳＬの外見と類似している過形成性ポリープであるＨＰとして誤鑑別されないようにする必要がある。しかし、医師１６が自身の知識及び経験のみを頼りにしてＳＳＬであるか否かの鑑別を行うと、ＳＳＬをＨＰと誤鑑別したり、ＨＰをＳＳＬと誤鑑別したりしてしまう虞がある。そこで、現在、医師１６による高精度な鑑別を支援するために、ＡＩ方式の画像認識処理を利用することが検討されている。ところが、ＡＩ方式の画像認識処理で用いられる判定器として、ＮＰであるか又はＨＰであるかを判定する判定器を作成すると、ＳＳＬがＨＰであると誤判定されてしまう虞がある。ＳＳＬは、要処置対象の病変であるので、ＨＰとして誤判定されないように、腫瘍性のカテゴリに分類される必要がある。

そこで、このような事情に鑑み、本実施形態では、一例として図５に示すように、内視鏡用処理装置５２において、プロセッサ６４によって第１学習処理、第２学習処理、及び推論処理が行われる。ＮＶＭ６８には、第１学習処理プログラム７２、第２学習処理プログラム７４、推論処理プログラム７６、及びニューラルネットワーク７８が記憶されている。

プロセッサ６４は、ＮＶＭ６８から第１学習処理プログラム７２を読み出し、読み出した第１学習処理プログラム７２をＲＡＭ６６上で実行することにより第１学習処理を行う。第１学習処理は、プロセッサ６４が第１学習処理プログラム７２に従って第１学習実行部６４Ａとして動作することによって実現される。

プロセッサ６４は、ＮＶＭ６８から第２学習処理プログラム７４を読み出し、読み出した第２学習処理プログラム７４をＲＡＭ６６上で実行することにより第２学習処理を行う。第２学習処理は、プロセッサ６４が第２学習処理プログラム７４に従って第２学習実行部６４Ｂとして動作することによって実現される。

プロセッサ６４は、ＮＶＭ６８から推論処理プログラム７６を読み出し、読み出した推論処理プログラム７６をＲＡＭ６６上で実行することにより推論処理を行う。推論処理は、プロセッサ６４が推論処理プログラム７６に従って取得部６４Ｃ、判定部６４Ｄ、及び制御部６４Ｅとして動作することによって実現される。

ニューラルネットワーク７８は、本開示の技術に係る「判定器」及び「ニューラルネットワーク」の一例である。本実施形態では、ニューラルネットワーク７８として、畳み込みニューラルネットワークが用いられている。一例として図６に示すように、ニューラルネットワーク７８には、第１判定器８０及び第２判定器８２が含まれている。第１判定器８０は、入力層８４Ａ、第１～第５畳み込み層８４Ｂ～８４Ｆ、ＧＡＰ層８４Ｇ、全結合層８４Ｈ、及び出力層８４Ｉを有する。第２判定器８２は、入力層８４Ａ、第１～第４畳み込み層８４Ｂ～８４Ｅ、第６畳み込み層８４Ｊ、ＧＡＰ層８４Ｋ、全結合層８４Ｌ、及び出力層８４Ｍを有する。このように、第１判定器８０及び第２判定器８２は、入力層８４以降の複数の層を共用している。図６に示す例において、第１判定器８０及び第２判定器８２は、入力層８４Ａ及び第１～第４畳み込み８４Ｂ～層８４Ｅを共用している。なお、以下では、第１～第５畳み込み層８４Ｂ～８４Ｆ及び第６畳み込み層８４Ｊを区別して説明する必要がない場合、符号を付さずに「畳み込み層」と称する。

第１判定器８０において、入力層８４Ａには、内視鏡画像２６が入力される。例えば、内視鏡画像２６に含まれる病変領域２６Ｂは、ＨＰ領域２６Ｂ１、ＮＰ領域２６Ｂ２、及びＳＳＬ２６Ｂ３に大別される。ＨＰ領域２６Ｂ１は、内視鏡画像２６に写っているＨＰを示す画像領域である。ＮＰ領域２６Ｂ２は、内視鏡画像２６に写っているＮＰ（ここでは、一例として、ＳＳＬとは異なる腫瘍性ポリープ）を示す画像領域である。ＳＳＬ領域２６Ｂ３は、内視鏡画像２６に写っているＳＳＬを示す画像領域である。なお、ＨＰは、本開示の技術に係る「第１種類」及び「第１病変」の一例であり、ＳＳＬは、本開示の技術に係る「第２種類」及び「第２病変」の一例であり、ＮＰは、本開示の技術に係る「第３種類」及び「第３病変」の一例である。

畳み込み層は、畳み込み処理を行う。畳み込み処理は、前段の層から内視鏡画像２６に関するデータ（例えば、指定された特徴を活性化した画像である特徴量マップ等）が与えられ、内視鏡画像２６に関するデータに対してフィルタ処理を行うことで特徴データを凝縮し、凝縮した特徴データを次段に出力する処理である。畳み込み層では、複数のフィルタ処理が行われ、フィルタ処理毎に固有のフィルタが用いられる。畳み込み層内では、内視鏡画像２６に関するデータに対してフィルタを既定量（例えば、１ピクセル単位）ずつずらしながら、内視鏡画像２６に関するデータとフィルタとを掛け合わせ、掛け合わせた結果（すなわち、特徴データ）が特徴量マップとして表現される。例えば、特徴量マップでは、内視鏡画像２６に関するデータのうち、フィルタと反応した度合いが強い部分ほど大きな値で表現される。

畳み込み層間には、プーリング層（図示省略）が存在しており、プーリング層によってプーリング処理が行われる。プーリング処理は、畳み込み層によって得られた特徴量マップを縮小し、縮小した特徴量マップを次段に出力する処理である。ここで、縮小とは、重要なデータ（例えば、２×２ピクセルのうちの最大値）を残しつつデータ量を削減する処理を指す。すなわち、プーリング層は、入力層８４Ａ側から出力層８４Ｉ及び８４Ｍ側にかけて解像度が徐々に低くなるように特徴量マップを縮小する。

ＧＡＰ層８４Ｇには、前段の層である第５畳み込み層８４Ｆから複数の特徴量マップが入力される。ＧＡＰ層８４Ｇは、第５畳み込み層８４Ｆから入力された特徴量マップ毎の平均値を算出し、算出した平均値を全結合層８４Ｈに出力する。

全結合層８４Ｈは、全結合処理を行う。全結合層８４Ｈの全結合処理は、ＧＡＰ層８４Ｇから入力された複数の平均値に対して、対応する特徴量マップ毎の固有の重みを用いた畳み込み演算（例えば、加重平均化）を、出力層８４Ｉの全てのノードに対して行う処理である。出力層８４Ｉの全てのノードとは、ＨＰクラスに対応するノード及びＮＰクラスに対応するノードを指す。ＨＰクラスは、ＨＰ領域２６Ｂ１が属するクラスであり、ＮＰクラスは、ＮＰ領域２６Ｂ２が属するクラスである。

出力層８４Ｉは、活性化関数としてソフトマックス関数８４Ｉ１を用いることでＨＰスコア８６及びＮＰスコア８８を算出する。ここでは、ソフトマックス関数８４Ｉ１を例示しているが、これは、あくまでも一例に過ぎず、ソフトマックス関数８４Ｉ１と同様の入出力が実現可能な他の活性化関数であってもよい。

ＨＰスコア８６は、ＨＰクラスについてのクラススコアであり、ＮＰスコア８８は、ＮＰクラスについてのクラススコアである。なお、ＨＰスコア８６及びＮＰスコア８８は、クラス活性化されたスコアであってもよい。クラス活性化とは、小数で表現されたクラススコアを、閾値（例えば、０．８）を基準にして“０．０”又は“１．０”に変換する処理を指す。

第２判定器８２において、第６畳み込み層８４Ｊには、前段の層である第４畳み込み層８４Ｅから複数の特徴量マップが入力される。第６畳み込み層８４Ｊは、第４畳み込み層８４Ｅから複数の特徴量マップに対して畳み込み処理を行うことで、新たな複数の特徴量マップを生成してＧＡＰ層８４Ｋに出力する。

ＧＡＰ層８４Ｋには、前段の層である第６畳み込み層８４Ｊから複数の特徴量マップが入力される。ＧＡＰ層８４Ｋは、第６畳み込み層８４Ｊから入力された特徴量マップ毎の平均値を算出し、算出した平均値を全結合層８４Ｌに出力する。

全結合層８４Ｌは、全結合処理を行う。全結合層８４Ｌの全結合処理は、ＧＡＰ層８４Ｋから入力された複数の平均値に対して、対応する特徴量マップ毎の固有の重みを用いた畳み込み演算（例えば、加重平均化）を、出力層８４Ｍの全てのノードに対して行う処理である。出力層８４Ｍの全てのノードとは、ＨＰクラスに対応するノード及びＳＳＬクラスに対応するノードを指す。ＳＳＬクラスは、ＳＳＬ領域２６Ｂ３が属するクラスである。

出力層８４Ｍは、活性化関数としてソフトマックス関数８４Ｍ１を用いることでＨＰスコア９０及びＳＳＬスコア９２を算出する。ここでは、ソフトマックス関数８４Ｍ１を例示しているが、これは、あくまでも一例に過ぎず、ソフトマックス関数８４Ｍ１と同様の入出力が実現可能な他の活性化関数であってもよい。

ＨＰスコア９０は、ＨＰクラスについてのクラススコアであり、ＳＳＬスコア９２は、ＳＳＬクラスについてのクラススコアである。なお、ＨＰスコア９０及びＳＳＬスコア９２は、クラス活性化されたスコアであってもよい。

次に、第１学習処理及び第２学習処理の内容の一例について図７及び図８を参照しながら説明する。

一例として図７に示すように、第１学習実行部６４Ａに対してはデータ供給装置９４が用いられる。データ供給装置９４の一例としては、コンピュータが挙げられる。データ供給装置９４は、教師データ９６を保持しており、教師データ９６を第１学習実行部６４Ａに供給する。教師データ９６は、複数フレームの学習用画像９８及び複数の正解データ１００を有する。正解データ１００は、複数フレームの学習用画像９８の各々に対して１つずつ対応付けられている。

第１判定器８０は、複数の学習用画像９８を学習させたモデルである。学習用画像９８は、ＨＰ学習用画像９８ＡとＮＰ学習用画像９８Ｂとに大別される。ＨＰ学習用画像９８Ａは、本開示の技術に係る「第１病変画像」の一例である。ＮＰ学習用画像９８Ｂは、本開示の技術に係る「第３病変画像」の一例である。ＨＰは、本開示の技術に係る「第１種類に対応する第１病変」の一例である。

ＨＰ学習用画像９８Ａは、ＨＰ又はＳＳＬが写っている内視鏡画像２６である。ここでは、ＨＰ学習用画像９８Ａとして、ＨＰ又はＳＳＬが写っている内視鏡画像２６を例示しているが、これは、あくまでも一例に過ぎず、ＨＰ学習用画像９８Ａとして、過誤腫性ポリープ及び／又は炎症性ポリープ等の非腫瘍性ポリープが写っている内視鏡画像２６も用いてもよい。ＮＰ学習用画像９８Ｂは、ＳＳＬ以外でＮＰに属する病変が写っている内視鏡画像２６である。

正解データ１００には、ＨＰスコア１００Ａ及びＮＰスコア１００Ｂが含まれている。ＨＰ学習用画像９８Ａに対応付けられている正解データ１００に含まれるＨＰスコア１００Ａは、“１．０”であり、ＨＰ学習用画像９８Ａに対応付けられている正解データ１００に含まれるＮＰスコア１００Ｂは、“０．０”である。また、ＮＰ学習用画像９８Ｂに対応付けられている正解データ１００に含まれるＨＰスコア１００Ａは、“０．０”であり、ＮＰ学習用画像９８Ｂに対応付けられている正解データ１００に含まれるＮＰスコア１００Ｂは、“１．０”である。

このように教師データ９６が作られているので、ＨＰが写っている内視鏡画像２６及びＳＳＬが写っている内視鏡画像２６は、１つのグループ（すなわち、互いに類似する腫瘍性の病変と非腫瘍性の病変とが属するグループ）に対応する画像として第１判定器８０の学習に用いられる。また、ＳＳＬ以外でＮＰに属する病変が写っている内視鏡画像２６（すなわち、ＮＰ学習用画像９８Ｂ）は、１つのグループ（すなわち、ＳＳＬ以外でＮＰとして鑑別される病変が属するグループ）に対応する画像として第１判定器８０の学習に用いられる。

第１学習実行部６４Ａは、第１判定器８０を有する。第１学習実行部６４Ａには、学習用画像９８が供給される。第１学習実行部６４Ａは、データ供給装置９４から供給された学習用画像９８を第１判定器８０の入力層８４Ａに入力する。第１判定器８０では、入力層８４Ａに入力された学習用画像９８に対して、第１～第５畳み込み層８４Ｂ～８４Ｆ、ＧＡＰ層８４Ｇ、全結合層８４Ｈ、及び出力層８４Ｉで各種処理が行われ、出力層８４Ｉから、学習用画像９８に対応するＨＰスコア８６及びＮＰスコア８８が出力される。

第１学習実行部６４Ａは、第１判定器８０での判定対象とされた学習用画像９８（すなわち、入力層８４Ａに入力された学習用画像９８）に対応付けられている正解データ１００をデータ供給装置９４から取得する。そして、第１学習実行部６４Ａは、データ供給装置９４から取得した正解データ１００に含まれるＨＰスコア１００Ａと出力層８４Ｉから出力されたＨＰスコア８６との誤差であるＨＰスコア誤差１０２を算出する。また、第１学習実行部６４Ａは、データ供給装置９４から取得した正解データ１００に含まれるＮＰスコア１００Ｂと出力層８４Ｉから出力されたＮＰスコア８８との誤差であるＮＰスコア誤差１０４を算出する。

第１学習実行部６４Ａは、ＨＰスコア誤差１０２及びＮＰスコア誤差１０４の両方を最小にする複数の調整値１０６を算出する。そして、第１学習実行部６４Ａは、ＨＰスコア誤差１０２及びＮＰスコア誤差１０４の両方を最小にするように、複数の調整値１０６を用いて第１判定器８０内の複数の最適化変数を調整することで第１判定器８０を最適化する。第１判定器８０内の複数の最適化変数としては、例えば、第１～第５畳み込み層８４Ｂ～８４Ｆで用いられるフィルタの係数、並びに全結合層８４Ｈで用いられる結合荷重及びオフセット値等が挙げられる。

一例として図８に示すように、第１学習実行部６４Ａと同様に、第２学習実行部６４Ｂに対してもデータ供給装置９４が用いられる。データ供給装置９４は、教師データ１０８を保持しており、教師データ１０８を第２学習実行部６４Ｂに供給する。教師データ１０８は、複数フレームの学習用画像１１０及び複数の正解データ１１２を有する。正解データ１１２は、複数フレームの学習用画像１１０の各々に対して１つずつ対応付けられている。

学習用画像１１０は、ＨＰ学習用画像１１０ＡとＳＳＬ学習用画像１１０Ｂとに大別される。ＨＰ学習用画像１１０Ａは、ＨＰが写っている内視鏡画像２６である。ＨＰ学習用画像９８Ａは、ＨＰ又はＳＳＬが写っている内視鏡画像２６であるのに対し、ＨＰ学習用画像１１０Ａは、ＨＰが写っているがＳＳＬが写っていない内視鏡画像２６である点がＨＰ学習用画像９８Ａと異なる。ここでは、ＨＰ学習用画像１１０Ａとして、ＨＰが写っている内視鏡画像２６を例示しているが、これは、あくまでも一例に過ぎず、ＨＰ学習用画像１１０Ａとして、過誤腫性ポリープ及び／又は炎症性ポリープ等の非腫瘍性ポリープが写っている内視鏡画像２６も用いてもよい。ＳＳＬ学習用画像１１０Ｂは、ＳＳＬが写っている内視鏡画像２６である。

正解データ１１２には、ＨＰスコア１１２Ａ及びＳＳＬスコア１１２Ｂが含まれている。ＨＰ学習用画像１１０Ａに対応付けられている正解データ１１２に含まれるＨＰスコア１１２Ａは、“１．０”であり、ＨＰ学習用画像１１０Ａに対応付けられている正解データ１１２に含まれるＳＳＬスコア１１２Ｂは、“０．０”である。また、ＳＳＬ学習用画像１１０Ｂに対応付けられている正解データ１１２に含まれるＨＰスコア１１２Ａは、“０．０”であり、ＳＳＬ学習用画像１１０Ｂに対応付けられている正解データ１１２に含まれるＳＳＬスコア１１２Ｂは、“１．０”である。

第２学習実行部６４Ｂは、第２判定器８２を有する。第２学習実行部６４Ｂには、学習用画像１１０が供給される。第２学習実行部６４Ｂは、データ供給装置９４から供給された学習用画像１１０を第２判定器８２の入力層８４Ａに入力する。第２判定器８２では、入力層８４Ａに入力された学習用画像１１０に対して、第１～第４畳み込み層８４Ｂ～８４Ｅ、第６畳み込み層８４Ｊ、ＧＡＰ層８４Ｋ、全結合層８４Ｌ、及び出力層８４Ｍで各種処理が行われ、出力層８４Ｍから、学習用画像１１０に対応するＨＰスコア９０及びＳＳＬスコア９２が出力される。

第２学習実行部６４Ｂは、第２判定器８２での判定対象とされた学習用画像１１０（すなわち、入力層８４Ａに入力された学習用画像１１０）に対応付けられている正解データ１１２をデータ供給装置９４から取得する。そして、第２学習実行部６４Ｂは、データ供給装置９４から取得した正解データ１１２に含まれるＨＰスコア１１２Ａと出力層８４Ｍから出力されたＨＰスコア９０との誤差であるＨＰスコア誤差１１４を算出する。また、第２学習実行部６４Ｂは、データ供給装置９４から取得した正解データ１１２に含まれるＳＳＬスコア１１２Ｂと出力層８４Ｍから出力されたＳＳＬスコア９２との誤差であるＳＳＬスコア誤差１１６を算出する。

第２学習実行部６４Ｂは、ＨＰスコア誤差１１４及びＳＳＬスコア誤差１１６の両方を最小にする複数の調整値１１８を算出する。そして、第２学習実行部６４Ｂは、ＨＰスコア誤差１１４及びＳＳＬスコア誤差１１６の両方を最小にするように、複数の調整値１１８を用いて第２判定器８２内の複数の最適化変数を調整することで第２判定器８２を最適化する。第２判定器８２内の複数の最適化変数としては、例えば、第６畳み込み層８４Ｊで用いられるフィルタの係数、並びに全結合層８４Ｌで用いられる結合荷重及びオフセット値等が挙げられる。すなわち、第１判定器８０から出力されるＨＰスコア８６及びＮＰスコア８８の精度を確保するために、第２判定器８２が第１判定器８０と共用している第１～第４畳み込み層８４Ｂ～８４Ｅに含まれる最適化変数を固定した状態で、第２判定器８２に対しての学習が実施されるようにすればよい。

次に、推論処理の内容の一例について図９～図１６を参照しながら説明する。

一例として図９に示すように、取得部６４Ｃは、内視鏡スコープ４０から内視鏡画像２６を取得する。内視鏡画像２６は、内視鏡スコープ４０によってライブビュー方式で得られるので、取得部６４Ｃは、内視鏡スコープ４０から複数フレームにわたって内視鏡画像２６を時系列で取得する。判定部６４Ｄは、取得部６４Ｃによって取得された内視鏡画像２６をフレーム毎に処理する。なお、図９～図１６を用いた説明では、本開示の技術に対する理解を容易にするために、１つのフレームに対して推論処理が行われる場合について例示する。

判定部６４Ｄは、第１学習処理及び第２学習処理が行われることによって最適化されたニューラルネットワーク７８を用いた処理を行う。ニューラルネットワーク７８は、取得部６４Ｃによって取得された内視鏡画像２６に基づいて判定処理を行う。判定処理は、第１判定器８０及び第２判定器８２が、内視鏡画像２６に写っている病変の種類（以下、単に「病変の種類」とも称する）を判定する処理である。判定処理は、第１判定器８０による第１判定処理、及び第２判定器８２による第２判定処理を含む。

第１判定処理は、病変の種類が第１グループ１２０に属するか又は第２グループ１２２に属するかを判定する処理である。第１グループ１２０は、ＨＰが写っている内視鏡画像２６とＳＳＬが写っている内視鏡画像２６とを含むグループである。第２グループ１２２は、ＮＰが写っている内視鏡画像２６を含むグループである。ＨＰは、非腫瘍カテゴリ１２４に分類される病変であり、ＳＳＬ及びＮＰは、腫瘍カテゴリ１２６に分類される病変である。非腫瘍カテゴリ１２４は、非腫瘍性を示すカテゴリであり、腫瘍カテゴリ１２６は、腫瘍性を示すカテゴリである。第１判定処理では、ＨＰスコア８６がＮＰスコア８８以上であれば、病変の種類が第１グループ１２０に属すると判定される。また、第１判定処理では、ＨＰスコア８６がＮＰスコア８８未満であれば、病変の種類が第２グループ１２２に属すると判定される。

第２判定処理は、第１判定器８０の中間特徴量を利用した処理である。なぜならば、第２判定器８２の一部（すなわち、入力層８４Ａ及び第１～第４畳み込み層８４Ｂ～８４Ｅ）は、第１判定器８０と共用されるからである。第２判定処理は、第２判定処理で病変の種類が第１グループ１２０に属すると判定されたことを前提として行われる。第２判定処理は、病変の種類がＨＰであるか又はＳＳＬであるかを判定する処理である。第２判定処理では、ＳＳＬスコア９２がＨＰスコア９０以上であれば、病変の種類がＳＳＬであると判定され、ＳＳＬスコア９２がＨＰスコア９０未満であれば、病変の種類がＨＰであると判定される。

なお、ＨＰは、本開示の技術に係る「非腫瘍性の病変」及び「非腫瘍性を示す種類」の一例である。ＳＳＬは、本開示の技術に係る「鋸歯状病変」、及び「鋸歯状病変を示す種類」の一例である。ＮＰは、本開示の技術に係る「鋸歯状病変とは異なる腫瘍性の病変」の一例である。第１グループ１２０は、本開示の技術に係る「第１グループ」の一例である。第２グループ１２２は、本開示の技術に係る「第２グループ」の一例である。非腫瘍カテゴリ１２４は、本開示の技術に係る「第１カテゴリ」及び「非腫瘍性を示すカテゴリ」の一例である。腫瘍カテゴリ１２６は、本開示の技術に係る「第２カテゴリ」及び「腫瘍性を示すカテゴリ」の一例である。

一例として図１０に示すように、取得部６４Ｃによって取得された内視鏡画像２６が第１判定器８０及び第２判定器８２に入力されることによって、第１判定器８０からＨＰスコア８６及びＮＰスコア８８が出力され、第２判定器８２からＨＰスコア９０及びＳＳＬスコア９２が出力される。ここで、ＨＰスコア８６がＮＰスコア８８以上であり、かつ、ＳＳＬスコア９２がＨＰスコア９０以上である場合、制御部６４Ｅは、第２判定器８２の特徴量マップ１２８を利用して腫瘍位置画像信号１３０を生成する。ＨＰスコア８６がＮＰスコア８８以上であり、かつ、ＳＳＬスコア９２がＨＰスコア９０以上である場合とは、病変の種類が第１グループ１２０（図９参照）に属すると判定され、かつ、病変の種類がＳＳＬであると判定された場合を意味する。腫瘍位置画像信号１３０は、本開示の技術に係る「第１信号」及び「第２カテゴリ信号」の一例である。

特徴量マップ１２８は、第６畳み込み層８４Ｊから得られる。特徴量マップ１２８は、本開示の技術に係る「特徴量マップ」の一例である。制御部６４Ｅは、特徴量マップ１２８から、特徴量マップ１２８を得るために用いたフィルタと反応した度合いが最も高い領域である高反応領域１２８Ａを取得する。高反応領域１２８Ａは、特徴量マップ１２８に対して、閾値を用いた二値化が行われることによって得られる。

制御部６４Ｅは、高反応領域１２８Ａの輪郭１２８Ａ１を高反応領域１２８Ａから抽出する。高反応領域１２８Ａは、１つの矩形領域又は複数の矩形領域が組み合わされた領域である。そこで、制御部６４Ｅは、輪郭１２８Ａ１の形状を曲線状に整形することで曲線領域１２８Ａ２を生成する。例えば、この場合、輪郭１２８Ａ１に含まれる複数の頂点に対して曲線を外接させることによって曲線領域１２８Ａ２が生成される。すなわち、曲線領域１２８Ａ２は、輪郭１２８Ａ１に外接する曲線を輪郭として有する閉領域である。制御部６４Ｅは、曲線領域１２８Ａ２に対して彩色を施す。図１０に示す例では、曲線領域１２８Ａ２に対して黄色が付されている。

制御部６４Ｅは、彩色が施された曲線領域１２８Ａ２を有する特徴量マップ１２８を加工することで位置特定画像２８を生成する。位置特定画像２８は、特徴量マップ１２８が加工されることによって生成されるので、位置特定画像２８は、特徴量マップ１２８に基づく情報と言える。図１０に示す例では、位置特定画像２８として腫瘍位置特定画像１３４が示されている。腫瘍位置特定画像１３４には、病変マーク２８Ｃとして腫瘍マーク１３２が適用されている。腫瘍マーク１３２は、彩色が施された曲線領域１２８Ａ２、すなわち、黄色が付された曲線領域１２８Ａ２である。

制御部６４Ｅは、腫瘍位置特定画像１３４を示す信号である腫瘍位置画像信号１３０を生成し、生成した腫瘍位置画像信号１３０を特定の出力先（例えば、表示装置１４等）に出力する。ここで、腫瘍位置画像信号１３０を特定の出力先に出力する処理は、本開示の技術に係る「第１出力処理」の一例である。

本実施形態において、曲線領域１２８Ａ２に付される黄色は、腫瘍カテゴリ１２６に分類されることを意味する色である。そのため、腫瘍位置画像信号１３０は、病変の種類が腫瘍カテゴリ１２６に分類されることを特定可能な信号として用いられる。また、本実施形態において、特徴量マップ１２８内での曲線領域１２８Ａ２の位置は、内視鏡画像２６内でのＳＳＬの位置に対応している。よって、腫瘍位置画像信号１３０は、内視鏡画像２６内でのＳＳＬの位置を特定可能な信号としても用いられる。

一例として図１１に示すように、制御部６４Ｅは、取得部６４Ｃによって取得された内視鏡画像２６、すなわち、図１０に示す第１判定器８０及び第２判定器８２に入力された内視鏡画像２６を第１画面２２に表示する。また、制御部６４Ｅは、腫瘍位置画像信号１３０（図１０参照）を表示装置１４に出力することで、腫瘍位置画像信号１３０により示される腫瘍位置特定画像１３４を第２画面２４に表示する。すなわち、第２画面２４には、第１画面２２に表示されている内視鏡画像２６に写っている病変が腫瘍カテゴリ１２６に分類されることを示す情報として腫瘍位置特定画像１３４が表示される。腫瘍位置特定画像１３４は、本開示の技術に係る「第２カテゴリ情報」の一例である。

一例として図１２に示すように、ＨＰスコア８６がＮＰスコア８８以上であり、かつ、ＳＳＬスコア９２がＨＰスコア９０未満である場合、制御部６４Ｅは、第２判定器８２の特徴量マップ１２８を利用して非腫瘍位置画像信号１３６を生成する。ＨＰスコア８６がＮＰスコア８８以上であり、かつ、ＳＳＬスコア９２がＨＰスコア９０未満である場合とは、病変の種類が第１グループ１２０（図９参照）に属すると判定され、かつ、病変の種類がＨＰであると判定された場合を意味する。非腫瘍位置画像信号１３６は、本開示の技術に係る「第１信号」及び「第１カテゴリ信号」の一例である。

制御部６４Ｅは、特徴量マップ１２８から、特徴量マップ１２８を得るために用いたフィルタと反応した度合いが最も高い領域である高反応領域１２８Ｂを取得する。高反応領域１２８Ｂは、特徴量マップ１２８に対して、閾値を用いた二値化が行われることによって得られる。

制御部６４Ｅは、高反応領域１２８Ｂの輪郭１２８Ｂ１を高反応領域１２８Ｂから抽出する。高反応領域１２８Ｂも、高反応領域１２８Ａと同様に、１つの矩形領域又は複数の矩形領域が組み合わされた領域である。そこで、制御部６４Ｅは、曲線領域１２８Ａ２を生成する場合と同様の要領で、輪郭１２８Ｂ１の形状を曲線状に整形することで曲線領域１２８Ｂ２を生成する。制御部６４Ｅは、曲線領域１２８Ｂ２に対して彩色を施す。図１２に示す例では、曲線領域１２８Ｂ２に対して緑色が付されている。

制御部６４Ｅは、彩色が施された曲線領域１２８Ｂ２を有する特徴量マップ１２８を加工することで位置特定画像２８を生成する。図１２に示す例では、位置特定画像２８として非腫瘍位置特定画像１４０が示されている。非腫瘍位置特定画像１４０には、病変マーク２８Ｃとして非腫瘍マーク１３８が適用されている。非腫瘍マーク１３８は、彩色が施された曲線領域１２８Ｂ２、すなわち、緑色が付された曲線領域１２８Ｂ２である。

制御部６４Ｅは、非腫瘍位置特定画像１４０を示す信号である非腫瘍位置画像信号１３６を生成し、生成した非腫瘍位置画像信号１３６を特定の出力先（例えば、表示装置１４等）に出力する。ここで、非腫瘍位置画像信号１３６を特定の出力先に出力する処理は、本開示の技術に係る「第１出力処理」の一例である。

本実施形態において、曲線領域１２８Ｂ２に付される緑色は、非腫瘍カテゴリ１２４に分類されることを意味する色である。そのため、非腫瘍位置画像信号１３６は、病変の種類が非腫瘍カテゴリ１２４に分類されることを特定可能な信号として用いられる。また、本実施形態において、特徴量マップ１２８内での曲線領域１２８Ｂ２の位置は、内視鏡画像２６内でのＨＰの位置に対応している。よって、非腫瘍位置画像信号１３６は、内視鏡画像２６内でのＨＰの位置を特定可能な信号としても用いられる。

一例として図１３に示すように、制御部６４Ｅは、取得部６４Ｃによって取得された内視鏡画像２６、すなわち、図１２に示す第１判定器８０及び第２判定器８２に入力された内視鏡画像２６を第１画面２２に表示する。また、制御部６４Ｅは、非腫瘍位置画像信号１３６（図１２参照）を表示装置１４に出力することで、非腫瘍位置画像信号１３６により示される非腫瘍位置特定画像１４０を第２画面２４に表示する。すなわち、第２画面２４には、第１画面２２に表示されている内視鏡画像２６に写っている病変が非腫瘍カテゴリ１２４に分類されることを示す情報として非腫瘍位置特定画像１４０が表示される。非腫瘍位置特定画像１４０は、本開示の技術に係る「第１カテゴリ情報」の一例である。

一例として図１４に示すように、ＨＰスコア８６がＮＰスコア８８未満である場合、制御部６４Ｅは、第１判定器８０の特徴量マップ１４２を利用して腫瘍位置画像信号１４４を生成する。ＨＰスコア８６がＮＰスコア８８未満である場合とは、病変の種類が第２グループ１２２（図９参照）に属すると判定され、かつ、病変の種類がＮＰであると判定された場合を意味する。

特徴量マップ１４２は、第５畳み込み層８４Ｆから得られる。制御部６４Ｅは、特徴量マップ１４２から、特徴量マップ１４２を得るために用いたフィルタと反応した度合いが最も高い領域である高反応領域１４２Ａを取得する。高反応領域１４２Ａは、特徴量マップ１４２に対して、閾値を用いた二値化が行われることによって得られる。

制御部６４Ｅは、高反応領域１４２Ａの輪郭１４２Ａ１を高反応領域１４２Ａから抽出する。制御部６４Ｅは、輪郭１４２Ａ１の形状を曲線状に整形することで曲線領域１４２Ａ２を生成し、生成した曲線領域１４２Ａ２に対して彩色を施す。図１４に示す例では、図１０に示す例と同様に、曲線領域１４２Ａ２に対して黄色が付されている。

制御部６４Ｅは、彩色が施された曲線領域１４２Ａ２を有する特徴量マップ１４２を加工することで位置特定画像２８を生成する。図１４に示す例では、位置特定画像２８として腫瘍位置特定画像１４８が示されている。腫瘍位置特定画像１４８には、病変マーク２８Ｃとして腫瘍マーク１４６が適用されている。腫瘍マーク１４６は、彩色が施された曲線領域１４２Ａ２、すなわち、黄色が付された曲線領域１４２Ａ２である。

制御部６４Ｅは、腫瘍位置特定画像１４８を示す信号である腫瘍位置画像信号１４４を生成し、生成した腫瘍位置画像信号１４４を特定の出力先（例えば、表示装置１４等）に出力する。

本実施形態において、曲線領域１４４Ａ２に付される黄色は、図１０に示す例と同様に、腫瘍カテゴリ１２６に分類されることを意味する色である。そのため、腫瘍位置画像信号１４４は、病変の種類が腫瘍カテゴリ１２６に分類されることを特定可能な信号として用いられる。また、本実施形態において、特徴量マップ１４２内での曲線領域１４２Ａ２の位置は、内視鏡画像２６内でのＮＰの位置に対応している。よって、腫瘍位置画像信号１４４は、内視鏡画像２６内でのＮＰの位置を特定可能な信号としても用いられる。

一例として図１５に示すように、制御部６４Ｅは、取得部６４Ｃによって取得された内視鏡画像２６、すなわち、図１４に示す第１判定器８０に入力された内視鏡画像２６を第１画面２２に表示する。また、制御部６４Ｅは、腫瘍位置画像信号１４４（図１４参照）を表示装置１４に出力することで、腫瘍位置画像信号１４４により示される腫瘍位置特定画像１４８を第２画面２４に表示する。すなわち、第２画面２４には、第１画面２２に表示されている内視鏡画像２６に写っている病変が腫瘍カテゴリ１２６に分類されることを示す情報として腫瘍位置特定画像１４８が表示される。

図１１、図１３、及び図１５に示すように、制御部６４Ｅは、第１判定処理の判定結果及び第２判定処理の判定結果に基づいて、腫瘍位置特定画像１３４及び１４８と、非腫瘍位置特定画像１４０とを区別可能な表示態様で表示装置１４に対して表示させる表示処理を行う。腫瘍位置特定画像１３４及び１４８は、内視鏡画像２６に写っている病変が腫瘍カテゴリ１２６に分類されることを示す画像であり、非腫瘍位置特定画像１４０は、内視鏡画像２６に写っている病変が非腫瘍カテゴリ１２４に分類されることを示す画像である。また、制御部６４Ｅは、腫瘍位置特定画像１３４及び１４８を第１態様で表示させ、非腫瘍位置特定画像１４０を第２態様で表示させる。第１態様とは、内視鏡画像２６と腫瘍位置特定画像１３４又は１４８とが対比可能に表示される態様を指す（図１１及び図１５参照）。第２態様とは、内視鏡画像２６と非腫瘍位置特定画像１４０とが対比可能に表示される態様を指す（図１３参照）。

次に、内視鏡用処理装置５２のプロセッサ６４によって行われる第１学習処理、第２学習処理、及び推論処理の流れの一例について図１６～図１８Ｂを参照しながら説明する。なお、図１６～図１８Ｂに示すフローチャートによって示される処理の流れは、本開示の技術に係る「画像処理方法」の一例である。

先ず、第１学習処理の実行を開始する指示が受付装置５６によって受け付けられた場合に内視鏡用処理装置５２のプロセッサ６４によって行われる第１学習処理の流れの一例について図１６を参照しながら説明する。

図１６に示す第１学習処理では、先ず、ステップＳＴ１０で、第１学習実行部６４Ａは、データ供給装置９４から学習用画像９８を取得する。ここで、データ供給装置９４から取得される学習用画像９８は、ステップＳＴ１２以降の処理に用いられていない学習用画像９８である。第１学習実行部６４Ａは、データ供給装置９４から取得した学習用画像９８を第１判定器８０の入力層８４Ａに入力する（図７参照）。ステップＳＴ１０の処理が実行された後、第１学習処理はステップＳＴ１２へ移行する。

ステップＳＴ１２で、第１学習実行部６４Ａは、第１判定器８０からＨＰスコア８６及びＮＰスコア８８を取得する（図７参照）。ステップＳＴ１２の処理が実行された後、第１学習処理はステップＳＴ１４へ移行する。

ステップＳＴ１４で、第１学習実行部６４Ａは、ステップＳＴ１０で入力層８４Ａに入力した学習用画像９８に対応付けられている正解データ１００をデータ供給装置９４から取得する（図７参照）。ステップＳＴ１４の処理が実行された後、第１学習処理はステップＳＴ１６へ移行する。

ステップＳＴ１６で、第１学習実行部６４Ａは、ステップＳＴ１２で取得したＨＰスコア８６とステップＳＴ１４で取得した正解データ１００に含まれるＨＰスコア１００ＡとからＨＰスコア誤差１０２を算出する（図７参照）。また、第１学習実行部６４Ａは、ステップＳＴ１２で取得したＮＰスコア８８とステップＳＴ１４で取得した正解データ１００に含まれるＮＰスコア１００ＢとからＮＰスコア誤差１０４を算出する（図７参照）。ステップＳＴ１６の処理が実行された後、第１学習処理はステップＳＴ１８へ移行する。

ステップＳＴ１８で、第１学習実行部６４Ａは、ステップＳＴ１６で算出したＨＰスコア誤差１０２及びＮＰスコア誤差１０４の両方を最小にする複数の調整値１０６を算出する（図７参照）。ステップＳＴ１８の処理が実行された後、第１学習処理はステップＳＴ２０へ移行する。

ステップＳＴ２０で、第１学習実行部６４Ａは、ＨＰスコア誤差１０２及びＮＰスコア誤差１０４の両方を最小にするように、複数の調整値１０６を用いて第１判定器８０内の複数の最適化変数を調整することで第１判定器８０を最適化する（図７参照）。ステップＳＴ２０の処理が実行された後、第１学習処理はステップＳＴ２２へ移行する。

ステップＳＴ２２で、第１学習実行部６４Ａは、第１学習処理が終了する条件（以下、「第１学習処理終了条件」と称する）を満足したか否かを判定する。第１学習処理終了条件の第１例としては、教師データ９６に含まれる全ての学習用画像９８を用いた学習が終了した、という条件が挙げられる。第１学習処理終了条件の第２例としては、第１学習処理を終了させる指示が受付装置５６によって受け付けられた、という条件が挙げられる。ステップＳＴ２２において、第１学習処理終了条件を満足していない場合は、判定が否定されて、第１学習処理はステップＳＴ１０へ移行する。ステップＳＴ２２において、第１学習処理終了条件を満足した場合は、判定が肯定されて、第１学習処理が終了する。

次に、第２学習処理の実行を開始する指示が受付装置５６によって受け付けられた場合に内視鏡用処理装置５２のプロセッサ６４によって行われる第２学習処理の流れの一例について図１７を参照しながら説明する。

図１７に示す第２学習処理では、先ず、ステップＳＴ３０で、第２学習実行部６４Ｂは、データ供給装置９４から学習用画像１１０を取得する。ここで、データ供給装置９４から取得される学習用画像１１０は、ステップＳＴ３０以降の処理に用いられていない学習用画像１１０である。第２学習実行部６４Ｂは、データ供給装置９４から取得した学習用画像１１０を第２判定器８２の入力層８４Ａに入力する（図８参照）。ステップＳＴ３０の処理が実行された後、第２学習処理はステップＳＴ３２へ移行する。

ステップＳＴ３２で、第２学習実行部６４Ｂは、第２判定器８２からＨＰスコア９０及びＳＳＬスコア９２を取得する（図８参照）。ステップＳＴ３２の処理が実行された後、第２学習処理はステップＳＴ３４へ移行する。

ステップＳＴ３４で、第２学習実行部６４Ｂは、ステップＳＴ３０で入力層８４Ａに入力した学習用画像１１０に対応付けられている正解データ１１２をデータ供給装置９４から取得する（図８参照）。ステップＳＴ３４の処理が実行された後、第２学習処理はステップＳＴ３６へ移行する。

ステップＳＴ３６で、第２学習実行部６４Ｂは、ステップＳＴ３２で取得したＨＰスコア９０とステップＳＴ３４で取得した正解データ１１２に含まれるＨＰスコア１１２ＡとからＨＰスコア誤差１１４を算出する（図８参照）。また、第２学習実行部６４Ｂは、ステップＳＴ３２で取得したＳＳＬスコア９２とステップＳＴ３４で取得した正解データ１１２に含まれるＳＳＬスコア１１２ＢとからＳＳＬスコア誤差１１６を算出する（図８参照）。ステップＳＴ３６の処理が実行された後、第２学習処理はステップＳＴ３８へ移行する。

ステップＳＴ３８で、第２学習実行部６４Ｂは、ステップＳＴ３６で算出したＨＰスコア誤差１１４及びＳＳＬスコア誤差１１６の両方を最小にする複数の調整値１１８を算出する（図８参照）。ステップＳＴ３８の処理が実行された後、第２学習処理はステップＳＴ４０へ移行する。

ステップＳＴ４０で、第２学習実行部６４Ｂは、ＨＰスコア誤差１１４及びＳＳＬスコア誤差１１６の両方を最小にするように、複数の調整値１１８を用いて第２判定器８２内の複数の最適化変数（すなわち、第６畳み込み層８４Ｊ及び全結合層８４Ｌに含まれる複数の最適化変数）を調整することで第２判定器８２を最適化する（図８参照）。ステップＳＴ４０の処理が実行された後、第２学習処理はステップＳＴ４２へ移行する。

ステップＳＴ４２で、第２学習実行部６４Ｂは、第２学習処理が終了する条件（以下、「第２学習処理終了条件」と称する）を満足したか否かを判定する。第２学習処理終了条件の第１例としては、教師データ１０８に含まれる全ての学習用画像１１０を用いた学習が終了した、という条件が挙げられる。第２学習処理終了条件の第２例としては、第２学習処理を終了させる指示が受付装置５６によって受け付けられた、という条件が挙げられる。ステップＳＴ４２において、第２学習処理終了条件を満足していない場合は、判定が否定されて、第２学習処理はステップＳＴ３０へ移行する。ステップＳＴ４２において、第２学習処理終了条件を満足した場合は、判定が肯定されて、第２学習処理が終了する。

次に、推論処理の実行を開始する指示が受付装置５６によって受け付けられた場合に内視鏡用処理装置５２のプロセッサ６４によって行われる推論処理の流れの一例について図１８Ａ及び図１８Ｂを参照しながら説明する。なお、図１８Ａ及び図１８Ｂに示す推論処理では、第１学習処理によって最適化された第１判定器８０、及び第２学習処理によって最適化された第２判定器８２が用いられる。

図１８Ａに示す推論処理では、先ず、ステップＳＴ５０で、取得部６４Ｃは、内視鏡スコープ４０から内視鏡画像２６を取得する（図１０参照）。ステップＳＴ５０の処理が実行された後、推論処理はステップＳＴ５２へ移行する。

ステップＳＴ５２で、判定部６４Ｄは、ステップＳＴで取得された内視鏡画像２６を第１判定器８０及び第２判定器８２で共用される入力層８４Ａに入力する。これにより、第１判定器８０からＨＰスコア８６及びＮＰスコア８８が出力され、第２判定器８２からＨＰスコア９０及びＳＳＬスコア９２が出力される（図１０参照）。ステップＳＴ５２の処理が実行された後、推論処理はステップＳＴ５４へ移行する。

ステップＳＴ５４で、判定部６４Ｄは、第１判定器８０から出力されたＨＰスコア８６及びＮＰスコア８８を取得する。ステップＳＴ５４の処理が実行された後、推論処理はステップＳＴ５６へ移行する。

ステップＳＴ５６で、判定部６４Ｄは、ステップＳＴ５４で取得したＨＰスコア８６が、ステップＳＴ５４で取得したＮＰスコア８８以上であるか否かを判定する。ステップＳＴ５６において、ＨＰスコア８６がＮＰスコア８８未満である場合は、判定が否定されて、推論処理は、図１８Ｂに示すステップＳＴ６８へ移行する。ステップＳＴ５６において、ＨＰスコア８６がＮＰスコア８８以上である場合は、判定が肯定されて、推論処理はステップＳＴ５８へ移行する。

ステップＳＴ５８で、判定部６４Ｄは、第２判定器８２から出力されたＨＰスコア９０及びＳＳＬスコア９２を取得する。ステップＳＴ５８の処理が実行された後、推論処理はステップＳＴ６０へ移行する。

ステップＳＴ６０で、判定部６４Ｄは、ステップＳＴ５８で取得したＳＳＬスコア９２が、ステップＳＴ５８で取得したＨＰスコア９０以上であるか否かを判定する。ステップＳＴ６０において、ＳＳＬスコア９２がＨＰスコア９０未満である場合は、判定が否定されて、推論処理は、図１８Ｂに示すステップＳＴ７４へ移行する。ステップＳＴ６０において、ＳＳＬスコア９２がＨＰスコア９０以上である場合は、判定が肯定されて、推論処理はステップＳＴ６２へ移行する。

ステップＳＴ６２で、制御部６４Ｅは、第２判定器８２の第６畳み込み層８４Ｊから特徴量マップ１２８を取得する（図１０参照）。そして、制御部６４Ｅは、特徴量マップ１２８を利用して腫瘍位置画像信号１３０を生成する（図１０参照）。ステップＳＴ６２の処理が実行された後、推論処理はステップＳＴ６４へ移行する。

ステップＳＴ６４で、制御部６４Ｅは、ステップＳＴ５２で入力層８４Ａに入力された内視鏡画像２６を第１画面２２に表示する（図１１参照）。ステップＳＴ６４の処理が実行された後、推論処理はステップＳＴ６６へ移行する。

ステップＳＴ６６で、制御部６４Ｅは、ステップＳＴ６２で生成した腫瘍位置画像信号１３０を表示装置１４に出力することで、腫瘍位置画像信号１３０により示される腫瘍位置特定画像１３４を第２画面２４に表示する（図１１参照）。ステップＳＴ６６の処理が実行された後、推論処理は、図１８Ｂに示すステップＳＴ８０へ移行する。

図１８Ｂに示すステップＳＴ６８で、制御部６４Ｅは、第１判定器８０の第５畳み込み層８４Ｆから特徴量マップ１４２を取得する（図１４参照）。そして、制御部６４Ｅは、特徴量マップ１４２を利用して腫瘍位置画像信号１４４を生成する（図１４参照）。ステップＳＴ６８の処理が実行された後、推論処理はステップＳＴ７０へ移行する。

ステップＳＴ７０で、制御部６４Ｅは、ステップＳＴ５２で入力層８４Ａに入力された内視鏡画像２６を第１画面２２に表示する（図１５参照）。ステップＳＴ７０の処理が実行された後、推論処理はステップＳＴ７２へ移行する。

ステップＳＴ７２で、制御部６４Ｅは、ステップＳＴ６８で生成した腫瘍位置画像信号１４４を表示装置１４に出力することで、腫瘍位置画像信号１４４により示される腫瘍位置特定画像１４８を第２画面２４に表示する（図１５参照）。ステップＳＴ７２の処理が実行された後、推論処理はステップＳＴ８０へ移行する。

図１８Ｂに示すステップＳＴ７４で、制御部６４Ｅは、第２判定器８２の第６畳み込み層８４Ｊから特徴量マップ１２８を取得する（図１２参照）。そして、制御部６４Ｅは、特徴量マップ１２８を利用して非腫瘍位置画像信号１３６を生成する（図１２参照）。ステップＳＴ７４の処理が実行された後、推論処理はステップＳＴ７６へ移行する。

ステップＳＴ７６で、制御部６４Ｅは、ステップＳＴ５２で入力層８４Ａに入力された内視鏡画像２６を第１画面２２に表示する（図１３参照）。ステップＳＴ７６の処理が実行された後、推論処理はステップＳＴ７８へ移行する。

ステップＳＴ７８で、制御部６４Ｅは、ステップＳＴ７４で生成した非腫瘍位置画像信号１３６を表示装置１４に出力することで、非腫瘍位置画像信号１３６により示される非腫瘍位置特定画像１４０を第２画面２４に表示する（図１３参照）。ステップＳＴ７８の処理が実行された後、推論処理はステップＳＴ８０へ移行する。

ステップＳＴ８０で、制御部６４Ｅは、推論処理が終了する条件（以下、「推論処理終了条件」と称する）を満足したか否かを判定する。推論処理終了条件の第１例としては、推論処理の実行が開始されてから、指定されたフレーム数の内視鏡画像２６が入力層８４Ａに入力された、という条件が挙げられる。推論処理終了条件の第２例としては、推論処理を終了させる指示が受付装置５６によって受け付けられた、という条件が挙げられる。ステップＳＴ８０において、推論処理終了条件を満足していない場合は、判定が否定されて、推論処理はステップＳＴ５０へ移行する。ステップＳＴ８０において、推論処理終了条件を満足した場合は、判定が肯定されて、推論処理が終了する。

以上説明したように、内視鏡システム１０では、内視鏡画像２６に写っている病変の種類が第１グループ１２０（図９参照）に属するか、又は、第２グループ１２２（図９参照）に属するかが判定される。第１グループ１２０は、互いに類似する病変の種類であるＨＰ及びＳＳＬが含まれるグループである。第２グループ１２２は、ＳＳＬ以外でＮＰに属する病変を含むグループである。

内視鏡システム１０では、病変の種類が第１グループ１２０に属するか、又は、第２グループ１２２に属するかを第１判定器８０に判定させるために、第１判定器８０に対してＨＰ学習用画像９８Ａ及びＮＰ学習用画像９８Ｂを学習させる（図７参照）。ＨＰ学習用画像９８Ａは、ＨＰ又はＳＳＬが写っている内視鏡画像２６であり、ＮＰ学習用画像９８は、ＮＰが写っている内視鏡画像２６である。

従って、ＳＳＬ以外でＮＰに属する病変が写っている内視鏡画像２６は、第１判定器８０によって第２グループ１２２に分類される。すなわち、内視鏡画像２６に写っている病変の種類が第２グループ１２２に属すると第１判定器８０によって判定される。一方、ＨＰ又はＳＳＬが写っている内視鏡画像２６は、第１判定器８０によって第１グループ１２０に分類される。すなわち、内視鏡画像２６に写っている病変の種類が第１グループ１２０（図９参照）に属すると第１判定器８０によって判定される。

ここで、内視鏡画像２６に写っている病変の種類が第１グループ１２０に属すると判定された場合、内視鏡画像２６に写っている病変の種類がＨＰであるか又はＳＳＬであるが判定される。病変の種類がＨＰであるか又はＳＳＬであるの判定は、第２判定器８２によって行われる。

内視鏡システム１０では、病変の種類がＨＰであるか又はＳＳＬであるかを第２判定器８２に判定させるために、第２判定器８２に対してＨＰ学習用画像１１０Ａ及びＳＳＬ学習用画像１１０Ｂを学習させる。ＨＰ学習用画像１１０Ａは、ＨＰは写っているがＳＳＬは写っていない内視鏡画像２６である。ＳＳＬ学習用画像１１０Ｂは、ＳＳＬが写っている内視鏡画像２６である。

従って、ＨＰが写っている内視鏡画像２６は、第２判定器８２によってＨＰが写っている画像として分類される。すなわち、内視鏡画像２６に写っている病変の種類がＨＰであると第２判定器８２によって判定される。一方、ＳＳＬが写っている内視鏡画像２６は、第２判定器８２によってＳＳＬが写っている画像として分類される。すなわち、内視鏡画像２６に写っている病変の種類がＳＳＬであると第２判定器８２によって判定される。

ＨＰは非腫瘍カテゴリ１２４に分類され、ＮＰ及びＳＳＬは腫瘍カテゴリ１２６に分類される。そこで、内視鏡システム１０では、第１判定器８０による第１判定処理の判定結果と第２判定器８２による第２判定処理の判定結果とに基づいて、腫瘍位置画像信号１３０、非腫瘍位置画像信号１３６、又は腫瘍位置画像信号１４４が出力される。つまり、内視鏡画像２６に写っている病変の種類がＨＰである場合は、非腫瘍位置画像信号１３６が出力され（図１３参照）、内視鏡画像２６に写っている病変の種類がＳＳＬである場合は、腫瘍位置画像信号１３０が出力され（図１１参照）、内視鏡画像２６に写っている病変の種類がＳＳＬ以外でＮＰに属する病変の種類である場合は、腫瘍位置画像信号１４４が出力される（図１５参照）。

従って、医師１６は、腫瘍位置画像信号１３０、非腫瘍位置画像信号１３６、及び腫瘍位置画像信号１４４の何れが出力されたかを把握することで、病変の種類が腫瘍なのか非腫瘍なのかを鑑別することができる。これにより、医師１６によって病変の種類が誤鑑別されること（例えば、病変が腫瘍であるにも関わらず非腫瘍であると誤鑑別されたり、病変が非腫瘍であるにも関わらず腫瘍であると誤鑑別されたりされること）を抑制することができる。例えば、ＨＰであるか又はＮＰであるかを判定する判定器のみを用いる場合に比べ、医師１６によって病変の種類が誤鑑別されることを抑制することができる。

また、内視鏡システム１０では、病変の種類が第１グループ１２０に属すると判定され、かつ、病変の種類がＳＳＬであると判定された場合、腫瘍位置画像信号１３０が出力される（図１０及び図１１参照）。従って、医師１６は、病変の種類が腫瘍であると鑑別することができる。

また、内視鏡システム１０では、病変の種類が第１グループに属すると判定され、かつ、病変の種類がＨＰであると判定された場合、非腫瘍位置画像信号１３６が出力される（図１２及び図１３参照）。従って、医師１６は、病変の種類が非腫瘍であると鑑別することができる。

また、内視鏡システム１０では、腫瘍位置特定画像１３４及び１４８と非腫瘍位置特定画像１４０とが区別可能に表示装置１４に表示される。つまり、腫瘍位置特定画像１３４及び１４８には、黄色の腫瘍マーク１３２及び１４６が付されており、非腫瘍位置特定画像１４０には、緑色の非腫瘍マーク１３８が付されているので、腫瘍位置特定画像１３４及び１４８と非腫瘍位置特定画像１４０とが視覚的に区別可能となる。従って、医師１６は、病変の種類が腫瘍であるか非腫瘍であるかを視覚的に認識することができる。

また、内視鏡システム１０では、内視鏡画像２６と腫瘍位置特定画像１３４又は１４８とが対比可能に表示装置１４に表示される（図１１及び図１５参照）。つまり、第１画面２２に内視鏡画像２６に表示され、かつ、第２画面２４に腫瘍位置特定画像１３４又は１４８が表示されるので、医師１６は、内視鏡画像２６と腫瘍位置特定画像１３４又は１４８とを見比べることができる。腫瘍位置特定画像１３４及び１４８には、腫瘍マーク１３２及び１４６が付されているので、医師１６は、内視鏡画像２６の何れの箇所に腫瘍が存在しているかを視覚的に把握することができる。

また、内視鏡システム１０では、内視鏡画像２６と非腫瘍位置特定画像１４０とが対比可能に表示装置１４に表示される（図１３参照）。つまり、第１画面２２に内視鏡画像２６に表示され、かつ、第２画面２４に非腫瘍位置特定画像１４０が表示されるので、医師１６は、内視鏡画像２６と非腫瘍位置特定画像１４０とを見比べることができる。非腫瘍位置特定画像１４０には、非腫瘍マーク１３８が付されているので、医師１６は、内視鏡画像２６の何れの箇所に非腫瘍の病変が存在しているかを視覚的に把握することができる。

また、内視鏡システム１０では、特徴量マップ１２８に基づいて腫瘍位置特定画像１３４及び非腫瘍位置特定画像１４０が生成され（図１０及び図１２参照）、特徴量マップ１４２に基づいて腫瘍位置特定画像１４８が生成される（図１４参照）。従って、腫瘍の位置及び非腫瘍の位置を特定可能な画像を容易に得ることができる。例えば、内視鏡画像２６から人為的に腫瘍の位置及び非腫瘍の位置を特定してから腫瘍の位置及び非腫瘍の位置を特定可能な画像を人為的に作る場合に比べ、腫瘍の位置及び非腫瘍の位置を特定可能な画像を容易に得ることができる。

また、内視鏡システム１０では、第２判定器８２による第２判定処理は、第１判定器８０の中間特徴量を利用した処理である。従って、第２判定器８２による第２判定処理を効率良く実現することができる。例えば、第１判定器８０とは無関係に構築された第２判定器８２によって第２判定処理が行われる場合に比べ、第２判定器８２による第２判定処理を効率良く実現することができる。

また、内視鏡システム１０では、第１判定器８０及び第２判定器８２は、入力層８４以降の複数の層（例えば、入力層８４Ａ及び第１～第４畳み込み層８４Ｂ～８４Ｅ）を共用している。従って、ニューラルネットワーク７８の大型化を抑制することができる。例えば、第１判定器８０と第２判定器８２とが完全に切り離された状態で構築される場合に比べ、ニューラルネットワーク７８の大型化を抑制することができる。

また、内視鏡システム１０では、ＨＰが写っている内視鏡画像２６及びＳＳＬが写っている内視鏡画像２６は、１つのグループ（すなわち、互いに類似する腫瘍性の病変と非腫瘍性の病変とが属するグループ）に対応する画像として第１判定器８０の学習に用いられる。また、ＮＰが写っている内視鏡画像２６（すなわち、ＮＰ学習用画像９８Ｂ）は、１つのグループ（すなわち、ＳＳＬ以外でＮＰとして鑑別される病変が属するグループ）に対応する画像として第１判定器８０の学習に用いられる。従って、第１判定器８０の判定精度を高めることができる。例えば、ＨＰが写っている内視鏡画像２６及びＮＰが写っている内視鏡画像２６のみを第１判定器８０の学習に用いた場合に比べ、第１判定器８０の判定精度を高めることができる。

［第１変形例］
上記実施形態では、腫瘍位置画像信号１３０、非腫瘍位置画像信号１３６、及び腫瘍位置画像信号１４４が表示装置１４に選択的に出力されることにより、腫瘍位置特定画像１３４、非腫瘍位置特定画像１４０、及び腫瘍位置特定画像１４８が表示装置１４に選択的に表示される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、図１９に示すように、制御部６４Ｅが、内視鏡画像２６単位（すなわち、フレーム単位）で腫瘍位置画像信号１３０及び１４４と非腫瘍位置画像信号１３６とを区別可能にＮＶＭ６８に保存する保存処理（以下、「第１保存処理」と称する）を行うようにしてもよい。

図１９に示す例では、ＳＳＬが写っている内視鏡画像２６と腫瘍位置画像信号１３０とが対応付けられた状態でＮＶＭ６８に保存されている。また、図１９に示す例では、ＳＳＬとは異なる腫瘍性の病変であるＮＰが写っている内視鏡画像２６と腫瘍位置画像信号１４４とが対応付けられた状態でＮＶＭ６８に保存されている。また、図１９に示す例では、ＨＰが写っている内視鏡画像２６と非腫瘍位置画像信号１３６とが対応付けられた状態でＮＶＭ６８に保存されている。これにより、内視鏡画像２６に写っている病変の種類が腫瘍なのか非腫瘍なのかをフレーム単位で医師１６に把握させることができる。

なお、第１保存処理は、腫瘍位置特定画像１３４、非腫瘍位置特定画像１４０、及び腫瘍位置特定画像１４８を表示装置１４に対して選択的に表示させる処理と並行して行われるようにしてもよい。

また、第１保存処理が行われることによって腫瘍位置画像信号１３０、非腫瘍位置画像信号１３６、及び腫瘍位置画像信号１４４が保存される先は、ＮＶＭ６８に限定されず、ＮＶＭ６８以外の記憶装置であってもよい。ＮＶＭ６８以外の記憶装置としては、例えば、内視鏡用処理装置５２の外部に存在する記憶装置（例えば、サーバ及び／又はパーソナル・コンピュータ等で用いられるストレージ）が挙げられる。

［第２変形例］
上記実施形態では、腫瘍位置画像信号１３０、非腫瘍位置画像信号１３６、及び腫瘍位置画像信号１４４が出力されることによって病変の種類が非腫瘍カテゴリ１２４に分類されるのか又は腫瘍カテゴリ１２６に分類されるかを特定可能にする形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、第１判定器８０による第１判定処理の判定結果及び第２判定器８２による第２判定処理の判定結果に基づいて、病変の種類がＨＰであるのか、又は、ＳＳＬであるのかを特定可能な信号が出力されることによって病変の種類そのものが特定されるようにしてもよい。

一例として図２０に示すように、ＨＰスコア８６がＮＰスコア８８以上であり、かつ、ＳＳＬスコア９２がＨＰスコア９０以上である場合、制御部６４Ｅは、第２判定器８２の特徴量マップ１２８を利用してＳＳＬ位置画像信号１５０を生成する。ＨＰスコア８６がＮＰスコア８８以上であり、かつ、ＳＳＬスコア９２がＨＰスコア９０以上である場合とは、病変の種類がＳＳＬであると判定された場合を意味する。なお、この場合のＳＳＬスコア９２は、本開示の技術に係る「第２種類判定信号」の一例である。

制御部６４Ｅは、曲線領域１２８Ａ２に対して彩色を施す。図２０に示す例では、曲線領域１２８Ａ２に対して青色が付されている。制御部６４Ｅは、彩色が施された曲線領域１２８Ａ２を有する特徴量マップ１２８を加工することで位置特定画像２８を生成する。図２０に示す例では、位置特定画像２８としてＳＳＬ位置特定画像１５４が示されている。ＳＳＬ位置特定画像１５４には、病変マーク２８ＣとしてＳＳＬマーク１５２が適用されている。ＳＳＬマーク１５２は、彩色が施された曲線領域１２８Ａ２、すなわち、青色が付された曲線領域１２８Ａ２である。

制御部６４Ｅは、ＳＳＬ位置特定画像１５４を示す信号であるＳＳＬ位置画像信号１５０を生成し、生成したＳＳＬ位置画像信号１５０を特定の出力先（例えば、表示装置１４等）に出力する。ここで、ＳＳＬ位置画像信号１５０を特定の出力先に出力する処理は、本開示の技術に係る「第２出力処理」の一例である。また、ＳＳＬ位置画像信号１５０は、本開示の技術に係る「第２種類判定信号に対応する信号」及び「判定結果信号」の一例である。

本実施形態において、曲線領域１２８Ａ２に付される青色は、病変の種類がＳＳＬであることを意味する色である。そのため、ＳＳＬ位置画像信号１５０は、病変の種類がＳＳＬであることを特定可能な信号として用いられる。

一例として図２１に示すように、制御部６４Ｅは、取得部６４Ｃによって取得された内視鏡画像２６、すなわち、図２０に示す第１判定器８０及び第２判定器８２に入力された内視鏡画像２６を第１画面２２に表示する。また、制御部６４Ｅは、ＳＳＬ位置画像信号１５０（図２０参照）を表示装置１４に出力することで、ＳＳＬ位置画像信号１５０により示されるＳＳＬ位置特定画像１５４を第２画面２４に表示する。すなわち、第２画面２４には、第１画面２２に表示されている内視鏡画像２６に写っている病変がＳＳＬであることを示す情報としてＳＳＬ位置特定画像１５４が表示される。ＳＳＬ位置特定画像１５４は、本開示の技術に係る「第２種類判定信号に対応する信号に基づく情報」及び「判定結果信号に基づく情報」の一例である。

一例として図２２に示すように、ＨＰスコア８６がＮＰスコア８８以上であり、かつ、ＳＳＬスコア９２がＨＰスコア９０未満である場合、制御部６４Ｅは、第２判定器８２の特徴量マップ１２８を利用してＨＰ位置画像信号１５６を生成する。ＨＰスコア８６がＮＰスコア８８以上であり、かつ、ＳＳＬスコア９２がＨＰスコア９０未満である場合とは、病変の種類がＨＰであると判定された場合を意味する。なお、この場合のＨＰスコア９０は、本開示の技術に係る「判定結果信号」の一例である。

制御部６４Ｅは、曲線領域１２８Ｂ２に対して彩色を施す。図２２に示す例では、曲線領域１２８Ｂ２に対して白色が付されている。制御部６４Ｅは、彩色が施された曲線領域１２８Ｂ２を有する特徴量マップ１２８を加工することで位置特定画像２８を生成する。図２２に示す例では、位置特定画像２８としてＨＰ位置特定画像１６０が示されている。ＨＰ位置特定画像１６０には、病変マーク２８ＣとしてＨＰマーク１５８が適用されている。ＨＰマーク１５８は、彩色が施された曲線領域１２８Ｂ２、すなわち、白色が付された曲線領域１２８Ｂ２である。

制御部６４Ｅは、ＨＰ位置特定画像１６０を示す信号であるＨＰ位置画像信号１５６を生成し、生成したＨＰ位置画像信号１５６を特定の出力先（例えば、表示装置１４等）に出力する。ここで、ＨＰ位置画像信号１５６を特定の出力先に出力する処理は、本開示の技術に係る「第２出力処理」の一例である。

本実施形態において、曲線領域１２８Ｂ２に付される白色は、病変の種類がＨＰであることを意味する色である。そのため、ＨＰ位置画像信号１５６は、病変の種類がＨＰであることを特定可能な信号として用いられる。

一例として図２３に示すように、制御部６４Ｅは、取得部６４Ｃによって取得された内視鏡画像２６、すなわち、図２２に示す第１判定器８０及び第２判定器８２に入力された内視鏡画像２６を第１画面２２に表示する。また、制御部６４Ｅは、ＨＰ位置画像信号１５６（図２２参照）を表示装置１４に出力することで、ＨＰ位置画像信号１５６により示されるＨＰ位置特定画像１６０を第２画面２４に表示する。すなわち、第２画面２４には、第１画面２２に表示されている内視鏡画像２６に写っている病変がＨＰであることを示す情報としてＨＰ位置特定画像１６０が表示される。ＨＰ位置特定画像１６０は、本開示の技術に係る「判定結果信号に基づく情報」の一例である。

一例として図２４に示すように、ＨＰスコア８６がＮＰスコア８８未満である場合、制御部６４Ｅは、第１判定器８０の特徴量マップ１４２を利用してＮＰ位置画像信号１６２を生成する。ＨＰスコア８６がＮＰスコア８８未満である場合とは、病変の種類がＮＰであると判定された場合を意味する。なお、この場合のＮＰスコア８８は、本開示の技術に係る「判定結果信号」の一例である。

制御部６４Ｅは、輪郭１４２Ａ１の形状を曲線状に整形することで曲線領域１４２Ａ２を生成し、生成した曲線領域１４２Ａ２に対して彩色を施す。図２４に示す例では、曲線領域１４２Ａ２に対して青緑色が付されている。制御部６４Ｅは、彩色が施された曲線領域１４２Ａ２を有する特徴量マップ１４２を加工することで位置特定画像２８を生成する。図２４に示す例では、位置特定画像２８としてＮＰ位置特定画像１６６が示されている。ＮＰ位置特定画像１６６には、病変マーク２８ＣとしてＮＰマーク１６４が適用されている。ＮＰマーク１６４は、彩色が施された曲線領域１４２Ａ２、すなわち、青緑色が付された曲線領域１４２Ａ２である。

制御部６４Ｅは、ＮＰ位置特定画像１６６を示す信号であるＮＰ位置画像信号１６２を生成し、生成したＮＰ位置画像信号１６２を特定の出力先（例えば、表示装置１４等）に出力する。

本実施形態において、曲線領域１４４Ａ２に付される青緑色は、病変の種類がＮＰであることを意味する色である。そのため、ＮＰ位置画像信号１６２は、病変の種類がＮＰであることを特定可能な信号として用いられる。

一例として図２５に示すように、制御部６４Ｅは、取得部６４Ｃによって取得された内視鏡画像２６、すなわち、図２４に示す第１判定器８０に入力された内視鏡画像２６を第１画面２２に表示する。また、制御部６４Ｅは、ＮＰ位置画像信号１６２（図２４参照）を表示装置１４に出力することで、ＮＰ位置画像信号１６２により示されるＮＰ位置特定画像１６６を第２画面２４に表示する。すなわち、第２画面２４には、第１画面２２に表示されている内視鏡画像２６に写っている病変がＮＰであることを示す情報としてＮＰ位置特定画像１６６が表示される。

図２１、図２３、及び図２５に示すように、制御部６４Ｅは、第１判定処理の判定結果及び第２判定処理の判定結果に基づいて、ＳＳＬ位置特定画像１５４、ＨＰ位置特定画像１６０、及びＮＰ位置特定画像１６６が区別可能な表示態様で表示装置１４に対して表示させる表示処理を行う。また、制御部６４Ｅは、内視鏡画像２６とＳＳＬ位置特定画像１５４とを対比可能に第１表示装置１４に対して表示させる。また、制御部６４Ｅは、内視鏡画像２６とＨＰ位置特定画像１６０とを対比可能に第１表示装置１４に対して表示させる。また、制御部６４Ｅは、内視鏡画像２６とＮＰ位置特定画像１６６とを対比可能に第１表示装置１４に対して表示させる。

ＳＳＬ位置特定画像１５４は、内視鏡画像２６に写っている病変がＳＳＬであることを示す画像であり、青色が付されたＳＳＬマーク１５２から、内視鏡画像２６に写っている病変がＳＳＬであることと内視鏡画像２６内でのＳＳＬの位置とを医師１６に対して視覚的に認識させる。ＨＰ位置特定画像１６０は、内視鏡画像２６に写っている病変がＨＰであることを示す画像であり、白色が付されたＨＰマーク１５８から、内視鏡画像２６に写っている病変がＨＰであることと内視鏡画像２６内でのＨＰの位置とを医師１６に対して視覚的に認識させる。ＮＰ位置特定画像１６６は、内視鏡画像２６に写っている病変がＮＰであることを示す画像であり、青緑色が付されたＮＰマーク１６４から、内視鏡画像２６に写っている病変がＮＰであることと内視鏡画像２６内でのＮＰの位置とを医師１６に対して視覚的に認識させる。

従って、本第２変形例に係る内視鏡システム１０によれば、医師１６は、第２画面２４に表示される画像を通して、ＳＳＬ位置画像信号１５０、ＨＰ位置画像信号１５６、及びＮＰ位置画像信号１６２の何れが出力されたかを把握することで、病変の種類がＳＳＬなのか、ＨＰなのか、ＮＰなのかを鑑別することができる。これにより、医師１６によって病変の種類が誤鑑別されることを抑制することができる。例えば、ＨＰであるか又はＮＰであるかを判定する判定器のみを用いる場合に比べ、医師１６によって病変の種類が誤鑑別されることを抑制することができる。

また、本第２変形例に係る内視鏡システム１０によれば、ＳＳＬ位置特定画像１５４、ＨＰ位置特定画像１６０、及びＮＰ位置特定画像１６６がフレーム毎（すなわち、内視鏡画像２６毎）に区別可能な表示態様で表示装置１４に表示されるので、病変の種類が判定された結果を画像として医師１６に対して視覚的に把握させることができる。

なお、ＳＳＬ位置画像信号１５０、ＨＰ位置画像信号１５６、及びＮＰ位置画像信号１６２の出力は、上記実施形態で説明した腫瘍位置画像信号１３０、非腫瘍位置画像信号１３６、及び腫瘍位置画像信号１４４の出力と並行して行われるようにしてよい。例えば、この場合、表示装置１４に対して、腫瘍位置特定画像１３４とＳＳＬ位置特定画像１５４とを対比可能に表示させたり、非腫瘍位置特定画像１４０とＨＰ位置特定画像１６０とを対比可能に表示させたり、腫瘍位置特定画像１４８とＮＰ位置特定画像１６６とを対比可能に表示させたりしてもよい。

また、ＳＳＬマーク１５２の大きさを既定の係数（例えば、特徴量マップ１２８の面積に対する内視鏡画像２６の面積に対する割合等に基づく係数）を用いて調整してからＳＳＬマーク１５２を内視鏡画像２６内の対応する位置に重畳表示させるようにしてもよい。この場合、ＳＳＬマーク１５２の一部（例えば、輪郭）のみを重畳表示させるようにしてもよいし、内視鏡画像２６とＳＳＬマーク１５２とに対してαブレンドを行うようにしてもよい。なお、ＨＰマーク１５８、ＮＰマーク１６４、腫瘍マーク１３２、非腫瘍マーク１３８、及び／又は腫瘍マーク１４６についても同様のことが言える。

また、ＳＳＬマーク１５２、ＨＰマーク１５８、ＮＰマーク１６４、腫瘍マーク１３２、非腫瘍マーク１３８、及び腫瘍マーク１４６の各々に付される色は、上述した色に限定されず、互いに区別可能な色であれば何色であってもよい。また、ＳＳＬマーク１５２、ＨＰマーク１５８、ＮＰマーク１６４、腫瘍マーク１３２、非腫瘍マーク１３８、及び／又は腫瘍マーク１４６に模様を付したり、輪郭の表示態様（太さ、線種、輝度、及び／又は色）を変えたりすることによって、ＳＳＬマーク１５２、ＨＰマーク１５８、ＮＰマーク１６４、腫瘍マーク１３２、非腫瘍マーク１３８、及び腫瘍マーク１４６が区別されるようにしてもよい。

［第３変形例］
上記第２変形例では、ライブビュー方式で得られる複数の内視鏡画像２６に対して１フレームずつ推論処理が実行されることによって１フレーム毎に病変の種類が判定される形態例を挙げて説明した。この場合、複数の内視鏡画像２６に対して時系列で推論処理が実行されると、複数の内視鏡画像２６のうちの１フレームのみについてＳＳＬ位置画像信号１５０が生成され、残りの内視鏡画像２６についてはＨＰ位置画像信号１５６が生成されることがある。

このような現象が生じる一因としては、内視鏡画像２６の画質及び／又はニューラルネットワーク７８に対する学習不足等によって第１判定器８０及び／又は第２判定器８２による判定精度が落ちることが考えられる。本来であれば、ＨＰ位置画像信号１５６ではなく、ＳＳＬ位置画像信号１５０が生成されなければならないフレームについてＨＰ位置画像信号１５６が生成されてしまうと、病変がＳＳＬであるにも関わらず、医師１６によってＨＰと鑑別されてしまう虞がある。

そこで、本第３変形例に係る内視鏡システム１０では、一例として図２６に示すように、制御部６４Ｅが、判定部６４Ｄによって誤判定された可能性があるフレームについての判定結果を修正する。この場合、先ず、制御部６４Ｅは、複数のフレームについて、上記第２変形例で説明した要領で、ＳＳＬ位置画像信号１５０、ＨＰ位置画像信号１５６、及びＮＰ位置画像信号１６２（以下、これらを区別して説明する必要がない場合、符号を付さずに「位置画像信号」とも称する）を選択的に生成する。そして、制御部６４Ｅは、位置画像信号を生成した順に時系列で位置画像信号を内視鏡画像２６と共にＦＩＦＯ方式で保持する。すなわち、制御部６４Ｅは、新たな１フレームが追加される毎に最も古いフレームを位置画像信号と共に表示装置１４に出力する。図２６に示す例では、図示の都合上、１フレーム目から７フレーム目までの位置画像信号が内視鏡画像２６と対応付けられた状態で保持されている。

図２６に示す例では、１フレーム目～３フレーム目及び５フレーム目～７フレーム目について、ＨＰ位置画像信号１５６が生成されて保持されており、４フレーム目について、ＳＳＬ位置画像信号１５０が生成されて保持されている。このように、４フレーム目について、ＳＳＬ位置画像信号１５０が生成された場合、制御部６４Ｅは、４フレーム目についてＳＳＬ位置画像信号１５０を、対応する内視鏡画像２６と共に表示装置１４に出力する。また、この場合、制御部６４Ｅは、１フレーム目～３フレーム目及び５フレーム目～７フレーム目についてのＨＰ位置画像信号１５６をＳＳＬ位置画像信号１５０に置き換えることで１フレーム目～３フレーム目及び５フレーム目～７フレーム目の位置画像信号をＳＳＬ位置画像信号１５０に揃える。そして、制御部６４Ｅは、ＳＳＬ位置画像信号１５０を、対応する内視鏡画像２６と共に時系列で表示装置１４に出力する。これにより、表示装置１４には、１フレーム目～７フレーム目について、上記第２変形例と同様の要領で、内視鏡画像２６及びＳＳＬ位置特定画像１５４が表示される。

また、制御部６４Ｅは、ＳＳＬ位置画像信号１５０を表示装置１４に出力することで、第１画面２２に「ＳＳＬ」という文字を表示する。文字が表示される箇所は、第１画面２２内ではなく、第２画面２４内であってもよいし、他の表示装置の画面であってもよい。また、ＳＳＬという文字の表示と共に、又は、ＳＳＬという文字の表示に代えて、「ＳＳＬ」という音声が出力されるようにしてもよい。図２６に示す例では、「ＳＳＬ」という文字が表示されたり音声が出力されたりする形態例が示されているが、ＮＰ及び／ＨＰについても同様に文字が表示されたり音声が出力されたりするようにしてもよい。

なお、図２６に示す例において、１フレーム目～７フレーム目は、本開示の技術に係る「複数のフレーム」の一例であり、４フレーム目は、本開示の技術に係る「第１フレーム」の一例であり、１フレーム目～３フレーム目及び５フレーム目～７フレーム目は、本開示の技術に係る「第１フレームから既定フレーム数の範囲内の第２フレーム」の一例である。

一例として図２７に示すように、４フレーム目について、ＨＰ位置画像信号１５６が生成された場合、制御部６４Ｅは、１フレーム目～７フレーム目について現時点で生成されている位置画像信号をそのまま時系列で内視鏡画像２６と共に表示装置１４に出力する。これにより、表示装置１４には、上記第２変形例と同様の要領で、内視鏡画像２６及びＳＳＬ位置特定画像１５４が表示される。すなわち、制御部６４Ｅは、４フレーム目について病変の種類がＨＰであると判定された場合に、４フレーム目から既定フレーム数の範囲内のフレーム（図２７に示す例では、１フレーム目～３フレーム目及び５フレーム目～７フレーム目）について、判定部６４Ｄによる判定結果に対応する信号（すなわち、位置画像信号）を内視鏡画像２６と共に表示装置１４に出力する。

このように、本第３変形例に係る内視鏡システム１０では、上記第２変形例と同様の要領で、フレーム毎に、第１判定処理の判定結果と第２判定処理の判定結果とに基づいて、病変の種類がＳＳＬなのか、ＮＰなのか、又はＨＰなのかが判定される。そして、複数のフレームのうちの第１フレーム（例えば、４フレーム目）についての病変の種類がＳＳＬであると判定された場合に、病変の種類がＳＳＬであると判定されたことを示す位置画像信号、すなわち、ＳＳＬ位置画像信号１５０が表示装置１４に出力される。また、複数のフレームのうち、第１フレームから既定フレーム数の範囲内の第２フレーム（例えば、１フレーム目～３フレーム目及び５フレーム目～７フレーム目）について病変の種類がＳＳＬと異なる病変種であると判定された場合にＳＳＬ位置画像信号１５０が表示装置１４に出力される。これにより、病変の種類がＳＳＬであるにも関わらずＳＳＬ以外の病変種であると医師１６によって誤鑑別されることを抑制することができる。例えば、第１フレームから既定フレーム数の範囲内の第２フレームについて病変の種類がＳＳＬと異なる病変種であると判定された場合に常に判定結果通りの位置画像信号が出力される場合に比べ、病変の種類がＳＳＬであるにも関わらずＳＳＬ以外の病変種であると医師１６によって誤鑑別されることを抑制することができる。

また、本第３変形例に係る内視鏡システム１０では、第１フレーム（例えば、４フレーム目）について病変の種類がＨＰであると判定された場合に、第１フレームから既定フレーム数の範囲内の第２フレーム（例えば、１フレーム目～３フレーム目及び５フレーム目～７フレーム目）について病変の種類に対する判定結果に対応する位置画像信号が出力される。これにより、医師１６に対してフレーム毎に病変の種類を把握せることができる。また、ＨＰ及びＳＳＬを含む複数の病変種がフレーム毎の判定対象とされているので、フレーム毎に病変の種類がＨＰなのか又はＳＳＬなのかを医師１６に把握させることができる。また、ＨＰは非腫瘍カテゴリ１２４に分類され、ＳＳＬ及びＮＰは腫瘍カテゴリ１２６に分類されるので、病変が非腫瘍カテゴリ１２４に分類されるのか又は腫瘍カテゴリ１２６に分類されるのかを医師１６に把握させることができる。

なお、本第３変形例では、ＳＳＬ位置画像信号１５０、ＨＰ位置画像信号１５６、及びＮＰ位置画像信号１６２を例示したが、これは、あくまでも一例に過ぎない。例えば、ＳＳＬ位置画像信号１５０、ＨＰ位置画像信号１５６、及びＮＰ位置画像信号１６２に代えて、又は、ＳＳＬ位置画像信号１５０、ＨＰ位置画像信号１５６、及びＮＰ位置画像信号１６２と共に、腫瘍位置画像信号１３０、非腫瘍位置画像信号１３６、及び腫瘍位置画像信号１４４を用いてもよい。ＳＳＬ位置画像信号１５０、ＨＰ位置画像信号１５６、及びＮＰ位置画像信号１６２に代えて腫瘍位置画像信号１３０、非腫瘍位置画像信号１３６、及び腫瘍位置画像信号１４４を用いる場合、ＳＳＬ位置画像信号１５０に代えて腫瘍位置画像信号１３０を適用し、ＨＰ位置画像信号１５６に代えて非腫瘍位置画像信号１３６を適用し、ＮＰ位置画像信号１６２に代えて腫瘍位置画像信号１４４を適用すればよい。この場合、腫瘍位置画像信号１３０は、本開示の技術に係る「第２種類判定信号に対応する信号」の一例であり、非腫瘍位置画像信号１３６及び腫瘍位置画像信号１４４の各々は、本開示の技術に係る「判定結果信号」の一例である。

［第４変形例］
上記第２変形例及び第３変形例では、ＳＳＬ位置特定画像１５４、ＨＰ位置特定画像１６０、及びＮＰ位置特定画像１６４が表示装置１４に選択的に表示される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、図２８に示すように、制御部６４Ｅが、内視鏡画像２６単位（すなわち、フレーム単位）でＳＳＬ位置画像信号１５０、ＨＰ位置画像信号１５６、及びＮＰ位置画像信号１６２を区別可能にＮＶＭ６８に保存する保存処理（以下、「第２保存処理」と称する）を行うようにしてもよい。

図２８に示す例では、ＳＳＬが写っている内視鏡画像２６とＳＳＬ位置画像信号１５０とが対応付けられた状態でＮＶＭ６８に保存されている。また、図２８に示す例では、ＳＳＬとは異なる腫瘍性の病変であるＮＰが写っている内視鏡画像２６とＮＰ位置特定画像１６４とが対応付けられた状態でＮＶＭ６８に保存されている。また、図２８に示す例では、ＨＰが写っている内視鏡画像２６とＨＰ位置画像信号１５６とが対応付けられた状態でＮＶＭ６８に保存されている。これにより、内視鏡画像２６に写っている病変の種類が腫瘍なのか非腫瘍なのかをフレーム単位で医師１６に把握させることができる。

なお、第２保存処理は、ＳＳＬ位置特定画像１５４、ＨＰ位置特定画像１６０、及びＮＰ位置特定画像１６４を表示装置１４に対して選択的に表示させる処理と並行して行われるようにしてもよい。

また、第２保存処理が行われることによってＳＳＬ位置画像信号１５０、ＨＰ位置画像信号１５６、及びＮＰ位置画像信号１６２が保存される先は、ＮＶＭ６８に限定されず、ＮＶＭ６８以外の記憶装置であってもよい。ＮＶＭ６８以外の記憶装置としては、例えば、内視鏡用処理装置５２の外部に存在する記憶装置（例えば、サーバ及び／又はパーソナル・コンピュータ等で用いられるストレージ）が挙げられる。

［その他の変形例］
上記実施形態では、第１学習処理で用いられる教師データ９６に含まれるＨＰ学習用画像９８Ａとして、ＨＰ又はＳＳＬが写っている内視鏡画像２６を例示したが、本開示の技術はこれに限定されない。ＨＰ学習用画像９８Ａは、ＳＳＬが写っていないがＨＰが写っている内視鏡画像２６であってもよい。

上記実施形態では、ＨＰ、ＳＳＬ、及びＮＰが分類される形態例を挙げて説明したが、ＨＰ、ＳＳＬ、ＮＰの他に、ＨＰ以外の非腫瘍性ポリープ（例えば、過誤腫性ポリープ及び／又は炎症性ポリープ等）も分類されるようにしてもよい。この場合、例えば、ＨＰ以外の非腫瘍性ポリープが写っている内視鏡画像２６も学習用画像としてニューラルネットワーク７８に学習させ、ＨＰ以外の非腫瘍性ポリープに関するスコアがニューラルネットワーク７８から出力されるようにしてもよい。ＨＰ以外の非腫瘍性ポリープに関するスコアは、第１判定器８０から出力されるようにしてもよいし、第２判定器８２から出力されるようにしてもよい。

上記実施形態では、第１判定器８０と第２判定器８２とを別々に学習させる形態例を挙げて説明したが、本開示の技術はこれに限定されず、第１判定器８０と第２判定器８２とをまとめて学習させてもよい。この場合、例えば、学習に用いる教師データに含まれる学習用画像の各々に対して対応付けられる正解データは、ＨＰスコア１００Ａ、ＮＰスコア１００Ｂ、ＨＰスコア１１２Ａ、及びＳＳＬスコア１１２Ｂを含む。例えば、ＨＰ学習用画像９８Ａに対応付けられる正解データでは、ＨＰスコア１００Ａを“１．０”とし、残りのスコアを“０．０”とする。また、ＮＰ学習用画像９８Ｂに対応付けられる正解データでは、ＮＰスコア１００Ｂを“１．０”とし、残りのスコアを“０．０”とする。また、ＨＰ学習用画像１１０Ａに対応付けられる正解データでは、ＨＰスコア１１２Ａを“１．０”とし、残りノスコアを“０．０”とする。また、ＳＳＬ学習用画像１１０Ｂに対応付けられる正解データでは、ＳＳＬスコア１１２Ｂを“１．０”とし、残りのスコアを“０．０”とする。

上記実施形態では、本開示の技術に係る「第１種類」及び「第１病変」の一例としてＨＰを挙げ、本開示の技術に係る「第２種類」及び「第２病変」の一例としてＳＳＬを挙げたが、本開示の技術はこれに限定されない。例えば、ＳＳＬ及びＨＰ以外で類似している２つ病変であってもよい。類似している２つの病変としては、一般的に医師１６による鑑別が困難とされている病変が挙げられる。

上記実施形態では、内視鏡画像２６を用いた第１学習処理、第２学習処理、及び推論処理（以下、これらを区別して説明する必要がない場合、「本開示の技術に係る処理」と称する）を例示したが、これは、あくまでも一例に過ぎず、内視鏡画像２６に代えて、超音波診断装置、Ｘ線診断装置、ＣＴ診断装置、及び／又はＭＲＩ診断装置等の各種モダリティによって被検者２０の観察対象領域が撮像されることで得られた医療画像を用いて本開示の技術に係る処理が行われるようにしてもよい。なお、各種モダリティによって被検者２０の観察対象領域が撮像されることで得られた医療画像は、本開示の技術に係る「医療画像」の一例であり、各種モダリティは、本開示の技術に係る「撮像装置」の一例である。

上記実施形態では、１フレーム毎に推論処理が行われるようにしたが、本開示の技術はこれに限定されない。例えば、既定フレーム数毎（例えば、数フレーム毎又は数十フレーム毎）に推論処理が行われるようにしてもよい。この場合、推論処理を行う回数が減るので、１フレーム毎に推論処理が行われる場合に比べ、プロセッサ６４にかかる負荷を軽減することができる。また、このように既定フレーム数毎に推論処理が行われる場合、第２画面２４に表示される位置特定画像２８の表示態様（例えば、腫瘍マーク１３２等）が残像現象により視覚的に知覚されるフレーム間隔で推論処理が行われるようにしてもよい。

上記実施形態では、特徴量マップ１２８等に基づいて生成された位置特定画像２８が第２画面２４に表示される形態例を挙げたが、これは、あくまでも一例に過ぎず、ニューラルネットワーク６８から得られる複数の特徴量マップに基づいてＣＡＭ画像が生成されて第２画面２４に表示されるようにしてもよい。

上記実施形態では、第１画面２２に内視鏡画像２６が表示され、第２画面２４に位置特定画像２８が表示される形態例を挙げて説明したが、これは、あくまでも一例に過ぎず、内視鏡画像２６及び位置特定画像２８が異なる表示装置に表示されてもよい。また、受付装置５６によって受け付けられた指示及び／又は各種条件等に応じて表示装置１４に第１画面２２と第２画面２４とが交互に表示されるようにしてもよい。また、受付装置５６によって受け付けられた指示及び／又は各種条件等に応じて内視鏡画像２６及び位置特定画像２８が選択的に全画面で表示されるようにしてもよい。

上記実施形態では、プロセッサ６４が表示装置１４に対して直接的に働きかけることで表示装置１４に対して内視鏡画像２６及び位置特定画像２８を表示させるようにしたが、これは、あくまでも一例に過ぎない。例えば、プロセッサ６４が表示装置１４に対して間接的に働きかけることで表示装置１４に対して内視鏡画像２６及び位置特定画像２８を表示させるようにしてもよい。例えば、この場合、表示装置１４に対して表示させる画面（例えば、第１画面２２及び第２画面２４）を示す画面情報を外部ストレージ（図示省略）に一旦格納する。そして、プロセッサ６４又はプロセッサ６４以外のプロセッサが外部ストレージから画面情報を取得し、取得した画面情報に基づいて、表示装置１４又は表示装置１４以外の表示装置に対して第１画面２２及び第２画面２４を表示させるようにする。この場合の具体例としては、プロセッサ６４がクラウドコンピューティングを利用して表示装置１４又は表示装置１４以外の表示装置に対して第１画面２２及び第２画面２４を表示させる形態例が挙げられる。

上記実施形態では、内視鏡用処理装置５２のプロセッサ６４によって本開示の技術に係る処理が行われる形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、本開示の技術に係る処理を行うデバイスは、内視鏡用処理装置５２の外部に設けられていてもよい。内視鏡用処理装置５２の外部に設けられるデバイスの一例としては、サーバが挙げられる。例えば、サーバは、クラウドコンピューティングによって実現される。ここでは、クラウドコンピューティングを例示しているが、これは、あくまでも一例に過ぎず、例えば、サーバは、メインフレームによって実現されてもよいし、フォグコンピューティング、エッジコンピューティング、又はグリッドコンピューティング等のネットワークコンピューティングによって実現されてもよい。サーバは、あくまでも一例に過ぎず、サーバに代えて、少なくとも１台のパーソナル・コンピュータ等であってもよい。また、本開示の技術に係る処理は、内視鏡用処理装置５２と内視鏡用処理装置５２の外部に設けられる少なくとも１つのデバイスとを含む複数のデバイスによって分散して行われるようにしてもよい。

また、上記実施形態では、ＮＶＭ６８に第１学習処理プログラム７２、第２学習処理プログラム７４、及び推論処理プログラム７６（以下、これらを「本開示の技術に係るプログラム」と称する）が記憶されている形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、本開示の技術に係るプログラムはＳＳＤ又はＵＳＢメモリなどの可搬型の記憶媒体に記憶されていてもよい。記憶媒体は、非一時的なコンピュータ読取可能な記憶媒体である。記憶媒体に記憶されている本開示の技術に係るプログラムは、内視鏡用処理装置５２のコンピュータ６０にインストールされる。プロセッサ６４は、本開示の技術に係るプログラムに従って本開示の技術に係る処理を実行する。

上記実施形態では、コンピュータ６０が例示されているが、本開示の技術はこれに限定されず、コンピュータ６０に代えて、ＡＳＩＣ、ＦＰＧＡ、及び／又はＰＬＤを含むデバイスを適用してもよい。また、コンピュータ６０に代えて、ハードウェア構成及びソフトウェア構成の組み合わせを用いてもよい。

上記実施形態で説明した本開示の技術に係る処理を実行するハードウェア資源としては、次に示す各種のプロセッサを用いることができる。プロセッサとしては、例えば、ソフトウェア、すなわち、プログラムを実行することで、本開示の技術に係る処理を実行するハードウェア資源として機能する汎用的なプロセッサであるプロセッサが挙げられる。また、プロセッサとしては、例えば、ＦＰＧＡ、ＰＬＤ、又はＡＳＩＣなどの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電子回路が挙げられる。何れのプロセッサにもメモリが内蔵又は接続されており、何れのプロセッサもメモリを使用することで本開示の技術に係る処理を実行する。

本開示の技術に係る処理を実行するハードウェア資源は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ、又はプロセッサとＦＰＧＡとの組み合わせ）で構成されてもよい。また、本開示の技術に係る処理を実行するハードウェア資源は１つのプロセッサであってもよい。

１つのプロセッサで構成する例としては、第１に、１つ以上のプロセッサとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが、本開示の技術に係る処理を実行するハードウェア資源として機能する形態がある。第２に、ＳｏＣなどに代表されるように、本開示の技術に係る処理を実行する複数のハードウェア資源を含むシステム全体の機能を１つのＩＣチップで実現するプロセッサを使用する形態がある。このように、本開示の技術に係る処理は、ハードウェア資源として、上記各種のプロセッサの１つ以上を用いて実現される。

更に、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電子回路を用いることができる。また、上記の本開示の技術に係る処理はあくまでも一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。

以上に示した記載内容及び図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、及び効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、及び効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容及び図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことは言うまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容及び図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。

本明細書において、「Ａ及び／又はＢ」は、「Ａ及びＢのうちの少なくとも１つ」と同義である。つまり、「Ａ及び／又はＢ」は、Ａだけであってもよいし、Ｂだけであってもよいし、Ａ及びＢの組み合わせであってもよい、という意味である。また、本明細書において、３つ以上の事柄を「及び／又は」で結び付けて表現する場合も、「Ａ及び／又はＢ」と同様の考え方が適用される。

本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

１０ 内視鏡システム
１２ 内視鏡装置
１４ 表示装置
１６ 医師
１７ 看護師
１８ 内視鏡
２０ 被検者
２２ 第１画面
２４ 第２画面
２６ 内視鏡画像
２６Ａ 部位領域
２６Ｂ 病変領域
２６Ｂ１ ＨＰ領域
２６Ｂ２ ＮＰ領域
２６Ｂ３ ＳＳＬ領域
２８ 位置特定画像
２８Ａ 外枠
２８Ｂ ターゲットマーク
２８Ｃ 病変マーク
３０ 操作部
３２ 挿入部
３４ 先端部
３６ 湾曲部
３７ 軟性部
３８ 照明装置
３８Ａ，３８Ｂ 照明窓
４０ 内視鏡スコープ
４２ 処置具用開口
４４ 処置具
４６ 処置具挿入口
４８ 穿刺針
５０ ユニバーサルコード
５０Ａ 基端部
５０Ｂ 第１先端部
５０Ｃ 第２先端部
５２ 内視鏡用処理装置
５４ 光源装置
５６ 受付装置
５８ 大腸
５８Ａ 内壁
６０ コンピュータ
６２ 入出力インタフェース
６４ プロセッサ
６４Ａ 第１学習実行部
６４Ｂ 第２学習実行部
６４Ｃ 取得部
６４Ｄ 判定部
６４Ｅ 制御部
６６ ＲＡＭ
６８ ＮＶＭ
７０ バス
７２ 第１学習処理プログラム
７４ 第２学習処理プログラム
７６ 推論処理プログラム
７８ ニューラルネットワーク
８０ 第１判定器
８２ 第２判定器
８４Ａ 入力層
８４Ｂ 第１畳み込み層
８４Ｃ 第２畳み込み層
８４Ｄ 第３畳み込み層
８４Ｅ 第４畳み込み層
８４Ｆ 第５畳み込み層
８４Ｇ，８４Ｋ ＧＡＰ層
８４Ｈ，８４Ｌ 全結合層
８４Ｉ，８４Ｍ 出力層
８４Ｉ１，８４Ｍ１ ソフトマックス関数
８４Ｊ 第６畳み込み層
８６，９０，１００Ａ ＨＰスコア
８８，１００Ｂ ＮＰスコア
９２ ＳＳＬスコア
９４ データ供給装置
９６，１０８ 教師データ
９８，１１０ 学習用画像
９８Ａ，１１０Ａ ＨＰ学習用画像
９８Ｂ ＮＰ学習用画像
１００，１１２ 正解データ
１０２，１１４ ＨＰスコア誤差
１０４ ＮＰスコア誤差
１０６，１１８ 調整値
１１０Ｂ ＳＳＬ学習用画像
１１２Ａ ＨＰスコア
１１２Ｂ ＳＳＬスコア
１１６ ＳＳＬスコア誤差
１２０ 第１グループ
１２２ 第２グループ
１２４ 非腫瘍カテゴリ
１２６ 腫瘍カテゴリ
１２８，１４２ 特徴量マップ
１２８Ａ，１２８Ｂ，１４２Ａ 高反応領域
１２８Ａ１，１２８Ｂ１，１４２Ａ１ 輪郭
１２８Ａ２，１２８Ｂ２，１４２Ａ２ 曲線領域
１３０，１４４ 腫瘍位置画像信号
１３２，１４６ 腫瘍マーク
１３４，１４８ 腫瘍位置特定画像
１３６ 非腫瘍位置画像信号
１３８ 非腫瘍マーク
１４０ 非腫瘍位置特定画像
１５０ ＳＳＬ位置画像信号
１５２ ＳＳＬマーク
１５４ ＳＳＬ位置特定画像
１５６ ＨＰ位置画像信号
１５８ ＨＰマーク
１６０ ＨＰ位置特定画像
１６２ ＮＰ位置画像信号
１６４ ＮＰマーク
１６６ ＮＰ位置特定画像

Claims (21)

1. プロセッサを備え、
   前記プロセッサは、
   病変を示す病変領域を含む医療画像を取得し、
   判定器が前記医療画像に基づいて前記病変の種類を判定する判定処理を行い、
   前記判定器は、第１判定器と第２判定器と、を含み、
   前記判定処理は、前記第１判定器による第１判定処理と前記第２判定器による第２判定処理と、を含み、
   前記第１判定処理は、第１カテゴリに分類される第１種類と第２カテゴリに分類される第２種類とを含む第１グループに前記種類が属するか、又は、前記第２カテゴリに分類される第３種類を含む第２グループに前記種類が属するかを判定する処理であり、
   前記第２判定処理は、前記種類が前記第１種類であるか、又は、前記種類が前記第２種類であるかを判定する処理であり、
   前記プロセッサは、前記第１判定処理の判定結果と前記第２判定処理の判定結果とに基づいて、前記種類が前記第１カテゴリに分類されるか、又は、前記種類が前記第２カテゴリに分類されるかを特定可能な第１信号を出力する第１出力処理、及び、前記第１判定処理の判定結果及び前記第２判定処理の判定結果に基づいて、前記種類が前記第１種類であるか、又は、前記種類が前記第２種類であるかを特定可能な第２信号を出力する第２出力処理のうちの少なくとも一方を行う
   画像処理装置。
2. 前記プロセッサは、前記第１判定処理によって前記第１グループに前記種類が属すると判定され、かつ、前記第２判定処理によって前記種類が前記第２種類であると判定された場合に、前記第１信号として、前記種類が前記第２カテゴリに分類されることを特定可能な第２カテゴリ信号を出力する
   請求項１に記載の画像処理装置。
3. 前記プロセッサは、前記第１判定処理によって前記第１グループに前記種類が属すると判定され、かつ、前記第２判定処理によって前記種類が前記第１種類であると判定された場合に、前記第１信号として、前記種類が前記第１カテゴリに分類されることを特定可能な第１カテゴリ信号を出力する
   請求項１又は請求項２に記載の画像処理装置。
4. 前記プロセッサは、前記第１判定処理の判定結果と前記第２判定処理の判定結果とに基づいて、前記種類が前記第１カテゴリに分類されることを示す第１カテゴリ情報と、前記種類が前記第２カテゴリに分類されることを示す第２カテゴリ情報とを区別可能な表示態様で表示装置に対して表示させる表示処理、及び、前記第１判定処理の判定結果と前記第２判定処理の判定結果とに基づいて、前記第１カテゴリ情報と前記第２カテゴリ情報とを前記医療画像単位で区別可能に保存する保存処理のうちの少なくとも一方を行う
   請求項１から請求項３の何れか一項に記載の画像処理装置。
5. 前記表示態様は、前記医療画像と前記第１カテゴリ情報とを対比可能に前記表示装置に対して表示させる第１態様と、前記医療画像と前記第２カテゴリ情報とを対比可能に前記表示装置に対して表示させる第２態様と、を含む
   請求項４に記載の画像処理装置。
6. 前記第１カテゴリ情報及び前記第２カテゴリ情報のうちの少なくとも１つは前記判定器から得られる特徴量マップに基づく情報である
   請求項４又は請求項５に記載の画像処理装置。
7. 前記第２判定処理は、前記第１判定器の中間特徴量を利用した処理である
   請求項１から請求項６の何れか一項に記載の画像処理装置。
8. 前記判定器は、ニューラルネットワークであり、
   前記第１判定器及び前記第２判定器は、入力層以降の複数の層を共用している
   請求項１から請求項７の何れか一項に記載の画像処理装置。
9. 前記第１判定器は、前記第１種類に対応する第１病変が写っている第１病変画像と、前記第２種類に対応する第２病変が写っている第２病変画像とを前記第１グループに対応する画像として学習させ、前記第３種類に対応する第３病変が写っている第３病変画像を前記第２グループに対応する画像として学習させたモデルである
   請求項１から請求項８の何れか一項に記載の画像処理装置。
10. 前記プロセッサは、
    複数のフレームにわたって前記医療画像を時系列で取得し、
    前記フレーム毎に、前記第１判定処理の判定結果と前記第２判定処理の判定結果とに基づいて、前記種類が前記第１種類及び前記第２種類を含む複数の病変種の何れであるかを判定し、
    前記複数のフレームのうちの第１フレームについての前記種類が前記第２種類であると判定された場合に前記種類が前記第２種類であると判定されたことを示す第２種類判定信号に対応する信号を出力し、
    前記複数のフレームのうち、前記第１フレームから既定フレーム数の範囲内の第２フレームについて前記種類が前記第２種類と異なる前記病変種であると判定された場合に前記第２種類判定信号に対応する信号を出力する
    請求項１から請求項９の何れか一項に記載の画像処理装置。
11. 前記第１カテゴリは、非腫瘍性を示すカテゴリであり、
    前記第２カテゴリは、腫瘍性を示すカテゴリである
    請求項１から請求項１０の何れか一項に記載の画像処理装置。
12. 前記第１種類は、非腫瘍性の病変である
    請求項１から請求項１１の何れか一項に記載の画像処理装置。
13. 前記第２種類は、鋸歯状病変である
    請求項１から請求項１２の何れか一項に記載の画像処理装置。
14. 前記第３種類は、鋸歯状病変とは異なる腫瘍性の病変である
    請求項１から請求項１３の何れか一項に記載の画像処理装置。
15. 病変を示す病変領域を含む医療画像を取得すること、及び
    判定器が前記医療画像に基づいて前記病変の種類を判定する判定処理を行うことを備え、
    前記判定器は、第１判定器と第２判定器と、を含み、
    前記判定処理は、前記第１判定器による第１判定処理と前記第２判定器による第２判定処理と、を含み、
    前記第１判定処理は、第１カテゴリに分類される第１種類と第２カテゴリに分類される第２種類とを含む第１グループに前記種類が属するか、又は、前記第２カテゴリに分類される第３種類を含む第２グループに前記種類が属するかを判定する処理であり、
    前記第２判定処理は、前記種類が前記第１種類であるか、又は、前記種類が前記第２種類であるかを判定する処理であり、
    前記第１判定処理の判定結果と前記第２判定処理の判定結果とに基づいて、前記種類が前記第１カテゴリに分類されるか、又は、前記種類が前記第２カテゴリに分類されるかを特定可能な第１信号を出力する第１出力処理、及び、前記第１判定処理の判定結果及び前記第２判定処理の判定結果に基づいて、前記種類が前記第１種類であるか、又は、前記種類が前記第２種類であるかを特定可能な第２信号を出力する第２出力処理のうちの少なくとも一方を行うことを備える
    画像処理方法。
16. プロセッサを備え、
    前記プロセッサは、
    病変を示す病変領域を含む医療画像を複数のフレームにわたって時系列で取得し、
    前記フレーム毎に、前記医療画像に基づいて前記病変の種類を第１種類及び第２種類を含む複数の病変種の何れであるかを判定し、
    前記複数のフレームのうちの第１フレームについて前記種類が前記第２種類であると判定された場合に、前記複数のフレームのうち、前記第１フレームから既定フレーム数の範囲内の第２フレームについて前記種類が前記第２種類であると判定されたことを示す第２種類判定信号に対応する信号を出力し、
    前記第１フレームについて前記種類が前記第１種類であると判定された場合に、前記第２フレームについて前記種類に対する判定結果に対応する判定結果信号を出力する
    画像処理装置。
17. 前記第１種類が属するカテゴリは、非腫瘍性を示すカテゴリであり、
    前記第２種類が属するカテゴリは、腫瘍性を示すカテゴリである
    請求項１６に記載の画像処理装置。
18. 前記第１種類は、非腫瘍性を示す種類であり、
    前記第２種類は、鋸歯状病変を示す種類である
    請求項１６又は請求項１７に記載の画像処理装置。
19. 前記プロセッサは、前記第２種類判定信号に対応する信号に基づく情報及び前記判定結果信号に基づく情報を前記フレーム単位で表示装置に対して表示させる表示処理、及び、前記第２種類判定信号に対応する信号に基づく情報及び前記判定結果信号に基づく情報を前記フレーム単位で保存する保存処理のうちの少なくとも一方を行う
    請求項１６から請求項１８の何れか一項に記載の画像処理装置。
20. 請求項１から請求項１４及び請求項１６～請求項１９の何れか一項に記載の画像処理装置と、
    被検体の観察対象領域を撮像することで前記観察対象領域を示す画像を前記医療画像として取得する撮像装置と、
    を備える医療診断装置。
21. 請求項１から請求項１４及び請求項１６～請求項１９の何れか一項に記載の画像処理装置と、
    体内に挿入されて前記体内の観察対象領域を撮像することで前記観察対象領域を示す画像を前記医療画像として取得する内視鏡と、
    を備える内視鏡装置。