JP2021037036A - 内視鏡システム、プロセッサ、修正方法、コンピュータプログラム、サーバー装置およびデータ処理装置 - Google Patents

Abstract

【課題】内視鏡システム、プロセッサ、修正方法、コンピュータプログラム、サーバー装置およびデータ処理装置【解決手段】内視鏡と、該内視鏡によって撮像された撮像画像を処理するプロセッサとを含み、前記撮像画像に対する学習モデルの推定診断結果を表示部に表示する内視鏡システムにおいて、前記推定診断結果に対する修正指示を受け付ける修正指示受付部と、前記修正指示に従って実行された修正の内訳を、該修正に係る撮像画像に対応付けて記憶する補助記憶装置とを備える。【選択図】図１０

Description

本発明は、内視鏡システム、プロセッサ、修正方法、コンピュータプログラム、サーバー装置およびデータ処理装置に関する。

近年、人工知能の発達に伴い、内視鏡の撮像画像に対して人工知能が所定の推定診断を行う技術が普及し始めている。

例えば、特許文献１には、電子内視鏡で撮像されたアナログ信号をＡ／Ｄ変換してデジタル画像として生成・保存すると共に、コンピュータで、電子内視鏡のデジタル画像の特徴量解析を行い、人工知能を応用してコンピュータ支援診断の結果をリアルタイム表示することについて開示されている。

特開２００６−２１８１３８号公報

一方、人工知能による推定判定はあくまでも確率に基づくものであり、人工知能による推定診断が常に正確とは言えない。それにも関わらず、特許文献１においては、コンピュータ支援診断の結果をリアルタイム表示するのみであり、正しくないコンピュータ支援診断の結果が表示された場合の対応については工夫されていない。また、正しくないコンピュータ支援診断の結果は誤った治療方針に繋がる恐れもある。

本発明は、斯かる事情に鑑みてなされたものであり、その目的とするところは、内視鏡による撮像画像に対する人工知能の推定診断結果が正しくない場合、ユーザによる修正指示を受け付け、該修正指示に従って実行された修正の内訳を斯かる撮像画像に対応付けて記憶することによって、人工知能の推定診断結果の誤りを訂正できる内視鏡システム、プロセッサ、修正方法、コンピュータプログラム、サーバー装置およびデータ処理装置を提供することにある。

本発明に係る内視鏡システムは、内視鏡と、該内視鏡によって撮像された撮像画像を処理するプロセッサとを含み、前記撮像画像に対する学習モデルの推定診断結果を表示部に表示する内視鏡システムにおいて、前記推定診断結果に対する修正指示を受け付ける修正指示受付部と、前記修正指示に従って実行された修正の内訳を、該修正に係る撮像画像に対応付けて記憶する記憶部とを備えることを特徴とする。

本発明に係るプロセッサは、内視鏡によって撮像された撮像画像に対する学習モデルの推定診断結果を表示部に表示するプロセッサにおいて、前記推定診断結果に対する修正指示を受け付ける修正指示受付部と、前記修正指示に従って実行された修正の内訳を、該修正に係る撮像画像に対応付けて記憶する記憶部とを備えることを特徴とする。

本発明に係る修正方法は、内視鏡によって撮像された撮像画像に対する学習モデルの推定診断結果を表示部に表示し、前記推定診断結果に対する修正指示を受け付け、該修正指示に従って修正を行い、前記修正の内訳を、前記修正に係る撮像画像に対応付けて記憶する処理を実行することを特徴とする。

本発明に係るコンピュータプログラムは、コンピュータに、内視鏡によって撮像された撮像画像に対する学習モデルの推定診断結果を表示し、前記推定診断結果に対する修正指示を受け付け、該修正指示に従って修正を行い、前記修正の内訳を、前記修正に係る撮像画像に対応付けて記憶する処理を実行させることを特徴とする。

本発明に係るサーバー装置は、各内視鏡システムで内視鏡の撮像画像に対する学習モデルの推定診断結果に対して行われた修正の内訳と、該修正に係る撮像画像とを対応付けて記憶する記憶部と、前記記憶部の記憶内容に基づいて、外部装置に表示するための、前記推定診断結果に対する修正履歴を表す修正履歴表示画面を生成する画面生成部とを備えることを特徴とする。

本発明に係るデータ処理装置は、内視鏡によって撮像された撮像画像に対して推定診断を行う学習モデルを生成するデータ処理装置において、前記学習モデルの推定診断結果に対して行われた修正の内訳と、該修正に係る撮像画像とを対応付けて取得する取得部と、前記修正の内訳を教師データとして前記学習モデルの再学習を行う再学習部とを備えることを特徴とする。

本発明によれば、内視鏡による撮像画像に対する人工知能の推定診断結果が正しくない場合、ユーザによる修正指示を受け付け、該修正指示に従って実行された修正の内訳を斯かる撮像画像に対応付けて記憶することによって、人工知能の推定診断結果の誤りを訂正できる。

実施の形態１に係る内視鏡システムの外観を示す説明図である。 実施の形態１に係る内視鏡用プロセッサの外観を示す説明図である。 実施の形態１に係る内視鏡システムの要部構成を示すブロック図である。 実施の形態１において補助記憶装置に保存されているユーザＤＢのレコードレイアウトを説明する説明図である。 実施の形態１において補助記憶装置に保存されている患者ＤＢのレコードレイアウトを説明する説明図である。 実施の形態１に係る内視鏡システムの学習モデルの構成を模式的に説明するブロック図である。 実施の形態１に係る内視鏡システムにおいて表示される推定診断結果画面の一例を示す例示図である。 実施の形態１において補助記憶装置に保存されている検査結果ＤＢのレコードレイアウトを説明する説明図である。 実施の形態１に係る内視鏡用プロセッサの制御部の要部構成を示す機能ブロック図である。 実施の形態１に係る内視鏡システムにおいて、推定診断結果を修正する処理を説明するフローチャートである。 実施の形態１に係る内視鏡システムにおいて、推定診断結果画面の表示例を示す例示図である。 実施の形態１に係る内視鏡システムにおいて、推定診断結果画面の表示例を示す例示図である。 実施の形態１に係る内視鏡システムにおいて、推定診断結果画面の表示例を示す例示図である。 実施の形態１に係る内視鏡システムにおいて、推定診断結果を修正する処理を説明するフローチャートである。 実施の形態１に係る内視鏡システムにおいて病変部の範囲の修正を説明する説明図である。 実施の形態１に係る内視鏡システムにおける推定診断結果画面の変形例を示す例示図である。 実施の形態１に係る内視鏡システムにおける推定診断結果画面の変形例を示す例示図である。 実施の形態２に係る内視鏡システムの内視鏡用プロセッサの要部構成を示すブロック図である。 実施の形態２に係る内視鏡システムの制御部の要部構成を示す機能ブロックである。 実施の形態２に係る内視鏡システムにおいて、推定診断結果を修正する処理を説明するフローチャートである。 実施の形態２に係る内視鏡システムにおいて表示されるチャットボット用ウィンドウの一例を示す例示図である。 実施の形態２に係る内視鏡システムにおけるチャットボットを用いる修正を説明する説明図である。 実施の形態３に係るサーバー装置の外観を示す説明図である。 実施の形態３に係るサーバー装置の要部構成を示すブロック図である。 実施の形態３に係るサーバー装置にて生成された推定診断結果修正履歴の画面の一例を示す例示図である。 実施の形態３に係るサーバー装置において記憶部の検査結果総轄ＤＢのレコードレイアウトを説明する説明図である。 実施の形態４に係るデータ処理装置の外観を示す説明図である。 実施の形態４に係るデータ処理装置の要部構成を示すブロック図である。 実施の形態４に係るデータ処理装置における学習モデルの再学習処理について説明するフローチャートである。

以下に、本発明の実施の形態に係る内視鏡システム、プロセッサ、修正方法、コンピュータプログラム、サーバー装置およびデータ処理装置について、図面に基づいて詳述する。

（実施の形態１）
図１は、実施の形態１に係る内視鏡システム１０の外観を示す説明図である。内視鏡システム１０は、内視鏡用プロセッサ２０と、内視鏡４０とを含み、必要に応じて表示装置５０を内視鏡用プロセッサ２０に接続させても良い。表示装置５０は、たとえば液晶表示装置、または、有機ＥＬ（Electro Luminescence）表示装置である。

表示装置５０はキャスター付きの収容棚１６の上段に設置されている。内視鏡用プロセッサ２０は、収容棚１６の中段に収容されている。収容棚１６は、内視鏡検査用ベッド（図示せず）の近傍に配置される。内視鏡用プロセッサ２０にはキーボード１５が接続されている。

内視鏡検査の概略を説明する。収容棚１６が、内視鏡用ベッドの近くに配置される。検査技師、看護師または医師等により、当日内視鏡検査を予定している患者の名前および生年月日等を記録した患者リストが、内視鏡用プロセッサ２０に入力される。入力は、たとえばキーボード１５を用いて行なわれる。診療予約システム等から出力された患者リストが、ＵＳＢ（Universal Serial Bus）メモリ等の可搬型記録媒体または図示を省略する病院内ネットワークシステムを介して内視鏡用プロセッサ２０に読み込まれても良い。

内視鏡４０が、内視鏡用プロセッサ２０に接続されて、所定の動作確認が行なわれる。患者リストから、次に内視鏡検査を受ける患者の名前等が読み込まれる。内視鏡検査用ベッドに横たわった患者の名前等を確認した後に、内視鏡検査が行なわれる。内視鏡検査中は、内視鏡４０により撮影された撮像画像、即ち動画像が、表示装置５０にリアルタイムで表示され、斯かる動画像から所定の静止画像も表示される。

ユーザによる操作に基づいて、内視鏡の撮像画像の動画像および静止画像が、患者の名前等と関連づけて内視鏡用プロセッサ２０に保存される。内視鏡検査の終了後、内視鏡４０が内視鏡用プロセッサ２０から取り外される。以後、新たな内視鏡４０が、内視鏡用プロセッサ２０に接続される。

図２は、実施の形態１に係る内視鏡用プロセッサ２０の外観を示す説明図である。内視鏡用プロセッサ２０は、略直方体形状であり、一面に内視鏡用コネクタ３１およびタッチパネル２５を備える。内視鏡用コネクタ３１は、電気コネクタ３１Ａと光コネクタ３１Ｂとを含む。タッチパネル２５の下部に、媒体読書部２８が配置されている。媒体読書部２８は、たとえばＵＳＢコネクタ、または、ＳＤ（Secure Digital）カードスロット等の、可搬型記録媒体の読み書きを行なう接続用インターフェイスである。また、媒体読書部２８には、マウス（図示せず）を接続することもできる。

図１および図２に示すように、内視鏡用プロセッサ２０は、内視鏡用コネクタ３１およびタッチパネル２５を表示装置５０の表示画面と同じ向きにして、収容棚１６に収容されている。なお収容棚１６には、送水タンク３５（図３参照）、および吸引装置（図示せず）等も収容される。収容棚１６に、ビデオプリンタおよび電気メス等の周辺機器が収容されても良い。

内視鏡４０は、挿入部４４、操作部４３、ユニバーサルコード４９およびスコープコネクタ４８を有する。操作部４３には、制御ボタン４３１Ａ−４３１Ｃ、送気送水ボタン４３２、湾曲ノブ４３３およびチャンネル入口４３４が設けられている。チャンネル入口４３４には、処置具等を挿入する挿入口を有する鉗子栓４２が固定されている。

挿入部４４は長尺であり、一端が折止部４５を介して操作部４３に接続されている。挿入部４４は、操作部４３側から順に軟性部４４１、湾曲部４４２および先端部４４３を有する。湾曲部４４２は、湾曲ノブ４３３の操作に応じて湾曲する。

ユニバーサルコード４９は長尺であり、一端が操作部４３に接続され、他端がスコープコネクタ４８に接続されている。ユニバーサルコード４９は、軟性である。スコープコネクタ４８は略直方体形状であり、電気コネクタ３１Ａと光コネクタ３１Ｂとの双方に同時に接続される。スコープコネクタ４８には、送気送水用のチューブを接続する送気送水口金３６（図３参照）が設けられている。

図３は、実施の形態１に係る内視鏡システム１０の要部構成を示すブロック図である。上述したように、内視鏡システム１０は、内視鏡用プロセッサ２０と、内視鏡４０と、表示装置５０とを含む。
内視鏡用プロセッサ２０は、制御部２１、主記憶装置２２、補助記憶装置２３、通信部２４、タッチパネル２５、表示装置Ｉ／Ｆ（Interface）２６、入力装置Ｉ／Ｆ２７、媒体読書部２８、内視鏡用コネクタ３１、光源３３、ポンプ３４およびバスを備える。内視鏡用コネクタ３１は、上述の電気コネクタ３１Ａおよび光コネクタ３１Ｂを含む。

主記憶装置２２は、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）、フラッシュメモリ等の記憶装置である。主記憶装置２２には、制御部２１の後述するＣＰＵ２１１が行なう処理の途中で必要な情報およびＣＰＵ２１１で実行中のプログラムが一時的に保存される。

補助記憶装置２３は、ＳＲＡＭ、フラッシュメモリまたはハードディスク等の記憶装置である。補助記憶装置２３には、ユーザＤＢ６１、患者ＤＢ６２、検査結果ＤＢ６３および診断用の学習モデル６４が保存されている。その他、補助記憶装置２３には、ＣＰＵ２１１によって実行させるプログラム、およびプログラムの実行に必要な各種データが保存される。例えば、ＣＤ−ＲＯＭ等の記録媒体Ｃから本発明に係るコンピュータプログラムＰを媒体読書部２８が読み取り、読み取ったコンピュータプログラムＰを補助記憶装置２３に記憶し、ＣＰＵ２１１はコンピュータプログラムＰを用いて内視鏡システム１０に必要な処理を実行する。

通信部２４は、内視鏡用プロセッサ２０とネットワーク（図示せず）との間のデータ通信を行なうインターフェイスである。タッチパネル２５は、液晶表示パネル等の表示部２５１と、表示部２５１上に積層された入力部２５２とを備える。

表示部２５１は、例えば、ＬＣＤ又は有機ＥＬパネル等からなり、内視鏡４０による撮像画像が表示される。入力部２５２はユーザのタッチ操作により表示部２５１の表示画面上における所定位置を検出することができる。入力部２５２はユーザの指先のタッチ操作による圧力の変化を検知し、又は静電気による電気信号を検知して、ユーザの指先の接触位置に対応する表示部２５１の表示画面上の座標を検出し、該座標を特定する信号を発生する。また、これに限るものでなく、ポインティングデバイス（例えば、スタイラスペン）等を用いる構成であっても良い。

表示装置Ｉ／Ｆ２６は、内視鏡用プロセッサ２０と表示装置５０とを接続するインターフェイスである。入力装置Ｉ／Ｆ２７は、内視鏡用プロセッサ２０とキーボード１５等の入力装置とを接続するインターフェイスである。

光源３３は、たとえばＬＥＤ（Light Emitting Diode）またはキセノンランプ等の高輝度の白色光源である。光源３３は、ドライバ（図示せず）を介してバスに接続されている。光源３３の点灯、消灯および明るさの変更は、ＣＰＵ２１１により制御される。光源３３から照射した照明光は、光コネクタ３１Ｂに入射する。光コネクタ３１Ｂは、スコープコネクタ４８と係合しており、内視鏡４０に照明光を供給する。

ポンプ３４は、内視鏡４０の送気・送水機能用の圧力を発生させる。ポンプ３４は、ドライバ（図示せず）を介してバスに接続されている。ポンプ３４のオン、オフおよび圧力の変更は、ＣＰＵ２１１により制御される。ポンプ３４は、送水タンク３５を介して、スコープコネクタ４８に設けられた送気送水口金３６に接続される。

内視鏡用プロセッサ２０に接続された内視鏡４０の機能の概略を説明する。スコープコネクタ４８、ユニバーサルコード４９、操作部４３および挿入部４４の内部に、ファイバーバンドル、ケーブル束、送気チューブおよび送水チューブ等が挿通されている。光源３３から出射した照明光は、光コネクタ３１Ｂおよびファイバーバンドルを介して、先端部４４３に設けられた照明窓から放射される。

照明光により照らされた範囲を、先端部４４３に設けられた撮像素子で撮影する。撮像素子からケーブル束および電気コネクタ３１Ａを介して内視鏡用プロセッサ２０に映像画像のデータが伝送される。ＣＰＵ２１１により画像処理を施された撮像画像が、表示装置５０又は表示部２５１に表示される。

ユーザが制御ボタン４３１Ａ−Ｃを操作することにより、静止画の記録、動画の記録の開始および終了、表示装置５０又は表示部２５１に表示される画像の画質変更等が行なわれる。更に、制御ボタン４３１Ａ−Ｃは、後述する推定診断結果を、候補リストから選択された何れかに変更する修正の際に用いられる。例えば、制御ボタン４３１Ｃはユーザから修正指示を受け付け、かつ何れかの候補を確定する際に用いられる。また、制御ボタン４３１Ａ−Ｂは、候補リストから何れかの候補を選択する際に用いられる。即ち、制御ボタン４３１Ａ−Ｃは表示装置５０又は表示部２５１に表示された推定診断結果の修正に係る信号（以下、修正指示信号と称する。）を内視鏡用プロセッサ２０に送信する。制御ボタン４３１Ａ−Ｃの夫々の機能は、ユーザが任意に割り当てることができる。

ユーザが送気送水ボタン４３２を操作することにより、先端部４４３に設けられたノズルから、空気および水の出射が行なわれる。なお、送気および送水のオンおよびオフは、送気送水ボタン４３２の押し込み量に基づいて機械的に制御される。送気送水ボタン４３２の押し込み量が電気信号に変換されて内視鏡用プロセッサ２０に送信されることによって、ＣＰＵ２１１により送気および送水のオンおよびオフ制御が行なわれても良い。

図４は、実施の形態１において補助記憶装置２３に保存されているユーザＤＢ６１のレコードレイアウトを説明する説明図であり、図５は、実施の形態１において補助記憶装置２３に保存されている患者ＤＢ６２のレコードレイアウトを説明する説明図である。

補助記憶装置２３に保存されているユーザＤＢ６１は、例えば、内視鏡システム１０を使用する医師等のユーザに固有に付与されたユーザＩＤと、内視鏡用プロセッサ２０の設定情報とを関連づけて記録するＤＢである。
また、補助記憶装置２３に保存されている患者ＤＢ６２は、当日の内視鏡検査の順番と、患者ＩＤと、患者の名前と生年月日とを関連づけて記録するＤＢである。

学習モデル６４は、内視鏡４０による静止画像に基づくユーザ（医者など）の診断（病変部の有無、病変部の種類および症状の度合、病変部の範囲を含む。）の結果を学習データとした学習済みの学習モデルである。即ち、学習モデル６４は、内視鏡４０による静止画像の入力を受け付けて、病変部の有無、病変部の種類および症状の度合の確率を出力し、病変部の範囲を画定する推定診断を行う。
学習モデル６４はＳｅｇｍｅｎｔａｔｉｏｎアルゴリズムであり、例えば、Ｆａｓｔｅｒ Ｒ−ＣＮＮ、Ｍａｓｋ Ｒ−ＣＮＮ、ＹＯＬＯ、ＳＳＤ等を用いてＩｎｓｔａｎｃｅ Ｓｅｇｍｅｎｔａｔｉｏｎを行う。以下では、便宜上、Ｆａｓｔｅｒ Ｒ−ＣＮＮを用いる場合について説明する。

図６は、実施の形態１に係る内視鏡システム１０の学習モデル６４の構成を模式的に説明するブロック図である。
学習モデル６４は、ＣＮＮ（Convolutional Neural Network）６４１と、ＲＰＮ（Region Proposal Network）６４２と、検出／分類部６４３とを備える。ＣＮＮ６４１は、イメージ（ＲＧＢ）の入力を受け付け、特徴量を抽出して出力する。即ち、ＣＮＮ６４１には内視鏡検査の際に得られる静止画像が入力され、斯かる静止画像に係るＦｅａｔｕｒｅ Ｍａｐが出力される。出力されたＦｅａｔｕｒｅ Ｍａｐは、ＲＰＮ６４２に入力され、注目する複数の領域（Region of Interest／ＲｏＩｓ）に画定され、いわゆるＨｅａｔ ｍａｐが得られる。各ＲｏＩはＲｏＩ Ｐｏｏｌｉｎｇ処理にてＲｅｓｉｚｉｎｇされて検出／分類部６４３に入力される。検出／分類部６４３は、いわゆるＣｌａｓｓｉｆｉｅｒおよびＢｏｕｎｄｉｎｇ Ｂｏｘ Ｒｅｇｒｅｓｓｏｒを有する。検出／分類部６４３は、各ＲｏＩにおいて各分類（Instance）に該当する部分を検出して囲む検出処理を行い、かつ斯かる処理によって特定された部分（Bounding Box／ＢＢｓ）に対して最もスコア（確率）の高いＬａｂｅｌをＴｒｕｅ Ｌａｂｅｌとして選定する分類処理を行う。これによって、入力されたイメージに対するＳｅｇｍｅｎｔａｔｉｏｎ Ｍａｐが得られる。即ち、Ｓｅｇｍｅｎｔａｔｉｏｎ Ｍａｐは分類毎のＢＢｓを有し、ＢＢｓ毎に分類処理が行われている。

学習モデル６４は、多数の内視鏡検査の静止画像と、これに対応するピクセル単位のラベルデータとを含む学習データ（Ｇｒｏｕｎｄ−ｔｒｕｔｈ）を用いた学習が行われている。Ｇｒｏｕｎｄ−ｔｒｕｔｈは、バイナリマスク、分類毎のＢＢｓ、当該分類のＩＤ（Ｔｒｕｅ Ｌａｂｅｌ）を含む。また、バイナリマスクは、Ｉｎｓｔａｎｃｅに該当するピクセルが「１」であり、他の部分は「０」であるデータである。

本実施の形態において分類とは、例えば、病変部の種類、病変部の症状の度合等である。従って、本実施の形態では、学習モデル６４によって、病変部の種類および範囲に対応したＢＢｓを有し、ＢＢｓ毎に、病変部の種類および病変部の症状の度合が選定されたＳｅｇｍｅｎｔａｔｉｏｎ Ｍａｐが得られる。なお、Ｍａｓｋ Ｒ−ＣＮＮを用いる場合は、ＢＢｓ（又はInstance）毎に色を付けることも可能である。
ＣＰＵ２１１は、学習モデル６４によって出力されたＳｅｇｍｅｎｔａｔｉｏｎ Ｍａｐに基づいて、表示装置５０又は表示部２５１に推定診断結果画面を表示する。

図７は、実施の形態１に係る内視鏡システム１０において表示される推定診断結果画面の一例を示す例示図である。
例えば、内視鏡検査中にユーザが制御ボタン４３１Ａ−Ｃを操作して静止画像が得られた場合、ＣＰＵ２１１は斯かる静止画像の画像データを取得して、学習モデル６４に入力する。学習モデル６４は入力された静止画像に対して、上述したように、病変部の種類および範囲に対応したＢＢｓを有し、ＢＢｓ毎に、病変部の種類および病変部の症状の度合が選定されたＳｅｇｍｅｎｔａｔｉｏｎ Ｍａｐを出力することによって、推定診断を行う。ＣＰＵ２１１は学習モデル６４の出力に基づいて、病変部の有無、病変部の種類および症状の度合、病変部の範囲に対する推定診断結果を、表示装置５０又は表示部２５１に表示させる。推定診断結果画面には、斯かる推定診断結果と共に、推定診断の対象である撮像画像（静止画像）が表示される。

図７の例においては、推定診断に係る静止画像Ｆ１と、推定診断結果を表す診断テーブルＴ１（有無情報、種類情報、度合情報）が表示されている。診断テーブルＴ１には、病変部の有無を表す有無情報として、左側から一番目のフィールドに、「１」−「３」の病変部が存在することを示している。また、２番目のフィールドに、病変部の種類を表す種類情報として、病変部１の推定診断結果は潰瘍であること、病変部２の推定診断結果はポリープであること、病変部３の推定診断結果は癌Ｉであることを示している。更に、３番目のフィールドに、病変部の症状の度合を表す度合判断結果として、病変部１（潰瘍）はＡ２であること、病変部３の癌Ｉはグレード２であることを表示されている。ここでＡ２は、胃潰瘍の症状の度合いを表すものであり、一般にＡ１，Ａ２，Ｈ１，Ｈ２，Ｓ１，Ｓ２の６段階がある。また、病変部３の癌Ｉはグレードが高い程症状が深刻であることを示すものとする。これに限定されるものでなく、癌の病期を表すステージＩ−ＩＶ、または、深達度を用いて表示するようにしても良い。

また、病変部の範囲については、対応の静止画像Ｆ１に対する病変部の範囲の推定診断結果（範囲情報）を、ＣＰＵ２１１が破線にて表示装置５０又は表示部２５１に表示させる。なお、ＣＰＵ２１１は、静止画像Ｆ１において、病変部として推定診断された箇所を「１」―「３」のインデックスを付して表す。

更に、図７の推定診断結果画面には、「修正」および「確定」のソフトキーが設けられている。「修正」ソフトキーが操作された場合、いわゆる推定診断結果の修正モードに切り替わる。「確定」ソフトキーが操作された場合、未修正、又は修正済の診断テーブルＴ１および対応する静止画像Ｆ１が検査結果ＤＢ６３に記憶される。

以上に限定されるものではなく、図７の推定診断結果画面は、更に学習モデル６４が出力した推定診断に係る確率を表示しても良い。例えば、病変部の種類に対しては、病変部１が潰瘍である確率、病変部２がポリープである確率、病変部３が癌Ｉである確率を数値にて表示しても良い。また、数値の代わりに、確率に応じて変化する色により表示しても良い。例えば、確率が１００−９０％の場合は赤色を付けて表示し、確率が９０−８０％の場合はオレンジ色を付けて表示し、確率が８０−７０％の場合は青色を付けて表示する。

また、各Ｉｎｓｔａｎｃｅ（病変部）を矩形のＢｏｕｎｄｉｎｇ Ｂｏｘにて囲んで表示しても良い。この場合を、斯かるＢｏｕｎｄｉｎｇ Ｂｏｘを選択することで、斯かる病変部のみを拡大して表示する等ができる。

補助記憶装置２３に保存されている検査結果ＤＢ６３は、内視鏡検査中に記録した内視鏡の撮像画像（動画像又は静止画像）を含む検査結果を記録するＤＢである。図８は、実施の形態１において補助記憶装置２３に保存されている検査結果ＤＢ６３のレコードレイアウトを説明する説明図である。

検査結果ＤＢ６３は、検査日時フィールド、患者ＩＤフィールド、ユーザＩＤフィールドを有しており、検査結果に係る画像フィールド、推定診断結果フィールド、第１修正フィールド、第２修正フィールドおよび修正者ＩＤフィールドを有する。
検査日時フィールドには、内視鏡検査が行なわれた日時が記録されている。患者ＩＤフィールドには、内視鏡検査を受けた患者の患者ＩＤが記録されている。ユーザＩＤフィールドには、内視鏡検査を実施したユーザのユーザＩＤが記録されている。

また、画像フィールドには、内視鏡検査中に記録された静止画像又は動画が記録されている。推定診断結果フィールドには、学習モデル６４による推定診断結果が記録される。詳しくは、推定診断結果に係る病変部の範囲を表す座標データと、推定診断結果に係る病変部の有無、病変部の種類および症状の度合を表すデータとが記録される。

即ち、推定診断結果フィールドには、図７の診断テーブルＴ１を表すデータが記録される。第１修正フィールドには、学習モデル６４による推定診断結果に対する１回目の修正の内訳を表すデータが記録される。即ち、推定診断結果に対して１回目の修正が行われた場合、修正後の病変部の有無、病変部の種類、症状の度合および病変部の範囲を表すデータが第１修正フィールドに記録される。また、第２修正フィールドには、１回目の修正後、診断結果をレビューして際に再び修正が行われた場合、斯かる２回目の修正後の病変部の有無、病変部の種類、症状の度合および病変部の範囲を表すデータが記録される。修正者ＩＤフィールドには、２回目の修正を行ったユーザのユーザＩＤが記録される。

第１修正フィールドには、学習モデル６４による推定診断結果に対して内視鏡検査中に行われた修正の内訳を表すデータが記録される。また、第２修正フィールドには、内視鏡検査の終了後、検査結果をレビューする際に修正が行われた修正の内訳を表すデータが記録される。

例えば、図８の例では、「ＰＥ５５５５」の患者に対して「Ｕ００２」のユーザが内視鏡検査を行った場合、推定診断結果フィールドには当初の推定診断結果に係る病変部の範囲を表す「Ｂ０１範囲．ＤＡＴ」ファイル、当初の推定診断結果に係る病変部の有無、病変部の種類および症状の度合を表す「Ｂ０１種類度合．ｘｌｓ」ファイルが記録されている。

また、推定診断結果に係る病変部の有無、病変部の種類又は症状の度合に対して「Ｕ００２」のユーザによって１回目の修正が行われ、修正後の推定診断結果に係る病変部の有無、病変部の種類および症状の度合を表す「Ｂ０１種類度合Ｃ１．ｘｌｓ」ファイルが第１修正フィールドに記録されている。

更に、１回の修正後の推定診断結果に係る病変部の有無、病変部の種類又は症状の度合に対して「Ｕ０１１」のユーザによって２回目の修正が行われ、修正後の推定診断結果に係る病変部の有無、病変部の種類および症状の度合を表す「Ｂ０１種類度合Ｃ２．ｘｌｓ」ファイルが第２修正フィールドに記録されている。

なお、図８には、「ＰＥ０００１」の患者に対して「Ｕ００１」のユーザが内視鏡検査を行った場合は修正が行われていないことを示す。検査結果ＤＢ６３は、１回の内視鏡検査について、１つのレコードを有する。
このように、内視鏡システム１０においては、推定診断結果に対してユーザによる修正が行われた場合、補助記憶装置２３（検査結果ＤＢ６３）は、斯かる修正の内訳を修正に係る対応の撮像画像に関連付けて記憶する。

図９は、実施の形態１に係る内視鏡用プロセッサ２０の制御部２１の要部構成を示す機能ブロック図である。
制御部２１は、本実施の形態のプログラムを実行する演算制御装置である。制御部２１は、バスを介して内視鏡用プロセッサ２０を構成するハードウェア各部と接続されている。制御部２１は一或いは複数のＣＰＵ２１１と、修正指示受付部２１２とを含む。修正指示受付部２１２は、前記推定診断結果に対する修正指示をユーザから受け付ける。なお、これに限定されるものではなく、ＣＰＵ２１１はマルチコアＣＰＵであっても良く、ＣＰＵ２１１に加えてＧＰＵ又はＴＰＵを用いても良い。

修正指示受付部２１２は、第１修正受付部２１３と、第２修正受付部２１４と、第３修正受付部２１５とを有する。
第１修正受付部２１３は、内視鏡４０から出力された推定診断結果の修正指示信号に基づいて表示装置５０又は表示部２５１に表示された推定診断結果を修正する指示を受け付ける。第２修正受付部２１４および第３修正受付部２１５は、表示装置５０又は表示部２５１に表示された病変部の範囲（推定診断結果）に対する修正範囲を受け付ける。

詳しくは、第１修正受付部２１３は、内視鏡４０の制御ボタン４３１Ａ−Ｃを介して、表示装置５０又は表示部２５１に表示された前記有無情報を修正する指示をユーザから受け付ける。また、第１修正受付部２１３は、制御ボタン４３１Ａ−Ｃを介して、前記種類情報を修正する為に種類の候補を表示する指示をユーザから受け付け、表示される前記種類の候補から何れか一つの候補の選択を受け付ける。更に、第１修正受付部２１３は、制御ボタン４３１Ａ−Ｃを介して、前記度合情報を修正する為に症状の度合の候補を表示する指示をユーザから受け付け、表示される前記症状の度合の候補から何れか一つの候補の選択を受け付ける。

第２修正受付部２１４は、媒体読書部２８を介して表示装置５０又は表示部２５１に表示された病変部の範囲に対する修正範囲を受け付ける。具体的には、媒体読書部２８に接続されたマウス（図示せず）をユーザが操作することによって、表示装置５０又は表示部２５１に表示されるマウスポインター（マーク）の表示画面上の移動位置に基づいて、修正範囲を受け付ける。

更に、第２修正受付部２１４は、キーボード１５を介して、表示装置５０又は表示部２５１に表示された前記有無情報を修正する指示をユーザから受け付け、前記種類情報を修正する為に種類の候補を表示する指示をユーザから受け付け、表示される前記種類の候補から何れか一つの候補の選択を受け付け、前記度合情報を修正する為に症状の度合の候補を表示する指示をユーザから受け付け、表示される前記症状の度合の候補から何れか一つの候補の選択を受け付ける。

また、第３修正受付部２１５は、タッチパネル２５（入力部２５２）を介して、表示装置５０又は表示部２５１に表示された病変部の範囲に対する修正範囲を受け付ける。具体的には、タッチパネル２５と接触するユーザの指先又はスタイラスペンの接触位置、即ち、表示部２５１の表示画面上の座標に基づいて、修正範囲を受け付ける。

更に、第３修正受付部２１５は、タッチパネル２５（入力部２５２）を介して、表示装置５０又は表示部２５１に表示された前記有無情報を修正する指示をユーザから受け付け、前記種類情報を修正する為に種類の候補を表示する指示をユーザから受け付け、表示される前記種類の候補から何れか一つの候補の選択を受け付け、前記度合情報を修正する為に症状の度合の候補を表示する指示をユーザから受け付け、表示される前記症状の度合の候補から何れか一つの候補の選択を受け付ける。

図１０は、実施の形態１に係る内視鏡システム１０において、推定診断結果を修正する処理を説明するフローチャートである。説明の便宜上、図７を参考に説明する。

ユーザが内視鏡４０を用いて内視鏡検査を実行している間、撮像画像（動画像）がリアルタイムで表示装置５０又は表示部２５１に表示される。ユーザは、制御ボタン４３１Ａ−Ｃを適宜操作して静止画像を撮ることができる。この場合、表示装置５０又は表示部２５１には斯かる静止画像に対する前記推定診断結果画面が表示される。

即ち、ＣＰＵ２１１は斯かる静止画像の画像データを内視鏡４０から取得して学習モデル６４に入力する。学習モデル６４は入力された静止画像に対して、例えば病変部の有無、病変部の種類および症状の度合、病変部の範囲に対する推定診断を行う。即ち、学習モデル６４は、上述したように、病変部の種類および範囲に対応したＢＢｓを有し、ＢＢｓ毎に、病変部の種類および病変部の症状の度合が選定されたＳｅｇｍｅｎｔａｔｉｏｎ Ｍａｐを出力する。ＣＰＵ２１１は学習モデル６４の出力に基づいて推定診断結果（診断テーブルＴ１）を表示装置５０又は表示部２５１に表示させる（図７参照）。また、ＣＰＵ２１１は取得した画像データに適宜処理を施して、診断テーブルＴ１に対応する静止画像（以下、対応静止画像と称する。）を表示装置５０又は表示部２５１に表示する（ステップＳ１０１）。

推定診断結果画面の診断テーブルＴ１の内容が不適切であると判断した場合、ユーザは、内視鏡４０の制御ボタン４３１Ｃを一回押圧する操作を行い、又は、補助者が前記マウスを操作して前記「修正」ソフトキーをクリックし、又は前記「修正」ソフトキーをタッチすることによって、推定診断結果の修正モードに切り替えることができる。
即ち、内視鏡用プロセッサ２０は、内視鏡４０、マウス（媒体読書部２８）、キーボード１５又はタッチパネル２５を介してユーザから推定診断結果の修正に係る指示を受け付けることができる。

修正指示受付部２１２は、電気コネクタ３１Ａを介して制御ボタン４３１Ｃの操作による修正指示信号が流入されたのか、又は前記マウスによって推定診断結果画面の「修正」ソフトキーがクリックされたのか、又は前記「修正」ソフトキーがタッチされたかを監視することによって、ユーザから修正指示を受け付けたか否かを判定する（ステップＳ１０２）。
以下においては、説明の便宜上、第１修正受付部２１３が内視鏡４０を介して修正に係る指示を受け付ける場合について説明する。

制御ボタン４３１Ｃを一回押圧する操作による修正指示信号が流入された場合、修正指示受付部２１２は修正指示を受け付けたと判定する（ステップＳ１０２：ＹＥＳ）。この際、第１修正受付部２１３は修正対象の選択を受け付ける（ステップＳ１０３）。

例えば、ユーザが内視鏡４０の制御ボタン４３１Ｃを一回押圧操作することによって修正指示を修正指示受付部２１２が受け付けた場合、ＣＰＵ２１１は、デフォルトとして、推定診断結果画面の診断テーブルＴ１における病変部１の種類欄をアクティブ化（選択）する。この際、図１１に示すように、診断テーブルＴ１の病変部１の種類欄は色が付され、アクティブ化されていることをユーザに通知する。

ユーザはこれを視認したうえ、制御ボタン４３１Ａを連続操作することにより、診断テーブルＴ１において、病変部１の種類欄、病変部２の種類欄、病変部３の種類欄の順に、アクティブ化される欄を変えることができる。
また、ユーザが制御ボタン４３１Ｂを押圧操作した場合は、病変部の症状の度合欄がアクティブ化され、上述と同様、制御ボタン４３１Ａを連続操作することにより、病変部１の症状の度合欄、病変部２の症状の度合欄、病変部３の症状の度合欄の順に、アクティブ化される欄を変えることができる。

説明の便宜上、ユーザが病変部１の種類の修正を希望するものとする。
ユーザは、上述したように、制御ボタン４３１Ａ−Ｂを適宜操作して、病変部１の種類欄をアクティブ化した後、制御ボタン４３１Ｃを押圧操作して決定する。この際、第１修正受付部２１３は、電気コネクタ３１Ａを介して流入される制御ボタン４３１Ａ−Ｃの操作による修正指示信号を監視することによって、病変部１の種類欄が選択されたものと認識する。

次いで、ＣＰＵ２１１は、修正対象として選択されたものが、病変部の種類欄なのか、病変部の症状の度合欄なのか判定する（ステップＳ１０４）。斯かる判定は、例えば、選択された欄（以下、被選択欄と称する。）のフィールドに基づいて行われる。

被選択欄が病変部の種類であると判定した場合（ステップＳ１０４：ＹＥＳ）、ＣＰＵ２１１は被選択欄付近に、病変部の種類として選択可能な候補を羅列して表示する（ステップＳ１０５）。また、被選択欄が病変部の種類ではないと判定した場合（ステップＳ１０４：ＮＯ）、即ち、被選択欄が病変部の症状の度合であると判定した場合、ＣＰＵ２１１は被選択欄付近に、病変部の症状の度合として選択可能な候補を羅列して表示する（ステップＳ１１０）。

図１２および図１３は、実施の形態１に係る内視鏡システム１０において、推定診断結果画面の表示例を示す例示図である。例えば、被選択欄が病変部１の種類欄である場合、病変部１の種類欄の付近に種類の候補が羅列して表示され、既に表示中の「潰瘍」はハイライトにて表示され、その旨をユーザに通知する（図１２参照）。
また、被選択欄が病変部３の症状の度合欄である場合、病変部３の症状の度合欄の付近に症状の度合の候補が羅列して表示され、既に表示中の「グレード２」はハイライトにて表示され、その旨をユーザに通知する（図１３参照）。

このように、候補が表示された場合、ユーザは制御ボタン４３１Ａを連続操作することによって、上述したように、選択対象を変えることができ、制御ボタン４３１Ｃを押圧操作することによって、何れか一つの候補を選択することができる。
この際、第１修正受付部２１３は、電気コネクタ３１Ａを介して流入される制御ボタン４３１Ａ−Ｃの操作による修正指示信号を監視することによって、何れかの候補の選択を受け付けたか否かを判定する（ステップＳ１０６）。

第１修正受付部２１３は、何れかの候補の選択を受け付けていないと判定された場合（ステップＳ１０６：ＮＯ）、候補の選択を受け付けるまで斯かる判定を繰り返して行う。
一方、第１修正受付部２１３によって何れかの候補の選択を受け付けたと判定された場合（ステップＳ１０６：ＹＥＳ）、ＣＰＵ２１１は推定診断結果画面の推定診断結果（診断テーブルＴ１）を修正する（ステップＳ１０７）。

即ち、ステップＳ１０６にて、第１修正受付部２１３が「胃炎」の選択を受け付けた場合、ＣＰＵ２１１は、診断テーブルＴ１における病変部１の種類欄を「潰瘍」から「胃炎」に変更して表示する。このようにして、推定診断結果に対して病変部の種類を修正することができる。

また、ステップＳ１０６にて、第１修正受付部２１３が「正常」の選択を受け付けた場合、ＣＰＵ２１１は、診断テーブルＴ１における病変部１の種類欄を「潰瘍」から「正常」に変更して表示する。このようにして、推定診断結果に対して病変部の有無を修正することができる。

例えば、ステップＳ１０６にて、第１修正受付部２１３が「癌Ｉ」の選択を受け付けた場合、ＣＰＵ２１１は、診断テーブルＴ１における病変部１の種類欄を「潰瘍」から「癌Ｉ」に変更して表示する。なお、この際、ＣＰＵ２１１は、病変部１の症状の度合欄も連動して変更させる。

更に、ステップＳ１０６にて、病変部３の症状の度合の候補から、第１修正受付部２１３が「グレード１」の選択を受け付けた場合、ＣＰＵ２１１は、診断テーブルＴ１における病変部３の症状の度合欄を「グレード２」から「グレード１」に変更して表示する。このようにして、推定診断結果に対して病変部の症状の度合を修正することができる。

以上のようにして、推定診断結果の修正を確認したユーザは、更に推定診断結果の修正を希望する場合は、制御ボタン４３１Ｃを一回押圧操作すれば良い。また、推定診断結果の修正の終了（確定）を希望する場合は、制御ボタン４３１Ｃを長押しすれば良い。

以後、ＣＰＵ２１１は、電気コネクタ３１Ａを介して流入される制御ボタン４３１Ｃの操作による修正指示信号を監視することによって、現在表示中の推定診断結果（診断テーブルＴ１）を確定する指示を受け付けたか否かを判定する（ステップＳ１０８）。即ち、ＣＰＵ２１１は、修正後の推定診断結果を確定する指示を受け付けたか否かを判定する。

ユーザが内視鏡４０の制御ボタン４３１Ｃを長押しした場合、ＣＰＵ２１１は現在の推定診断結果（診断テーブルＴ１）を確定する指示を受け付けたと判定し（ステップＳ１０８：ＹＥＳ）、処理をステップＳ１０９に進める。
また、ＣＰＵ２１１は現在の推定診断結果（診断テーブルＴ１）を確定する指示を受け付けていないと判定した場合（ステップＳ１０８：ＮＯ）、処理をステップＳ１０２に戻す。

一方、ステップＳ１０２にて、修正指示受付部２１２が修正指示を受け付けていないと判定した場合も（ステップＳ１０２：ＮＯ）、ＣＰＵ２１１は、現在表示中の推定診断結果（診断テーブルＴ１）を確定する指示を受け付けたか否かを判定する（ステップＳ１０８）。即ち、ＣＰＵ２１１は、修正無しの推定診断結果を確定する指示を受け付けたか否かを判定する。

現在の推定診断結果（診断テーブルＴ１）を確定する指示を受け付けたと判定した場合（ステップＳ１０８：ＹＥＳ）、ＣＰＵ２１１は、現在の表示中の診断テーブルＴ１を表すデータと、対応静止画像Ｆ１とを関連付けて検査結果ＤＢ６３に記憶する（ステップＳ１０９）。
即ち、ＣＰＵ２１１は、修正前の診断テーブルＴ１を表すデータを検査結果ＤＢ６３の「推定診断結果」フィールドに記録し、修正後の診断テーブルＴ１を表すデータを検査結果ＤＢ６３の「第１修正」フィールドに記録する。これによって、推定診断結果に対する修正の内訳を対応静止画像Ｆ１と対応付けて記憶することができる。

以後、患者が帰宅した後に、斯かる推定診断結果（診断テーブルＴ１）に対する修正についてレビューが行われることがあり得る。斯かるレビューの際、上述した修正済みの診断テーブルＴ１に対して再び修正が行われた場合、または、推定診断結果に対して新たに修正が行われる場合がある（以下、これら修正をまとめて再修正と称する）。斯かる再修正後の診断テーブルＴ１を表すデータが検査結果ＤＢ６３の「第２修正」フィールドに記録され、斯かる再修正を行ったユーザのＩＤが検査結果ＤＢ６３の「修正者ＩＤ」フィールドに記録される（図８参照）。

以上においては、第１修正受付部２１３が内視鏡４０を介して推定診断結果の修正に係る指示をユーザから受け付ける場合について説明したが、これに限定されるものでない。
例えば、上述のステップＳ１０３における修正対象の選択の受け付け、および上述のステップＳ１０６における候補の選択の受け付けを、第２修正受付部２１４がキーボード１５の矢印キーおよびエンターキーを介してユーザから受け付けても良く、第３修正受付部２１５がタッチパネル２５を介してユーザから受け付けても良い。

更に、以上に限定されるものではない。ＣＰＵ２１１がステップＳ１０５およびステップＳ１１０にて、候補を羅列して表示する際、確率順に表示しても良い。上述したように、学習モデル６４による推定診断の際に、病変部の種類、症状の度合等に対して求められた確率に基づき、ＣＰＵ２１１が確率の高い順に候補を羅列して表示するようにしても良い。
また、確率が高い幾つかの候補のみを確率順に羅列して表示し、残りの候補は予め定められた順番にて羅列しても良い。

なお、推定診断結果（診断テーブルＴ１）に対してステップＳ１０５−ステップＳ１０７にて病変部の種類が修正された場合は補正後の病変部の種類に応じて症状の度合も修正する必要が生じる。従って、病変部の種類の修正後はこれに同期して、修正後の種類に対応する症状の度合の候補をＣＰＵ２１１が表示させ、続く症状の度合の補正操作におけるユーザの便益を増大させることもできる。

図１４は、実施の形態１に係る内視鏡システム１０において、推定診断結果を修正する処理を説明するフローチャートであり、図１５は、実施の形態１に係る内視鏡システム１０において病変部の範囲の修正を説明する説明図である。

説明の便宜上、内視鏡４０を用いた内視鏡検査の終了後、または患者が帰宅した後、ＰＣを用いて斯かる検査結果についてレビューを行う場合について説明する。
斯かるレビューの際、ＰＣの表示部には、推定診断結果画面が表示される。斯かる推定診断結果画面には、検査中に録画された動画像と、検査中に取られた静止画像（対応静止画像Ｆ１）とが共に表示される。上述の如く、推定診断結果画面は、斯かる静止画像に対する推定診断結果（診断テーブルＴ１）を含む。
以下においては、説明の便宜上、推定診断結果のうち病変部の範囲を修正する場合についてのみ説明する。

推定診断結果画面に表示された推定診断結果のうち病変部の範囲について修正を希望するユーザは、前記マウスを操作して対応静止画像Ｆ１をクリックし、又は対応静止画像Ｆ１をタッチすることによって、病変部の範囲の修正モードに切り替えることができる。
即ち、内視鏡用プロセッサ２０は、マウス（媒体読書部２８）、又はタッチパネル２５を介してユーザから病変部の範囲の修正に係る指示を受け付けることができる。

修正指示受付部２１２は、前記マウスによって対応静止画像Ｆ１がクリックされたのか、又は対応静止画像Ｆ１がタッチされたかを監視することによって、ユーザから病変部の範囲の修正指示を受け付ける（ステップＳ２０１）。
以下においては、説明の便宜上、第３修正受付部２１５がタッチパネル２５を介して病変部の範囲の修正に係る指示を受け付ける場合について説明する。

ユーザが例えばスタイラスペンにて対応静止画像Ｆ１をタッチした場合、修正指示受付部２１２が病変部の範囲の修正指示を受け付けた場合、ＣＰＵ２１１は、推定診断結果画面に、病変部の範囲の修正に用いられるアイコンＳ１，Ｓ２を表示させる（ステップＳ２０２）。

アイコンＳ１が操作された場合、病変部の範囲の新たな画定に用いられる筆の画像が対応静止画像Ｆ１に表示され、斯かる筆の先の表示部２５１上における位置（座標）に基づいて新たな病変部の範囲が定められる。図１５に示すように、斯かる筆の先の移動軌跡が対応静止画像Ｆ１上にて実線にて描画が行われ、斯かる実線によって病変部の範囲が定められる。タッチパネル２５上にてユーザがスタイラスペンを移動させた場合、これに伴って前記筆の先も移動する。

アイコンＳ２が操作された場合、消しゴムの画像が対応静止画像Ｆ１に表示され、消しゴムの表示部２５１上における位置（座標）に基づいて、推定診断結果として当初表示された病変部の範囲、又は、上述したようにユーザによって修正された病変部の範囲を削除することができる。即ち、当初表示された病変部の範囲を表す破線、又は、修正された病変部の範囲を表す実線のうち、前記消しゴムの位置と重複する部分は削除される。タッチパネル２５上にてユーザがスタイラスペンを移動させた場合、これに伴って前記消しゴムも移動する。

ＣＰＵ２１１は、描画指示を受け付けたか否かを判定する（ステップＳ２０３）。斯かる判定は、ＣＰＵ２１１がアイコンＳ１の操作如何を監視することによって行われる。
ＣＰＵ２１１は、描画指示を受け付けたと判定した場合（ステップＳ２０３：ＹＥＳ）、対応静止画像Ｆ１上に筆の画像を表示させる。次いで、第３修正受付部２１５は描画位置を受け付ける（ステップＳ２０７）。即ち、ユーザが病変部の新たな範囲をスタイラスペンでなぞると、斯かるスタイラスペンの移動に伴って筆の先が移動する。この際のスタイラスペン（又は筆の先）の移動軌跡を描画位置として第３修正受付部２１５が受け付ける。次いで、ＣＰＵ２１１は、図１５に示すように、ステップＳ２０７にて受け付けた描画位置に基づいて対応静止画像Ｆ１上に実線での描画を行う（ステップＳ２０８）。

ＣＰＵ２１１は描画終了指示を受け付けたか否かを判定する（ステップＳ２０９）。斯かる判定は、ユーザがスタイラスペンをタッチパネル２５から離したか否かをＣＰＵ２１１が監視することによって、行われる。
ＣＰＵ２１１は描画終了指示を受け付けたと判定した場合（ステップＳ２０９：ＹＥＳ）、処理をステップＳ２１０に進める。また、ＣＰＵ２１１は描画終了指示を受け付けていないと判定した場合（ステップＳ２０９：ＮＯ）、処理をステップＳ２０８に戻す。

一方、ＣＰＵ２１１は、描画指示を受け付けていないと判定した場合（ステップＳ２０３：ＮＯ）、即ち、アイコンＳ２が操作された場合、ＣＰＵ２１１は対応静止画像Ｆ１上に消しゴムの画像を表示させる。次いで、第３修正受付部２１５は削除位置を受け付ける（ステップＳ２０４）。即ち、当初表示された病変部の範囲（破線）、又は、修正後の病変部の範囲（実線）のうち、削除を希望する部分にユーザがスタイラスペンでなぞると、斯かるスタイラスペンの移動に伴って消しゴムが移動する。この際のスタイラスペン（又は消しゴム）の移動軌跡を削除位置として第３修正受付部２１５が受け付ける。次いで、ＣＰＵ２１１は、ステップＳ２０５にて受け付けた削除位置に基づいて病変部の範囲に係る破線又は実線のうち前記消しゴムの位置と重複する部分を削除する（ステップＳ２０５）。

ＣＰＵ２１１は削除終了指示を受け付けたか否かを判定する（ステップＳ２０６）。斯かる判定は、ユーザがスタイラスペンをタッチパネル２５から離したか否かをＣＰＵ２１１が監視することによって、行われる。

ＣＰＵ２１１は削除終了指示を受け付けたと判定した場合（ステップＳ２０６：ＹＥＳ）、処理をステップＳ２１０に進める。また、ＣＰＵ２１１は削除終了指示を受け付けていないと判定した場合（ステップＳ２０６：ＮＯ）、処理をステップＳ２０５に戻す。

以上のように、ステップＳ２０３からステップＳ１０９までの処理によって、第３修正受付部２１５は、推定診断結果の病変部の範囲に対する修正範囲を受け付けるころができる。

推定診断結果の病変部の範囲に対する修正を行ったユーザは、推定診断結果画面において対応静止画像Ｆ１以外の部分をスタイラスペンでタッチすることによって、病変部の範囲の修正モードを終了できる。

ＣＰＵ２１１は、タッチパネル２５において、対応静止画像Ｆ１以外の部分にてタッチ操作があったか否かを監視することによって、病変部の範囲の修正を終了する指示を受け付けたか否かを判定する（ステップＳ２１０）。

ＣＰＵ２１１は病変部の範囲の修正を終了する指示を受け付けていないと判定した場合（ステップＳ２１０：ＮＯ）、処理をステップＳ２０３に戻す。また、ＣＰＵ２１１は、病変部の範囲の修正を終了する指示を受け付けたと判定した場合（ステップＳ２１０：ＹＥＳ）、現在の表示中の診断テーブルＴ１を表すデータと、修正後の対応静止画像Ｆ１とを関連付けて検査結果ＤＢ６３に記憶する（ステップＳ２１１）。

即ち、ＣＰＵ２１１は、修正前の対応静止画像Ｆ１を表すデータを検査結果ＤＢ６３の「画像」フィールドに記録し、修正後の対応静止画像Ｆ１を表すデータを検査結果ＤＢ６３の「第１修正」フィールドに記録する。

以後、斯かる推定診断結果（対応静止画像Ｆ１）に対する修正について更にレビューが行われることがあり得る。斯かるレビューの際、上述した修正済みの対応静止画像Ｆ１に対して再び修正が行われた場合は、斯かる再修正後の対応静止画像Ｆ１を表すデータが検査結果ＤＢ６３の「第２修正」フィールドに記録され、斯かる再修正を行ったユーザのＩＤが検査結果ＤＢ６３の「修正者ＩＤ」フィールドに記録される（図８参照）。

以上においては、第３修正受付部２１５がタッチパネル２５を介して推定診断結果（病変部の範囲）の修正に係る指示をユーザから受け付ける場合について説明したが、これに限定されるものでない。
例えば、上述のステップＳ２０３からステップＳ１０９までの処理を、第２修正受付部２１４がマウスを介して、即ち、マウスポインタの位置に基づいてユーザから受け付けても良い。

以上のように、実施の形態１に係る内視鏡システム１０においては、内視鏡用プロセッサ２０の学習モデル６４による推定診断結果に対してユーザが検討を行い、正しく訂正することができる。

＜変形例＞
以上においては、推定診断結果画面が対応静止画像Ｆ１のみを含む場合を例に説明したが、実施の形態１に係る内視鏡システム１０はこれに限定されるものではない。例えば、対応静止画像Ｆ１と共に、内視鏡検査の実行中の撮像画像（動画像）がリアルタイムで表示装置５０又は表示部２５１に表示されても良い。

図１６および図１７は実施の形態１に係る内視鏡システム１０における推定診断結果画面の変形例を示す例示図である。
図１６および図１７には、何れも、対応静止画像Ｆ１と共に、リアルタイムの撮像画像（動画像Ｆ２）が表示装置５０又は表示部２５１に表示されている。図１６の例においては、対応静止画像Ｆ１がメイン画像であって推定診断結果画面の大分部を占めている。図１７の例においては、動画像Ｆ２がメイン画像であって推定診断結果画面の大部分を占めている。

このように、対応静止画像Ｆ１および動画像Ｆ２を一つの推定診断結果画面に表示するとこができるので、対応静止画像Ｆ１に係る箇所と、他の個所とを比較するなど、利便性を高めることができる。

また、実施の形態１に係る内視鏡システム１０はこれに限定されるものでない。例えば、対応静止画像Ｆ１および動画像Ｆ２のどちらをメイン画像にするかを、必要に応じてユーザが選択できるように構成しても良い。

なお、上述した修正指示受付部２１２、第１修正受付部２１３、第２修正受付部２１４および第３修正受付部２１５は、ハードウェアロジックによって構成してもよいし、ＣＰＵ２１１が所定のプログラムを実行することにより、ソフトウェア的に構築されてもよい。

（実施の形態２）
図１８は、実施の形態２に係る内視鏡システム１０の内視鏡用プロセッサ２０の要部構成を示すブロック図である。
実施の形態１と同様に、内視鏡用プロセッサ２０は、制御部２１、主記憶装置２２、補助記憶装置２３、通信部２４、タッチパネル２５、表示装置Ｉ／Ｆ２６、入力装置Ｉ／Ｆ２７、媒体読書部２８、内視鏡用コネクタ３１、光源３３、ポンプ３４およびバスを備える。内視鏡用コネクタ３１は、上述の電気コネクタ３１Ａおよび光コネクタ３１Ｂを含む。また、内視鏡用プロセッサ２０には、表示装置５０、キーボード１５等が接続されている。これらについては、実施の形態１にて既に説明しており、詳しい説明を省略する。

実施の形態２に係る内視鏡用プロセッサ２０は、マイク７０、Ａ／Ｄ７１およびパターンマッチング部７２を更に備えている。また、実施の形態２に係る内視鏡用プロセッサ２０の補助記憶装置２３には辞書ＤＢ６５が保存されており、制御部２１は音声指示受付部２１６を更に有している。

マイク７０は内視鏡４０のユーザの音声を集音する。Ａ／Ｄ７１は、マイク７０からの音声信号（アナログ信号）をデジタル信号に変換する。
パターンマッチング部７２は、辞書ＤＢ６５の辞書データを参照して、Ａ／Ｄ７１から出力される音声のデジタル音声信号と辞書データに登録された音声パターンとのパターンマッチングを行って、一致する音声パターンを検出することにより音声認識する。そして、パターンマッチング部７２は、音声認識された音声が予め定められた特定単語を含む場合のみ、斯かる音声認識結果を制御部２１に送信する。前記特定単語はユーザが自由に設定でき、例えばユーザが発話する冒頭に斯かる特定単語を使用することによって、これから内視鏡用プロセッサ２０の操作に係る指示を出すことを内視鏡用プロセッサ２０側が認識することができる。

辞書ＤＢ６５は、ＨＤＤ、フラッシュメモリ等の不揮発性メモリ等の記憶媒体である。辞書ＤＢ６５には、発話音声の音声パターンが登録された辞書データが記憶されている。

図１９は、実施の形態２に係る内視鏡システム１０の制御部２１の要部構成を示す機能ブロックである。
制御部２１は、修正指示受付部２１２に加えて音声指示受付部２１６を有している。音声指示受付部２１６は、パターンマッチング部７２によるパターンマッチングにて音声認識された、ユーザの発話による修正指示を受け付ける。

ユーザからの音声指示はマイク７０にて集音されてアナログ信号でＡ／Ｄ７１に供給され、Ａ／Ｄ７１は斯かるアナログ信号をデジタル信号（以下、デジタル音声信号と称する。）に変換してパターンマッチング部７２に送信する。
斯かるデジタル音声信号に対して、パターンマッチング部７２で辞書ＤＢ６５の辞書データを参照して音声認識が行われる。音声認識の結果から、上述した特定単語が含まれている場合は、斯かる音声認識の結果が制御部２１（音声指示受付部２１６）に送信される。

図２０は、実施の形態２に係る内視鏡システム１０において、推定診断結果を修正する処理を説明するフローチャートである。斯かる修正の処理においては、ユーザが音声にて修正に係る指示を行う。説明の便宜上、図７、図１２および図１３を参考に説明する。また、説明の便宜上、前記特定単語は「推定診断結果修正」であるとする。

ユーザが内視鏡４０を用いて内視鏡検査を実行している間、撮像画像（動画像）がリアルタイムで表示装置５０又は表示部２５１に表示される。ユーザは、制御ボタン４３１Ａ−Ｃを適宜操作して静止画像を撮ることができる。この場合、表示装置５０又は表示部２５１には斯かる静止画像に対する前記推定診断結果画面が表示される。

即ち、ＣＰＵ２１１は斯かる静止画像の画像データを内視鏡４０から取得して学習モデル６４に入力する。学習モデル６４は入力された静止画像に対して、例えば病変部の有無、病変部の種類および症状の度合、病変部の範囲に対する推定診断を行う。即ち、学習モデル６４は、上述したように、病変部の種類および範囲に対応したＢＢｓを有し、ＢＢｓ毎に、病変部の種類および病変部の症状の度合が選定されたＳｅｇｍｅｎｔａｔｉｏｎ Ｍａｐを出力する。ＣＰＵ２１１は学習モデル６４の出力に基づいて推定診断結果（診断テーブルＴ１）を表示装置５０又は表示部２５１に表示させる（図７参照）。また、ＣＰＵ２１１は取得した画像データに適宜処理を施して対応静止画像Ｆ１を表示装置５０又は表示部２５１に表示する（ステップＳ３０１）。

推定診断結果画面の診断テーブルＴ１の内容が不適切であると判断した場合、ユーザは、「推定診断結果修正、テーブルを修正する」と発話し、推定診断結果（テーブル）を修正する音声指示を行う。この際、上述したように、ユーザの音声指示はパターンマッチング部７２によって音声認識され、制御部２１（音声指示受付部２１６）に提供される。これによって、推定診断結果の修正モードに切り替えることができる。

ＣＰＵ２１１はユーザから修正指示を受け付けたか否かを判定する（ステップＳ３０２）。斯かる判定は、パターンマッチング部７２からの信号に基づいて行われる。
上述したように、ユーザが音声指示を行った場合、音声指示受付部２１６はパターンマッチング部７２を介して斯かる音声指示を受け付け、ＣＰＵ２１１は修正指示を受け付けたと判定する（ステップＳ３０２：ＹＥＳ）。

例えば、ユーザは、病変部１の種類の修正を希望する場合、「推定診断結果修正、病変部１の種類を修正する」と発話し、推定診断結果のうち、病変部１の種類を修正する音声指示を行う。この際、音声指示受付部２１６は、パターンマッチング部７２を介して斯かる音声指示を受け付け、修正対象の選択を受け付ける（ステップＳ３０３）。

次いで、ＣＰＵ２１１は、パターンマッチング部７２による音声認識結果に基づいて、修正対象として選択されたものが、病変部の種類なのか、病変部の症状の度合なのか判定する（ステップＳ３０４）。

修正対象が病変部の種類であると判定した場合（ステップＳ３０４：ＹＥＳ）、ＣＰＵ２１１は修正対象（病変部１の種類欄）付近に、病変部の種類として選択可能な候補を羅列して表示する（ステップＳ３０５）。

上述の如く、ユーザが「推定診断結果修正、病変部１の種類を修正する」と発話したので、図１２に示すように、病変部１の種類欄の付近に種類の候補が羅列して表示され、既に表示中の「潰瘍」はハイライトにて表示される。

一方、ユーザが「推定診断結果修正、病変部３の症状の度合を修正する」と発話した場合は、修正対象が病変部の種類ではないと判定し（ステップＳ３０４：ＮＯ）、即ち、修正対象が病変部の症状の度合であると判定し、ＣＰＵ２１１は修正対象（病変部３の症状の度合欄）付近に、病変部の症状の度合として選択可能な候補を羅列して表示する（ステップＳ３１１）。
この際、図１３に示すように、病変部３の症状の度合欄の付近に症状の度合の候補が羅列して表示され、既に表示中の「グレード２」はハイライトにて表示される。

このように、候補が表示された場合、ユーザは表示された候補の何れかを発話することによって、何れか一つの候補を選択することができる。
この際、音声指示受付部２１６はパターンマッチング部７２を介して斯かる音声指示を受け付け、パターンマッチング部７２による音声認識結果に基づいて、何れかの候補の選択を受け付ける（ステップＳ３０６）。

次いで、ＣＰＵ２１１は推定診断結果画面の推定診断結果（診断テーブルＴ１）を修正する（ステップＳ３０７）。即ち、ステップＳ３０６にて受け付けた音声指示に基づいて、病変部の種類又は病変部の症状の度合を修正する。

音声指示受付部２１６が「胃炎」の選択を受け付けた場合、ＣＰＵ２１１は、診断テーブルＴ１における病変部１の種類欄を「潰瘍」から「胃炎」に変更して表示する。このようにして、推定診断結果に対して病変部の種類を修正することができる。

また、ステップＳ３０６にて、音声指示受付部２１６が「正常」の選択を受け付けた場合、ＣＰＵ２１１は、診断テーブルＴ１における病変部１の種類欄を「潰瘍」から「正常」に変更して表示する。このようにして、推定診断結果に対して病変部の有無を修正することができる。

更に、ステップＳ３０６にて、病変部３の症状の度合の候補から、音声指示受付部２１６が「グレード１」の選択を受け付けた場合、ＣＰＵ２１１は、診断テーブルＴ１における病変部３の症状の度合欄を「グレード２」から「グレード１」に変更して表示する。このようにして、推定診断結果に対して病変部の症状の度合を修正することができる。

次いで、ＣＰＵ２１１は、音声指示の認識結果の確認をユーザに要求するための情報を出力する。具体的に、ＣＰＵ２１１は、音声指示の認識結果の確認をユーザに要求する旨表示装置５０又は表示部２５１に表示する（ステップＳ３０８）。例えば、ＣＰＵ２１１は、修正された病変部の種類欄、又は、修正された病変部の症状の度合欄を点滅させて、ユーザの音声指示を受け付けて行った音声認識の結果が正しいか否かをユーザに確認させる。

なお、これに限定されるものでなく、スピーカーを介した音声情報として音声指示の認識結果の確認要求を出力しても良く、表示装置５０又は表示部２５１でのポップアップ表示のように文字情報としての出力であっても良い。

以上のようにして、推定診断結果の修正の終了（確定）を希望するユーザは、「推定診断結果修正、修正を終了する」と発話すれば良い。
ＣＰＵ２１１は、パターンマッチング部７２による音声認識結果に基づいて、現在表示中の推定診断結果（診断テーブルＴ１）を確定する指示を受け付けたか否かを判定する（ステップＳ３０９）。即ち、ＣＰＵ２１１は、修正後の推定診断結果を確定する指示を受け付けたか否かを判定する。

ＣＰＵ２１１は現在の推定診断結果（診断テーブルＴ１）を確定する指示を受け付けたと判定した場合（ステップＳ３０９：ＹＥＳ）、処理をステップＳ３１０に進める。
また、ＣＰＵ２１１は現在の推定診断結果（診断テーブルＴ１）を確定する指示を受け付けていないと判定した場合（ステップＳ３０９：ＮＯ）、処理をステップＳ３０２に戻す。

一方、ステップＳ３０２にて、音声指示受付部２１６が修正指示を受け付けていないと判定した場合も（ステップＳ３０２：ＮＯ）、ＣＰＵ２１１は、現在表示中の推定診断結果（診断テーブルＴ１）を確定する指示を受け付けたか否かを判定する（ステップＳ３０９）。即ち、ＣＰＵ２１１は、修正無しの推定診断結果を確定する指示を受け付けたか否かを判定する。

現在の推定診断結果（診断テーブルＴ１）を確定する指示を受け付けたと判定した場合（ステップＳ３０９：ＹＥＳ）、ＣＰＵ２１１は、現在の表示中の診断テーブルＴ１を表すデータと、対応静止画像Ｆ１とを関連付けて検査結果ＤＢ６３に記憶する（ステップＳ３１０）。
即ち、ＣＰＵ２１１は、修正前の診断テーブルＴ１を表すデータを検査結果ＤＢ６３の「推定診断結果」フィールドに記録し、修正後の診断テーブルＴ１を表すデータを検査結果ＤＢ６３の「第１修正」フィールドに記録する。

以上のように、実施の形態２に係る内視鏡システム１０においては、内視鏡用プロセッサ２０の学習モデル６４による推定診断結果に対してユーザが検討を行い、音声指示にて、正しく且つ簡単に修正することができる。

なお、上述した音声指示受付部２１６は、ハードウェアロジックによって構成してもよいし、ＣＰＵ２１１が所定のプログラムを実行することにより、ソフトウェア的に構築されてもよい。

実施の形態２に係る内視鏡システム１０は以上の記載に限定されるものではない。内視鏡用プロセッサ２０がいわゆるチャットボット機能を有するように構成しても良い。以下、詳しく説明する。

例えば、内視鏡４０のユーザが推定診断結果に対する修正を希望する場合、ユーザは「チャットボット開始」と発話する。ここで、「チャットボット」はいわゆるウェイクワードである。これに対して内視鏡用プロセッサ２０は上述した方法によって音声認識を行い、ＣＰＵ２１１は推定診断結果画面にチャットボット用ウィンドウを表示させる。

図２１は、実施の形態２に係る内視鏡システム１０において表示されるチャットボット用ウィンドウＷの一例を示す例示図である。実施の形態２に係る内視鏡システム１０は、例えば、シナリオ型対話システムを採用している。内視鏡用プロセッサ２０の補助記憶装置２３には、ユーザの音声指示パターンに対応付けて多数の応答パターンが記録されたデータベース（図示せず）を記憶している。また、これに限定されるものではなく、自由型対話システムを用いても良い。

表示されたチャットボット用ウィンドウＷには、内視鏡用プロセッサ２０側を表すアイコン（以下、プロセッサアイコンと称する。）と、スタンバイ完了を表す所定の文字列（図２１では「はい」）が対応付けて表示される。

以後、ユーザは、音声での修正指示を行う。便宜上、病変部１の種類を変更する場合を例に説明する。図２２は、実施の形態２に係る内視鏡システム１０におけるチャットボットを用いる修正を説明する説明図である。

ユーザは、「修正」と発話する。この際、ＣＰＵ２１１は集音して音声認識を行い、その結果に係る文字列を、ユーザ側を表すアイコン（以下、ユーザアイコンと称する。）と対応付けて表示する。また、ＣＰＵ２１１は、音声認識結果に係る文字列に対応する応答パターンを前記データベースから検索し、検索された応答パターンに対応する文字列をプロセッサアイコンと対応付けて表示する。図２２の例においては、「何を修正しますか」との文字列が表示される。

これに対して、ユーザは「病変部１の種類」と発話し、ＣＰＵ２１１は上述の音声認識処理によって、ユーザアイコンに対応付けて「病変部１の種類」との文字列を表示し、また、ＣＰＵ２１１は上述のように応答パターンを検索して、プロセッサアイコンに対応付けて「どう修正しますか」との文字列を表示する。

続いて、ユーザは「ポリープに修正」と発話し、ＣＰＵ２１１は上述の音声認識処理によって、ユーザアイコンに対応付けて「ポリープに修正」との文字列を表示する。この際、ＣＰＵ２１１は、診断テーブルＴ１の病変部１の種類を「潰瘍」から「ポリープ」に修正して表示する（図２２参照）。また、ＣＰＵ２１１は上述のように応答パターンを検索して、プロセッサアイコンに対応付けて「修正しました」との文字列を表示する。

修正内容を確認したユーザは、「チャットボット終了」と発話し、ＣＰＵ２１１は上述の音声認識処理によって、ユーザアイコンに対応付けて「チャットボット終了」との文字列を表示する。この際、ＣＰＵ２１１は、推定診断結果画面からチャットボット用ウィンドウＷを削除する。

これによって、実施の形態２に係る内視鏡システム１０においては、内視鏡用プロセッサ２０の学習モデル６４による推定診断結果に対し、音声指示にて正しく且つ簡単に修正することができる

実施の形態１と同様の部分については、同一の符号を付して詳細な説明を省略する。

＜実施の形態３＞
図２３は、実施の形態３に係るサーバー装置３００の外観を示す説明図である。実施の形態３に係るサーバー装置３００は、ネットワークＮを介して複数の内視鏡システム１０Ａ−１０Ｃの各内視鏡用プロセッサと接続されている。内視鏡システム１０Ａ−１０Ｃの各内視鏡用プロセッサの構成は、実施の形態１又は実施の形態２の内視鏡用プロセッサ２０と同様であり、詳しい説明を省略する。

図２４は、実施の形態３に係るサーバー装置３００の要部構成を示すブロック図である。実施の形態３に係るサーバー装置３００は、ネットワークＮを介して、内視鏡システム１０Ａ−１０Ｃの各内視鏡用プロセッサから検査結果データを取得して記憶している。斯かる検査結果データは、各内視鏡用プロセッサの補助記憶装置に保存されている検査結果ＤＢに記憶されているものである。即ち、前記検査結果データは、図８に示すデータを含む。

サーバー装置３００は、制御部３１０、記憶部３２０、通信部３３０および操作部３４０を備えており、必要に応じて表示装置Ｄ（外部装置）を接続させることができる。制御部３１０は、ＣＰＵ３１１、ＲＯＭ３１２、ＲＡＭ３１３、画像生成部３１４、決定受付部３１５およびコメント受付部３１６を有する。

通信部３３０は、ネットワークＮを介して各内視鏡用プロセッサとの間のデータ通信を行なうインターフェイスである。通信部３３０は、ネットワークＮを介して、各内視鏡用プロセッサから検査結果データを取得する。操作部３４０は、例えばサーバー装置３００のフロント面に実装された機能毎のハードウェアキー、タッチパネル式ＧＵＩ（Graphical User Interface）等を有している。

記憶部３２０は、ＳＲＡＭ、フラッシュメモリまたはハードディスク等の記憶装置である。記憶部３２０には検査結果総轄ＤＢ３２１が保存されている。検査結果総轄ＤＢ３２１には通信部３３０が取得した検査結果データが集約されている。即ち、検査結果総轄ＤＢ３２１では、各内視鏡用プロセッサを特定するＩＤと、斯かる内視鏡用プロセッサの検査結果ＤＢとを対応付けて記憶している。

換言すれば、記憶部３２０は、各内視鏡システム１０Ａ−１０Ｃで行われた、内視鏡の静止画像に対する学習モデルの推定診断結果と、斯かる推定診断結果に対して修正が行われ場合の修正の内訳と、斯かる修正に係る撮像画像（対応静止画像Ｆ１）とを対応付けて、内視鏡システム１０Ａ−１０Ｃ毎に記憶している。

ＲＯＭ３１２には、ＣＰＵ３１１によって実行させるプログラム、およびプログラムの実行に必要な各種データが保存される。ＣＰＵ３１１は前記プログラムをＲＡＭ３１３にロードして実行することによって、サーバー装置３００に必要な処理を実行する。

画像生成部３１４は、例えばＤＳＰ（Digital Signal Processor）のようなプロセッサにより構成され、表示装置Ｄへの画像表示を制御する。また、画像生成部３１４は、記憶部３２０の検査結果総轄ＤＢ３２１に基づいて、表示装置Ｄに表示する後述の「推定診断結果修正履歴」画面（修正履歴表示画面）を生成する。

例えば、同一患者の同一病変部（対応静止画像）に対する、病変部の有無の推定診断、病変部の種類の推定診断、病変部の症状の度合の推定診断、又は病変部の範囲の推定診断に対して、互い相違する修正が複数回行われた場合が想定できる。このような場合、今後における当該患者の治療計画を立てることが困難になる。従って、最終レビューにて高度な専門家による最終診断が必要となる。斯かるニーズに備え、実施の形態３に係るサーバー装置３００は推定診断結果修正履歴の画面を提供する。即ち、推定診断結果修正履歴の画面は、一の対応静止画像Ｆ１に係る推定診断結果に対して行われた修正の履歴を表しており、同一の対応静止画像Ｆ１に係る推定診断結果に対して相違する複数の修正が行われた場合、専門家などの最終診断の為のレビューに用いられる。

図２５は、実施の形態３に係るサーバー装置３００にて生成された推定診断結果修正履歴の画面の一例を示す例示図である。推定診断結果修正履歴の画面は、上述したように、画像生成部３１４が記憶部３２０の検査結果総轄ＤＢ３２１の記憶内容に基づいて、内視鏡システム１０Ａ−１０Ｃ毎に生成する。

推定診断結果修正履歴の画面には、患者ＩＤと、最終診断の対象である撮像画像（対応静止画像Ｆ１）と、斯かる対応静止画像に対する修正履歴テーブルＴ２とが表示される。ここで修正履歴テーブルＴ２は、最初の推定診断結果と、これに対する各修正の内訳と、各修正を行った者のＩＤとを表示する。また、修正履歴テーブルＴ２には、最終診断を書き込むための「最終診断」欄が設けられている。

即ち、レビューを行う最終診断者は、推定診断結果修正履歴の画面における対応静止画像Ｆ１に基づいて、操作部３４０を用いて前記「最終診断」欄に最終診断結果を書き込む。この際、決定受付部３１５は推定診断結果修正履歴の画面を介して斯かる最終診断の決定を受け付ける。決定受付部３１５は受け付けた最終診断を修正履歴テーブルＴ２の「最終診断」欄に表示し、最終診断者ＩＤと共に記憶部３２０の検査結果総轄ＤＢ３２１に記憶する。

また、推定診断結果修正履歴の画面には「最終診断者コメント」欄が設けられている。当該最終診断者は、操作部３４０を用いて、斯かる最終診断結果に至った判断理由等のコメントを「最終診断者コメント」欄に残すことができる。即ち、最終診断者がコメントを入力した場合、コメント受付部３１６が推定診断結果修正履歴の画面を介して斯かるコメントを受け付ける。コメント受付部３１６は受け付けたコメントを「最終診断者コメント」欄に表示すると共に、斯かる最終診断結果に対応付けて、記憶部３２０の検査結果総轄ＤＢ３２１に記憶する。

図２６は、実施の形態３に係るサーバー装置３００において記憶部３２０の検査結果総轄ＤＢ３２１のレコードレイアウトを説明する説明図である。図２６においては、内視鏡システム１０Ａ−１０Ｃのうち何れかに係る検査結果総轄ＤＢ３２１であって、上述したように、最終診断が行われた場合を示している。

検査結果総轄ＤＢ３２１は、図８に示す検査結果ＤＢ６３と同様であるが、「最終診断」フィールドを更に有する。決定受付部３１５が推定診断結果修正履歴の画面を介して最終診断の決定を受け付けた場合、検査結果総轄ＤＢ３２１の「最終診断」フィールドには、受け付けた最終診断を反映して修正した最終の推定診断結果が記録される。

例えば、図２５の例にて、決定受付部３１５が最終診断者から「潰瘍」との最終診断を受け付けた場合、即ち、当初学習モデル６４による推定診断結果では病変部３の種類が「癌Ｉ」であったが、「Ｕ００１」ユーザによって「ポリープ」に修正された、「Ｕ０１１」ユーザによって「癌Ｉ」に更に修正され、「Ｕ１１１」最終診断者によって「潰瘍」と最終診断されたものとする。

この場合、図２５の修正履歴テーブルＴ２の「最終診断」には「潰瘍」と書き込まれる。また図２６の検査結果総轄ＤＢ３２１には、最終診断が反映されて病変部３の種類が「潰瘍」に修正された最終の推定診断結果を表す「Ｂ０１種類度合Ｆ．ｘｌｓ」ファイルが最終診断フィールドに記録され、斯かる最終診断者のＩＤおよびコメントを表すＩＤコメント．ｔｘｔファイルが最終診断フィールドに記録される。

以上のように、実施の形態３に係るサーバー装置３００は、同一患者の同一病変部に対する推定診断結果に対して、互い相違する修正が複数回行われた場合、最終診断の為のレビューに用いられる推定診断結果修正履歴の画面を提供し、高度の専門家による最終診断結果を受け付けることができる。また、受け付けた最終診断結果を最終診断者のコメント共に記憶する。斯かる最終診断結果およびコメントは、今後における当該患者の治療計画を立てる際、有効に活用できる。

なお、上述した画像生成部３１４、決定受付部３１５およびコメント受付部３１６は、ハードウェアロジックによって構成してもよいし、ＣＰＵ３１１が所定のプログラムを実行することにより、ソフトウェア的に構築されてもよい。

実施の形態１又は２と同様の部分については、同一の符号を付して詳細な説明を省略する。

＜実施の形態４＞
図２７は、実施の形態４に係るデータ処理装置４００の外観を示す説明図である。ネットワークＮを介して複数の内視鏡システム１０Ａ−１０Ｃの各内視鏡用プロセッサがサーバー装置３００と接続されており、斯かるネットワークＮに実施の形態４に係るデータ処理装置４００が接続されている。実施の形態４に係るデータ処理装置４００は、ネットワークＮを介して、推定診断を行うための学習モデルを生成して内視鏡システム１０Ａ−１０Ｃに提供する。

内視鏡システム１０Ａ−１０Ｃの各内視鏡用プロセッサの構成は、実施の形態１又は実施の形態２の内視鏡用プロセッサ２０と同様であり、サーバー装置３００の構成は実施の形態３にて既に説明しており、詳しい説明を省略する。

実施の形態４に係るデータ処理装置４００は、ネットワークＮを介して、サーバー装置３００から検査結果総轄ＤＢを取得する。上述したように、検査結果総轄ＤＢには、各内視鏡システム１０Ａ−１０Ｃで行われた、内視鏡の静止画像に対する学習モデルの推定診断結果と、斯かる推定診断結果に対して修正が行われ場合の修正の内訳と、斯かる修正に係る撮像画像（対応静止画像）とを対応付けて、内視鏡システム１０Ａ−１０Ｃ毎に記録されている。

また、前記検査結果総轄ＤＢには、同一病変部に対する推定診断結果に対して、互い相違する修正が複数回行われた場合の最終診断結果を反映した最終の推定診断結果が対応静止画像毎に記録されている。
以下、図２６を参照して詳しく説明する。

実施の形態４に係るデータ処理装置４００は、取得したサーバー装置３００の検査結果総轄ＤＢを用いて、既に内視鏡システム１０Ａ−１０Ｃに提供した学習モデルの再学習を行う。

図２８は、実施の形態４に係るデータ処理装置４００の要部構成を示すブロック図である。実施の形態４に係るデータ処理装置４００は、ネットワークＮを介して、サーバー装置３００から検査結果総轄ＤＢを取得して記憶している。

データ処理装置４００は、制御部４１０、記憶部４２０、通信部４３０および操作部４４０を備えている。制御部４１０は、ＣＰＵ４１１、ＲＯＭ４１２、ＲＡＭ４１３、取得部４１４および再学習部４１５を有する。

通信部４３０は、ネットワークＮを介して、内視鏡システム１０Ａ−１０Ｃの各内視鏡用プロセッサ又はサーバー装置３００との間のデータ通信を行なうインターフェイスである。通信部４３０は、ネットワークＮを介して、サーバー装置３００から図２４に示すような検査結果総轄ＤＢを取得する。操作部４４０は、例えばデータ処理装置４００のフロント面に実装された機能毎のハードウェアキー、タッチパネル式ＧＵＩ（Graphical User Interface）等を有している。

記憶部４２０は、ＳＲＡＭ、フラッシュメモリまたはハードディスク等の記憶装置である。記憶部４２０には学習モデル４２１、検査結果総轄ＤＢ４２２等が保存されている。学習モデル４２１は、データ処理装置４００が内視鏡システム１０Ａ−１０Ｃの各内視鏡用プロセッサに既に提供したものである。また、検査結果総轄ＤＢ４２２は、通信部４３０がサーバー装置３００から受信した者である（図２６参照）。

ＲＯＭ４１２には、ＣＰＵ４１１によって実行させるプログラム、およびプログラムの実行に必要な各種データが保存される。ＣＰＵ４１１は前記プログラムをＲＡＭ４１３にロードして実行することによって、データ処理装置４００に必要な処理を実行する。

取得部４１４は、ネットワークＮを介して、サーバー装置３００から検査結果総轄ＤＢを取得する（図２６参照）。取得された検査結果総轄ＤＢは記憶部４２０に記憶される。斯かる検査結果総轄ＤＢ４２２は、図２６に示すように、学習モデルの推定診断結果に対して行われた修正の内訳と、当該修正に対応する撮像画像（対応静止画像）とを含む。

再学習部４１５は、検査結果総轄ＤＢ４２２を教師データとして、学習モデル４２１の再学習を行う。即ち、内視鏡システム１０Ａ−１０Ｃにおいては学習モデル６４による推定診断結果が誤りである場合が存在しており、斯かる誤りに対しては、ユーザによる修正が行われている。しかし、斯かる推定診断結果が誤りであることおよび訂正した推定診断結果を内視鏡システム１０Ａ−１０Ｃの学習モデル６４に反映させないと、以後においても、同じ誤りを繰り返すことになる。そこで、実施の形態４に係るデータ処理装置４００においては、訂正した推定診断結果（以下、訂正推定診断結果と称する。）を用いて学習モデルの再学習を行う。

検査結果総轄ＤＢ４２２には訂正推定診断結果が含まれているので、再学習部４１５は、検査結果総轄ＤＢ４２２の訂正推定診断結果を教師データとして、学習モデル４２１の再学習を行う。

図２９は、実施の形態４に係るデータ処理装置４００における学習モデル４２１の再学習処理について説明するフローチャートである。上述したように、記憶部４２０には、検査結果総轄ＤＢ４２２が記憶されており、検査結果総轄ＤＢ４２２は、修正が１回のみの場合における修正後の推定診断結果、および、複数回修正が行われた場合の最終診断結果（図２６参照）が記憶されている。再学習部４１５は訂正推定診断結果を用いて学習モデルの再学習を行う。

即ち、再学習部４１５は当初の推定診断結果に対して修正が１回のみの場合は、斯かる１回の修正後の推定診断結果をラベルデータとし、これに対応する対応静止画像を含む教師データを用いて再学習を行う。また、再学習部４１５は複数回の修正が行われた場合は、最終診断結果をラベルデータとし、これに対応する対応静止画像を含む教師データを用いて再学習を行う。従って、各教師データは、学習用サンプル画像（対応静止画像）と、該学習用サンプル画像に対する病変部の有無、病変部の種類、病変部の症状の度合、および、病変部の範囲を表すラベルデータとを含む。

なお、これに限定されるものではなく、当初学習モデル４２１（学習モデル６４）を学習させる際に用いられた学習用データの一部又は全部と合わせて再学習を行うようにしても良い。

再学習部４１５は、まず、教師データの中から１つの教師データを選択し（ステップＳ４０１）、選択した教師データに含まれる学習用サンプル画像を学習モデル４２１に入力する（ステップＳ４０２）。これにより、入力された学習用サンプル画像に対する病変部の範囲が出力され、病変部の有無、病変部の種類、および病変部の症状の度合を表す確率が学習モデル４２１から出力される。

再学習部４１５は、ステップＳ４０２を実行した後、学習モデル４２１が出力した出力結果を取得し（ステップＳ４０３）、取得した出力結果を、ステップ４０１にて入力された学習用サンプル画像に対応するラベルデータに基づいて評価する（ステップＳ４０４）。具体的には、再学習部４１５は、ステップＳ４０３で取得した出力結果と、斯かるラベルデータとに基づく誤差関数を用いて、出力結果を評価する。

次に、再学習部４１５は、ステップＳ４０４で行った評価の結果に基づいて、学習モデル４２１で用いられるノード間の重みおよびバイアス等のパラメータを更新する（ステップＳ４０５）。具体的には、学習モデル４２１のＣＮＮおよびＲＰＮの重みおよびバイアス等のパラメータを更新するか否かを判定する。例えば、再学習部４１５は、最急降下法等の勾配降下法によって誤差関数を最適化（最小化又は最大化）する過程で、誤差関数が閾値以下（又は閾値以上）となった場合にパラメータを更新しないと判定し、誤差関数が閾値を超えた（又は閾値未満となった）場合にパラメータを更新すると判定する。

そして、再学習部４１５は、全ての教師データを選択したか否かを判定する（ステップＳ４０６）。再学習部４１５は、全ての教師データを選択していないと判定した場合（ステップＳ４０６：ＮＯ）、ステップＳ４０１に処理を戻す。以降、ステップＳ４０１では、選択されていない教師データが選択される。

再学習部４１５は、全ての教師データを選択したと判定した場合（ステップＳ４０６：ＹＥＳ）、パラメータが更新された、即ち再学習済みの学習モデル４２１を記憶部４２０に記憶する（ステップＳ４０７）。

以後、ＣＰＵ４１１は、再学習済みの学習モデル４２１を、通信部４３０を介して内視鏡システム１０Ａ−１０Ｃの各内視鏡用プロセッサに配信し、学習モデルの更新を行う（ステップＳ４０８）。

なお、上述した、取得部４１４および再学習部４１５は、ハードウェアロジックによって構成してもよいし、ＣＰＵ４１１が所定のプログラムを実行することにより、ソフトウェア的に構築されてもよい。

実施の形態１−３と同様の部分については、同一の符号を付して詳細な説明を省略する。

なお、本実施の形態に係る内視鏡システム１０は以上の記載に限定されるものではない。
例えば、制御ボタン４３１Ａ−４３１Ｃの代わりに、ユーザがフットスイッチを用いるように構成しても良い。
また、以上においては、内視鏡検査に係る動画像および静止画像を一つの表示部に表示する場合を例に説明したが、これに限定されるものでなく、２つの表示部に夫々表示するように構成しても良い。

また、以上においては、音声指示の際、ユーザが特定単語を発話することによって、これから内視鏡用プロセッサ２０の操作に係る音声指示を出すことを内視鏡用プロセッサ２０側が認識させることについて説明した。しかし、これに限定されるものでなく、特定単語の代わりに、制御ボタン４３１Ａ−４３１Ｃの何れかのボタンを押圧する操作行うように構成しても良い。

そして、以上においては、診断テーブルＴ１が複数のフィールドからなる場合を例に挙げて説明したが、これに限定されるものでなく、一つのフィールドのみからなるように構成しても良い。即ち、一つの欄に病変部の種類および症状の度合を共に表示しても良い。

１０ 内視鏡システム
１５ キーボード
２０ 内視鏡用プロセッサ
２１ 制御部
２３ 補助記憶装置
２５ タッチパネル
４０ 内視鏡
５０ 表示装置
６４，４２１ 学習モデル
２１１，３１１，４１１ ＣＰＵ
２１２ 修正指示受付部
２１３ 第１修正受付部
２１４ 第２修正受付部
２１５ 第３修正受付部
２１６ 音声指示受付部
２５１ 表示部
３００ サーバー装置
３１４ 画像生成部
３１５ 決定受付部
３１６ コメント受付部
３２０ 記憶部
４００ データ処理装置
４１４ 取得部
４１５ 再学習部
３２０，４２０ 記憶部
Ｃ 記録媒体
Ｄ 表示装置
Ｐ コンピュータプログラム

Claims (28)

1. 内視鏡と、該内視鏡によって撮像された撮像画像を処理するプロセッサとを含み、前記撮像画像に対する学習モデルの推定診断結果を表示部に表示する内視鏡システムにおいて、
   前記推定診断結果に対する修正指示を受け付ける修正指示受付部と、
   前記修正指示に従って実行された修正の内訳を、該修正に係る撮像画像に対応付けて記憶する記憶部と
   を備えることを特徴とする内視鏡システム。
2. 前記推定診断結果は病変部の有無を表す有無情報を含み、
   前記内視鏡からの制御指示信号に基づいて、前記有無情報を修正する指示を受け付ける第１修正受付部を備えることを特徴とする請求項１に記載の内視鏡システム。
3. 前記推定診断結果は病変部の有無を表す有無情報を含み、
   前記有無情報を修正する音声指示を受け付ける音声指示受付部を備えることを特徴とする請求項１に記載の内視鏡システム。
4. 前記推定診断結果は病変部の種類を表す種類情報を含み、
   前記第１修正受付部は、
   前記種類情報に係る種類の候補を表示する指示を受け付け、
   前記表示部に表示される前記種類の候補から何れか一つの選択を受け付けることを特徴とする請求項２に記載の内視鏡システム。
5. 前記推定診断結果は病変部の種類を表す種類情報を含み、
   前記音声指示受付部は、
   前記種類情報に係る種類の候補を表示する音声指示を受け付け、
   前記表示部に表示される前記種類の候補から何れか一つを選択する音声指示を受け付けることを特徴とする請求項３に記載の内視鏡システム。
6. 前記推定診断結果は病変部の症状の度合を表す度合情報を含み、
   前記第１修正受付部は、
   前記度合情報に係る症状の度合の候補を表示する指示を受け付け、
   前記表示部に表示される前記症状の度合の候補から何れか一つの選択を受け付けることを特徴とする請求項２又は４の何れか一つに記載の内視鏡システム。
7. 前記推定診断結果は病変部の症状の度合を表す度合情報を含み、
   前記音声指示受付部は、
   前記度合情報に係る症状の度合の候補を表示する音声指示を受け付け、
   前記表示部に表示される前記症状の度合の候補から何れか一つを選択する音声指示を受け付けることを特徴とする請求項３又は５の何れか一つに記載の内視鏡システム。
8. 前記音声指示受付部による前記音声指示の認識結果の確認を要求するための情報を出力することを特徴とする請求項３、５又は７の何れか一つに記載の内視鏡システム。
9. 前記推定診断結果は病変部の範囲を表す範囲情報を含み、
   前記表示部に表示される所定マークの表示画面上の位置に基づいて、表示された病変部の範囲に対する修正範囲を受け付ける第２修正受付部を備えることを特徴とする請求項１から８の何れか一つに記載の内視鏡システム。
10. 前記推定診断結果は病変部の範囲を表す範囲情報を含み、
    前記表示部の表示画面との接触位置に基づいて、表示された病変部の範囲に対する修正範囲を受け付ける第３修正受付部を備えることを特徴とする請求項１から８の何れか一つに記載の内視鏡システム。
11. 前記表示部は、前記修正に係る撮像画像の静止画像を、リアルタイムの撮像画像と共に表示することを特徴とする請求項１から１０の何れか一つに記載の内視鏡システム。
12. 内視鏡によって撮像された撮像画像に対する学習モデルの推定診断結果を表示部に表示するプロセッサにおいて、
    前記推定診断結果に対する修正指示を受け付ける修正指示受付部と、
    前記修正指示に従って実行された修正の内訳を、該修正に係る撮像画像に対応付けて記憶する記憶部と
    を備えることを特徴とするプロセッサ。
13. 前記推定診断結果は病変部の有無を表す有無情報を含み、
    前記内視鏡からの制御指示信号に基づいて、前記有無情報を修正する指示を受け付ける第１修正受付部を備えることを特徴とする請求項１２に記載のプロセッサ。
14. 前記推定診断結果は病変部の有無を表す有無情報を含み、
    前記有無情報を修正する音声指示を受け付ける音声指示受付部を備えることを特徴とする請求項１２に記載のプロセッサ。
15. 前記推定診断結果は病変部の種類を表す種類情報を含み、
    前記第１修正受付部は、
    前記種類情報に係る種類の候補を表示する指示を受け付け、
    前記表示部に表示される前記種類の候補から何れか一つの選択を受け付けることを特徴とする請求項１３に記載のプロセッサ。
16. 前記推定診断結果は病変部の種類を表す種類情報を含み、
    前記音声指示受付部は、
    前記種類情報に係る種類の候補を表示する音声指示を受け付け、
    前記表示部に表示される前記種類の候補から何れか一つを選択する音声指示を受け付けることを受け付けることを特徴とする請求項１４に記載のプロセッサ。
17. 前記推定診断結果は病変部の症状の度合を表す度合情報を含み、
    前記第１修正受付部は、
    前記度合情報に係る症状の度合の候補を表示する指示を受け付け、
    前記表示部に表示される前記症状の度合の候補から何れか一つの選択を受け付けることを特徴とする請求項１３又は１５に記載のプロセッサ。
18. 前記推定診断結果は病変部の症状の度合を表す度合情報を含み、
    前記音声指示受付部は、
    前記度合情報に係る症状の度合の候補を表示する音声指示を受け付け、
    前記表示部に表示される前記症状の度合の候補から何れか一つを選択する音声指示を受け付けることを特徴とする請求項１４又は１６の何れか一つに記載のプロセッサ。
19. 前記音声指示受付部による前記音声指示の認識結果の確認を要求するための情報を出力することを特徴とする請求項１４、１６又は１８の何れか一つに記載のプロセッサ。
20. 前記推定診断結果は病変部の範囲を表す範囲情報を含み、
    前記表示部に表示される所定マークの表示画面上の位置に基づいて、表示された病変部の範囲に対する修正範囲を受け付ける第２修正受付部を備えることを特徴とする請求項１２から１９の何れか一つに記載のプロセッサ。
21. 前記推定診断結果は病変部の範囲を表す範囲情報を含み、
    前記表示部の表示画面との接触位置に基づいて、表示された病変部の範囲に対する修正範囲を受け付ける第３修正受付部を備えることを特徴とする請求項１２から１９の何れか一つに記載のプロセッサ。
22. 前記修正に係る撮像画像の静止画像を、リアルタイムの撮像画像と共に前記表示部に表示することを特徴とする請求項１２から２１の何れか一つに記載のプロセッサ。
23. 内視鏡によって撮像された撮像画像に対する学習モデルの推定診断結果を表示部に表示し、
    前記推定診断結果に対する修正指示を受け付け、
    該修正指示に従って修正を行い、
    前記修正の内訳を、前記修正に係る撮像画像に対応付けて記憶する処理を実行することを特徴とする修正方法。
24. コンピュータに、
    内視鏡によって撮像された撮像画像に対する学習モデルの推定診断結果を表示し、
    前記推定診断結果に対する修正指示を受け付け、
    該修正指示に従って修正を行い、
    前記修正の内訳を、前記修正に係る撮像画像に対応付けて記憶する処理を実行させることを特徴とするコンピュータプログラム。
25. 各内視鏡システムで内視鏡の撮像画像に対する学習モデルの推定診断結果に対して行われた修正の内訳と、該修正に係る撮像画像とを対応付けて記憶する記憶部と、
    前記記憶部の記憶内容に基づいて、外部装置に表示するための、前記推定診断結果に対する修正履歴を表す修正履歴表示画面を生成する画面生成部とを備えることを特徴とするサーバー装置。
26. 前記修正履歴表示画面を介してコメントの入力を受け付けるコメント受付部を備えることを特徴とする請求項２５に記載のサーバー装置。
27. 一の撮像画像に係る推定診断結果に対し、異なる内容の修正が複数回行われた場合、前記修正履歴表示画面を介して最終の決定を受け付ける決定受付部を備えることを特徴とする請求項２５又は２６に記載のサーバー装置。
28. 内視鏡によって撮像された撮像画像に対して推定診断を行う学習モデルを生成するデータ処理装置において、
    前記学習モデルの推定診断結果に対して行われた修正の内訳と、該修正に係る撮像画像とを対応付けて取得する取得部と、
    前記修正の内訳を教師データとして前記学習モデルの再学習を行う再学習部とを備えることを特徴とするデータ処理装置。

Images