JP2022175037A

JP2022175037A - プログラム、情報処理方法及び内視鏡システム

Info

Publication number: JP2022175037A
Application number: JP2021081151A
Authority: JP
Inventors: 明彦西出; Akihiko Nishide; 淳子管井; Junko Sugai
Original assignee: Hoya Corp
Current assignee: Hoya Corp
Priority date: 2021-05-12
Filing date: 2021-05-12
Publication date: 2022-11-25
Also published as: WO2022239518A1

Abstract

【課題】親内視鏡及び子内視鏡を備える内視鏡装置において、子内視鏡の挿入距離を取得するプログラム等を提供する。【解決手段】プログラムは、親内視鏡及び子内視鏡を備える内視鏡装置と通信可能に接続されるコンピュータに、前記子内視鏡から被検者の子内視鏡画像を取得し、前記子内視鏡画像を撮像した時点における、前記被検者の体内に挿入された前記子内視鏡の挿入距離に関する情報を取得し、前記被検者の体内を撮像した３次元医用画像を取得し、前記子内視鏡の挿入距離に関する情報に基づいて、前記子内視鏡画像と前記３次元医用画像とを関連付ける処理を実行させる。【選択図】図１

Description

本技術は、プログラム、情報処理方法及び内視鏡システムに関する。

内視鏡は、被検者の体腔内に挿入することで所望の箇所の観察、処置を可能とする医療用機器であり、体腔内に挿入される挿入管の先端部に組み込まれた撮像部と、該撮像部の撮像視野を照明する照明装置とを備えている。特許文献１には、胆管、膵管内等を観察する内視鏡装置として、十二指腸まで挿入可能な挿入部を有する親スコープと、この親スコープの鉗子チャンネルに子スコープを挿入して胆管、膵管まで観察及び処置できる親子スコープ方式の内視鏡装置が開示されている。

特開平４－３５４９２９号公報

しかしながら、文献１に記載の内視鏡装置においては、体内における子スコープの内視鏡（子内視鏡）の位置に対応する、当該子内視鏡の挿入距離を取得する点が考慮されていないという問題点がある。

一つの側面では、親内視鏡及び子内視鏡を備える内視鏡装置において、子内視鏡の挿入距離を取得することができるプログラム等を提供することを目的とする。

本開示の一態様におけるプログラムは、親内視鏡及び子内視鏡を備える内視鏡装置と通信可能に接続されるコンピュータに、前記子内視鏡から被検者の子内視鏡画像を取得し、前記子内視鏡画像を撮像した時点における、前記被検者の体内に挿入された前記子内視鏡の挿入距離に関する情報を取得し、前記被検者の体内を撮像した３次元医用画像を取得し、前記子内視鏡の挿入距離に関する情報に基づいて、前記子内視鏡画像と前記３次元医用画像とを関連付ける処理を実行させる。

本開示の一態様における情報処理方法は、前記子内視鏡から被検者の子内視鏡画像を取得し、前記子内視鏡画像を撮像した時点における、前記被検者の体内に挿入された前記子内視鏡の挿入距離に関する情報を取得し、前記被検者の体内を撮像した３次元医用画像を取得し、前記子内視鏡の挿入距離に関する情報に基づいて、前記子内視鏡画像と前記３次元医用画像とを関連付ける処理をコンピュータに実行させる。

本開示の一態様における内視鏡システムは、内視鏡装置と、前記内視鏡装置から出力される内視鏡画像の処理を行う制御部とを含む内視鏡システムであって、前記内視鏡装置は、親内視鏡と、前記親内視鏡の先端部から突出する子内視鏡と前記親内視鏡の先端側に設けられ、前記子内視鏡を検知する検知部と、前記親内視鏡の基端側に設けられ、前記子内視鏡の突出距離を測定する子内視鏡測定部と、前記親内視鏡の挿入距離を測定する親内視鏡測定部とを備え、前記制御部は、前記親内視鏡測定部から出力される前記親内視鏡の挿入距離を取得し、前記検知部が前記子内視鏡を検知した際、前記子内視鏡測定部によって測定された前記子内視鏡の突出距離を取得し、前記親内視鏡の挿入距離及び前記子内視鏡の突出距離に基づき、被検者の体内に挿入された前記子内視鏡の挿入距離を導出し、前記子内視鏡から前記被検者の子内視鏡画像を取得し、前記被検者の体内を撮像した３次元医用画像を取得し、前記子内視鏡の挿入距離に関する情報に基づいて、前記子内視鏡画像と前記３次元医用画像とを関連付ける。

本開示によれば、親内視鏡及び子内視鏡を備える内視鏡装置において、子内視鏡の挿入距離を取得するプログラム等を提供することができる。

実施形態１に係る内視鏡システムの概要を示す模式図である。内視鏡システムに含まれる内視鏡装置の構成例を示すブロック図である。内視鏡システムに含まれる情報処理装置の構成例を示すブロック図である。子内視鏡等を模式的に示す側断面図である。内視鏡画像ＤＢのデータレイアウトを例示する説明図である。操作情報学習モデルを用いて操作支援情報を出力する処理を説明する説明図である。一致度学習モデルを用いて子内視鏡画像との一致度を出力する処理を説明する説明図である。情報処理装置の制御部に含まれる機能部を例示する機能ブロック図である。子内視鏡が挿入された距離（Ｓ座標の値）を示す説明図である。子内視鏡画像と３次元医用画像との関連に関する説明図である。情報処理装置の制御部による処理手順の一例を示すフローチャートである。実施形態２（子内視鏡画像の補正）に係る診断支援学習モデルを用いて診断支援情報を出力する処理を説明する説明図である。情報処理装置の制御部に含まれる機能部を例示する機能ブロック図である。情報処理装置の制御部による処理手順の一例を示すフローチャートである。情報処理装置の制御部による診断支援情報の出力の処理手順の一例を示すフローチャートである。実施形態３（回転測定部）に係る子内視鏡等を模式的に示す側断面図である。実施形態４（親内視鏡用プロセッサ、子内視鏡用プロセッサ）に係る内視鏡システムの構成例を示すブロック図である。

（実施形態１）
以下、本発明をその実施の形態を示す図面に基づいて詳述する。図１は、実施形態１に係る内視鏡システムＳの概要を示す模式図である。内視鏡システムＳは、内視鏡装置１０及び、内視鏡装置１０と通信可能に接続される情報処理装置６を含む。

内視鏡装置１０は、内視鏡（親内視鏡４０及び子内視鏡４０１）の撮像素子４４５によって撮影した画像（撮影画像）を内視鏡用プロセッサ２０に伝送し、内視鏡用プロセッサ２０によってガンマ補正、ホワイトバランス補正、シェーディング補正等の各種画像処理を行うことにより、操作者が目視し易い状態にした内視鏡画像（親内視鏡画像及び子内視鏡画像）を生成する。内視鏡装置１０は、生成した内視鏡画像を情報処理装置６に出力（送信）する。内視鏡装置１０から送信された内視鏡画像を取得した情報処理装置６は、これら内視鏡画像に基づき、種々の情報処理を行い、診断支援に関する情報を出力する。

内視鏡装置１０は、内視鏡用プロセッサ２０と、親内視鏡４０と、子内視鏡４０１と、表示装置５０とを含む親子式の内視鏡装置１０である。表示装置５０は、例えば液晶表示装置、又は、有機ＥＬ（Electro Luminescence）表示装置である。親内視鏡４０によって親内視鏡画像が撮像され、子内視鏡４０１によって子内視鏡画像が撮像される。

表示装置５０はキャスター付きの収容棚１６の上段に設置されている。内視鏡用プロセッサ２０は、収容棚１６の中段に収容されている。収容棚１６は、図示を省略する内視鏡検査用ベッドの近傍に配置される。収容棚１６は内視鏡用プロセッサ２０に接続されたキーボード１５を搭載する、引き出し式の棚を有する。

内視鏡用プロセッサ２０は、略直方体形状であり、一面にタッチパネル２５を備える。タッチパネル２５の下部に、読取部２８が配置されている。読取部２８は、例えばＵＳＢコネクタ、ＳＤ（Secure Digital）カードスロット、又はＣＤ－ＲＯＭ（Compact Disc Read Only Memory）ドライブ等の、可搬型記録媒体の読み書きを行なう接続用インターフェイスである。

親内視鏡４０は、挿入部４４、操作部４３、親内視鏡用ユニバーサルコード４９及びスコープコネクタ４８を有する。操作部４３には、制御ボタン４３１が設けられている。挿入部４４は長尺であり、一端が折止部４５を介して操作部４３に接続されている。挿入部４４は、操作部４３側から順に軟性部４４１、湾曲部４４２及び先端部４４３を有する。湾曲部４４２は、湾曲ノブ４３３の操作に応じて湾曲する。挿入部４４には、３軸加速度センサ、ジャイロセンサ、地磁気センサ、磁気コイルセンサ又は内視鏡挿入形状観測装置（コロナビ）等の物理検出装置が実装され、親内視鏡４０が被検者の体内に挿入された際、これら物理検出装置からの検出結果を取得するものであってもよい。

親内視鏡４０の操作部４３には鉗子口４３５が設けられており、子内視鏡４０１は、当該鉗子口４３５から親内視鏡４０の内部に挿入される。すなわち子内視鏡４０１は、親内視鏡４０の内部に設けられた鉗子口チャネル（ワーキングチャネル）に挿通され、親内視鏡４０の先端部４４３から突出する。

親内視鏡用ユニバーサルコード４９は長尺であり、第一端が操作部４３に、第二端がスコープコネクタ４８にそれぞれ接続されている。親内視鏡用ユニバーサルコード４９は、軟性である。スコープコネクタ４８は略直方体形状である。スコープコネクタ４８には、送気送水用のチューブを接続する送気送水口金３６（図２参照）が設けられている。子内視鏡用ユニバーサルコード４９１も、親内視鏡用ユニバーサルコード４９と同様にスコープコネクタ４８に接続されている。親内視鏡用ユニバーサルコード４９と子内視鏡用ユニバーサルコード４９１とは、親内視鏡４０及び子内視鏡４０１の共用として一体化されているものであってもよい。または親内視鏡用プロセッサ２０１及び子内視鏡用プロセッサ２０２（図１７参照）による２つのプロセッサに分かれて、親内視鏡用プロセッサ２０１、子内視鏡用プロセッサ２０２間で通信し情報交換できる構成によるものであってもよい。当該構成については、後述する。

図２は、内視鏡システムに含まれる内視鏡装置の構成例を示すブロック図である。制御部２１は、本実施の形態のプログラムを実行する演算制御装置である。制御部２１には、一又は複数のＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）又はマルチコアＣＰＵ等が使用される。制御部２１は、バスを介して内視鏡用プロセッサ２０を構成するハードウェア各部と接続されている。

主記憶装置２２は、例えば、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）、フラッシュメモリ等の記憶装置である。主記憶装置２２には、制御部２１が行なう処理の途中で必要な情報及び制御部２１で実行中のプログラムが一時的に保存される。補助記憶装置２３は、例えば、ＳＲＡＭ、フラッシュメモリ又はハードディスク等の記憶装置であり、主記憶装置２２よりも大容量の記憶装置である。補助記憶装置２３には、例えば、親内視鏡画像及び子内視鏡画像から取得した撮影画像（親撮影画像及び子撮影画像）、生成した内視鏡画像（親内視鏡画像、子内視鏡画像）が、中間データとして保存されるものであってもよい。

通信部２４は、有線又は無線によりネットワークを介して情報処理装置６と通信するための通信モジュール又は通信インターフェイスであり、例えばｗｉｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の狭域無線通信モジュール、又は４Ｇ、５Ｇ等の広域無線通信モジュールである。タッチパネル２５は、液晶表示パネル等の表示部と、表示部に積層された入力部を含む。通信部２４は、ＣＴ装置、ＭＲＩ装置（図８参照）、超音波診断装置又は、これら装置から出力されたデータを保存するストレージ装置（図示せず）と通信するものであってもよい。

表示装置Ｉ／Ｆ２６は、内視鏡用プロセッサ２０と表示装置５０とを接続するインターフェイスである。入力装置Ｉ／Ｆ２７は、内視鏡用プロセッサ２０とキーボード１５等の入力装置とを接続するインターフェイスである。

光源３３は、例えば白色ＬＥＤ、キセノンランプ等の高輝度の白色光源である。光源３３は、図示を省略するドライバを介してバスに接続されている。光源３３の点灯、消灯及び明るさの変更は、制御部２１により制御される。光源３３から照射した照明光は、光コネクタ３１２に入射する。光コネクタ３１２は、スコープコネクタ４８と係合し、親内視鏡４０及び子内視鏡４０１に照明光を供給する。当該光源３３は、親内視鏡４０及び子内視鏡４０１にて共用されるものであってもよく、又は光源３３は、親内視鏡４０用と子内視鏡４０１用とを別個の光源３３として備えるものであってもよい。光源３３（内視鏡用光源）は、親内視鏡４０、子内視鏡４０１のそれぞれの先端部分に光源用ＬＥＤを付けても良い。この方式の方が光ケーブルを使用する必要が無く、細い電源線のみで済む。

ポンプ３４は、親内視鏡４０の送気・送水機能用の圧力を発生させる。ポンプ３４は、図示を省略するドライバを介してバスに接続されている。ポンプ３４のオン、オフ及び圧力の変更は、制御部２１により制御される。ポンプ３４は、送水タンク３５を介して、スコープコネクタ４８に設けられた送気送水口金３６に接続される。

内視鏡用プロセッサ２０に接続された内視鏡（親内視鏡４０及び子内視鏡４０１）の機能の概略を説明する。スコープコネクタ４８、親内視鏡用ユニバーサルコード４９、子内視鏡用ユニバーサルコード４９１、操作部４３及び挿入部４４の内部に、ファイバーバンドル、ケーブル束、送気チューブ及び送水チューブ等が挿通されている。光源３３から出射した照明光は、光コネクタ３１２及びファイバーバンドルを介して、親内視鏡４０及び子内視鏡４０１の先端に設けられた照明窓から放射される。照明光により照らされた範囲を、親内視鏡４０及び子内視鏡４０１の先端それぞれに設けられた撮像素子それぞれで撮影する。親内視鏡４０及び子内視鏡４０１の撮像素子それぞれからケーブル束及び電気コネクタ３１１を介して内視鏡用プロセッサ２０に撮影画像（親撮影画像及び子撮影画像）が伝送される。

内視鏡用プロセッサ２０の制御部２１は、主記憶装置２２に記憶されているプログラムを実行することにより、画像処理部２１１として機能する。画像処理部２１１は、内視鏡（親内視鏡４０及び子内視鏡４０１）から出力された撮影画像（親撮影画像及び子撮影画像）をガンマ補正、ホワイトバランス補正、シェーディング補正等の各種画像処理を行い、内視鏡画像（親内視鏡画像、子内視鏡画像）として出力する。

図３は、内視鏡システムに含まれる情報処理装置の構成例を示すブロック図である。情報処理装置６は、制御部６２、通信部６１、記憶部６３及び入出力Ｉ／Ｆ６４を含む。情報処理装置６は、例えばサーバ装置、パーソナルコンピュータ等である。サーバ装置は、単体のサーバ装置のみならず、複数台のコンピュータによって構成されるクラウドサーバ装置、又は仮想サーバ装置を含む。情報処理装置６は、内視鏡用プロセッサ２０からアクセス可能な外部ネットワーク上に位置するクラウドサーバとして設けられているものであってもよい。

制御部６２は、一又は複数のＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-Processing Unit）、ＧＰＵ（Graphics Processing Unit）等の計時機能を備えた演算処理装置を有し、記憶部６３に記憶されたプログラムＰを読み出して実行することにより、情報処理装置６に係る種々の情報処理、制御処理等を行う。

記憶部６３は、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）、フラッシュメモリ等の揮発性記憶領域及び、ＥＥＰＲＯＭ又はハードディスク等の不揮発性記憶領域を含む。記憶部６３には、プログラムＰ（プログラム製品）及び処理時に参照するデータがあらかじめ記憶してある。記憶部６３に記憶されたプログラムＰ（プログラム製品）は、情報処理装置６が読み取り可能な記録媒体６３２から読み出されたプログラムＰ（プログラム製品）を記憶したものであってもよい。また、図示しない通信網に接続されている図示しない外部コンピュータからプログラムＰ（プログラム製品）をダウンロードし、記憶部６３に記憶させたものであってもよい。記憶部６３には、後述する複数の学習モデル（９１，９２）を構成する実体ファイル（ニューラルネットワーク（ＮＮ）のインスタンスファイル）が保存されている。これら実体ファイルは、プログラムＰ（プログラム製品）の一部位として構成されるものであってもよい。更に記憶部６３には、後述する内視鏡画像ＤＢ６３１(DataBase)が記憶されているものであってもよい。

通信部６１は、有線又は無線により、内視鏡装置１０と通信するための通信モジュール又は通信インターフェイスであり、例えばｗｉｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の狭域無線通信モジュール、又は４Ｇ、ＬＴＥ等の広域無線通信モジュールである。通信部６１は、ＣＴ装置、ＭＲＩ装置（図８参照）、超音波診断装置又は、これら装置から出力されたデータを保存するストレージ装置（図示せず）と通信するものであってもよい。

入出力Ｉ／Ｆ６４は、例えば、ＵＳＢ又はＤＳＵＢ等の通信規格に準拠したものであり、入出力Ｉ／Ｆ６４に接続された外部機器とシリアル通信するための通信インターフェイスである。入出力Ｉ／Ｆ６４には、例えばディプレイ等の表示部７、キーボード等の入力部８が接続されており、制御部６２は、入力部８から入力された実行コマンド又はイベントに基づき行った情報処理の結果を表示部７に出力する。

図４は、子内視鏡４０１等を模式的に示す側断面図である。上述のとおり、子内視鏡４０１は、親内視鏡４０に設けられた鉗子口４３５から挿入され、鉗子口チャネル（ワーキングチャネル）を挿通（通過）して親内視鏡４０の先端部４４３から突出する。親内視鏡４０は、例えば十二指腸内視鏡であり親スコープに相当し、子内視鏡４０１は、例えば胆道内視鏡であり子スコープに相当する。親内視鏡４０の挿入部４４（可撓管）には、例えばマウスピース等にローラエンコーダにて構成される親内視鏡測定部４００が設けられており、親内視鏡４０が体内に挿入された距離であるＳ座標を測定する。

親内視鏡測定部４００は、例えば温度センサ、光センサ、圧力センサ、濡れセンサ（電極）、湿度センサを含む。例えば、当該センサが光センサである場合、光センサは挿入部４４（可撓管）の内部に配置されているが、挿入部４４（可撓管）が体内に挿入されているときでも光を受光することができる。そのため、光センサが光をより多く受光している部分が体外、少ない部分を体内として判別することが可能である。そして内視鏡用プロセッサ２０の制御部２１は、光センサで得られた信号に基づき、体腔挿入部位である境界位置にある光センサを特定することにより、体内に挿入されている挿入部４４（可撓管）の距離（長さ）であるＳ座標（親内視鏡４０のＳ座標）を導出することができる。

親内視鏡４０が上部内視鏡の場合は、挿入部４４（可撓管）に接する親内視鏡測定部４００を付け、挿入部４４（可撓管）が体内に挿入されている距離分だけ親内視鏡測定部４００のローラエンコーダが回転することを用いて、親内視鏡４０が体内に挿入された距離であるＳ座標を取得することができる。親内視鏡測定部４００を構成するマウスピース等（ローラエンコーダ）は、挿入部４４（可撓管）の進退に伴って回転し、体内に挿入された親内視鏡４０の先端部４４３と、例えば口又は鼻等の管腔に連通する開口部との間の長さ、すなわち挿入部４４（可撓管）の挿入距離を測定できる。ローラエンコーダは、内視鏡用プロセッサ２０と電気的に接続しており、測定した距離を内視鏡用プロセッサ２０に送る。またローラエンコーダの代わりに光学式、磁気式エンコーダを用いても良い。

親内視鏡４０が下部内視鏡の場合は、肛門部にマウスピース相当の親内視鏡測定部４００を付けることで内視鏡挿入距離が測定できる。親内視鏡４０の挿入距離を測定する親内視鏡測定部４００（補助装置）が被検体の入り口である体腔挿入部位に装着された場合、親内視鏡４０の通過距離を測定することにより、親内視鏡４０が体内に挿入された距離であるＳ座標を取得することができる。補助装置は、例えば挿入部（可撓管）４４に付けたリニアスケールのような磁場のスケールとマウスピースに付けたリニアヘッドで距離を測定することであっても良く、又はローラーを付けた親内視鏡４０のマウスピースであっても良い。なお、鼻又は肛門等に親内視鏡４０が挿入される場合、マウスピースと類似のローラーを付けた親内視鏡測定部４００（補助装置）を利用しても良い。親内視鏡４０の挿入部（可撓管）４４に一定間隔で挿入距離を記録したチップを内蔵しても良い。マウスピース等が得た該チップで記録されたＳ座標情報から、内視鏡用プロセッサ２０は、親内視鏡４０が体内に挿入された距離であるＳ座標を取得することができる。

子内視鏡４０１が挿入される鉗子口４３５の近傍には、親内視鏡測定部４００と同様に、例えばローラエンコーダ、磁気式又は光学式のリニアエンコーダ等にて構成される子内視鏡測定部４０２が設けられている。親内視鏡４０の先端部４４３、すなわち子内視鏡４０１が挿通される鉗子口チャネル（ワーキングチャネル）の端部には、子内視鏡４０１を検出する検知部４０３（子内視鏡４０１検知部４０３）が設けられている。当該検知部４０３は、例えば光センサ等の比接触センサ、接触センサ、接触スイッチ等にて構成され、当該光センサのセンシング範囲における子内視鏡４０１の有無を検出結果として出力する。検知部４０３は、子内視鏡４０１が鉗子口チャネル（ワーキングチャネル）の端部から体内への挿入が開始されたことを検出する挿入開始検出手段に相当する。

子内視鏡４０１の先端が、親内視鏡４０の先端部４４３から突出した場合、検知部４０３は、子内視鏡４０１が有ることを示す検出結果を出力する。子内視鏡４０１の先端が、親内視鏡４０の先端部４４３から突出していない場合、検知部４０３は、子内視鏡４０１が無いことを示す検出結果を出力する。子内視鏡４０１の先端が、親内視鏡４０の先端部４４３から突出していない場合、検知部４０３は何ら信号等を出力しないものであってもよい。子内視鏡４０１は、親内視鏡４０の先端部４４３にあるエレベータ４０６により子内視鏡は親内視鏡４０から約９０度立ち上がることができ、これにより十二指腸まで到達した親内視鏡４０から子内視鏡４０１は胆管に入ってくことができる。

上述のとおり、親内視鏡４０が体内に挿入された距離であるＳ座標（SP）は、親内視鏡測定部４００による測定結果として出力される。子内視鏡測定部４０２は、検知部４０３が、子内視鏡４０１が有ることを示す検出結果を出力した場合、当該検出結果が出力された時点から子内視鏡４０１が挿入された距離を突出距離（SC）として出力する。すなわち、当該突出距離（SC）は、親内視鏡４０の先端部４４３から突出している子内視鏡４０１の長さを示す。

子内視鏡４０１が体内に挿入された距離であるＳ座標（S）は、親内視鏡４０が体内に挿入された距離であるＳ座標（SP）に、検知部４０３による検出結果（子内視鏡４０１が有）が出力された時点から子内視鏡４０１が体内に挿入された突出距離（SC）を加算することにより算出される（子内視鏡４０１のＳ座標＝親内視鏡４０のＳ座標[SP]＋子内視鏡４０１の突出距離[SC]）。親内視鏡４０のＳ座標及び子内視鏡４０１の突出距離に基づく、子内視鏡４０１のＳ座標の算出は、情報処理装置６の制御部６２、又は内視鏡用プロセッサ２０の制御部２１によって行われる。

図５は、内視鏡画像ＤＢ６３１のデータレイアウトを例示する説明図である。内視鏡画像ＤＢ６３１は、情報処理装置６の記憶部６３に記憶されており、情報処理装置６に実装されているＲＤＢＭＳ（Relational DataBase Management System）等のデータベース管理ソフトウェアにより構成される。又は、内視鏡画像ＤＢ６３１は、情報処理装置６と通信可能に接続されたストレージ装置等、情報処理装置６からアクセス可能な所定の記憶領域に記憶されているものであってもよい。又は、内視鏡画像ＤＢ６３１は、内視鏡装置１０の主記憶装置２２に記憶されているものであってもよい。すなわち、所定の記憶領域は、情報処理装置６の記憶部６３、内視鏡装置１０の主記憶装置２２及び、情報処理装置６又は内視鏡装置１０からアクセス可能なストレージ装置を含む。情報処理装置６は、内視鏡用プロセッサ２０が出力した子内視鏡画像、検査日時及び被検者の属性情報を取得し、検査結果ＤＢ６３１に登録するものであってもよい。又は、内視鏡用プロセッサ２０から直接出力された子内視鏡画像、検査日時及び被検者の属性情報が、検査結果ＤＢ６３１に直接的に登録されるものであってもよい。

画像テーブルは、管理項目（メタデータ）として、例えば、被検者ＩＤ、検査日時、子内視鏡画像、フレーム番号、Ｓ座標（挿入距離）、３次元医用画像、視点位置、視点方向、仮想内視鏡画像を含む。

被検者ＩＤの項目（フィールド）には、被検者マスタテーブルに管理される被検者の生体属性と関連付けをするためのものであり、当該被検者夫々のＩＤの値が格納される。検査日時の項目（フィールド）には、当該被検者ＩＤの被検者が内視鏡検査を受けた日時が格納される。子内視鏡画像の項目（フィールド）には、当該被検者ＩＤの子内視鏡画像がオブジェクトデータとして格納される。子内視鏡画像は、１フレームによる例えばjpeg形式の静止画又は、数フレームによる例えばavi形式の動画であってもよい。子内視鏡画像の項目（フィールド）には、ファイルとして保存されている当該子内視鏡画像の保存場所（ファイルパス）を示す情報が格納されるものであってもよい。

フレーム番号の項目（フィールド）には、子内視鏡画像が動画の場合、当該動画のフレーム番号が格納される。動画のフレーム番号を格納することにより、子内視鏡画像が動画であっても、静止画と同様に取り扱うことができ、後述する３次元医用画像又は仮想内視鏡画像の位置情報（体内座標系における座標）と関連付けることができる。

Ｓ座標（挿入距離）の項目（フィールド）には、同じレコードに格納される子内視鏡画像の撮影時点における子内視鏡４０１の挿入距離が、Ｓ座標の値として格納される。子内視鏡４０１の挿入距離（Ｓ座標）は、親内視鏡４０のＳ座標（SP）に、当該親内視鏡４０の先端部４４３から突出している子内視鏡４０１の長さ（突出距離（SC））を加算（SP+SC）した値（距離）である。

３次元医用画像の項目（フィールド）には、ＣＴ装置（Ｘ線ＣＴ、Ｘ線コーンビームＣＴ）又はＭＲＩ装置（ＭＲＩ－ＣＴ）、超音波診断装置のように体内を３次元画像で撮影できる手段から出力されたデータに基づき生成される、例えばＤＩＣＯＭ（Digital Imaging and Communications in Medicine）形式の３次元医用画像が、オブジェクトデータとして格納される。又は、ファイルとして保存されている当該３次元医用画像の保存場所（ファイルパス）を示す情報が格納されるものであってもよい。

視点位置の項目（フィールド）には、子内視鏡画像が撮影された時点における子内視鏡４０１の体内における座標、すなわち３次元医用画像の座標系における座標が格納される。視点位置の導出等については、後述する。

視点方向の項目（フィールド）には、子内視鏡画像が撮影された時点における子内視鏡４０１の向き、すなわち３次元医用画像の座標系（体内座標系における座標）における回転角が格納される。視点方向の導出等については、後述する。

仮想内視鏡画像の項目（フィールド）には、３次元医用画像から生成された仮想内視鏡画像がオブジェクトデータとして格納される。ファイルとして保存されている当該仮想内視鏡画像の保存場所（ファイルパス）を示す情報が格納されるものであってもよい。仮想内視鏡画像は、子内視鏡画像とのマッチング処理を行うために３次元医用画像から生成されるものであり、例えば、子内視鏡画像に最も一致する仮想内視鏡画像が、当該内視鏡画像と同じレコードに登録される。仮想内視鏡画像の生成等については、後述する。

本実施形態において、内視鏡画像ＤＢ６３１には、子内視鏡画像が登録されるとしたが、これに限定されず、内視鏡画像ＤＢ６３１には、親内視鏡画像及び子内視鏡画像が登録される。親内視鏡画像のＳ座標は、上述のとおりマウスピース等の親内視鏡測定部４００によって測定される。この場合、内視鏡画像ＤＢ６３１に含まれる画像テーブルは、管理項目（メタデータ）において、親内視鏡画像又は子内視鏡画像であるかを示す区分（親／子）の項目（フィールド）を含み、登録された内視鏡画像が親内視鏡画像又は子内視鏡画像のいずれかであるかが、示されるものであってもよい。又は、内視鏡画像ＤＢ６３１は、子内視鏡画像を登録する子内視鏡画像テーブルと、親内視鏡画像を登録する親内視鏡画像テーブルとを別テーブルとして管理し、子内視鏡画像テーブルと親内視鏡画像テーブルとが、例えば、被検者ＩＤ、検査日時及び、それぞれのＳ座標によって関連付けられるものであってもよい。このような内視鏡画像（親内視鏡画像又は子内視鏡画像）のデータ管理を行うことにより、親子方式の内視鏡装置１０によって、撮像された親内視鏡画像と子内視鏡画像とを関連付けた上で更に、３次元医用画像及び仮想内視鏡画像との関連付けることができ、内視鏡装置１０の操作者である医師等に有益な医療情報を提供することができる。

図６は、操作情報学習モデル９１を用いて操作支援情報を出力する処理を説明する説明図である。情報処理装置６は、後述する距離画像情報及び３次元医用画像に含まれる体腔情報を問題データとし、子内視鏡４０１の挿入方向、挿入量、挿入速度及び、挿入先を示す目標点座標等の少なくとも１つを含む操作支援情報を回答データとする訓練データに基づき学習することで、距離画像情報及び３次元医用画像を入力とし、子内視鏡４０１の挿入方向等を含む操作支援情報を出力とするニューラルネットワーク（操作情報学習モデル９１）を構築（生成）する。

訓練データを用いて学習された操作情報学習モデル９１は、人工知能ソフトウェアの一部であるプログラムモジュールとして利用が想定される。操作情報学習モデル９１は、上述のごとく制御部６２（ＣＰＵ等）及び記憶部６３を備える情報処理装置６にて用いられるものであり、このように演算処理能力を有する情報処理装置６にて実行されることにより、ニューラルネットワークシステムが構成される。すなわち、情報処理装置６の制御部６２が、記憶部６３に記憶された操作情報学習モデル９１からの指令に従って、入力層に入力された距離画像情報及び３次元医用画像の特徴量を抽出する演算を行い、出力層から子内視鏡４０１の挿入方向等を含む操作支援情報を出力するように動作する。

入力層は、距離画像情報及び３次元医用画像に含まれる体腔情報を受け付ける複数のニューロンを有し、入力された距離画像情報及び３次元医用画像に含まれる体腔情報を中間層に受け渡す。詳細は後述するが、距離画像情報は、取得した子内視鏡画像に対応する仮想内視鏡画像に基づき導出される情報であり、当該仮想内視鏡画像における各画素同士の距離に関する情報である。子内視鏡画像及び対応する仮想内視鏡画像とは、同一の体内部位の領域を撮像領域としているものであるため、当該距離画像情報は、子内視鏡画像における各画素同士の距離に関する情報に相当する。各画素同士の距離とは、３次元医用画像の座標系（体内座標系）における距離を意味するものであり、例えば、仮想内視鏡画像に含まれる２つの体内部位における奥行きを加味した距離である。また、操作情報学習モデル９１に入力される距離画像情報には、子内視鏡４０１の視点位置及び向きに関する情報が付加されたものであってもよい。３次元医用画像に含まれる体腔情報は、距離画像情報を導出した仮想内視鏡画像の撮像領域を含む３次元領域において、子内視鏡４０１が挿入されている体内器官等の形状（器官の内壁形状）を示す曲面データであり、当該曲面データは、例えば多項近似式又は点集合によって構成されるものであってもよい。

中間層は、例えば単数又は複数の全結合層からなる単相又は多層構造をなし、全結合層に含まれる複数のニューロン夫々は、入力された距離画像情報及び３次元医用画像に含まれる体腔情報の値に基づき、活性化又は非活性化を示す情報を出力する。情報処理装置６は、例えば、誤差逆伝播法（Backpropagation）等を用いて中間層での演算処理に用いるパラメータを最適化する。

出力層は、子内視鏡４０１の挿入方向等を含む操作支援情報を出力する一又は複数のニューロンを有し、中間層から出力された各ニューロンの活性化又は非活性化を示す情報に基づき、当該操作支援情報を出力する。子内視鏡４０１の挿入方向等を含む操作支援情報は、例えば、当該挿入方向において子内視鏡４０１の先端部が順次に通過する３次元医用画像の座標系（体内座標系）における複数の座標値及び回転角をベクトル形式で示すものであってもよい。また、当該操作支援情報は、子内視鏡４０１が順次に通過するあたり隣接する座標値間の移動量に対する速度成分を含むものであってもよい。

訓練データとして用いられる距離画像情報及び３次元医用画像問題データ（問題データ）と、これら情報に相関を有する子内視鏡４０１の挿入方向等を含む操作支援情報は、各医療機関において行われた子内視鏡４０１による検査の結果データとして大量に保存されており、これら結果データを用いることにより、操作情報学習モデル９１を学習するための訓練データを大量に生成することができる。

図７は、一致度学習モデル９２を用いて子内視鏡画像との一致度を出力する処理を説明する説明図である。情報処理装置６は、子内視鏡画像及び仮想内視鏡画像を問題データとし、これら両画像の一致度に関する情報を回答データとする訓練データに基づき学習することで、子内視鏡画像及び仮想内視鏡画像を入力とし、両画像の一致度を示す値等の情報を出力とするニューラルネットワーク（一致度学習モデル９２）を構築（生成）する。訓練データを用いて学習された一致度学習モデル９２は、操作情報学習モデル９１と同様に人工知能ソフトウェアの一部であるプログラムモジュールとして利用が想定される。

入力層は、子内視鏡画像及び仮想内視鏡画像の画素値の入力を受け付ける複数のニューロンを有し、入力された画素値を中間層に受け渡す。中間層は、子内視鏡画像及び仮想内視鏡画像の画像特徴量を抽出する複数のニューロンを有し、抽出した両画像夫々の画像特徴量を出力層に受け渡す。出力層は、入力された子内視鏡画像及び仮想内視鏡画像の一致度を示す値等、当該一致度に関する情報を出力する一又は複数のニューロンを有し、中間層から出力された両画像夫々の画像特徴量に基づいて、一致度に関する情報を出力する。

一致度学習モデル９２が、例えばＣＮＮ（Convolutional Neural Network）である場合、中間層は、入力層から入力された各画素の画素値を畳み込むコンボリューション層と、コンボリューション層で畳み込んだ画素値をマッピング（圧縮）するプーリング層とが交互に連結された構成を有し、子内視鏡画像及び仮想内視鏡画像の画素情報を圧縮しながら最終的に子内視鏡画像及び仮想内視鏡画像の特徴量を抽出する。出力層は、例えば全結合層及びソフトマックス層を含み、全結合層にて両画像夫々の画像特徴量による特徴量ベクトルの内積によるコサイン類似度を導出し、ソフトマックス層にてコサイン類似度に基づき一致度を示す値（確立値）を導出して、一致度に関する情報として出力する。

一致度学習モデル９２を構築（生成）するにあたり、例えば、ＶＧＧ１６モデル（caffemodel：VGG_ILSVRC_16_layers）にて実装したＤＣＮＮ等のリポジトリ（学習済みのモデル）を用い、子内視鏡画像及び仮想内視鏡画像による訓練データによって転移学習を行い、当該一致度学習モデル９２を構築するものであってもよい。訓練データとして用いられる子内視鏡画像及び、当該内視鏡画像に対応する仮想内視鏡画像は、各医療機関において行われた子内視鏡４０１の検査及びＣＴ装置等の結果データとして大量に保存されており、これら結果データを用いることにより、一致度学習モデル９２を学習するための訓練データを大量に生成することができる。

本実施形態では操作情報学習モデル９１及び一致度学習モデル９２は、例えばＣＮＮ等のニューラルネットワーク（ＮＮ）であるとして説明するが、これら学習モデル（９１，９２）は、ＮＮに限定されず、ＳＶＭ（Support Vector Machine）、ベイジアンネットワーク、回帰木など、他の学習アルゴリズムで構築された学習モデル（９１，９２）であってもよい。操作情報学習モデル９１及び一致度学習モデル９２において、これら学習モデルの入力データは子内視鏡画像に基づくものにて説明したが、これに限定されない。操作情報学習モデル９１及び一致度学習モデル９２は、親内視鏡画像に基づく入力データに対しても、適用することができる。

図８は、情報処理装置６の制御部６２に含まれる機能部を例示する機能ブロック図である。内視鏡用プロセッサ２０（内視鏡装置１０）の制御部２１は、主記憶装置２２に記憶されているプログラムを実行することにより、画像処理部２１１として機能する。情報処理装置６の制御部６２は、記憶部６３に記憶されているプログラムＰを実行することにより、取得部６２１、視点位置導出部６２２、仮想内視鏡画像生成部６２３、一致度判定部６２４、距離画像情報導出部６２５、操作支援情報出力部６２６として機能する。

内視鏡用プロセッサ２０の画像処理部２１１は、子内視鏡４０１から出力された画像（撮影画像）をガンマ補正、ホワイトバランス補正、シェーディング補正等の各種画像処理を行い、子内視鏡画像として出力する。画像処理部２１１は、生成した子内視鏡画像及び子内視鏡画像の撮像時点に基づく検査日時を情報処理装置６に出力（送信）する。画像処理部２１１は、更にキーボード１５から入力された被検者ＩＤを情報処理装置６に出力するものであってもよい。

画像処理部２１１は、親内視鏡測定部４００から出力される親内視鏡測定部４００の挿入距離（Ｓ座標）、及び子内視鏡測定部４０２から出力される子内視鏡測定部４０２の突出距離に基づき、これら距離を算出（加算）して、子内視鏡４０１の挿入距離（Ｓ座標）に関する情報を、情報処理装置６に出力するものであってもよい。画像処理部２１１は、算出した子内視鏡４０１の挿入距離（Ｓ座標）に関する情報を、例えば、子内視鏡画像に重畳して表示装置に表示させるものであってもよい。

取得部６２１は、内視鏡用プロセッサ２０が出力した被検者ＩＤ、検査日時、子内視鏡画像及び子内視鏡４０１のＳ座標（挿入距離）を取得する。当該子内視鏡４０１のＳ座標（挿入距離）は、親内視鏡４０のＳ座標（SP）に、当該親内視鏡４０の先端部４４３から突出している子内視鏡４０１の長さ（突出距離（SC））を加算（SP+SC）した値（距離）である。又は、取得部６２１は、内視鏡用プロセッサ２０から、親内視鏡４０のＳ座標（SP）及び子内視鏡４０１の突出距離（SC）を取得し、これら距離を加算（SP+SC）して子内視鏡４０１のＳ座標（挿入距離）を導出し、他の機能部に出力するものであってもよい。

取得部６２１は、取得した被検者ＩＤに基づき、通信可能に接続されたＣＴ装置、コーンビームＣＴ装置又はＭＲＩ装置、超音波診断装置のように体内を３次元画像で撮影できる手段から出力される当該被検者の３次元用医用画像を取得する。ＣＴ装置、コーンビームＣＴ装置又はＭＲＩ装置、超音波診断装置等のように体内を３次元画像で撮影できる他の検査装置から出力される３次元用医用画像が、例えば外部サーバ（図示せず）に既に保存されている場合、情報処理装置６は、当該外部サーバにアクセスし、内視鏡用プロセッサ２０から出力された被検者ＩＤに基づき、当該被検者の３次元用医用画像を取得するものであってもよい。

３次元医用画像は、例えばＣＴ装置、コーンビームＣＴ装置及びＭＲＩ装置、超音波診断装置のように体内を３次元画像で撮影できる手段等から出力された断層像データから構成されたボリュームデータにより表される画像、並びにMulti SliceＣＴ装置及びＸ線フラットパネルを用いたＸ線コーンビームＣＴ装置から出力されたボリュームデータにより表される画像である。Ｘ線ＣＴ装置又はコーンビームＣＴ装置を用いた場合、例えばＸ線ＣＴでDual Energy 撮影を行い、実効質量数（effective-Z）により３次元医用画像の各画素の組成（体組成）が分かる画像とするものであってもよい。ＭＲＩ装置を用いた場合、脂肪又は乳酸等の３次元医用画像の各画素の組成（体組成）に関する情報を付与した画像とするものであってもよい。

取得部６２１は、取得した子内視鏡４０１のＳ座標を視点位置導出部６２２に出力する。視点位置導出部６２２は、取得したＳ座標に基づき、当該Ｓ座標に対応する３次元用医用画像の座標（体内座標系における座標）、すなわち子内視鏡画像が撮像された時点における子内視鏡４０１の先端が位置する視点位置を導出する。

図９は、子内視鏡４０１が挿入された距離（Ｓ座標の値）を示す説明図である。図示されるように３次元用医用画像により、親内視鏡４０及び子内視鏡４０１により撮影された消化器官等は、３次元形状により表現される。当該消化器官等の内壁の内側には、空間が形成されており、当該空間は親内視鏡４０及び子内視鏡４０１が挿入される挿入経路となる。

親内視鏡４０及び子内視鏡４０１の挿入距離であるＳ座標それぞれは、当該挿入経路の内側（消化器官等の内壁の内側）であって、挿入されている経路の経路長が当該挿入距離に略等しくなる場所となる。これらＳ座標に基づき、消化器官等の内壁の内側に位置する親内視鏡４０及び子内視鏡４０１の先端の座標それぞれを導出することができる。視点位置導出部６２２は、導出した子内視鏡４０１の視点位置に関する情報を仮想内視鏡画像生成部６２３に出力する。

取得部６２１は、取得した３次元医用画像を仮想内視鏡画像生成部６２３に出力する。仮想内視鏡画像生成部６２３は、取得した３次元医用画像及び、視点位置導出部６２２から取得した視点位置に基づき、仮想内視鏡画像を生成する。仮想内視鏡画像は、気管及び気管支内又は腸管等の管状臓器を撮影したＸ線ＣＴ又はＭＲＩ又はＸ線コーンビームＣＴの３次元医用画像に基づいて生成（再構成）し、３次元用医用画像による器官内（体腔内）を仮想的内視鏡によって表した画像である。例えば、大腸に空気を入れた状態でＣＴ撮影を行い、その撮影によって得た３次元用医用画像を大腸の内側からボリュームレンダリングすることによって、大腸の仮想内視鏡画像を生成（再構成）するものであってもよい。

仮想内視鏡画像生成部６２３は、取得した３次元医用画像から被検者内の臓器のボクセルデータを抽出する。臓器としては、例えば十二指腸、胆管、大腸、小腸、腎臓、気管支又は血管等があるが、これに限らずその他の臓器でも良い。なお、本実施形態においては大腸のボクセルデータを抽出して取得するものとする。例えば、大腸領域を抽出する方法としては、具体的には、まず、３次元医用画像に基づいて体軸に垂直な断面（軸位断；axial）の軸位断画像を複数再構成し、その各軸位断画像に対して、公知の手法によりＸ線吸収係数に基づくＸ線ＣＴ値を閾値として体表面と体内の境界を求め、体表を基準に体外と体内領域を分離する処理を行う。例えば、再構成された軸位断画像に対してＸ線ＣＴ値による二値化処理を施し、輪郭抽出処理により輪郭を抽出し、その抽出した輪郭内部を体内(人体)領域として抽出する。次に、体内領域の軸位断画像に対して閾値による二値化処理を行い、各軸位断画像における大腸の領域の候補を抽出する。具体的には、大腸の管内には空気が入っているため、空気のＣＴ値に対応する閾値（例えば、－６００ＨＵ(Hounsfield Unit)以下）を設定して二値化処理を行い、各軸位断画像の体内の空気領域を大腸領域候補として抽出する。仮想内視鏡画像生成部６２３は、視点位置と視線方向として設定される回転角に基づく視線ベクトルを中心として、放射線状に伸ばした複数の光線方向上のボクセルデータを、所定の投影面に投影した中心投影による画像を仮想内視鏡画像として再構成する。なお、中心投影の具体的な方法としては、例えば公知のボリュームレンダリング手法等を用いることができる。

仮想内視鏡画像生成部６２３は、例えば、子内視鏡４０１の先端部４４３の座標に相当する視点位置を起点に、視点方向、すなわち３次元用医用画像の座標系における回転角（Θx、Θy、Θz）を、例えば１°とする所定単位量ずつ変更させて、候補となる複数の仮想内視鏡画像を順次に生成する。すなわち、仮想内視鏡画像生成部６２３は、例えば、３次元医用画像にて特定される消化器官の内部となる視点位置から、視点方向として設定される複数の回転角により、当該消化器官の内壁による３次元形状を射影（投影）して、複数の仮想内視鏡画像を生成するものであってもよい。仮想内視鏡画像生成部６２３は、生成した複数の仮想内視鏡画像と、当該仮想内視鏡画像を生成する際に用いた視点方向（回転角）とを関連付けて、一致度判定部６２４に出力する。

取得部６２１は、取得した子内視鏡画像を一致度判定部６２４に出力する。一致度判定部６２４は、取得した子内視鏡画像と、仮想内視鏡画像生成部６２３から取得した複数の仮想内視鏡画像及び当該仮想内視鏡画像を生成する際に用いた視点方向（回転角）とに基づき、取得した子内視鏡画像と、最も一致する仮想内視鏡画像及び、当該最も一致する仮想内視鏡画像を生成する際に用いた視点方向（回転角）を特定する。一致度判定部６２４は、取得した子内視鏡画像と、複数の仮想内視鏡画像夫々とを比較することにより、子内視鏡画像と仮想内視鏡画像との一致度を導出する。

一致度判定部６２４は、入力された子内視鏡画像及び仮想内視鏡画像に基づき、両画像の一致度を示す値等の情報を出力とする一致度学習モデル９２を含む。一致度判定部６２４は、取得した子内視鏡画像及び仮想内視鏡画像を一致度学習モデル９２に入力し、一致度学習モデル９２が出力した一致度を示す値（確率値）においても、最も高い値となる仮想内視鏡画像を、当該子内視鏡画像に対応する仮想内視鏡画像として出力するものであってもよい。

又は、一致度判定部６２４は、一致度学習モデル９２を含む場合に限定されず、例えば、子内視鏡画像の陰影画像と仮想内視鏡画像の陰影画像の相関を取るような指標で一致度を測定するものであってもよい。仮想内視鏡画像と子内視鏡画像の一致度を定量的に見るには、輝度情報から求める陰影画像情報の相関度を見て一致度の高さを判断しても良い。又は、一致度判定部６２４は、構成した複数の仮想内視鏡画像と子内視鏡画像との類似度を比較するものであってもよい。両画像の類似度比較は、公知の画像処理により行われ、画素データレベルのマッチング、又は、画像から抽出した特徴のレベルにおけるマッチングのいずれを用いても良い。一致度判定部６２４によって、子内視鏡画像と最も一致度が高いと特定した仮想内視鏡画及び、当該仮想内視鏡画を生成するために用いた視点方向（回転角）は、内視鏡画像ＤＢに登録されるものであってもよい。一致度判定部６２４は、子内視鏡画像と最も一致度が高いと特定した仮想内視鏡画及び、当該仮想内視鏡画を生成するために用いた視点位置及び方向（回転角）を、距離画像情報導出部６２５に出力する。

本実施形態おいて、一致度判定部６２４は、取得した子内視鏡画像と、最も一致する仮想内視鏡画像を特定するとしたが、これに限定されない。一致度判定部６２４は、一致度が所定値以上となる仮想内視鏡画像を、取得した子内視鏡画像と実質的に同一視できる仮想内視鏡画像として特定するものであってもよい。一致度が所定値以上となる仮想内視鏡画像を特定することにより、候補として生成された全ての仮想内視鏡画像との全件比較を行うことを不要とし、情報処理装置６の計算負荷及び処理時間の低減を図ることができる。又は、一致度判定部６２４は、取得した子内視鏡画像との差異（差分インデックス）が最も小さい仮想内視鏡画像を、取得した子内視鏡画像と実質的に同一視できる仮想内視鏡画像として特定するものであってもよい。子内視鏡画像と仮想内視鏡画像との差異（差分インデックス）は、当該内視鏡画像と仮想内視鏡画像との一致度の逆数に相当するものであるため、このような差異（差分インデックス）を導出する画像比較エンジン等を用いることにより、取得した子内視鏡画像と実質的に同一視できる仮想内視鏡画像を効率的に取得することができる。

一致度判定部６２４は、一致度が所定値以上とならない場合、視点位置導出部６２２から取得した視点位置を微修正した視点位置により、再度、複数の仮想内視鏡画像を再生成し、再生成した複数の仮想内視鏡画像と、子内視鏡画像との一致度を導出し、最も一致度が高い仮想内視鏡画像を特定してもよい。

距離画像情報導出部６２５は、一致度判定部６２４から取得した仮想内視鏡画像に基づき、距離画像情報を導出する。距離画像情報は、仮想内視鏡画像において、仮想内視鏡画像における各画素同士の距離に関する情報である。各画素同士の距離とは、３次元医用画像の座標系（体内座標系）における距離を意味するものであり、例えば、仮想内視鏡画像に含まれる２つの体内部位における奥行きを加味した距離である。仮想内視鏡画像は、３次元医用画像を射影変換して２次元化した画像であり、仮想内視鏡画像における任意の地点は、３次元医用画像における地点に対応するものであり、これら地点は、体内部位における同一の位置を示す。当該仮想内視鏡画像における任意の地点は、画像における最小単位となる画素番号（ピクセル座標）であってもよく、又は、例えば所定の体内部位を特定する局所領域（複数の画素により構成される領域）の中央部とするものであってもよい。このように任意の地点を２つ定めることより、３次元医用画像の座標系における当該２つの地点間の距離を導出することができる。すなわち、距離画像情報における距離とは、仮想内視鏡画像の２点に対応する３次元医用画像の座標系の２点の距離に相当する。

３次元医用画像における２点は、仮想内視鏡画像における２点から特定される。特定された３次元医用画像における２点夫々の座標値に基づき、当該２点の距離及びベクトルを導出することができる。導出した３次元医用画像における２点の距離及びベクトルを、当該２点に対応する仮想内視鏡画像の２点の距離及びベクトルとして、仮想内視鏡画像に付与することにより、距離画像、すなわち仮想内視鏡画像において３次元医用画像の座標系における距離情報が付加された仮想内視鏡画像（距離画像）を生成することができる。距離画像情報導出部６２５は、各画素同士の距離に関する情報が付加された仮想内視鏡画像（距離画像）を、距離画像情報として出力するものであってもよい。また、距離画像情報導出部６２５は、仮想内視鏡画像を生成するにあたり用いた子内視鏡４０１の視点位置及び方向を付加して、出力するものであってもよい。

子内視鏡画像は、当該子内視鏡画像を撮像した子内視鏡４０１の位置（視点位置）及び撮影方向（視点方向）に基づき、３次元医用画像から再構成（生成）される仮想内視鏡画像に対応している。従って、子内視鏡画像に対応する仮想内視鏡画像による距離画像情報は、当該子内視鏡画像に対しても適用することができる。すなわち、子内視鏡画像における２点間の距離は、当該子内視鏡画像に対応する仮想内視鏡画像の２点間の距離（距離画像における距離であり、３次元医用画像の座標系の距離）に相当する。従って、距離画像（仮想内視鏡画像）に含まれる距離画像情報を子内視鏡画像に適用することにより、当該子内視鏡画像に含まれる体内部位間の距離、体内部位の大きさ等の距離情報（子内視鏡画像における距離画像情報）を確定することができる。

操作支援情報出力部６２６は、距離画像情報導出部６２５から出力された距離画像情報、及び子内視鏡４０１の視点位置及び方向（回転角）を取得する。操作支援情報出力部６２６は、取得部６２１からから出力された３次元医用画像を取得し、当該３次元医用画像に含まれる体腔情報を抽出する。上述のとおり、３次元医用画像に含まれる体腔情報とは、距離画像情報を導出した仮想内視鏡画像の撮像領域を含む３次元領域において、例えば、子内視鏡４０１が挿入されている体内器官等の形状（器官の内壁形状）を示す曲面データである。

操作支援情報出力部６２６は、入力された距離画像情報、子内視鏡４０１の視点位置と方向及び、曲面データ等によって示される３次元医用画像に含まれる体腔情報に基づき、子内視鏡４０１の入方向等を含む操作支援情報を出力する操作情報学習モデル９１を含む。操作支援情報出力部６２６は、取得した距離画像情報、子内視鏡４０１の視点位置と方向及び、曲面データ等によって示される３次元医用画像に含まれる体腔情報を操作情報学習モデル９１に入力し、操作情報学習モデル９１から出力された子内視鏡４０１の入方向等を含む操作支援情報を取得する。

上述のとおり、操作情報学習モデル９１から出力される操作支援情報は、例えば、現時点、すなわち子内視鏡画像の撮像時点における子内視鏡４０１の視点位置及び方向から、挿入先を示す目標地点までの子内視鏡４０１の挿入方向、挿入量又は挿入速度に関する情報を含む。当該操作支援情報は、子内視鏡４０１の視点位置から目標地点までにおいて、子内視鏡４０１の先端部４４３が順次に通過する３次元医用画像の座標系（体内座標系）における複数の座標値及び回転角をベクトル形式又は行列形式で示すものであってもよい。子内視鏡４０１が順次に通過する複数の座標値及び回転角を用いることにより、これら複数の座標値を経路点として接続することにより、子内視鏡４０１を挿入する経路を確定することができる。操作支援情報出力部６２６は、経路点となる座標値夫々を導出するにあたり、挿入部（可撓管）４４の硬度に応じた補正を行い、当該座標値を導出するものであってもよい。

操作支援情報出力部６２６は、取得部６２１から出力された子内視鏡画像を取得し、例えば、当該子内視鏡画像に操作支援情報を重畳した画像データを生成し、表示部７に出力する。表示部７は、操作支援情報出力部６２６から取得した画像データに基づき、子内視鏡画像に操作支援情報が重畳された子内視鏡画像を表示する。

取得部６２１によって取得された被検者ＩＤ、検査日時、子内視鏡画像、Ｓ座標、３次元用医用画像及び、一致度判定部６２４が導出した仮想内視鏡画像、子内視鏡４０１の視点位置及び向きに関する情報は、関連付けられて内視鏡画像ＤＢに保存される。すなわち、情報処理装置の制御部は、ＤＢ登録部として機能し、取得部６２１及び一致度判定部６２４が取得又は導出した各種画像、情報又はデータを内視鏡画像ＤＢに登録して保存するものであってもよい。内視鏡画像ＤＢに登録される情報又はデータは、子内視鏡画像に関するデータに限定されず、親内視鏡４０によって撮像された親内視鏡画像に関するデータも含む。取得部６２１等の各機能部は、親内視鏡４０によって撮像された親内視鏡画像についても、子内視鏡画像と同様の処理を行う。

図１０は、子内視鏡画像と３次元医用画像との関連に関する説明図である。本図においては、３次元医用画像、仮想内視鏡画像及び子内視鏡画像における関連性をオブジェクト指向的に表したものである。

上述のとおり、内視鏡画像ＤＢ６３１に登録されている３次元医用画像、仮想内視鏡画像及び子内視鏡画像は、当該子内視鏡画像の撮影時点における子内視鏡４０１の視点位置、視点方向に基づき関連付けがされている。視点位置は、３次元医用画像の座標系（体内座標系）における座標(x,y,z)に相当する。視点方向は、３次元医用画像の座標系（体内座標系）におけるｘ軸、ｙ軸及びｚ軸における回転角(Θx,Θy,Θz)に相当する。

子内視鏡画像の画素夫々は、仮想内視鏡画（当該子内視鏡画像に最も一致する仮想内視鏡画）の画素夫々に対応している。仮想内視鏡画は、３次元医用画像を基に視点位置を起点とし、視点方向（回転角）により定義される視点ベクトルを用いたベクトル変換にて、射影（投影）して生成された画像であり、仮想内視鏡画の画素により、３次元医用画像の座標系（体内座標系）における座標が確定される。

上述のとおり、仮想内視鏡画の画素夫々は、子内視鏡画像の画素夫々に対応しているため、仮想内視鏡画の画素に基づき、子内視鏡画像の画素、すなわち子内視鏡画像に含まれる体内部位の３次元医用画像の座標系（体内座標系）における座標を確定することができる。すなわち、仮想内視鏡画を中間媒体として、子内視鏡画像の画素（体内部位）と、３次元医用画像の座標系（体内座標系）における座標とを連関させることができる。

３次元医用画像に、子内視鏡画像の画素のカラー情報、narrow band画素情報を付加させて、当該３次元医用画像を内視鏡画像ＤＢ６３１に登録するものであってもよい。この際、カラー情報等の子内視鏡画像の画素情報を３次元医用画像に付加させる場合、撮影用光源４４６による輝度補正を行うことが望ましい。上述のとおり、子内視鏡画像の画素と視点位置（撮影用光源４４６の地点）との距離は、３次元医用画像の座標系上にて導出される。従って、導出した当該距離を二乗した逆数に基づき、子内視鏡画像の画素情報に含まれる明度を補正するものであってもよい。３次元医用画像の座標系において同一の座標に位置する画素を含む子内視鏡画像が複数ある場合、最も距離の近い子内視鏡画像を優先し、当該距離に応じた重みをかけて荷重平均、又は単純平均するようにて３次元医用画像に付加させるものであってもよい。

３次元医用画像の撮像において、Ｘ線ＣＴ装置又はコーンビームＣＴ装置を用いた場合、例えばDual Energy 撮影を行い、実効質量数（effective-Z）により３次元医用画像の各画素の組成（体組成）が分かる画像とするものであってもよい。又、ＭＲＩ装置を用いた場合、脂肪又は乳酸等の３次元医用画像の各画素の組成（体組成）に関する情報を付与した画像とするものであってもよい。このように３次元医用画像の各画素の組成に、実効質量数（effective-Z）、脂肪又は乳酸等の体組成に関する情報を付加することにより、これら付加された情報と、当該３次元医用画像の各画素により特定される座標に関連付けられた子内視鏡画像とを連関させた情報を、医師等に提供することができる。

図１１は、情報処理装置６の制御部６２による処理手順の一例を示すフローチャートである。情報処理装置６は、例えば、自装置に接続されている入力部８からの入力内容に基づき、当該フローチャートの処理を開始する。

情報処理装置６の制御部６２は、内視鏡用プロセッサ２０から出力された検査日時、被検者ＩＤ、子内視鏡画像及び、挿入距離に関する情報を取得する（Ｓ１０１）。制御部６２が内視鏡用プロセッサ２０から取得する子内視鏡画像は、静止画又は動画であってもよい。制御部６２は、子内視鏡画像の取得に併せて、子内視鏡４０１の挿入距離（Ｓ座標）に関する情報、検査日時（子内視鏡画像の撮像日時）及び被検者ＩＤ等の被検者の属性情報を取得する。

情報処理装置６の制御部６２は、ＣＴ装置又はＭＲＩ装置、超音波診断装置のように体内を３次元画像で撮影できる検査装置から出力される３次元用医用画像を取得する（Ｓ１０２）。３次元用医用画像の取得は、情報処理装置６がＣＴ装置又はＭＲＩ装置、超音波診断装置のように体内を３次元画像で撮影できる検査装置と通信可能に接続することにより、取得するものであってもよい。又は、ＣＴ装置又はＭＲＩ装置、超音波診断装置のように体内を３次元画像で撮影できる検査装置から出力される３次元用医用画像が、例えば外部サーバ（図示せず）に既に保存されている場合、情報処理装置６は、当該外部サーバにアクセスし、内視鏡用プロセッサ２０から出力された被検者ＩＤに基づき、当該被検者の３次元用医用画像を取得するものであってもよい。又は、内視鏡用プロセッサ２０が、ＣＴ装置又はＭＲＩ装置、超音波診断装置のように体内を３次元画像で撮影できる検査装置と通信可能に接続されており、情報処理装置６の制御部６２は、内視鏡用プロセッサ２０を介してＣＴ装置又はＭＲＩ装置、超音波診断装置のように体内を３次元画像で撮影できる３次元用医用画像を取得するものであってもよい。

情報処理装置６の制御部６２は、挿入距離（Ｓ座標）に基づき、視点位置を導出する（Ｓ１０３）。制御部６２は、内視鏡用プロセッサ２０を介して取得した子内視鏡４０１の挿入距離（Ｓ座標）及び３次元用医用画像に基づき、子内視鏡４０１が挿入された消化器官等の内壁の内側に位置する子内視鏡４０１の先端の座標を導出する。当該子内視鏡４０１のＳ座標（挿入距離）は、親内視鏡４０のＳ座標（SP）に、当該親内視鏡４０の先端部４４３から突出している子内視鏡４０１の長さ（突出距離（SC））を加算（SP+SC）した値（距離）である。子内視鏡４０１の先端の座標は、所定の地点を原点として設定された３次元用医用画像の座標系（体内座標系）における座標である。

情報処理装置６の制御部６２は、視点位置に基づき候補となる複数の仮想内視鏡画像を生成する（Ｓ１０４）。制御部６２は、子内視鏡４０１の先端の座標に相当する視点位置を起点に、視点方向、すなわち３次元用医用画像の座標系における回転角（Θx,Θy,Θz）を、所定単位量ずつ変更させて、候補となる複数の仮想内視鏡画像を順次に生成する。例えば、所定単位量を１０°とした場合、制御部６２は、各軸の回転角に対し３６個の分解能を有し、すなわち３６の３乗（４６６５６）枚の候補となる仮想内視鏡画像を生成するものであってもよい。

情報処理装置６の制御部６２は、生成した複数の仮想内視鏡画像の内、子内視鏡画像との一致度が最も高い仮想内視鏡画像を特定する（Ｓ１０５）。制御部６２は、例えば一致度学習モデル９２を用いて、子内視鏡画像との一致度が最も高い仮想内視鏡画像を特定する。又は、子内視鏡画像の陰影画像と仮想内視鏡画像の陰影画像の相関を取るような指標で一致度を測定するものであってもよい。制御部６２は、最も一致度が高い仮想内視鏡画像と、当該仮想内視鏡画像を生成する際の視点位置及び方向（回転角度）とを特定する。

情報処理装置６の制御部６２は、取得した仮想内視鏡画像等により距離画像情報を導出する（Ｓ１０６）。制御部６２は、仮想内視鏡画像における各画素同士の距離に関する情報である距離画像情報を導出する。

情報処理装置６の制御部６２は、距離画像情報及び３次元用医用画像に含まれる体腔情報に基づき、操作支援情報を出力する（Ｓ１０７）。制御部６２は、取得した３次元用医用画像に含まれる体腔情報を、距離画像情報を導出した仮想内視鏡画像の撮像領域を含む３次元領域において、子内視鏡４０１が挿入されている体内器官等の形状（器官の内壁形状）を示す曲面データと抽出する。制御部６２は、抽出した曲面データ、距離画像情報及び、子内視鏡４０１の位置及び向きを示す情報を、操作情報学習モデル９１に入力し、操作情報学習モデル９１が出力した操作支援情報を出力する。

制御部６２は、操作支援情報を出力するにあたり、当該操作支援情報を子内視鏡画像、仮想内視鏡画像又は３次元用医用画像に重畳させた画像データを生成し、例えば表示部に当該画像データを出力するものであってもよい。表示部は、情報処理装置６の制御部６２から出力された画像データに基づき、操作支援情報が重畳された子内視鏡画像、仮想内視鏡画像又は３次元用医用画像を表示する。

子内視鏡画像、仮想内視鏡画像又は３次元用医用画像に重畳される操作支援情報は、子内視鏡４０１の挿入方向、挿入量、挿入速度及び、挿入先を示す目標点座標等に関する情報が含まれているため、医師等、子内視鏡４０１の操作者に対し有用な情報を提供することができ、医師等に対する診断支援に寄与することができる。

本実施形態によれば、情報処理装置６の制御部６２は、例えば、Ｘ線ＣＴ、Ｘ線コーンビームＣＴ、ＭＲＩ－ＣＴ及び超音波診断装置にて、被検者の体内を撮像した３次元医用画像を取得し、子内視鏡４０１の挿入距離に関する情報に基づき、３次元医用画像の座標系における位置情報を導出する。従って、親内視鏡４０及び子内視鏡４０１を備える親子方式の内視鏡装置１０においても、親内視鏡４０によって撮像された親内視鏡４０画像と同様に、子内視鏡４０１画像によって撮像された子内視鏡４０１画像と３次元医用画像とを関連付けることができる。情報処理装置６の制御部６２は、被検者の体内における親内視鏡４０の挿入距離に、親内視鏡４０の先端部４４３から突出した子内視鏡４０１の突出距離を加算することにより、当該体内における子内視鏡４０１の挿入距離を導出するため、子内視鏡４０１の挿入距離を効率的に算出することができる。

本実施形態によれば、情報処理装置６の制御部６２は、子内視鏡４０１画像と関連付けられた３次元医用画像から生成した仮想内視鏡画像に含まれる距離画像情報に基づいて、子内視鏡４０１の操作に関する操作支援情報を出力するため、医師等の内視鏡装置１０の操作者に対し、有益な情報を提供することができる。

（実施形態２）
図１２は、実施形態２（子内視鏡画像の補正）に係る診断支援学習モデルを用いて診断支援情報を出力する処理を説明する説明図である。情報処理装置６は、子内視鏡画像を問題データとし、病変の有無、病変の症状の種類、病変の症状のステージ及び病変の場所等の少なくとも１つを含む診断支援情報を回答データとする訓練データに基づき学習することで、子内視鏡画像を入力とし、病変の有無等を含む診断支援情報を出力とするニューラルネットワークを構築（生成）する子。子内視鏡画像には、例えば病変が疑われる体内部位が含まれる。病変の有無、症状の種類、症状のステージ及び、病変の場所は、子内視鏡画像に含まれる体内部位に関する病変の有無又は確率値、症状の種類、症状のステージ及び、病変の場所に関する情報である。

診断支援学習モデル９３に入力される子内視鏡画像は、当該子内視鏡画像に対応する仮想内視鏡画像（当該子内視鏡画像に最も一致する仮想内視鏡画像）から導出された距離画像情報に基づき、特徴パラメータが補正された子内視鏡画像であってもよい。当該距離画像情報に基づく特徴パラメータの補正については、後述する。

訓練データを用いて学習されたニューラルネットワーク（診断支援学習モデル９３）は、人工知能ソフトウェアの一部であるプログラムモジュールとして利用が想定される。診断支援学習モデル９３は、上述のごとく制御部６２（ＣＰＵ等）及び記憶部６３を備える情報処理装置６にて用いられるものであり、このように演算処理能力を有する情報処理装置６にて実行されることにより、ニューラルネットワークシステムが構成される。すなわち、情報処理装置６の制御部６２が、記憶部６３に記憶された診断支援学習モデル９３からの指令に従って、入力層に入力された子内視鏡画像の特徴量を抽出する演算を行い、出力層から病変の有無等を含む診断支援情報を出力するように動作する。

入力層は、子内視鏡画像の画素値の入力を受け付ける複数のニューロンを有し、入力された画素値及び距離情報を中間層に受け渡す。中間層は、子内視鏡画像の画像特徴量を抽出する複数のニューロンを有し、抽出した画像特徴量を出力層に受け渡す。出力層は、病変の有無及び症状のステージに関する情報を出力する一又は複数のニューロンを有し、中間層から出力された画像特徴量に基づいて、病変の有無及び症状のステージに関する情報を出力する。例えば診断支援学習モデル９３がＣＮＮ（Convolutional Neural Network）である場合、中間層は、入力層から入力された各画素の画素値を畳み込むコンボリューション層と、コンボリューション層で畳み込んだ画素値をマッピング（圧縮）するプーリング層とが交互に連結された構成を有し、子内視鏡画像の画素情報を圧縮しながら最終的に子内視鏡画像の特徴量を抽出する。出力層は、当該子内視鏡画像に含まれる体内部位における病変の有無等のに関する情報を出力する一又は複数のニューロンを有し、中間層から出力された画像特徴量等に基づいて、病変の有無等のに関する情報を出力する。出力された病変の有無等のに関する情報は、子内視鏡４０１を操作する医師等により診断支援情報として用いられる情報である。

本実施形態では、診断支援学習モデル９３に入力されるデータは、子内視鏡画像であるとして説明しているがこれに限定されない。診断支援学習モデル９３に入力されるデータは、子内視鏡４０１が撮像した子撮影画像（生画像）であってもよい。すなわち、診断支援学習モデル９３は、子撮影画像（生画像）が入力されることにより、病変の有無等のに関する情報を出力するものであってもよい。

本実施形態では診断支援学習モデル９３がＣＮＮ等のニューラルネットワーク（ＮＮ）であるとして説明するが、診断支援学習モデル９３は、ＮＮに限定されず、ＳＶＭ（Support Vector Machine）、ベイジアンネットワーク、回帰木など、他の学習アルゴリズムで構築された診断支援学習モデル９３であってもよい。又は、ＣＮＮの代わりに、ＲＣＮＮ（Regions with Convolutional Neural Network）、ＦａｓｔＲＣＮＮ、ＦａｓｔｅｒＲＣＮＮ又はＳＳＤ（Single Shot Multibook Detector）、ＹＯＬＯ（You Only Look Once）等の、任意の物体検出アルゴリズムを使用しても良い。

情報処理装置６は、出力層から出力された値を、問題データ（子内視鏡画像）に対し、ラベル付けされた情報（病変の有無、症状の種類及び症状のステージ）、すなわち正解値（回答データ）と比較し、出力層からの出力値が正解値に近づくように、中間層での演算処理に用いるパラメータを最適化する。当該パラメータは、例えばニューロン間の重み（結合係数）、各ニューロンで用いられる活性化関数の係数などである。パラメータの最適化の方法は特に限定されないが、例えば情報処理装置６は、誤差逆伝播法を用いて各種パラメータの最適化を行う。情報処理装置６は、訓練データに含まれる子内視鏡画像について上記の処理を行い、診断支援学習モデル９３を生成し、生成した診断支援学習モデル９３を記憶部６３に記憶する。

訓練データとして用いられる子内視鏡画像（問題データ）と、これら情報に相関を有する病変の有無等に関する情報（回答データ）は、各医療機関において行われた子内視鏡４０１による検査の結果データとして大量に保存されており、これら結果データを用いることにより、診断支援学習モデル９３を学習するための訓練データを大量に生成することができる。

図１３は、情報処理装置６の制御部６２に含まれる機能部を例示する機能ブロック図である。情報処理装置６の制御部６２は、記憶部６３に記憶されているプログラムＰ（プログラム製品）を実行することにより、取得部６２１、距離画像情報導出部６２５、特長パラメータ導出部６２７、特徴パラメータ補正部６２８、出力部６２９として機能する。また、制御部６２は、記憶部６３に記憶されているプログラムＰを実行することにより、又は診断支援学習モデル９３を構成する実体ファイルを読み出すことにより、診断支援学習モデル９３として機能する。

取得部６２１は、内視鏡用プロセッサ２０から、又は入力部８を介して入力される被検者ＩＤ等を受付け、被検者ＩＤ等を取得する。取得部６２１は、取得した被検者ＩＤ又は、被検者ＩＤ及び検査日時を検索キーとして内視鏡画像ＤＢ６３１を検索し、子内視鏡画像及び当該子内視鏡画像に最も一致する仮想内視鏡画像から成る複数のデータセットを取得する。

取得部６２１は、仮想内視鏡画像を距離画像情報導出部６２５に出力する。距離画像情報導出部６２５は、実施形態１と同様に、取得した仮想内視鏡画像に基づき、距離画像情報を導出する。

取得部６２１は、子内視鏡画像を特長パラメータ導出部６２７に出力する。特長パラメータ導出部６２７は、子内視鏡画像に含まれる所定の体内部位の領域を、特長パラメータとして導出する。例えば特長パラメータ導出部６２７は、パターン認識又はエッジ検出等を用い、子内視鏡画像に含まれる所定の体内部位の領域を、特長パラメータとして導出するものであってもよい。又は、特長パラメータ導出部６２７は、子内視鏡画像から体内部位の色合い又は襞の変化に基づき、Ａ－ＫＡＺＥ（Accelerated KAZE）、ＳＩＦＴ（Scale Invariant Feature Transform）等の局所特徴パラメータ抽出方法を用いて、子内視鏡画像に含まれる所定の体内部位の領域を、特長パラメータとして導出するものであってもよい。

特徴パラメータ補正部６２８は、距離画像情報導出部６２５から出力された距離画像情報、特長パラメータ導出部６２７から出力された特長パラメータ、取得部６２１から出力された子内視鏡画像を取得する。特徴パラメータ補正部６２８は、取得した距離画像情報、特長パラメータ及び子内視鏡画像に基づき、距離画像情報によって特長パラメータが補正された子内視鏡画像を生成し、診断支援学習モデル９３に出力する。

特徴パラメータ補正部６２８による補正は、例えば、特長パラメータとして特定された所定の体内部位の領域の面積を補正（面積補正処理）するものである。面積補正処理を行うにあたり、特徴パラメータ補正部６２８は、仮想内視鏡画像から得られた距離画像情報に基づき、対応する子内視鏡画像の各画像領域の距離Ｒ（例えば、ｒ１またはｒ２等）を取得する。特徴パラメータ補正部６２８は、取得した各画像領域の距離と基準距離（例えば、２０ｍｍ）とを比較する。制御部２１は、比較した各領域の距離Ｒとの逆２乗比（Ｒ／２０）＾２「＾：べき乗」で補正を行う。特徴パラメータ補正部６２８は、子内視鏡画像の画像領域の距離が基準距離以上であると判定した場合（画素が遠い）、該画像領域を構成する画素数（ピクセル数）を各領域の距離Ｒとの逆２乗比（Ｒ／２０）＾２で補正を行うことにより、該画像領域に対する拡大処理を行う。特徴パラメータ補正部６２８は、子内視鏡画像の画像領域の距離が基準距離未満であると判定した場合（画素が近い）、該画像領域を構成する画素数を各領域の距離Ｒとの逆２乗比（Ｒ／２０）＾２で補正を行い減らすことにより、該画像領域に対する縮小処理を行う。また各画像領域で各ピクセル間での距離が相違する場合、基準距離に置いたとして補正を行う。又は、特徴パラメータ補正部６２８は、最近傍補間法、バイリニア補間法、バイキュービック補間法、又はＬａｎｃｚｏｓ（ランツォシュ）補間法等を用いて、面積補正処理を行うものであってもよい。特徴パラメータ補正部６２８は、これら種々の方法を用いて、子内視鏡画像に対し面積補正処理を行い、補正された子内視鏡画像を診断支援学習モデル９３に出力する。

診断支援学習モデル９３は、補正された子内視鏡画像を取得し、子内視鏡画像に含まれる体内部位における病変の有無等を含む診断支援情報を、出力部６２９に出力する。出力部６２９は、診断支援学習モデル９３から病変の有無等を含む診断支援情報を取得する共に、特徴パラメータ補正部６２８又は取得部６２１から子内視鏡画像、被検者ＩＤ等を取得する。出力部６２９は、特徴パラメータ補正部６２８から特徴パラメータが補正された子内視鏡画像を取得するものであってもよい。出力部６２９は、子内視鏡画像に基づき内視鏡画像ＤＢ６３１を検索し、当該子内視鏡画像の視点位置等の関連する情報を取得するものであってもよい。

出力部６２９は、診断支援学習モデル９３から取得した病変の有無等を含む診断支援情報と、当該診断支援情報の対象となる子内視鏡画像とを関連付けて、表示部７に出力する。出力部６２９は、診断支援学習モデル９３に入力した補正後の子内視鏡画像及び、補正前の子内視鏡画像の両画像を表示部７に出力するものであってもよい。出力部６２９は、診断支援情報と、当該診断支援情報の対象となる子内視鏡画像と関連付けられた３次元医用画像とを関連付けて、表示部７に出力するものであってもよい。診断支援情報と３次元医用画像とを関連付けて、表示部７に出力するあたり、出力部６２９は、３次元医用画像における病変の位置を例えばハイライトした状態で表示部７にて表示されるように出力するものであってもよい。

出力部６２９は、診断支援学習モデル９３から取得した病変の有無等を含む診断支援情報と、当該診断支援情報の対象となる子内視鏡画像とを関連付けて、内視鏡画像ＤＢ６３１に登録するものであってもよい。出力部６２９は、診断支援学習モデル９３に入力した補正後の子内視鏡画像及び、補正前の子内視鏡画像の両画像を内視鏡画像ＤＢ６３１に登録するものであってもよい。出力部６２９は、距離画像情報導出部６２５から距離画像情報（距離画像）を取得し、子内視鏡画像と関連付けて、内視鏡画像ＤＢ６３１に登録するものであってもよい。

本実施形態において、取得部６２１は、内視鏡画像ＤＢ６３１から子内視鏡画像及び仮想内視鏡画像を取得するとしたがこれに限定されない。取得部６２１は、実施形態１と同様に内視鏡用プロセッサ２０から子内視鏡画像等を取得し、仮想内視鏡画像の生成及び距離画像情報の導出等は、実施形態１と同様の機能部によって行われるものであってもよい。

図１４は、情報処理装置６の制御部６２による処理手順の一例を示すフローチャートである。図１５は、情報処理装置６の制御部６２による診断支援情報の出力の処理手順の一例を示すフローチャートである。情報処理装置６は、例えば、自装置に接続されている入力部８からの入力内容に基づき、当該フローチャートの処理を開始する。

情報処理装置６の制御部６２は、内視鏡用プロセッサ２０から出力された検査日時、被検者ＩＤ、子内視鏡画像及び、挿入距離に関する情報を取得する（Ｓ２０１）。情報処理装置６の制御部６２は、ＣＴ装置又はＭＲＩ装置、超音波診断装置のように体内を３次元画像で撮影できる検査装置から出力される３次元用医用画像を取得する（Ｓ２０２）。情報処理装置６の制御部６２は、挿入距離（Ｓ座標）に基づき、視点位置を導出する（Ｓ２０３）。情報処理装置６の制御部６２は、視点位置に基づき候補となる複数の仮想内視鏡画像を生成する（Ｓ２０４）。情報処理装置６の制御部６２は、生成した複数の仮想内視鏡画像の内、子内視鏡画像との一致度が最も高い仮想内視鏡画像を特定する（Ｓ２０５）。情報処理装置６の制御部６２は、取得した仮想内視鏡画像等により距離画像情報を導出する（Ｓ２０６）。情報処理装置６の制御部６２は、距離画像情報及び３次元用医用画像に含まれる体腔情報に基づき、操作支援情報を出力する（Ｓ２０７）。情報処理装置６の制御部６２は、実施形態１のＳ１０１からＳ１０７の処理と同様に、Ｓ２０１からＳ２０７の処理を行う。

情報処理装置６の制御部６２は、診断支援情報を出力する（Ｓ２０８）。情報処理装置６の制御部６２は、Ｓ２０６の処理の実行後、Ｓ２０７の処理と並行してＳ２０８の処理を実行するものであってもよい。Ｓ２０８の処理は、図１５のフローチャートによって示される。

情報処理装置６の制御部６２は、子内視鏡画像から特徴パラメータを導出する（Ｓ２０８１）。情報処理装置６の制御部６２は、例えば面積補正処理の対象となる子内視鏡画像の領域等の特徴パラメータを導出する。

情報処理装置６の制御部６２は、距離画像情報に基づき、特徴パラメータが補正された子内視鏡画像を生成する（Ｓ２０８２）。情報処理装置６の制御部６２は、距離画像情報に基づき、例えば、特徴パラメータに対応する領域の面積を補正し、当該特徴パラメータが補正された子内視鏡画像を生成する。

情報処理装置６の制御部６２は、特徴パラメータが補正された子内視鏡画像を診断支援学習モデル９３に入力する（Ｓ２０８３）。診断支援学習モデル９３に入力する情報は、特徴パラメータが補正された子内視鏡画像に加えて、特徴パラメータに対応する３次元医用画像の画素に付随されている実効質量数（effective-Z）及び体組成を含むものであってもよい。特徴パラメータは、子内視鏡画像の領域、すなわち子内視鏡画像に含まれる体内部位又は画素に対応しており、当該体内部位又は画素は、仮想内視鏡画像から生成された距離画像情報によって、３次元医用画像の座標及び画素に対応している。上述のとおり、３次元医用画像の画素には、実効質量数（effective-Z）、体組成、又は双方の情報が付随されているため、制御部６２は、特徴パラメータが補正された子内視鏡画像に基づき、３次元医用画像に付随している実効質量数（effective-Z）及び体組成を取得する。

診断支援学習モデル９３は、特徴パラメータが補正された子内視鏡画像が入力されることにより、当該子内視鏡画像に含まれる病変等のＲＯＩに関する診断支援情報を出力するように学習されている。診断支援学習モデル９３は、特徴パラメータが補正された子内視鏡画像に加え、更に実効質量数（effective-Z）及び体組成が入力されることにより、当該子内視鏡画像に含まれる病変等のＲＯＩに関する診断支援情報を出力するように学習されているものであってもよい。このように学習されている診断支援学習モデル９３に、特徴パラメータが補正された子内視鏡画像等を入力することにより、更に精度の高い診断支援情報を取得することができる。

情報処理装置６の制御部６２は、診断支援学習モデル９３が出力した診断支援情報を取得する（Ｓ２０８４）。情報処理装置６の制御部６２は、取得した診断支援情報と子内視鏡画像とを関連付けて出力する（Ｓ２０８５）。制御部６２は、取得した診断支援情報と、子内視鏡画像、３次元用医用画像、仮想内視鏡画像及び視点位置等の子内視鏡画像に関連する情報を表示部７に出力し、表示させるものであってもよい。更に制御部６２は、取得した診断支援情報と子内視鏡画像とを関連付けて、内視鏡画像ＤＢ６３１に登録するものであってもよい。

本実施形態等において、診断支援学習モデル９３を含む一連の処理における各機能部を、内視鏡用プロセッサ２０の制御部２１による機能部と、情報処理装置６の制御部６２による機能部夫々とに分けて説明したが、これら機能部の分担は一例であり、これに限定されない。実施形態１と同様に、内視鏡用プロセッサ２０の制御部２１は、情報処理装置６の制御部６２によって行われる全ての機能部として、機能するものであってもよい。又は、内視鏡用プロセッサ２０の制御部２１と、情報処理装置６の制御部６２とは、例えばプロセス間通信を行うことにより、協働して一連の処理における各機能部として機能するものであってもよい。

（実施形態３）
図１６は、実施形態３（回転測定部）に係る子内視鏡４０１等を模式的に示す側断面図である。実施形態３の内視鏡装置１０は、子内視鏡４０１に関する測定を行う部位として、子内視鏡測定部４０２及び検知部４０３に加え、更に子内視鏡曲げ測定部４０４、及び子内視鏡回転測定部４０５を備える。

子内視鏡曲げ測定部４０４は、日本国特開２０１９－３７６４３号公報に開示されている内視鏡挿入形状検出装置のように、例えば子内視鏡４０１（子内視鏡４０１用ユニバーサルコード）の長手方向に沿って所定の間隔で複数の磁気コイルが配置される装置であってもよい。屈曲履歴情報とは、屈曲角度、屈曲方向等、屈曲に関する物理的パラメータ又は情報を示す。子内視鏡回転測定部４０５は、例えば、マウスピース、アタッチメント、ジャイロスコープ又は加速度センサにより構成され、子内視鏡４０１の回転角度を出力する。

情報処理装置６の制御部６２（取得部）は、子内視鏡曲げ測定部４０４から取得した屈曲履歴情報及び子内視鏡回転測定部４０５から取得した回転角度に基づき、子内視鏡４０１のＳ座標を補正し、補正したＳ座標を用いて、実施形態１と同様に子内視鏡４０１画像と３次元医用画像と関連付け等の処理を行うものであってもよい。

本実施形態によれば、情報処理装置６の制御部６２は、屈曲履歴及び回転角度に関する情報によって、子内視鏡４０１の挿入距離（Ｓ座標）を補正することにより、挿入距離（Ｓ座標）の精度を向上させることができる。これにより、子内視鏡４０１画像が撮像された時点における３次元医用画像の座標系における子内視鏡４０１の視点位置（座標）及び視点方向（回転角）を精度良く特定し、好適な仮想内視鏡画像を効率的に生成でき、子内視鏡４０１画像と３次元医用画像との関連付けにおける精度を更に向上させることができる。

（実施形態４）
図１７は、実施形態４（親内視鏡用プロセッサ２０１、子内視鏡用プロセッサ２０２）に係る内視鏡システムの構成例を示すブロック図である。実施形態４の内視鏡用プロセッサ２０は、親内視鏡４０に接続される親内視鏡用プロセッサ２０１と、子内視鏡４０１に接続される子内視鏡用プロセッサ２０２とを含む。親内視鏡用プロセッサ２０１及び子内視鏡用プロセッサ２０２は、通信可能に接続され、親内視鏡４０及び子内視鏡４０１それぞれのＳ座標等の種々の情報が交換可能なように構成されている。

親内視鏡用プロセッサ２０１及び子内視鏡用プロセッサ２０２は、実施形態１と同様に制御部２１（親制御部、子制御部）及び主記憶装置２２等、撮影画像（親撮影画像及び子撮影画像）を内視鏡画像（親内視鏡画像、子内視鏡画像）に変換するためのハードウェア機能部を備える。

子内視鏡用プロセッサ２０２は、子内視鏡用ユニバーサルコード４９１を介して子内視鏡４０１から伝送された子撮影画像を子内視鏡画像に変換し、当該子内視鏡画像を親内視鏡用プロセッサ２０１に出力する。

親内視鏡用プロセッサ２０１は、親内視鏡用ユニバーサルコード４９を介して親内視鏡４０から伝送された親撮影画像を親内視鏡画像に変換する。親内視鏡用プロセッサ２０１は、親内視鏡画像及び子内視鏡画像を、例えば表示装置５０に出力する。

今回開示された実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。各実施例にて記載されている技術的特徴は互いに組み合わせることができ、本発明の範囲は、特許請求の範囲内での全ての変更及び特許請求の範囲と均等の範囲が含まれることが意図される。

Ｓ内視鏡システム
１０内視鏡装置
１５キーボード
１６収容棚
２０内視鏡用プロセッサ
２０１親内視鏡用プロセッサ
２０２子内視鏡用プロセッサ
２１制御部
２１１画像処理部
２２主記憶装置
２３補助記憶装置
２４通信部
２５タッチパネル
２６表示装置Ｉ／Ｆ
２７入力装置Ｉ／Ｆ
２８読取部
３１内視鏡用コネクタ
３１１電気コネクタ
３１２光コネクタ
３３光源
３４ポンプ
３５送水タンク
３６送気送水口金
４０親内視鏡
４００親内視鏡測定部
４０１子内視鏡
４０２子内視鏡測定部
４０３検知部
４０４子内視鏡曲げ測定部
４０５子内視鏡回転測定部
４０６エレベータ
４３操作部
４３１制御ボタン
４３３湾曲ノブ
４３４自動操作機構
４３５鉗子口
４４挿入部（可撓管）
４４１軟性部
４４２湾曲部
４４３先端部
４４４撮像部
４４５撮像素子
４４６撮影用光源
４５折止部
４８スコープコネクタ
４９親内視鏡用ユニバーサルコード
４９１子内視鏡用ユニバーサルコード
５０表示装置
６情報処理装置
６１通信部
６２制御部
６２１取得部
６２２視点位置導出部
６２３仮想内視鏡画像生成部
６２４一致度判定部
６２５距離画像情報導出部
６２６操作支援情報出力部
６２７特長パラメータ導出部
６２８特徴パラメータ補正部
６２９出力部
６３記憶部
６３１内視鏡画像ＤＢ
６３２記録媒体
Ｐプログラム
６４入出力Ｉ／Ｆ
７表示部
８入力部
９１操作情報学習モデル
９２一致度学習モデル
９３診断支援学習モデル

Claims

親内視鏡及び子内視鏡を備える内視鏡装置と通信可能に接続されるコンピュータに、
前記子内視鏡から被検者の子内視鏡画像を取得し、
前記子内視鏡画像を撮像した時点における、前記被検者の体内に挿入された前記子内視鏡の挿入距離に関する情報を取得し、
前記被検者の体内を撮像した３次元医用画像を取得し、
前記子内視鏡の挿入距離に関する情報に基づいて、前記子内視鏡画像と前記３次元医用画像とを関連付ける
処理を実行させるプログラム。
前記子内視鏡の挿入距離に関する情報に基づき、前記３次元医用画像の座標系における位置情報を導出し、
導出した前記位置情報を用いて、前記子内視鏡画像と前記３次元医用画像とを関連付ける
請求項１に記載のプログラム。
前記被検者の体内に挿入された前記親内視鏡の挿入距離に関する情報を取得し、
前記親内視鏡の先端部から突出した前記子内視鏡の突出距離に関する情報を取得し、
前記親内視鏡の挿入距離に前記子内視鏡の突出距離を加算することにより、前記子内視鏡の挿入距離を導出する
請求項１又は請求項２に記載のプログラム。
前記子内視鏡画像と関連付けられた前記３次元医用画像を射影した仮想内視鏡画像を生成し、
前記仮想内視鏡画像から導出される距離画像情報に基づいて、前記子内視鏡の操作に関する操作支援情報を出力する
請求項１から請求項３のいずれか１項に記載のプログラム。
前記子内視鏡画像と関連付けられた前記３次元医用画像を射影した仮想内視鏡画像を生成し、
前記仮想内視鏡画像から導出される距離画像情報によって、前記子内視鏡画像を補正し、
子内視鏡画像が入力された場合に該子内視鏡画像に含まれる関心領域に関する診断支援情報を出力するように学習された学習モデルに、前記補正した子内視鏡画像を入力し、
前記学習モデルから取得した診断支援情報を出力する
請求項１から請求項４のいずれか１項に記載のプログラム。
前記３次元医用画像は、Ｘ線ＣＴ、Ｘ線コーンビームＣＴ、ＭＲＩ－ＣＴ及び超音波診断装置の少なくとも１による撮像手段によって撮像される
請求項１から請求項５のいずれか１項に記載のプログラム。
親内視鏡及び子内視鏡を備える内視鏡装置と通信可能に接続されるコンピュータに、
前記子内視鏡から被検者の子内視鏡画像を取得し、
前記子内視鏡画像を撮像した時点における、前記被検者の体内に挿入された前記子内視鏡の挿入距離に関する情報を取得し、
前記被検者の体内を撮像した３次元医用画像を取得し、
前記子内視鏡の挿入距離に関する情報に基づいて、前記子内視鏡画像と前記３次元医用画像とを関連付ける
処理を実行させる情報処理方法。
内視鏡装置と、前記内視鏡装置から出力される内視鏡画像の処理を行う制御部とを含む内視鏡システムであって、
前記内視鏡装置は、
親内視鏡と、
前記親内視鏡の先端部から突出する子内視鏡と
前記親内視鏡の先端側に設けられ、前記子内視鏡を検知する検知部と、
前記親内視鏡の基端側に設けられ、前記子内視鏡の突出距離を測定する子内視鏡測定部と、
前記親内視鏡の挿入距離を測定する親内視鏡測定部とを備え、
前記制御部は、
前記親内視鏡測定部から出力される前記親内視鏡の挿入距離を取得し、
前記検知部が前記子内視鏡を検知した際、前記子内視鏡測定部によって測定された前記子内視鏡の突出距離を取得し、
前記親内視鏡の挿入距離及び前記子内視鏡の突出距離に基づき、被検者の体内に挿入された前記子内視鏡の挿入距離を導出し、
前記子内視鏡から前記被検者の子内視鏡画像を取得し、
前記被検者の体内を撮像した３次元医用画像を取得し、
前記子内視鏡の挿入距離に関する情報に基づいて、前記子内視鏡画像と前記３次元医用画像とを関連付ける
内視鏡システム。