JP2004357789A - 被検体観察システム及び被検体観察システムの制御方法 - Google Patents

Abstract

【課題】参照画像として術者の意図したバーチャル画像の表示が可能で、使い勝手の良い被検体観察システム及び被検体観察システムの制御方法を実現する。
【解決手段】被検体観察システム１は、内視鏡２と、光源装置３と、カメラヘッド４と、ＣＣＵ５と、内視鏡モニタ６と、バーチャル画像生成部７と、ＶＥ用モニタ８と、システムコントローラ１０とで構成される。システムコントローラ１０は、バーチャル画像変更指示手段としての術者用のリモコン１７が接続される。このリモコン１７は、ＶＥ用モニタ８に表示されるバーチャル画像に対して、術者が画像処理を操作指示可能となっている。
【選択図】 図１

Description

【０００１】
【発明の属する技術分野】
本発明は、被検体像とバーチャル画像とを表示する被検体観察システム及び被検体観察システムの制御方法に関する。
【０００２】
【従来の技術】
近年、コンピュータの処理速度の高速化により、被検体観察システムは、３次元領域の画像データを用い、瞬時に仮想的な３次元画像を再構築してバーチャル画像を得られるようになってきている。
被検体観察システムは、例えばＸ線ＣＴ（ Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ ）装置等により被検体の断層像を撮像することで、被検体内の３次元領域の画像データを得る。このＣＴ装置は、Ｘ線照射・検出を連続的に回転させつつ被検体を体軸方向に連続送りすることにより、被検体の３次元領域について螺旋状の連続スキャン（ヘリカルスキャン：ｈｅｌｉｃａｌ ｓｃａｎ ）を行い、３次元領域の連続するスライスの断層像から、３次元なバーチャル画像を生成するものである。
【０００３】
そして、被検体観察システムは、例えば、被検体像を観察可能な観察手段としての内視鏡等を被検体の目的部位へ導くためのナビゲーション画像や目的部位周辺を確認するための参照画像としてバーチャル画像をモニタの表示画面に表示可能となっている。
【０００４】
このような従来の被検体観察システムは、例えば、医療用分野において、特開２０００−１３５２１５号公報に記載されているように気管支内視鏡装置に用いられるものが提案されている。
上記公報に記載の被検体観察システムは、被検体の３次元領域の画像データに基づいて被検体内の管路の３次元像を作成し、この３次元像上で管路に沿って目的点までの経路を求め、経路に沿った管路の仮想的な内視鏡像を画像データに基づいて作成しバーチャル画像を表示することで、気管支内視鏡を目的部位にナビゲーションするものである。
【０００５】
上記気管支内視鏡装置に用いられる被検体観察システムは、特に術者が途中で操作指示することなく、予め指定した経路のバーチャル画像が表示される。このため、上記被検体観察システムは、視線方向が限定される気管支などの体内の管路への気管支内視鏡のナビゲーションにおいて使い勝手が良い。
一方、これに対して、従来の被検体観察システムは、腹腔内視鏡装置に用いられる場合、目的部位周辺のバーチャル画像を参照画像として表示するようになっている。
【０００６】
一般に、腹腔外科手術において、術者は、内視鏡光学画像を見ながら電気メス等の処置具を用いて外科的処置を施している。このとき、術者は、例えば、臓器周辺の血管がどのように這っているかや臓器の裏側はどうなっているかなど確認するために目的部位周辺のバーチャル画像を参照画像として見ている。
【０００７】
従って、腹腔内視鏡装置に用いられる被検体観察システムは、気管支内視鏡等のナビゲーションに用いる場合に比べて、手術中、その場で、術者の見たい参照画像としてバーチャル画像を表示させる必要がある。
このため、従来の被検体観察システムは、清潔域にいる術者の指示に基づき、不潔域にいる看護士又はオペレータがキーボード等を操作して参照画像としてバーチャル画像を表示させている。
【０００８】
【特許文献１】
特開２０００−１３５２１５号公報
【０００９】
【発明が解決しようとする課題】
しかしながら、上記従来の被検体観察システムは、参照画像としてバーチャル画像を表示させる場合、術者の意図を正確に看護士又はオペレータに伝えて意図したバーチャル画像を表示させることが困難であり、煩雑である。
このため、上記従来の被検体観察システムは、参照画像としてバーチャル画像を表示させる場合、使い勝手が悪い。
【００１０】
本発明は、これらの事情に鑑みてなされたものであり、参照画像として術者の意図したバーチャル画像の表示が可能で、使い勝手の良い被検体観察システム及び被検体観察システムの制御方法を提供することを目的とする。
【００１１】
【課題を解決するための手段】
本発明の請求項１に記載の被検体観察システムは、被検体を観察可能な観察手段と、前記被検体に関するバーチャル画像データを記憶するバーチャル画像データ記憶手段と、前記観察手段の位置や向き、表示倍率などの状態に応じて前記バーチャル画像データ記憶手段に記憶されているバーチャル画像データを画像処理して表示手段に出力するバーチャル画像処理手段と、前記表示手段に表示される前記バーチャル画像に対して画像処理を操作指示可能なバーチャル画像変更指示手段と、を具備したことを特徴としている。
本発明の請求項２に記載の被検体観察システムの制御方法は、被検体を観察可能な観察手段から被検体像を取得する被検体像取得工程と、前記観察手段の位置や向き、表示倍率などの状態に応じてバーチャル画像データ記憶手段に記憶されているバーチャル画像データを画像処理して表示手段に出力するバーチャル画像処理工程と、前記表示手段に表示される前記バーチャル画像に対してバーチャル画像変更指示手段の操作指示に基づき、前記バーチャル画像を変更するバーチャル画像変更工程と、を具備したことを特徴としている。
この構成により、参照画像として術者の意図したバーチャル画像の表示が可能で、使い勝手の良い被検体観察システム及び被検体観察システムの制御方法を実現する。
【００１２】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。
（第１の実施の形態）
図１ないし図１４は、本発明の第１の実施の形態に係り、図１は第１の実施の形態の被検体観察システムを示す全体構成図、図２は図１の術者用のリモコンの構成を示す構成図、図３は図１のＶＥ用モニタに表示されるバーチャル画像表示画面の画面表示例、図４は図３のバーチャル画像表示エリアにバーチャル画像が表示されている際の画面表示例、図５は図１の内視鏡モニタに表示される内視鏡ライブ画像の一例、図６は内視鏡を動かしたときに内視鏡モニタに表示される内視鏡ライブ画像の一例、図７は図６の内視鏡ライブ画像に一致したバーチャル画像がバーチャル画像表示エリアに表示されている際の画面表示例、図８は本第１の実施の形態の特徴となる処理動作を示すフローチャート、図９は本実施形態の作用を説明するための内視鏡ライブ画像の一例、図１０は本実施形態の作用を説明するためのバーチャル画像表示画面の第１の画面表示例、図１１は図１０のバーチャル画像を拡大処理した際のバーチャル画像表示画面の画面表示例、図１２は本実施形態の作用を説明するためのバーチャル画像表示画面の第２の画面表示例、図１３は図１１のバーチャル画像を臓器消去処理した際のバーチャル画像表示画面の画面表示例、図１４は第１の実施の形態の変形例を示す被検体観察システムの全体構成図である。
【００１３】
尚、本実施の形態では、内視鏡下外科手術における手術システムに本発明を適用する。
図１に示すように第１の実施の形態の被検体観察システム１は、被検体を観察可能な観察手段としての内視鏡２と、内視鏡２に照明光を供給する光源装置３と、内視鏡２に着脱自在に取り付けられ、この内視鏡２で得た被検体像を撮像する撮像装置を内蔵したカメラヘッド４と、このカメラヘッド４の撮像装置に対する信号処理を行うＣＣＵ（カメラコントロールユニット）５と、このＣＣＵ５で信号処理して得た内視鏡光学画像を内視鏡ライブ画像として表示する内視鏡モニタ６と、予め記憶しているバーチャル画像データを画像処理してバーチャルエンドスコピー画像（以下、単にバーチャル画像）を生成するバーチャル画像生成部７と、このバーチャル画像生成部７で画像処理して得たバーチャル画像を参照画像として表示するバーチャルエンドスコピー（以下、ＶＥ）用モニタ８と、被検体である患者の患部に処置を施す複数の医療機器９と、光源装置３，ＣＣＵ５，バーチャル画像生成部７及び各医療機器９を集中制御するシステムコントローラ１０とで構成される。
【００１４】
内視鏡２は、図示しないが細長な挿入部と、この挿入部の基端側に連設する接眼部を有して構成される。内視鏡２は、照明光を伝達する図示しないライトガイドが挿通配設されている。このライトガイドは、光源装置３からの照明光を伝達するようになっている。ライトガイドから伝達された照明光は、挿入部先端部に設けた図示しない照明光学系から患部などの被検体を照明するようになっている。
【００１５】
そして、内視鏡２は、照明光学系に隣接して設けた図示しない対物光学系から被検体像を取り込む。この取り込まれた被検体像は、リレーレンズやイメージガイド等の図示しない像伝達光学系で接眼部まで伝達され、この接眼部に設けた接眼光学系（不図示）から拡開されて内視鏡光学像として観察可能になっている。
【００１６】
尚、本実施の形態では、内視鏡２は、挿入部の傾斜角を検出する傾斜角センサ１１を設けており、この傾斜角センサ１１で検出した傾斜角データがバーチャル画像生成部７に供給されるようになっている。そして、バーチャル画像生成部７は、後述するようにトラッキングを開始することにより、傾斜角センサ１１で検出した傾斜角データに基づき、内視鏡ライブ画像と一致するようにバーチャル画像データを画像処理するようになっている。
【００１７】
カメラヘッド４は、内視鏡接眼部に着脱自在に取り付けられることで、この内視鏡接眼部の接眼光学系から伝達される内視鏡光学像を取り込むようになっている。そして、カメラヘッド４は、内視鏡２から取り込んだ内視鏡光学像を図示しないＣＣＤ等の撮像装置により光電変換して撮像信号に変換し、この撮像信号をＣＣＵ５へ出力する。
【００１８】
ＣＣＵ５は、カメラヘッド４からの撮像信号を信号処理して標準的な映像信号を生成し、システムコントローラ１０を介して内視鏡モニタ６に出力する。そして、内視鏡モニタ６は、この表示画面に内視鏡ライブ画像として内視鏡光学画像を表示するようになっている。
【００１９】
尚、本実施の形態の被検体観察システム１は、挿入部先端部から取り込んだ被検体像を像伝達手段により接眼部まで伝達しこの接眼部で観察可能な光学式内視鏡と、この光学式内視鏡の接眼部に取り付けてこの接眼部からの内視鏡光学像を撮像するカメラヘッドとを有して構成しているが、本発明はこれに限定されず、被検体像を撮像する撮像装置を挿入部先端部に内蔵した電子内視鏡を用いて構成しても構わない。また、この場合、電子内視鏡は、対物光学系が光軸方向に移動可能な変倍機能を設けたものでも良い。
【００２０】
また、ＣＣＵ５は、生成した映像信号をＶＴＲ１２に供給するようになっている。そして、ＶＴＲ１２は、システムコントローラ１０に接続され、術者の操作指示により所望の内視鏡光学画像を記録保存するようになっている。
【００２１】
各医療機器９は、例えば、腹部領域内の視野を確保するために、気腹チューブ（不図示）を介して患者の腹部領域内に二酸化炭素などのガスを供給する気腹装置９ａと、高周波電力を電気メス（不図示）に供給し患部を凝固／切開処置する電気メス装置９ｂと、電気エネルギを超音波処置具（不図示）に供給し、この超音波処置具で発生した超音波振動により患部を凝固／切開処置する超音波手術装置９ｃとを有して構成される。
【００２２】
これら医療機器９は、それぞれシステムコントローラ１０に接続されている。
システムコントローラ１０は、システム全体の各種動作を集中制御するものである。システムコントローラ１０は、通信インターフェイス（以下、通信Ｉ／Ｆと称す）１３と、メモリ１４と、制御部としてのＣＰＵ（ Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ ）１５と、表示インターフェイス（以下、表示Ｉ／Ｆと称す）１６とから構成される。
【００２３】
通信Ｉ／Ｆ１３は、光源装置３，ＣＣＵ５，バーチャル画像生成部７及び各医療機器９と通信を行い、これら制御信号の送受信、又は画像データの送受信をＣＰＵ１５によって制御される。この通信Ｉ／Ｆ１３には、バーチャル画像変更指示手段としての術者用のリモートコントローラ（以下、リモコン）１７が接続されている。このリモコン１７は、ＶＥ用モニタ８に表示されるバーチャル画像に対して、後述するように術者が画像処理を操作指示可能となっている。尚、このリモコン１７の詳細構成は、後述する。
【００２４】
メモリ１４は、例えば内視鏡静止画像の画像データや機器設定情報等のデータを記憶するもので、これらのデータの記憶、及び読み出しがＣＰＵ１５によって制御されるようになっている。
表示Ｉ／Ｆ１６は、ＣＣＵ５又はＶＴＲ１２からの映像信号を内視鏡モニタ６に出力することにより、この内視鏡モニタ６の表示画面に内視鏡ライブ画像を表示させるようになっている。
【００２５】
ＣＰＵ１５は、システムコントローラ１０内の各種動作、即ち、通信Ｉ／Ｆ１３、表示Ｉ／Ｆ１６による各種信号の送受信制御、メモリ１４に対する画像データの書き込みや読み出し制御、内視鏡モニタ６の表示制御、更にはリモコン１７の操作指示信号に基づく各種動作制御等を行う。
そして、システムコントローラ１０は、ＣＰＵ１５の制御により、各医療機器９の制御を行うと共に、ＣＣＵ５からの映像信号を内視鏡モニタ６に出力してこの内視鏡モニタ６の表示画面に内視鏡ライブ画像を表示させる。
【００２６】
更に、システムコントローラ１０は、リモコン１７の操作指示信号に基づき、ＣＰＵ１５がバーチャル画像生成部７を制御するようになっている。
バーチャル画像生成部７は、ＣＴ画像ＤＢ部１８と、メモリ１９と、ＣＰＵ２０と、通信Ｉ／Ｆ２１と、表示Ｉ／Ｆ２２とから構成されている。
【００２７】
ＣＴ画像ＤＢ部１８は、被検体のＸ線断層像を撮像する図示しない公知のＣＴ装置で生成されたバーチャル画像データを、例えばＭＯ（ Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌ ｄｉｓｋ ）装置やＤＶＤ（ Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ ）装置等、可搬型の記憶媒体を介して取り込む画像データ取り込み部（不図示）を備え、取り込んだバーチャル画像データを格納するものである。即ち、ＣＴ画像ＤＢ部１８は、バーチャル画像データ記憶手段を構成している。このＣＴ画像ＤＢ部１８は、バーチャル画像データの読み出しや書き込みをＣＰＵ２０によって制御される。
【００２８】
メモリ１９は、例えば可搬型の記憶媒体からのバーチャル画像データやＣＰＵ２０により画像処理されたバーチャル画像データ等のデータを記憶するものであり、データの記憶及び読み出しをＣＰＵ２０によって制御されるようになっている。
【００２９】
通信Ｉ／Ｆ２１は、システムコントローラ２６の通信Ｉ／Ｆ１３及び傾斜角センサ１１と接続されている。この通信Ｉ／Ｆ２１は、該バーチャル画像生成部７とシステムコントローラ１０とが連動して各種動作するのに必要な制御信号の送受信等を行うものであり、ＣＰＵ２０によって制御され、このＣＰＵ２０内に受信信号が取り込まれるようになっている。
【００３０】
表示Ｉ／Ｆ２２は、ＣＰＵ２０の制御により生成されたバーチャル画像データをＶＥ用モニタ８に送信するもので、この表示Ｉ／Ｆ２２に接続されたＶＥ用モニタ８の表示画面にバーチャル画像を表示させる。
ＣＰＵ２０には、マウス２３及びキーボード２４が接続されている。これらマウス２３及びキーボード２４は、各種設定情報等を入力したり設定したりするための操作手段である。
【００３１】
ＣＰＵ２０は、該バーチャル画像生成部７内の各種動作、即ち、通信Ｉ／Ｆ２１、表示Ｉ／Ｆ２２による各種信号の送受信制御、メモリ１９の画像データの書き込みや読み出し制御、ＶＥ用モニタ８の表示制御、更にはマウス２３やキーボード２４の操作信号に基づく各種動作制御等を行う。
【００３２】
また、ＣＰＵ２０は、傾斜角センサ１１からの傾斜角データに基づき、ＣＴ画像ＤＢ部１８から読み込んだバーチャル画像データを画像処理してバーチャル画像をＶＥ用モニタ８に表示させる表示制御を行うようになっている。
【００３３】
更に、ＣＰＵ２０は、ＶＥ用モニタ８に表示されるバーチャル画像に対してリモコン１７の操作指示に基づく、システムコントローラ１０のＣＰＵ１５の制御により、バーチャル画像を変更するバーチャル画像変更処理を行うようになっている。即ち、システムコントローラ１０のＣＰＵ１５とバーチャル画像生成部７のＣＰＵ２０とは、バーチャル画像処理手段を構成している。
【００３４】
リモコン１７は、図２に示すように例えば、各種画像変更処理を行うための画像変更操作部３１と、トラッキングを実行するためのトラッキングボタン３２とが設けられている。
画像変更操作部３１は、画像変更コマンドとして例えば表示倍率を縮小する縮小ボタン３１ａと、表示倍率を拡大する拡大ボタン３１ｂと、所定領域の表示色を変更するための表示色ボタン３１ｃと、輝度を上げたり又は輝度を下げたりして所定領域を強調するための強調ボタン３１ｄと、臓器を消去して所定領域を見易くするための臓器消去ボタン３１ｅとが設けられている。
【００３５】
これらの画像変更コマンド（ボタン３１ａ〜３１ｅ）を備えたリモコン１７によって、術者は所望するバーチャル画像を得られるように操作することになる。
次に、被検体観察システム１の特徴となる表示画面例を図３ないし図７を参照しながら説明する。
【００３６】
術者のリモコン１７の操作により操作指示があると、システムコントローラ１０のＣＰＵ１５は、バーチャル画像生成部７のＣＰＵ２０を制御してＶＥ用モニタ８の表示画面上に、例えば図３に示すバーチャル画像表示画面４０を表示させる。
【００３７】
このバーチャル画像表示画面４０には、画面中央部にバーチャル画像を表示するためのバーチャル画像表示エリア４１と、画面左端に複数の２Ｄ画像を表示するための２Ｄ画像表示エリア４２と、画面右端にバーチャル画像表示エリア４１を操作設定するための操作設定エリア４３と、画面最下端に配され、例えば他の複数の参照画像（サムネイル画像）のいずれかを３Ｄ表示実行するための選択表示エリア４４とが設けられている。
【００３８】
操作設定エリア４３には、内視鏡２を挿入する腹部領域のＸ方向、Ｙ方向、Ｚ方向の数値（挿入点と称す）を入力するための挿入点入力エリア４５と、内視鏡２を腹部領域に挿入した際の内視鏡２の軸方向のＸ方向、Ｙ方向、Ｚ方向の数値（角度で注目点と称す）を入力するための注目点入力エリア４６とが設けられている。
【００３９】
これら挿入点入力エリア４５と注目点入力エリア４６とにそれぞれ入力されることで、バーチャル画像生成部７のＣＰＵ２０は、バーチャル画像表示を実行した際のバーチャル画像の視線方向を決定するようになっている。
【００４０】
また、操作設定エリア４３には、表示倍率の拡大・縮小操作を行うための拡大スイッチ４７ａ及び縮小スイッチ４７ｂを備えた拡大・縮小操作エリア４７と、トラッキングの開始／停止を実行するためのトラッキング開始／停止ボタン４８とが設けられている。
【００４１】
そして、被検体観察システム１を起動する場合には、先ず、図３に示すバーチャル画像表示画面４０をＶＥ用モニタ８に表示させ、患者の腹部領域のどの位置に内視鏡２を挿入するかの情報（挿入点）を挿入点入力エリア４５にマウス２３或いはキーボード２４を用いて入力する。その後、注目点入力エリア４６を選択し、この注目点入力エリア４６に同様に、内視鏡２を腹部領域に挿入した際の内視鏡２の軸方向（注目点）の数値を入力する必要がある。
【００４２】
即ち、バーチャル画像生成部７のＣＰＵ２０は、この内視鏡２の位置情報（挿入点及び注目点）により視線方向を決定してバーチャル画像データを画像処理しバーチャル画像をバーチャル画像表示エリア４１に表示させる。
【００４３】
これにより、図４に示すように、所定の内視鏡の位置情報（挿入点及び注目点）を入力した際のバーチャル画像がバーチャル画像表示エリア４１に表示された表示画面となる。また、このとき、内視鏡モニタ６には、内視鏡ライブ画像が図５に示すように表示されることになる。
【００４４】
そして、トラッキングを開始することにより、内視鏡を動かしたときに内視鏡モニタ６には、例えば、内視鏡ライブ画像が図６に示すように表示される。すると、傾斜角センサ１１で検出した傾斜角データに基づき、バーチャル画像生成部のＣＰＵ２０は、内視鏡ライブ画像に一致するようにバーチャル画像データを画像処理して図７に示すようにバーチャル画像表示エリア４１にバーチャル画像を表示させるようになっている。
また、本実施の形態では、手術中の術者によるリモコン１７の操作指示に基づき、バーチャル画像の拡大・縮小や臓器消去等の画像変更処理が可能なように構成されている。
【００４５】
このような本実施の形態の特徴となる処理動作を図８に示すフローチャートに基づき、図９ないし図１２を参照しながら詳細に説明する。
図１に示す被検体観察システム１を用いて、患者の腹部領域内の被検体の手術を行うものとする。このとき、被検体観察システム１の電源が投入されているものとすると、先ず、システムコントローラ１０のＣＰＵ１５内に格納されている本発明の被検体観察システムの制御方法に基づくプログラムを立ち上げる。すると、システムコントローラ１０のＣＰＵ１５は、バーチャル画像生成部７のＣＰＵ２０を制御し、上述したように、図３に示すバーチャル画像表示画面４０をＶＥ用モニタ８に表示させる。
【００４６】
そして、看護士又はオペレータは、このＶＥ用モニタ８のバーチャル画像表示エリア４１に表示されたバーチャル画像を見ながら、患者の腹部領域のどの位置に内視鏡２を挿入するかの情報（挿入点）を、挿入点入力エリア４５にマウス２３或いはキーボード２４を用いて入力し（ステップＳ１）、その後、注目点入力エリア４６を選択してこの注目点入力エリア４６に同様に、内視鏡２を腹部領域に挿入した際の内視鏡２の軸方向（注目点）の数値を入力し（ステップＳ２）、視線方向が決定される（ステップＳ３）。
【００４７】
これにより、内視鏡２の挿入点及び注目点に応じたバーチャル画像データが、バーチャル画像生成部７のＣＰＵ２０により画像処理され、バーチャル画像表示画面４０のバーチャル画像表示エリア４１に例えば図４に示すように表示される。
【００４８】
そして、術者は、内視鏡２を患者の腹部領域内に挿入する。被検体観察システム１は、被検体像取得工程としてシステムコントローラ１０のＣＰＵ１５の表示制御により、内視鏡２で得た内視鏡ライブ画像を内視鏡モニタ６の表示画面に例えば図５に示すように表示させる。
【００４９】
術者は、内視鏡ライブ画像を見つつ、時々バーチャル画像表示画面４０を参照しながら手術を行う。
そして、術者は、リモコン１７のトラッキングボタン３２を押下操作してトラッキングを開始する（ステップＳ５）。
【００５０】
すると、バーチャル画像生成部７のＣＰＵ２０は、傾斜角センサ１１によって常に内視鏡２の傾きを検出して姿勢角度を測定し（ステップＳ６）、姿勢角度に変化があるか否かを判断する（ステップＳ７）。
ここで、手術を行っている際に、術者は、内視鏡２を動かしてしまう。すると、内視鏡モニタ６には、例えば図５に示すように内視鏡２の傾きに応じた内視鏡ライブ画像が表示される。
【００５１】
一方、このとき、バーチャル画像生成部７のＣＰＵ２０は、姿勢角度に変化があると判断すると、この検出した傾斜角データに基づき、内視鏡２の視線方向（注目点）を決定する（ステップＳ７）。そして、バーチャル画像生成部７のＣＰＵ２０は、内視鏡ライブ画像と一致したバーチャル画像となるようにバーチャル画像データを画像処理してバーチャル画像を生成し（ステップＳ９）、ＶＥ用モニタ８（バーチャル表示画面４０のバーチャル画像表示エリア４１）に表示させる。即ち、ステップＳ９は、バーチャル画像処理工程を構成している。
【００５２】
尚、ここで、内視鏡が変倍機能を有する電子内視鏡である場合、この電子内視鏡の変倍動作に応じて変倍された内視鏡ライブ画像に一致するようにバーチャル画像も表示倍率を変倍するようにバーチャル画像処理工程を構成しても良い。
【００５３】
これにより、図６に示す内視鏡の位置や向き、表示倍率などの状態に応じて内視鏡ライブ画像に一致する、バーチャル画像をＶＥ用モニタ８のバーチャル表示画面４０に表示させることができ、術者はより詳細な画像情報を迅速且つ確実に得ることができる。
【００５４】
また、術者によるリモコン１７の操作指示信号に基づき、システムコントローラ１０のＣＰＵ１５は、画像変更コマンドの入力があるか否かを検出し（ステップＳ１０）、入力がある場合にはバーチャル画像生成部７のＣＰＵ２０を制御してコマンドに応じた画像変更処理を行わせる（ステップＳ１１）。即ち、ステップＳ１１は、バーチャル画像変更工程を構成している。
【００５５】
ここで、例えば、内視鏡モニタ６の表示画面には図９に示すように内視鏡ライブ画像が表示されており、また、ＶＥ用モニタ８の表示画面には図１０に示すようにバーチャル表示画面４０が表示されているとする。
このとき、術者は、バーチャル画像表示エリア４１に表示しているバーチャル画像の表示倍率を拡大したいとして、リモコン１７の拡大ボタン３１ｂを操作する。すると、バーチャル画像生成部７のＣＰＵ２０は、リモコン１７の拡大ボタン３１ｂの操作に応じて現在、バーチャル画像表示エリア４１に表示しているバーチャル画像に対して拡大処理を行い、図１１に示すようにバーチャル画像表示エリア４１に表示させる。
【００５６】
また、バーチャル表示画面４０が例えば、図１２に示すように表示されているとする。このとき、術者は、臓器が邪魔なので臓器を消去して血管の這っている様子を知るために、リモコン１７の臓器消去ボタン３１ｅを操作する。
すると、バーチャル画像生成部７のＣＰＵ２０は、リモコン１７の臓器消去ボタン３１ｅの操作に応じて現在、バーチャル画像表示エリア４１に表示しているバーチャル画像に対して臓器消去処理を行い、図１３に示すようにバーチャル画像表示エリア４１に表示させる。
尚、これら図１２及び図１３に示すバーチャル表示画面４０は、画面右端の操作設定エリア４３をなくしてこの領域までバーチャル画像表示エリア４１の領域を拡大している。
【００５７】
このように本実施の形態では、手術中の術者によるリモコン１７の操作指示に基づき、バーチャル画像の拡大・縮小や臓器消去等の画像変更が可能となる。
以降、術者がもう一度トラッキングボタン３２を操作してトラッキングが終了する（ステップＳ１２）まで、上記ステップＳ６から繰り返す。
【００５８】
この結果、術者は、手術をしながらも簡単な操作にて、必要な情報を迅速且つ確実に得られる。
従って、本実施の形態によれば、参照画像として術者の意図したバーチャル画像の表示が可能で、使い勝手の良い被検体観察システムを実現できる。これにより、手術の安全性の向上、手術時間の短縮に大きく寄与する。
【００５９】
尚、被検体観察システムは、図１４に示すように構成しても良い。図１４は、上記第１の実施の形態の変形例を示す被検体観察システムの全体構成図である。
図１４に示すように被検体観察システム１Ｂは、バーチャル画像生成部７と一体としたシステムコントローラ１０Ｂを有して構成される。
【００６０】
システムコントローラ１０Ｂは、バーチャル画像生成部７のＣＴ画像ＤＢ部１８と同様な動作を行うＣＴ画像ＤＢ部１８ｂと、光源装置３，ＣＣＵ５，各医療機器９，ＶＴＲ１２，傾斜角センサ１１及びリモコン１７に接続されてバーチャル画像生成部７の通信Ｉ／Ｆ２１を兼ねる通信Ｉ／Ｆ１３ｂと、バーチャル画像生成部７のメモリ１９を兼ねるメモリ１４ｂと、マウス２３，キーボード２４及びリモコン１７に接続されてバーチャル画像生成部７のＣＰＵ２０を兼ねるＣＰＵ１５ｂと、内視鏡モニタ６及びＶＥ用モニタ８に接続されてバーチャル画像生成部７の表示Ｉ／Ｆ２２を兼ねる表示Ｉ／Ｆ１６ｂとから構成される。
【００６１】
尚、被検体観察システム１Ｂは、システムコントローラ１０Ｂがバーチャル画像生成部７を兼ねて動作する以外は、上記第１の実施の形態とほぼ同様な構成及び動作であるので、説明を省略する。
【００６２】
これにより、被検体観察システム１Ｂは、上記第１の実施の形態とほぼ同様なこうかを得ることに加え、システムコントローラ１０Ｂがバーチャル画像生成部７を兼ねているので、システム的に小型化でき、安価に構成できる。
【００６３】
（第２の実施の形態）
図１５及び図１６は、本発明の第２の実施の形態に係り、図１５は第２の実施の形態の被検体観察システムを示す全体構成図、図１６は本第２の実施の形態の特徴となる処理動作を示すフローチャートである。
上記第１の実施の形態は、バーチャル画像変更指示手段として術者が操作指示するリモコン１７を有して構成しているが、本第２の実施の形態はバーチャル画像変更指示手段として術者が操作指示するマイクを有して構成する。それ以外の構成は、上記第１の実施の形態と同様なので説明を省略し、同じ構成には同じ符号を付して説明する。
【００６４】
即ち、図１５に示すように本第２の実施の形態の被検体観察システム１Ｃは、術者の音声を取り込むマイクロフォン（以下、マイク）５１が接続されるシステムコントローラ１０Ｃを設けて構成される。
マイク５１は、例えば、術者の頭部に装着する図示しないヘッドセットに取り付けられてシステムコントローラ１０Ｃに着脱自在に接続される。尚、マイク５１は、術者に取り付け可能なピン方式のマイクでも良い。
【００６５】
システムコントローラ１０Ｃは、マイク５１と接続するマイクＩ／Ｆ５２と、このマイクＩ／Ｆ５２で受信した音声信号を信号変換して音声コマンドを認識し、この認識した音声コマンドに応じたコマンド信号をＣＰＵ１５ｃに出力する音声認識部５３とを有して構成される。
それ以外の構成は、上記第１の実施の形態とほぼ同様であるので説明を省略する。
【００６６】
そして、被検体観察システム１Ｃは、術者によるマイク５１の音声制御によりシステムコントローラ１０ＣのＣＰＵ１５ｃがシステム全体の制御を行う。
そして、被検体観察システム１Ｃは、手術中の術者によるマイク５１の音声制御に基づき、挿入点及び注目点入力を入力されて上記第１の実施の形態で説明したのと同様にバーチャル画像データの画像処理，表示処理及びバーチャル画像の拡大・縮小や臓器消去等の画像変更処理が可能なように構成されている。
【００６７】
このような本第２の実施の形態の特徴となる処理動作を図１６のフローチャートに示す。
図１６に示すフローチャートは、患者の腹部領域内の被検体の手術を行う際に被検体観察システム１Ｃの電源を投入してシステムコントローラ１０Ｃに対してマイク５１の音声入力が可能となるときを音声入力開始（ステップＳ０）とし、挿入点入力及び注目点入力（ステップＳ１，Ｓ２）を術者自身が音声入力により行う。
【００６８】
尚、挿入点入力及び注目点入力（ステップＳ１，Ｓ２）は、上記第１の実施の形態で説明したのと同様に、看護士又はオペレータによるマウス２３或いはキーボード２４を用いた入力でも良い。
それ以降の動作（ステップＳ３〜Ｓ１２）は、他のコマンド入力も術者自身が音声入力により行うこと以外は、上記第１の実施の形態と同様である。
【００６９】
この結果、本第２の実施の形態の被検体観察システム１Ｃは、上記第１の実施の形態と同様な効果を得ることに加え、面倒なリモコン操作をすることがなく音声制御により簡単に行えるので、より操作性良くまた、簡単な構成で且つ低コストである。
【００７０】
（第３の実施の形態）
図１７ないし図２５は、本発明の第３の実施の形態に係り、図１７は第３の実施の形態の被検体観察システムを示す全体構成図、図１８は図１７の術者用のリモコンの構成を示す構成図、図１９は図１７のＶＥ用モニタに表示される３Ｄ表示のバーチャル画像表示画面の画面表示例、図２０は図１９のバーチャル画像表示エリアにバーチャル画像が表示されている際の画面表示例、図２１は図１７のＶＥ用モニタに表示される２Ｄ表示のバーチャル画像表示画面の画面表示例、図２２は図１７のＶＥ用モニタに表示される機器設定情報画面の画面表示例、図２３は本第３の実施の形態の特徴となる処理動作を示すフローチャート、図２４は本実施形態の作用を説明するためのバーチャル画像表示画面の画面表示例、図２５は図２４のバーチャル画像を拡大処理した際のバーチャル画像表示画面の画面表示例である。
【００７１】
上記第１，第２の実施の形態は、内視鏡２に傾斜角センサ１１を設けて手術中にトラッキングすることで、傾斜角センサで検出した傾斜角データに基づき内視鏡ライブ画像に一致したバーチャル画像を表示させるように構成しているが、本第３の実施の形態では、挿入点入力及び注目点入力が可能なリモコンを設けてトラッキングすることなく術者が自由に挿入点入力及び注目点入力を行えるように構成する。それ以外の構成は、上記第１の実施の形態と同様なので説明を省略し、同じ構成には同じ符号を付して説明する。
【００７２】
即ち、図１７に示すように本第３の実施の形態の被検体観察システム１Ｄは、挿入点入力及び注目点入力が可能な術者用のリモコン１７Ｄと、このリモコン１７Ｄから入力される挿入点データ及び注目点データに基づき、バーチャル画像データを画像処理してバーチャル画像を生成するバーチャル画像生成部７Ｄと、このバーチャル画像生成部７Ｄを制御するシステムコントローラ１０Ｄとを有して構成される。
【００７３】
システムコントローラ１０Ｄは、ＶＥ用モニタ８に表示されるバーチャル画像に対してリモコン１７Ｄの操作指示に基づき、バーチャル画像生成部７ＤのＣＰＵ２０ｄを制御するＣＰＵ１５ｄを有して構成される。
そして、バーチャル画像生成部７ＤのＣＰＵ２０ｄは、リモコン１７Ｄから入力される挿入点データ及び注目点データに基づき、バーチャル画像データを画像処理してバーチャル画像を生成するようになっている。
【００７４】
リモコン１７Ｄには、例えば図１８に示すように内視鏡機器の動作確認及び設定するための内視鏡機器操作部６０Ａと、ＶＥ用モニタ８の表示画面に表示されるバーチャル画像を表示する際に２次元表示（２Ｄ表示）を実行するための２Ｄ表示操作部６０Ｂと、同じくバーチャル画像を表示する際に３次元表示（３Ｄ表示）を実行するための３Ｄ表示操作部６０Ｃと、設定操作部６０Ｄとが設けられている。
【００７５】
内視鏡機器操作部６０Ａには、内視鏡モニタ６に表示される表示画像に対応したホワイトバランスボタン６１ａと、気腹器装置９ａを実行するための気腹ボタン６１ｂと、気腹実行の際の圧力を上下に調整するための圧力ボタン６１ｆと、ＶＴＲ１２に内視鏡ライブ画像を録画実行するための録画ボタン６１ｃと、その録画実行の際のフリーズボタン６１ｄ及びレリーズボタン６１ｅとが設けられている。
【００７６】
２Ｄ表示操作部６０Ｂには、各種２Ｄ表示モードに応じたアキシャルボタン６２ａと、コロナルボタン６２ｂと、サジタルボタン６２ｃとが設けられている。
尚、アキシャルボタン６２ａは身体を上部（頭）と下部（足）に分割するアキシャル面（ ａｘｉａｌ ｐｌａｎｅ ）で表示するためのものであり、コロナルボタン６２ｂは身体を前部（正面）と後部（背面）に分割する、長軸方向に沿ったコロナル面（ ｃｏｒｏｎａｌ ｐｌａｎｅ ）で表示するためのものであり、サジタルボタン６２ｃは身体を左右に分割するサジタル面（ ｓａｇｉｔｔａｌ ｐｌａｎｅ ）で表示するためのものである。
【００７７】
また、３Ｄ表示操作部６０Ｃには、視線方向として挿入点を入力するための挿入点ボタン６３ａと、注目点を入力するための注目ボタン６３ｂと、上記第１の実施の形態で説明した画像変更操作部３１とが設けられている。
【００７８】
また、３Ｄ表示操作部６０Ｃには、上記第１の実施の形態で説明したリモコン１７の画像変更操作部３１と同じ画像変更操作部３１が設けられている。
設定操作部６０Ｄには、上記内視鏡機器操作部６０Ａと、２Ｄ表示操作部６０Ｂ及び３Ｄ表示操作部６０Ｃで決定した操作設定モードに対して設定入力情報の切換や決定等を行う操作ボタン６４ａや数値等を入力するためのテンキー６４ｂとが設けられている。
【００７９】
これらの操作部６０Ａ〜６０Ｄを備えたリモコン１７Ｄによって、術者は所望する情報が迅速に得られるように操作することになる。
そして、本実施の形態の被検体観察システム１Ｄは、例えば図１９に示すようにＶＥ用モニタ８の表示画面にバーチャル画像表示画面４０Ｄが表示される。
【００８０】
このバーチャル画像表示画面４０Ｄは、画面右端上部にバーチャル画像の２Ｄ表示を示す２Ｄモード表示部６５ａ及び、バーチャル画像の３Ｄ表示を示す３Ｄモード表示部６５ｂを有する切換表示部６５を設けた以外は上記第１の実施の形態で説明したバーチャル画像表示画面４０と同様な構成である。
【００８１】
そして、図１９に示すバーチャル画像表示画面４０ＤがＶＥ用モニタ８の表示画面に表示されている際に、術者がリモコン１７Ｄ（のテンキー６４ｂ）を操作して挿入点及び注目点を入力実行することで、バーチャル画像の視線方向が決定され図２０に示すようにバーチャル画像表示エリア４１にバーチャル画像が３Ｄ表示で表示されるようになっている。
【００８２】
一方、被検体の状態を２Ｄ表示で確認したい場合には、術者がリモコン１７Ｄ（の操作ボタン６４ａ）を操作することで、図２０に示すバーチャル画像表示画面４０Ｄが、図２１に示すように２Ｄ表示のバーチャル画像表示画面４０Ｅに切り換えられてＶＥ用モニタ８の表示画面に表示されるようになっている。
【００８３】
図２１に示すようにバーチャル画像表示画面４０Ｅには、画面中央部にバーチャル画像を２Ｄ表示するための２Ｄ画像表示エリア４１Ｅと、画面右端に２Ｄ画像表示エリア４１Ｅを操作設定するための操作設定エリア４３Ｅとが設けられている。
【００８４】
操作設定エリア４３Ｅには、上部にバーチャル画像表示画面４０Ｄで説明したのと同様な切換表示部６５が配され、この切換表示部６５の下側には各種２Ｄ表示モードに応じたアキシャル表示スイッチ６６ａと、コロナル表示スイッチ６６ｂと、サジタル表示スイッチ６６ｃとが設けられている。
【００８５】
そして、バーチャル画像表示画面４０Ｅにおいて、術者は、リモコン１７Ｄの各種２Ｄ表示モードボタン（アキシャルボタン６２ａ，コロナルボタン６２ｂ，サジタルボタン６２ｃ）を操作することで、操作設定エリア４３Ｅの各種表示スイッチ（アキシャル表示スイッチ６６ａ，コロナル表示スイッチ６６ｂ，サジタル表示スイッチ６６ｃ）が選択され、２Ｄ画像表示エリア４１Ｅに選択された２Ｄ表示モードに応じたバーチャル画像が２Ｄ表示されるようになっている。
【００８６】
一方、内視鏡機器の動作及び設定を確認したい場合には、術者がリモコン１７Ｄ（の操作ボタン６４ａ）を操作することで、図２０に示すバーチャル画像表示画面４０Ｄが、図２２に示すように機器設定情報画面７０に切り換えられてＶＥ用モニタ８の表示画面に表示されるようになっている。
【００８７】
図２２に示すように機器設定情報画面７０には、例えば、画面上部に配されて患者氏名を示す患者氏名表示部７１と、この患者氏名表示部７１の下部にそれぞれ配される気腹装置９ａの動作状態や気腹圧、温度等の情報を示す気腹表示部７２と、電気メス装置９ｂの設定や動作状態を示す電気メス表示部７３と、超音波処置装置９ｃによる超音波出力状態を示す超音波処置表示部７４と、ＶＴＲ１２のテープの残存状態を示すＶＴＲ表示部７５と、カメラヘッド４の明るさ調整（絞り）状態を示すカメラ明るさ調整部７６と、体腔内へのＣＯ２ の総出力容量（積算容量）を示すＣＯ２容量表示部７７と、ＣＣＵ５の動作状態（フリーズ、リレーズ、ズーム）を示すＣＣＵ動作表示部７８と、内視鏡ライブ画像を表示するライブ画像表示部７９と、画面最下部に配されて各機器の設定入力を行うための設定入力表示部８０とが設けられている。
【００８８】
設定入力表示部８０には、各種設定入力を実行するための入力スイッチ８１と、各種設定モードが予め登録されたファンクションキー部８２とが設けられている。
ファンクションキー部８２には、例えば、ファンクションＦ１にはホワイトバランスを実行するためのホワイトバランススイッチが登録され、ファンクションＦ２にはシステム記録を実行するためのシステム記録スイッチが登録され、ファンクションＦ３にはカメラ明るさ調整アップを実行するためのカメラ明るさ調整アップスイッチが登録され、ファンクションＦ４にはカメラ明るさ調整ダウンを実行するためのカメラ明るさ調整ダウンスイッチが登録されている。
【００８９】
そして、機器設定情報画面７０において、術者は、リモコン１７Ｄの内視鏡機器操作部６０Ａを操作することで、各種機器設定内容のいずれかの表示部を選択し、適宜数値を入力して機器設定情報の変更設定を行うようになっている。
そして、被検体観察システム１Ｄは、術者によるリモコン１７Ｄの操作指示信号によりシステムコントローラ１０ＤのＣＰＵ１５ｄがシステム全体の制御を行う。
【００９０】
このような本第３の実施の形態の特徴となる処理動作を図２３のフローチャートに示す。
図１７に示す被検体観察システム１Ｄを用いて、患者の腹部領域内の被検体の手術を行うものとする。このとき、被検体観察システム１Ｄの電源が投入されているものとすると、先ず、看護士又はオペレータは、マウス２３又はキーボード２４を用いて、ＣＰＵ２０ｄ内に格納されている本発明の被検体観察システムの制御方法に基づくプログラムを立ち上げる。
【００９１】
そして、術者は、内視鏡２を患者の腹部領域内に挿入する。被検体観察システム１Ｄは、被検体像取得工程としてシステムコントローラ１０ＤのＣＰＵ１５ｄの表示制御により、内視鏡２で得た内視鏡ライブ画像を内視鏡モニタ６の表示画面に表示させる。
そして、術者は、リモコン１７Ｄの設定操作部６０Ｄを操作し、モード選択コマンドとして内視鏡機器操作モードか又はバーチャル画像表示モードの２Ｄ表示モードか３Ｄ表示モードかを選択入力し、それぞれの表示モードでの操作を行う。
【００９２】
システムコントローラ１０ＤのＣＰＵ１５ｄは、術者によるリモコン１７Ｄ（の設定操作部６０Ｄ）の操作指示に基づき、モード選択コマンドの入力の有無を判断し（ステップＳ２１）、モード選択コマンドが入力されたらモード選択コマンドが内視鏡機器操作モードか又はバーチャル画像表示モードの２Ｄ表示モードか３Ｄ表示モードかを判断して（ステップＳ２２）それぞれの表示モードに切り換える。
【００９３】
ここで、バーチャル画像表示モードの３Ｄ表示モードが選択入力されると、システムコントローラ１０ＤのＣＰＵ１５ｄは、バーチャル画像表示モードの３Ｄ表示モードであると判断し、図１９に示す３Ｄ表示のバーチャル画像表示画面４０Ｄに切り換えてＶＥ用モニタ８の表示画面に表示させる。
【００９４】
そして、３Ｄ表示のバーチャル画像表示画面４０Ｄにおいて、術者は、リモコン１７Ｄを操作して挿入点入力及び注目点入力を実行しようとする。
術者は、先ず、リモコン１７Ｄの操作ボタン６４ａを操作して視線方向入力コマンドを選択入力し、テンキー６４ｂを操作して挿入点及び注目点の数値を入力する。
【００９５】
すると、システムコントローラ１０ＤのＣＰＵ１５ｄは、視線方向入力コマンドが選択入力されたことを判断し（ステップＳ２３）、テンキー６４ｂから入力された数値に基づき挿入点及び注目点入力操作（ステップＳ２４）を行って視線方向を決定する（ステップＳ２５）。
【００９６】
そして、システムコントローラ１０ＤのＣＰＵ１５ｄは、バーチャル画像生成部７ＤのＣＰＵ２０ｄを制御し、決定した視線方向に応じてバーチャル画像データを画像処理させて、図２０に示すようにバーチャル画像表示エリア４１にバーチャル画像を表示させる（ステップＳ２６）。即ち、ステップＳ２６は、バーチャル画像処理工程を構成している。
【００９７】
その後、術者は、バーチャル画像表示エリア４１に表示しているバーチャル画像に対して画像変更処理を実行しようとする。
ここで、例えば、ＶＥ用モニタ８の表示画面には、図２４に示すようにバーチャル表示画面４０Ｄが表示されているとする。そして、術者は、バーチャル画像の表示倍率を拡大したいとして、画像処理変更コマンドとしてリモコン１７Ｄの拡大ボタン３１ｂを操作する。
【００９８】
すると、システムコントローラ１０ＤのＣＰＵ１５ｄは、画像処理変更が選択されたことを判断し（ステップＳ２３）、バーチャル画像生成部７ＤのＣＰＵ２０ｄを制御し、入力コマンドに応じた画像変更処理（ステップＳ２７）としてリモコン１７Ｄの拡大ボタン３１ｂの操作に応じて現在、バーチャル画像表示エリア４１に表示しているバーチャル画像に対して拡大処理を行い、図２５に示すようにバーチャル画像表示エリア４１に表示させる。即ち、ステップＳ２７は、バーチャル画像変更工程を構成している。
【００９９】
一方、術者は、被検体の状態を２Ｄ表示で確認したい場合には、リモコン１７Ｄの操作ボタン６４ａを操作して２Ｄ表示モードを選択入力する。
すると、システムコントローラ１０ＤのＣＰＵ１５ｄは、２Ｄ表示モードが選択入力されたことを判断し（ステップＳ２３）、図２１に示す２Ｄ表示のバーチャル画像表示画面４０Ｅに切り換えてＶＥ用モニタ８の表示画面に表示させる。
【０１００】
そして、このバーチャル画像表示画面４０Ｅを見ながら術者は、リモコン１７Ｄの２Ｄ表示操作部６０Ｂの各種操作ボタンを操作する。
すると、システムコントローラ１０ＤのＣＰＵ１５ｄは、バーチャル画像生成部７ＤのＣＰＵ２０ｄを制御し、入力コマンドに応じた２Ｄ表示モードのバーチャル画像を表示させる（ステップＳ２８）。
【０１０１】
一方、手術中において、術者は、内視鏡機器の内視鏡機器の動作確認及び設定をしたい場合には、リモコン１７Ｄの操作ボタン６４ａを操作して内視鏡機器操作モードを選択入力する。
すると、システムコントローラ１０ＤのＣＰＵ１５ｄは、内視鏡機器操作モードが選択入力されたことを判断し（ステップＳ２３）、図２３に示す機器設定情報画面７０に切り換えてＶＥ用モニタ８の表示画面に表示させる。
【０１０２】
そして、この機器設定情報画面７０を見ながら術者は、リモコン１７Ｄの内視鏡機器６０Ａの各主ボタンを操作して機器設定情報の変更設定を行う。
すると、システムコントローラ１０ＤのＣＰＵ１５ｄは、入力コマンドに応じた内視鏡機器の操作を行う（ステップＳ２９）。
【０１０３】
以降、操作終了するまで（ステップＳ３０）、上記ステップＳ２１から繰り返す。
尚、それぞれのコマンド入力は、看護士又はオペレータによるマウス２３或いはキーボード２４を用いた入力でも良い。
【０１０４】
この結果、本第３の実施の形態の被検体観察システム１Ｄは、上記第１の実施の形態と同様な効果を得ることに加え、挿入点入力及び注目点入力が可能なリモコン１７Ｄを設けたことで、トラッキングすることなく術者が自由に挿入点入力及び注目点入力を行えて所望の領域のバーチャル画像を見ることができ、操作性が向上するという効果を得る。
また、本第３の実施の形態の被検体観察システム１Ｄは、術者がリモコン１７Ｄにより内視鏡機器の動作確認及び設定操作も自由に行え、更に操作性が向上するという効果を得る。
【０１０５】
（第４の実施の形態）
図２６及び図２７は、本発明の第４の実施の形態に係り、図２６は第４の実施の形態の被検体観察システムを示す全体構成図、図２７は本第４の実施の形態の特徴となる処理動作を示すフローチャートである。
上記第３の実施の形態は、バーチャル画像変更指示手段として術者が操作指示するリモコン１７Ｄを有して構成しているが、本第４の実施の形態はバーチャル画像変更指示手段として術者が操作指示するマイクを有して構成する。それ以外の構成は、上記第３の実施の形態と同様なので説明を省略し、同じ構成には同じ符号を付して説明する。
【０１０６】
即ち、図２６に示すように本第４の実施の形態の被検体観察システム１Ｅは、術者の音声を取り込むマイクロフォン（以下、マイク）５１Ｅが接続されるシステムコントローラ１０Ｅを設けて構成される。
マイク５１Ｅは、例えば、術者の頭部に装着する図示しないヘッドセットに取り付けられてシステムコントローラ１０Ｅに着脱自在に接続される。尚、マイク５１Ｅは、術者に取り付け可能なピン方式のマイクでも良い。
【０１０７】
システムコントローラ１０Ｅは、マイク５１Ｅと接続するマイクＩ／Ｆ５２ｅと、このマイクＩ／Ｆ５２ｅで受信した音声信号を信号変換して音声コマンドを認識し、この認識した音声コマンドに応じたコマンド信号をＣＰＵ１５ｅに出力する音声認識部５３ｅとを有して構成される。
それ以外の構成は、上記第３の実施の形態とほぼ同様であるので説明を省略する。
【０１０８】
そして、被検体観察システム１Ｅは、術者によるマイク５１Ｅの音声制御によりシステムコントローラ１０ＥのＣＰＵ１５ｅがシステム全体の制御を行う。
そして、被検体観察システム１Ｅは、手術中の術者によるマイク５１Ｅの音声制御に基づき、上記第３の実施の形態で説明したのと同様に内視鏡機器モードか又はバーチャル画像表示モードの２Ｄ表示モードか３Ｄ表示モードかを選択入力され、それぞれの表示モードでの操作が行われる。
【０１０９】
このような本第４の実施の形態の特徴となる処理動作を図２７のフローチャートに示す。
図２７に示すフローチャートは、患者の腹部領域内の被検体の手術を行う際に被検体観察システム１Ｅの電源を投入してシステムコントローラ１０Ｅに対してマイク５１Ｅの音声入力が可能となるときを音声入力開始（ステップＳ２０）とし、それぞれのコマンド入力を術者自身が音声入力により行う。
【０１１０】
それ以降の動作（ステップＳ２１〜Ｓ３０）は、他のコマンド入力も術者自身が音声入力により行うこと以外は、上記第３の実施の形態と同様である。
尚、それぞれのコマンド入力は、上記第３の実施の形態で説明したのと同様に、看護士又はオペレータによるマウス２３或いはキーボード２４を用いた入力でも良い。
【０１１１】
この結果、本第４の実施の形態の被検体観察システム１Ｅは、上記第３の実施の形態と同様な効果を得ることに加え、面倒なリモコン操作をすることがなく音声制御により簡単に行えるので、より操作性良くまた、簡単な構成で且つ低コストである。
【０１１２】
本発明は、上述した実施の形態に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。
【０１１３】
［付記］
（付記項１） 被検体を観察可能な観察手段と、
前記被検体に関するバーチャル画像データを記憶するバーチャル画像データ記憶手段と、
前記観察手段の位置や向き、表示倍率などの状態に応じて前記バーチャル画像データ記憶手段に記憶されているバーチャル画像データを画像処理して表示手段に出力するバーチャル画像処理手段と、
前記表示手段に表示される前記バーチャル画像に対して画像処理を操作指示可能なバーチャル画像変更指示手段と、
を具備したことを特徴とする被検体観察システム。
【０１１４】
（付記項２） 被検体を観察可能な観察手段から被検体像を取得する被検体像取得工程と、
前記観察手段の位置や向き、表示倍率などの状態に応じてバーチャル画像データ記憶手段に記憶されているバーチャル画像データを画像処理して表示手段に出力するバーチャル画像処理工程と、
前記表示手段に表示される前記バーチャル画像に対してバーチャル画像変更指示手段の操作指示に基づき、前記バーチャル画像を変更するバーチャル画像変更工程と、
を具備したことを特徴とする被検体観察システムの制御方法。
【０１１５】
（付記項３） 被検体を観察可能な観察手段と、
前記被検体に関するバーチャル画像データを記憶するバーチャル画像データ記憶手段と、
前記観察手段の位置や向き、表示倍率などの状態に応じて前記バーチャル画像データ記憶手段に記憶されているバーチャル画像データを加工処理して表示手段に出力するバーチャル画像処理手段と、
前記表示手段に表示される前記バーチャル画像に対して加工処理を操作指示可能なバーチャル画像変更指示手段と、
を具備したことを特徴とする被検体観察システム。
【０１１６】
（付記項４） 被検体を観察可能な観察手段から被検体像を取得する被検体像取得工程と、
前記観察手段の位置や向き、表示倍率などの状態に応じてバーチャル画像データ記憶手段に記憶されているバーチャル画像データを加工処理して表示手段に出力するバーチャル画像処理工程と、
前記表示手段に表示される前記バーチャル画像に対してバーチャル画像変更指示手段の操作指示に基づき、前記バーチャル画像を変更するバーチャル画像変更工程と、
を具備したことを特徴とする被検体観察システムの制御方法。
【０１１７】
（付記項５） 被検体像を観察可能な観察手段と、
前記観察手段で得られた前記観察像を表示可能な第１の画像表示手段と、
前記被検体に関するバーチャル画像データを記憶するバーチャル画像データ記憶手段と、
前記バーチャル画像データに基づきバーチャル画像データを表示可能な第２の画像表示手段と、
前記観察手段の状態（位置、向き、拡大・縮小）に応じて前記バーチャル画像データを加工して前記第２の画像表示手段に出力する画像処理手段と、
前記第２の画像表示手段に表示される前記バーチャル画像に対する変化（向き、肉抜き）を指示可能な
バーチャル画像変更指示手段とを具備したことを特徴とする被検体観察装置。
【０１１８】
（付記項６） 被検体像を観察可能な観察手段から被検体像を取得する被検体像取得工程と、
前記観察手段で得られた前記観察像を第１の画像表示手段に表示する第１の表示工程と、
前記被検体に関するバーチャル画像データを記憶するバーチャル画像データ記憶手段のバーチャル画像データ
に基づきバーチャル画像データを第２の画像表示手段に表示する第２の表示工程と、
前記観察手段の状態に応じて前記バーチャル画像データを加工して前記第２の画像表示手段に出力する
バーチャル画像加工工程と、
前記第２の画像表示手段に表示される前記バーチャル画像に対する変化を指示可能なバーチャル画像変更指示手段
の指示に基づき前記バーチャル画像を変更させるバーチャル画像変更工程と、
を具備したことを特徴とする被検体観察装置の制御方法。
【０１１９】
【発明の効果】
以上説明したように本発明によれば、参照画像として術者の意図したバーチャル画像の表示が可能で、使い勝手の良い被検体観察システム及び被検体観察システムの制御方法を実現できる。
【図面の簡単な説明】
【図１】第１の実施の形態の被検体観察システムを示す全体構成図
【図２】図１の術者用のリモコンの構成を示す構成図、
【図３】図１のＶＥ用モニタに表示されるバーチャル画像表示画面の画面表示例
【図４】図３のバーチャル画像表示エリアにバーチャル画像が表示されている際の画面表示例
【図５】図１の内視鏡モニタに表示される内視鏡ライブ画像の一例
【図６】内視鏡を動かしたときに内視鏡モニタに表示される内視鏡ライブ画像の一例
【図７】図６の内視鏡ライブ画像に一致したバーチャル画像がバーチャル画像表示エリアに表示されている際の画面表示例
【図８】本第１の実施の形態の特徴となる処理動作を示すフローチャート
【図９】本実施形態の作用を説明するための内視鏡ライブ画像の一例
【図１０】本実施形態の作用を説明するためのバーチャル画像表示画面の第１の画面表示例
【図１１】図１０のバーチャル画像を拡大処理した際のバーチャル画像表示画面の画面表示例
【図１２】本実施形態の作用を説明するためのバーチャル画像表示画面の第２の画面表示例
【図１３】図１１のバーチャル画像を臓器消去処理した際のバーチャル画像表示画面の画面表示例
【図１４】第１の実施の形態の変形例を示す被検体観察システムの全体構成図
【図１５】第２の実施の形態の被検体観察システムを示す全体構成図
【図１６】本第２の実施の形態の特徴となる処理動作を示すフローチャート
【図１７】第３の実施の形態の被検体観察システムを示す全体構成図
【図１８】図１７の術者用のリモコンの構成を示す構成図
【図１９】図１７のＶＥ用モニタに表示される３Ｄ表示のバーチャル画像表示画面の画面表示例
【図２０】図１９のバーチャル画像表示エリアにバーチャル画像が表示されている際の画面表示例
【図２１】図１７のＶＥ用モニタに表示される２Ｄ表示のバーチャル画像表示画面の画面表示例
【図２２】図１７のＶＥ用モニタに表示される機器設定情報画面の画面表示例
【図２３】本第３の実施の形態の特徴となる処理動作を示すフローチャート
【図２４】本実施形態の作用を説明するためのバーチャル画像表示画面の画面表示例
【図２５】図２４のバーチャル画像を拡大処理した際のバーチャル画像表示画面の画面表示例
【図２６】第４の実施の形態の被検体観察システムを示す全体構成図
【図２７】本第４の実施の形態の特徴となる処理動作を示すフローチャート
【符号の説明】
１…被検体観察システム
２…内視鏡
３…光源装置
４…カメラヘッド
５…ＣＣＵ（カメラコントロールユニット）
６…内視鏡モニタ
７…バーチャル画像生成部
８…ＶＥ用モニタ（バーチャルエンドスコピー用モニタ）
１０…システムコントローラ
１１…傾斜角センサ
１５，２０…ＣＰＵ
１７…リモコン（リモートコントローラ）
１８…ＣＴ画像ＤＢ

Claims (2)

1. 被検体を観察可能な観察手段と、
   前記被検体に関するバーチャル画像データを記憶するバーチャル画像データ記憶手段と、
   前記観察手段の位置や向き、表示倍率などの状態に応じて前記バーチャル画像データ記憶手段に記憶されているバーチャル画像データを画像処理して表示手段に出力するバーチャル画像処理手段と、
   前記表示手段に表示される前記バーチャル画像に対して画像処理を操作指示可能なバーチャル画像変更指示手段と、
   を具備したことを特徴とする被検体観察システム。
2. 被検体を観察可能な観察手段から被検体像を取得する被検体像取得工程と、
   前記観察手段の位置や向き、表示倍率などの状態に応じてバーチャル画像データ記憶手段に記憶されているバーチャル画像データを画像処理して表示手段に出力するバーチャル画像処理工程と、
   前記表示手段に表示される前記バーチャル画像に対してバーチャル画像変更指示手段の操作指示に基づき、前記バーチャル画像を変更するバーチャル画像変更工程と、
   を具備したことを特徴とする被検体観察システムの制御方法。

Images