JP2006198031A - 手術支援システム - Google Patents

Abstract

【課題】簡単な構成で且つ低コストで内視鏡観察画像の観察領域の被検体の生体画像情報及び被検体内の奥行きの生体画像情報を得て、必要に応じて手術中の術者に対して確実に提供でき、且つ簡単な操作で生体画像情報の表示モードを変更する。
【解決手段】 本発明の手術支援システム１に含まれるバーチャル画像生成部１１は、センサ３ａ〜３ｃの検出結果に基づきバーチャル画像データを生成し、ＣＰＵ２５によって術者に対応するバーチャル画像データに基づく画像を内視鏡画像とともに第１〜第３術者用モニタ３２，３４，３６に表示させる。この場合、ＣＰＵ２５は、第１、第２の処置具３８、３９のオン信号の有無に応じて指定した臓器の奥行き方向へのスライスピッチ毎のバーチャル画像を自動で連続表示する自動モードと、スライスピッチ毎のバーチャル画像をスタート／ストップリモートスイッチ２ｅの操作に基づき手動で表示する手動モードとを切替える。
【選択図】 図１

Description

本発明は、内視鏡及び内視鏡処置具等を含む内視鏡システムを用いて手術をする際に、被検体に関する３次元画像データ（以下、バーチャル画像データと称す）を得、このバーチャル画像データに基づく画像を表示することにより術者を支援するための手術支援システムに関する。

近年、画像による診断が広く行われるようになっており、例えばＸ線ＣＴ（Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ）装置等により被検体の断層像を撮像することにより被検体内の３次元的なバーチャル画像データを得、このバーチャル画像データを用いて患部の診断が行われるようになってきた。

ＣＴ装置では、Ｘ線照射・検出を連続的に回転させつつ被検体を体軸方向に連続送りすることにより、被検体の３次元領域について螺旋状の連続スキャン（ヘリカルスキャン：ｈｅｌｉｃａｌ ｓｃａｎ）を行い、３次元領域の連続するスライスの断層像から、３次元な３次元画像を作成することが行われる。

そのような３次元画像の１つに、肺の気管支の３次元画像がある。気管支の３次元画像は、例えば肺癌等が疑われる異常部の位置を３次元的に把握するのに利用される。そして、異常部を生検によって確認するために、気管支内視鏡を挿入して先端部から生検針や生検鉗子等を出して組織のサンプル（ｓａｍｐｌｅ）を採取することが行われる。

気管支のような多段階の分岐を有する体内の管路では、異常部の所在が分岐の末梢に近いとき、内視鏡の先端を短時間で正しく目的部位に到達させることが難しいために、例えば特開２０００−１３５２１５号公報等では、被検体の３次元領域の画像データに基づいて前記被検体内の管路の３次元像を作成し、前記３次元像上で前記管路に沿って目的点までの経路を求め、前記経路に沿った前記管路の仮想的な内視像（以下、バーチャル画像と称す）を前記画像データに基づいて作成し、前記バーチャル画像を表示することで、気管支内視鏡を目的部位にナビゲーションして術者を支援する装置が提案されている。

また、腹部領域の体内の臓器を被検体とする診断においては、従来より、上記同様に主に腹部領域内の被検体の３次元的なバーチャル画像を作成し、これを表示しながら診断するための画像解析ソフトが実用化されている。
この種の画像解析ソフトを用いた画像システムは、医師が術前に予め患者の腹部領域内等の被検体の病変部の変化をそのバーチャル画像を見ながら把握するための診断に用いられており、通常、カンファレンス室等の手術室外で行われているが一般的である。
特開２０００−１３５２１５号公報

従来より、腹部領域の体内の被検体に対する手術等を行う場合にも、内視鏡観察画像の観察領域の被検体における生体画像情報（臓器等により見えない動脈、静脈の配置の画像情報や、関心部位の位置の画像情報等）を、必要に応じて術者に対して迅速に提供することが望まれている。また、内視鏡観察化で手術等を行う場合、予め決められた臓器内の奥行き方向における生体画像情報を必要に応じて手術中の術者に対して迅速に提供することが望まれている。

しかしながら、上述した画像解析ソフトを用いた画像システムは、あくまでも腹部領域の被検体のバーチャル画像を見ながら診断を行うといった術前に使用するものであり、実際の内視鏡システムと併用して実際の手術に使用することはできず、上述したように術者によって手術を行う場合には、術者に対して必要な被検体の情報を提供することはできない。

また、例えば実際に手術を行う内視鏡システムと、前記画像表示システムとを用いてシステムを構築することも考えられるが、手術中の全ての術者に対して必要に応じて被検体の３次元画像を迅速に提供し、あるいは術者の要求に応じて必要な被検体の情報のみを提供しようとするシステムはなく、実際にこのようなシステムを構築しようとすると、煩雑な構成であるがためにシステムが大型化になってしまい、システム全体のコストも高価となってしまう。

また、前記従来の特開２０００−１３５２１５号公報に記載のナビゲーション装置は、内視鏡視野方向が限定される気管支などの体内の管路への内視鏡挿入時のナビゲーションには使い勝手が良いが、腹部領域の被検体の手術を行う腹腔鏡などの内視鏡観察下においては、内視鏡観察画像の観察領域の被検体における生体画像情報を得ることができないといった不都合があった。

このように従来例では、腹部領域の被検体の手術を行う腹腔鏡などの内視鏡観察下で手術を行う場合、内視鏡観察画像の観察領域の被検体における生体画像情報を得ることができず、また、予め決められた臓器内の奥行き方向における生体画像情報を必要に応じて手術中の術者に対して迅速に提供することもできない。さらに、前記従来例では、このような生体情報を表示する表示モードを簡単な操作で変更することもできず、操作性の向上化が望まれている。

本発明は、上記事情に鑑みてなされたものであり、簡単な構成で且つ低コストで、内視鏡観察下において内視鏡観察画像の観察領域の被検体の生体画像情報及び被検体内の奥行きの生体画像情報を得て、必要に応じて手術中の術者に対して確実に提供することができ、且つ簡単な操作で生体画像情報の表示モードを変更することができる手術支援システムを提供することを目的とする。

本発明の手術支援システムは、被検体像を観察可能な挿入部を有する内視鏡と、前記被検体の処置を行う少なくとも１つ以上の処置具と、前記内視鏡の挿入部の観察方向を示す情報を検出する第１の検出手段と、前記処置具の処置方向を示す情報を検出する第２の検出手段と、前記被検体に関するバーチャル画像データを記憶するバーチャル画像データ記憶手段と、前記第１、第２の検出手段により検出された情報に基づき前記バーチャル画像データを処理して前記第１、第２の検出手段に対応する第１、第２のバーチャル画像データを生成するバーチャル画像データ処理手段と、前記第１、第２のバーチャル画像データに基づく第１、第２のバーチャル画像及び前記内視鏡による内視鏡観察画像を表示可能な第１、第２のバーチャル画像表示手段と、前記第１、第２のバーチャル画像データに基づくバーチャル画像を前記第１、第２の検出手段により検出された情報に追従しながら前記第１、第２のバーチャル画像表示手段に表示するように制御する制御手段と、を有し、前記制御手段は、前記処置具の駆動を検出した場合には、前記情報に追従した前記バーチャル画像の表示を行う第１の表示モードをオフすると同時に、このときの前記情報を基準にして所定方向に基づく所望のバーチャル画像を表示する第２の表示モードをオンさせることを特徴とするものである。

本発明の手術支援システムは、簡単な構成で且つ低コストで、内視鏡観察下において内視鏡観察画像の観察領域の被検体の生体画像情報及び被検体内の奥行きの生体画像情報を得て、必要に応じて手術中の術者に対して確実に提供することができ、且つ簡単な操作で生体画像情報の表示モードを変更することができるといった利点がある。

以下、図面を参照して本発明の実施例を説明する。

図１乃至図８は本発明の手術支援システムの実施例１に係り、図１は実施例１の手術支援システムの全体構成を示す概略構成図、図２は図１の手術支援システムの全体構成を示すブロック図、図３は図１の内視鏡の外観構成を示す斜視図、図４はセンサを装着する取付対象部が術者の腕部の場合の構成例を示す斜視図、図５は内視鏡の接眼部に装着されるカメラヘッド上の各種スイッチを示す構成斜視図、図６はセンサを装着する取付対象部であるトラカールの外観構成を示す斜視図であり、また、図７及び図８は実施例１の手術支援システムの表示動作を説明するもので、図７は予め決められた臓器及び臓器内のバーチャル画像表示例を示す説明図、図８はバーチャル画像生成部のＣＰＵによるメイン制御処理を示すフローチャートである。
なお、内視鏡の観察下で行う手術等は、例えば、内視鏡を操作する術者、鉗子処置を行う術者及び助手の術者の３人で行う場合があり、このような場合に適用した実施例について後述する。

図１に示すように、本実施例の手術支援システム１は、内視鏡システムと組み合わせて構成され、具体的には、観察手段としての内視鏡２、被検体の処置を行う少なくとも２つの第１、第２の処置具３８，３９、各センサ３ａ〜３ｃを前記内視鏡２及び第１、第２の処置具３８，３９にそれぞれ装着するための取付対象部３Ａ（例えばトラカール３７）、ＣＣＵ（カメラコントロールユニット）４、光源装置５、電気メス装置６、気腹器７、超音波駆動電源８、ＶＴＲ９、システムコントローラ１０、バーチャル画像生成部１１、リモコン１２Ａ、音声入力マイク１２Ｂ、フットスイッチ１２Ｃ、内視鏡ライブ画像表示用の参照用モニタ１３、マウス１５、キーボード１６、バーチャル画像表示用のモニタ１７及び、手術室に配された３つの第１〜第３術者用モニタ３２，３４，３６を有している。

内視鏡２は、図３及び図４に示すような腹腔鏡を用いている。この腹腔鏡は、被検体の体腔内に挿入するための挿入部３７Ａと、挿入部３７Ａの基端側に設けられた把持部３７Ｂと、この把持部３７Ｂに設けられた接眼部３７Ｃとから構成される。
また、挿入部３７Ａの内部には、照明観察光学系及び観察光学系が設けられており、被検体の腹腔内の観察部位を照明し、被検体の腹腔内の観察像を得ることが可能である。把持部３７Ｂには、ライトガイドコネクタ２ａが設けられている。
このライトガイドコネクタ２ａには、一端を光源装置に接続されたライトガイドケーブルの他端に設けられたコネクタが接続される。これにより、照明光学系を介して光源装置からの照明光により観察部位を照明する。

接眼部３７Ｃには、図４に示すようにＣＣＤを内蔵したカメラヘッド２Ａが接続される。このカメラヘッド２Ａには、リモートスイッチ群２Ｂが設けられている。
このリモートスイッチ群２Ｂは、図５に示すように、例えば、バーチャル画像表示モード時に挿入部３７Ａの挿入軸方向に対する仮想挿入位置を奥行き方向に移動操作するための前進リモートスイッチ（以降、前リモートスイッチと称す）２ｂと、バーチャル画像表示モード時に挿入部３７Ａの挿入軸方向に対する仮想挿入位置を手前方向に移動操作するための後進リモートスイッチ（以降、後リモートスイッチと称す）２ｂと、前記挿入部３７Ａの挿入軸方向に対する仮想挿入動作をスタート／ストップさせるためのスタート／ストップリモートスイッチ２ｅと、観察像のズームイン／アウトなどの操作を行うためのリモートスイッチ２ｄ、２ｆとを有している。
なお、前記リモートスイッチ群２Ｂの各種リモートスイッチは、前記したように各種機能の割り当て状態に限定されることはなく、システムコントローラ１０による制御によって各種機能が自在に割り当てることができるようになっている。

このカメラヘッド２Ａの後端側にカメラケーブルが延設されている。また、カメラケーブルの他端には、ＣＣＵ４に電気的に接続するための接続コネクタが設けられている。

このような内視鏡（腹腔鏡）２は、手術時、後述するセンサ３ａを装着するための取付対象部であるトラカール３７（図６参照）に挿通されて用いられるようになっている。
このトラカール３７は、図６に示すように、被検体の体腔内に挿入するための挿入部３７Ａ１と、挿入部３７Ａ１の基端側に設けられた本体部３７Ｂ１と、この本体部３７Ｂ１の外周上に延設された延設部３７ｂとを有しており、この延設部３７ｂ上に前記センサ３ａが装着されている。本体部３７Ｂ１には、送気用コネクタ７ａが設けられている。
内視鏡２は、前記構成のトラカール３７に挿通された状態のまま、このトラカール３７によって患者体内の腹部に保持されながら前記挿入部３７Ａを腹部領域に挿入して、観察光学系を介して得られた腹腔内の観察像をカメラヘッド２Ａを介してＣＣＵ４に供給する。

ＣＣＵ４は、図２に示すように、内視鏡２からの撮像信号に信号処理を施し、撮像信号に基づく画像データ（例えば内視鏡ライブ画像データ）を、手術室内に配されたシステムコントローラ１０及びＶＴＲ９に供給する。なお、この場合、システムコントローラ１０からの制御により、内視鏡のライブ画像の静止画あるいは動画に基づく画像データがＣＣＵ４から選択出力されることになる。また、前記システムコントローラ１０の詳細な構成ついては後述する。

ＶＴＲ９は、システムコントローラ１０の制御により、前記ＣＣＵ４からの内視鏡ライブ画像データを記録し、あるいは再生可能である。再生時の場合には、再生された内視鏡画像データをシステムコントローラ１０に出力する。

光源装置５は、ライトガイドケーブル内のライトガイドを介して内視鏡２に設けられた照明光学系に対して照明光を供給するための光源装置である。
電気メス装置６は、例えば患者の腹部領域内の異常部を電気熱を用いて切断したりする手術処置具と、その処置具に対して高周波電流を出力する高周波出力装置である。超音波駆動電源８は、超音波プローブや鉗子等で前記異常部を切断あるいは採取したりする手術処置具と、その処置具に対して高周波電流を出力する高周波出力装置である。

また、気腹器７は、図示はしないが送気、吸気手段を備え、接続される前記トラカール３７を介して患者体内の例えば腹部領域に空気を送気するものである。

これらの光源装置５，電気メス装置６，気腹器７及び超音波駆動電源８は、前記システムコントローラ１０と電気的に接続されており、このシステムコントローラ１０によってその駆動が制御されるようになっている。

また、手術室内には、上述した各種機器の他にシステムコントローラ１０及び第１〜第３術者用モニタ３２，３４，３６が配されている。
内視鏡の観察下で行う手術等は、図１に示すように、内視鏡２を操作する術者、鉗子処置を行う術者及び助手の術者の３人で行う場合があるが、本実施例のバーチャル画像表示装置１は、このような３人の術者による手術を行う場合に対応可能である。
例えば、鉗子等の第１の処置具３８を用いて患者３０の被検体の鉗子処置を行う術者を第１術者３１、前記内視鏡２を操作する術者を第２術者３３、第２処置具３９を用いて第１術者の補助作業を行う助手の術者を第３術者３５とし、第１〜第３術者３１，３３，３５は、例えば図１に示すような位置で処置を行うものとすると、本実施例では、第１〜第３術者３１，３３，３５の位置に対応した見やすい位置（視野方向）に、第１〜第３術者用モニタ３２，３４，３６が設置されるようになっている。

第１術者用モニタ３２は、内視鏡画像用モニタ１３ａとこれに並設されるバーチャル画像用モニタ１７ａとを有し、第１術者３１の見やすい位置に設置されている。また、第２術者用モニタ３４は、内視鏡画像用モニタ１３ｂとこれに並設されるバーチャル画像用モニタ１７ｂとを有し、第２術者３３の見やすい位置に設置されている。さらに、第３術者用モニタ３６は、内視鏡画像用モニタ１３ｃとこれに並設されるバーチャル画像用モニタ１７ｃとを有し、第３術者３５の見やすい位置に設置されている。

また、本実施例では、内視鏡２及び第１、第２の処置具３８、３９の挿入方向に基づくバーチャル画像表示を生成し表示するために、第１〜第３術者３１，３３，３５の腕部や内視鏡２及び第１、第２処置具３８，３９をそれぞれ挿通するトラカール３７等の取付対象部３Ａにセンサ３ａ〜３ｃが装着されている。

これらのセンサ３ａ〜３ａは、例えばジャイロセンサ等のセンサがユニットに収容されており、トラカール３７などの取付対象部３Ａの腹部領域への挿入角度等の情報を検出し、それぞれ接続線１１ａを介して後述するバーチャル画像生成部１１に供給する。
なお、各センサ３ａ〜３ｃは、接続線１１ａを介して前記バーチャル画像生成部１１に電気的に接続されるが、無線にてデータ通信可能に前記バーチャル画像生成部１１に接続するように構成しても良い。
また、図示はしないが前記センサ３ａ〜３ｃに、術者によってバーチャル画像の表示モードの実行あるいは変更、切替え等の操作を行うための押しボタン式のスイッチ（図示せず）を設けて、操作性の向上化を図るようにしている。
なお、前記取付対象部３Ａの具体的な構成については後述する。

システムコントローラ１０は、内視鏡システム全体の各種動作（例えば表示制御や調光制御等）を制御するもので、図２に示すように、通信インターフェイス（以下、通信Ｉ／Ｆと称す）１８、メモリ１９、キャプチャ回路２１Ａ、制御部としてのＣＰＵ２０及び表示インターフェイス（以下、表示Ｉ／Ｆと称す）２１とを有している。

通信Ｉ／Ｆ１８は、前記ＣＣＵ４、光源装置５、電気メス装置６、気腹器７、超音波駆動電源８、ＶＴＲ９、キャプチャ回路２１Ａ及び後述するバーチャル画像生成部１１に電気的に接続されており、これらの駆動制御信号の送受信、または内視鏡画像データの送受信をＣＰＵ２０によって制御される。
なお、この通信Ｉ／Ｆ１８には、遠隔操作手段としての術者用のリモコン１２Ａ、音声入力マイク１２Ｂ及びフットスイッチ１２Ｃが電気的に接続されており、リモコン１２Ａやフットスイッチ１２Ｃの操作指示信号あるいは音声入力マイク１２Ｂの音声指示信号を取り込み、前記ＣＰＵ２０に供給するようになっている。

このリモコン１２Ａは、図示はしないが例えば内視鏡ライブ画像用の参照用モニタ１３やバーチャル画像表示用のモニタ１７、あるいは第１〜第３術者用モニタ３２，３４，３６に表示される表示画像に対応したホワイトバランスボタン、気腹器７を実行するための気腹ボタンと、気腹実行の際の圧力を上下に調整するための圧力ボタン、ＶＴＲ９に内視鏡ライブ画像を録画実行するための録画ボタン、その録画実行の際のフリーズボタン及びレリーズボタン、内視鏡ライブ画像あるいはバーチャル画像表示を実行するための表示ボタン、バーチャル画像を表示する際に２次元表示（２Ｄ表示）を実行するための操作ボタン（各種２Ｄ表示モードに応じたアキシャルボタン、コロナルボタン、サジタルボタン等）、バーチャル画像を表示する際に３次元表示（３Ｄ表示）を実行するための操作ボタンで、各種３Ｄ表示モードを実行した際のバーチャル画像の視野方向を示す挿入点ボタン（内視鏡２の腹部領域に対する挿入情報で、例えば内視鏡２を挿入する腹部領域のＸ方向、Ｙ方向、Ｚ方向の数値を表示するためのボタン）、注目点ボタン（注目する腹部領域のＸ方向、Ｙ方向、Ｚ方向の数値を表示するためのボタン）、３Ｄ表示する際の表示倍率変更を指示するためのボタン（表示倍率を縮小する縮小ボタン、表示倍率を拡大する拡大ボタン等）、表示色を変更するための表示色ボタン、トラッキングを実行するためのトラッキングボタン、各ボタンの押下により決定した操作設定モードに対して設定入力情報の切換や決定等を行う操作ボタンや数値等を入力するためのテンキー等を有している。
なお、前記リモコン１２Ａは、カメラヘッド２Ａのリモートスイッチ群２Ｂと同様に、前記したように各種機能の割り当て状態に限定されることはなく、システムコントローラ１０による制御によって各種機能が自在に割り当てることができるようになっている。

また、このリモコン１２Ａの各ボタンによる機能は、上述したセンサ３ａ〜３ｂ（図２参照）にそれぞれ設けられた図示しないスイッチを押下操作することにより実行することができるようになっている。また、前記リモコン１２Ａのバーチャル画像表示モードに関する各ボタンによる機能は、図５に示すカメラヘッド２Ａ上のリモートスイッチ群２Ｂに割り当てることができるようになっている。

フットスイッチ１２Ｃは、図１に示すように左フットスイッチ１２ａ、右フットスイッチ１２ｂ及び回転式の回転フットスイッチ１２ｃを有している。
例えば左フットスイッチ１２ａは、電気メス装置６等に対しオン／オフを指示操作するためのスイッチであり、右フットスイッチ１２ｂは、バーチャル画像表示モード実行時に前記挿入部３７Ａの挿入軸方向に対する仮想挿入動作をスタート／ストップさせるためのスイッチである。また、回転フットスイッチ１２ｃは、バーチャル画像表示モード時に挿入部３７Ａの挿入軸方向に対する仮想挿入位置を奥行き方向あるいは手前方向に操作するための回転式スイッチである。

なお、これら各種フットスイッチは、カメラヘッド２Ａのリモートスイッチ群２Ｂと同様に、前記したように各種機能の割り当て状態に限定されることはなく、システムコントローラ１０により制御によって各種機能が自在に割り当てることができるようになっている。

したがって、前記リモコン１２Ａやセンサ３ａ〜３ｃの図示しないスイッチあるいはリモートスイッチ群２Ｂ（図５参照）あるいは、音声マイク１２Ｂやフットスイッチ１２Ｃを用いることによって、術者は所望する情報が迅速に得られるように操作することが可能である。

メモリ１９は、例えば内視鏡静止画像の画像データや機器設定情報等のデータを記憶するもので、これらのデータの記憶、及び読み出しは前記ＣＰＵ２０によって制御がなされるようになっている。

表示Ｉ／Ｆ２１は、前記ＣＣＵ４、ＶＴＲ９及び参照用モニタ１３に電気的に接続されており、ＣＣＵ４からの内視鏡ライブ画像データあるいはＶＴＲ９の再生された内視鏡画像データを送受信し、例えば受信した内視鏡ライブ画像データを参照用モニタ１３及び後述する内視鏡画像用モニタ１３ａ〜１３ｃに出力する。これにより、参照用モニタ１３及び内視鏡画像用モニタ１３ａ〜１３ｃは供給された内視鏡ライブ画像データに基づく内視鏡ライブ画像を表示する。
また、前記参照用モニタ１３及び内視鏡画像用モニタ１３ａ〜１３ｃは、内視鏡ライブ画像の表示の他に、該ＣＰＵ２０の表示制御により、該内視鏡システムの各種機器設定状態やパラメータ等の設定情報を表示することも可能である。

キャプチャ回路２１Ａは、ＣＣＵ４からの内視鏡画像データが供給され、ＣＰＵ２０の制御により、前記参照用モニタ１３及び内視鏡画像用モニタ１３ａ〜１３ｃ等に表示する静止画あるいは動画の内視鏡画像データを取り込み、画像ファイルとして通信Ｉ／Ｆ１８を介してバーチャル画像生成部１１に出力する。

ＣＰＵ２０は、前記システムコントローラ１０内の各種動作、すなわち、通信Ｉ／Ｆ１８、表示Ｉ／Ｆ２４による各種信号の送受信制御、メモリ１９の画像データの書き込みや読み出し制御、参照用モニタ１３及び内視鏡画像用モニタ１３ａ〜１３ｃの表示制御、さらにはリモコン１２Ａ、フットスイッチ１２Ｃ、リモートスイッチ群２Ｂあるいは各センサ３ａ〜３ｃのスイッチ（図示せず）の操作信号及び音声入力マイク１２Ｂからの音声指示信号に基づく各種動作制御等を行う。

一方、前記システムコントローラ１０には、バーチャル画像生成部１１が電気的に接続されている。
バーチャル画像生成部１１は、図２に示すように、ＣＴ画像ＤＢ部２３、メモリ２４、ＣＰＵ２５、通信Ｉ／Ｆ２６、表示Ｉ／Ｆ２７を有している。

ＣＴ画像ＤＢ部２３は、患者のＸ線断層像を撮像する図示しない公知のＣＴ装置で生成された３次元画像データを、例えばＭＯ（Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌ ｄｉｓｋ）装置やＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）装置等、可搬型の記憶媒体を介して取り込むＣＴ画像データ取り込み部（図示せず）を備え、取り込んだ３次元画像データ（ＣＴ画像データ）を格納するものである。この３次元画像データの読み出しや書き込みは、ＣＰＵ２５によって制御される。

メモリ２４は、例えば前記３次元画像データやＣＰＵ２５によりこの３次元画像データに基づき生成されたバーチャル画像データ等のデータを記憶するもので、これらのデータの記憶、及び読み出しは前記ＣＰＵ２５によって制御がなされるようになっている。

なお、３次元画像データは通信Ｉ／Ｆ２８から図示しないネットワーク回線を介してＣＴ画像ＤＢ部２３に取り込んでも良い。

通信Ｉ／Ｆ２６は、前記システムコントローラ１０の通信Ｉ／Ｆ１８、第１〜第３術者３１，３３，３５の取付対象部３Ａに設けられた各センサ３ａ〜３ｂ及びスイッチ（図示せず）に接続されており、バーチャル画像生成部１１と前記システムコントローラ１０とが連動して各種動作するのに必要な制御信号の送受信や、前記各センサ３ａ〜３ｃからの各検出信号の受信、及びこれら各センサ３ａ〜３ｃのスイッチ（図示せず）や図５に示すリモートスイッチ２Ｂ群からの操作信号の受信を行うもので、ＣＰＵ２５によって制御され、ＣＰＵ２５内に取り込まれるようになっている。

表示Ｉ／Ｆ２７は、前記ＣＰＵ２５の制御により生成されたバーチャル画像をバーチャル画像用のモニタ１７，１７ａ〜１７ｃに出力する。これにより、バーチャル画像用モニタ１３，１７ａ〜１７ｃは供給されたバーチャル画像を表示する。

前記ＣＰＵ２５には、マウス１５及びキーボード１６が電気的に接続されている。これらマウス１５及びキーボード１６は、このバーチャル画像表示装置によるバーチャル画像表示動作を実行するのに必要な各種設定情報等を入力したり設定したりするための操作手段である。

ＣＰＵ２５は、前記バーチャル画像生成部１１内の各種動作、すなわち、通信Ｉ／Ｆ２６、表示Ｉ／Ｆ２７による各種信号の送受信制御、メモリ２４の画像データの書き込みや読み出し制御、モニタ１７、１７ａ〜１７ｃの表示制御、さらにはリモートスイッチ群２Ｂ、マウス１５やキーボード１６の操作信号に基づく各種動作制御等を行う。

また、ＣＰＵ２５には、ＣＴ画像ＤＢ部２３から読み込んだ３次元画像データ（ＣＴ画像データ）を用いて、前記第１〜第３術者３１，３３，３５毎に設けられた各センサ３ａ〜３ｃからの検出結果に基づき、バーチャル画像をそれぞれ生成する合成回路２５Ａを備えている。ＣＰＵ２５は、この合成回路２５Ａを用いて生成された、各検出結果に応じたバーチャル画像、すなわち、内視鏡リアル画像に対応したバーチャル画像をモニタ１７、１７ａ〜１７ｃに表示させる表示制御を行う。

なお、本実施例では、前記バーチャル画像生成部１１を、例えば遠隔地に配されたバーチャル画像生成部に通信手段を介して接続するように構成すれば遠隔手術支援システムとして構築することも可能である。

次に、前記取付対象部３Ａによるセンサの装着方法について図６を参照しながら説明する。
本実施例では、図６に示すように、センサ３ａ〜３ｃは、第１〜第３術者３１，３３，３５によりそれぞれ用いられる取付対象部３Ａとしてのトラカール３７に設けられている。このトラカール３７は、内視鏡２の他、第１、第２術者３１，３５によって用いられる第１、第２処置具３８，３９を挿通して装着することができるようになっている。

このようなトラカール３７は、上述したように本体部３７Ｂ１の外周上に延設された延設部３７ｂを有し、この延設部３７ｂ上にスイッチ（図示せず）を有するセンサ３ａ（３ｂ，３ｃ）が装着されている。
なお、このセンサ３ａ（３ｂ，３ｃ）は、図中に示す波線のように前記本体部３７Ｂ１の外周上に装着しても良く、あるいは図示はしないが本体部３７Ｂ１の外周に着脱自在に嵌合する延設部を設け、この延設部に装着するように構成しても良い。
したがって、このようにセンサ３ａ（３ｂ，３ｃ）をトラカール３７に装着することにより、このトラカール３７に挿通される内視鏡２や第１，第２処置具３８，３９の挿入方向がトラカール３７の挿入方向と略一致することになるので、各センサ３ａ〜３ｃによって内視鏡２及び第１，第２処置具３８，３９の挿入角度等の情報を検出することが可能となる。

また、本実施例では、前記取付対象部３Ａは、前記トラカール３７に替えて、図１及び図４に示すように、第１〜第３術者３１，３３，３５の腕部とし、この腕部に各センサ３ａ〜３ｃをそれぞれ装着しても良い。この場合、センサ３ａ〜３ｃは、袋状に形成された滅菌処理済みのテープ部材３Ｃにそれぞれ収容されて第１〜第３術者３１，３３，３５の腕部にそれぞれ貼着されるようになっている。
したがって、この場合も第１〜第３術者３１，３３，３５の腕部の方向は、トラカール３７に挿通される内視鏡２のスコープ方向や第１，第２処置具３８，３９の挿入方向と類似するものであることから、上記同様に一致させることが可能となり、各センサ３ａ〜３ｃによって内視鏡２及び第１，第２処置具３８，３９の挿入角度等の情報を検出することが可能となる。

次に、実施例１の手術支援システム１の制御例を図１、図２、図７及び図８を参照しながら説明する。
最初に、手術支援システム１のバーチャル画像表示機能（第１の表示モード）における基本動作を説明する。

図１に示すバーチャル画像生成部１１を有する内視鏡システムを用いて、患者の腹部領域内の被検体の手術を行うものとする。
このとき、内視鏡システムの電源が投入されているものとすると、バーチャル画像生成部１１のＣＰＵ２５は、オペレータがマウス１５またはキーボード１６を用いてバーチャル画像表示の指示を受け付けると、図示しない記録部に記録されているバーチャル画像表示用プログラムを起動する。すると、ＣＰＵ２５は、バーチャル画像を表示するのに必要な画面をモニタ１７に表示させる。

そして、オペレータは、このモニタ１７上に表示された画面を見ながら、例えば患者の腹部領域のどの位置に内視鏡２を挿入するかの情報（腹部領域のＸ方向、Ｙ方向、Ｚ方向の数値（挿入点））を、マウス１５あるいはキーボード１６を用いて入力し、その後、同様に、内視鏡２を腹部領域に挿入した際の内視鏡２の軸方向（注目点）の数値を入力する。なお、本実施例では、図示はしないが、第１，第２の処置具３８，３９についても同様にそれぞれ必要な情報を画面を見ながら入力する。

バーチャル画像生成部１１の合成回路２５Ａは、入力された情報に基づき、内視鏡２の挿入点及び注目点、第１、第２の処置具３８，３９の挿入点及び注目点に対応するバーチャル画像を生成する。ＣＰＵ２５は、生成されたバーチャル画像データをモニタ１７、及び第１〜第３術者用モニタ３２，３４，３６のバーチャル画像用モニタ１７ａ〜１７ｃに表示する。
この場合、バーチャル画像用モニタ１７ａ〜１７ｃには、主に内視鏡２に対応するバーチャル画像が表示されるが、これ以外にも第１、第２処置具３８，３９に対応するバーチャル画像を指定し表示させるようにしても良い。

このとき、手術を行っている第１〜第３術者側の第１〜第３術者用モニタ３２，３４，３６内の内視鏡画像用モニタ１３ａ〜１３ｃには、システムコントローラ１０のＣＰＵ２０の表示制御により、内視鏡ライブ画像が表示され、この表示を見ながら第１〜第３術者３１，３３，３５は手術を行うことになる。
この場合、内視鏡２及び第１、第２の処置具３８，３９は、図６に示すようなトラカール３７にセンサ３ａ〜３ｃがセットされた状態にて使用されている。なお、センサ３ａ〜３ｃはトラカール３７に設けずにそれぞれの術者の腕部にテープ部材３Ｃにより装着するようにしても良い。

手術を行っている場合、本実施例では、バーチャル画像生成部１１のＣＰＵ２５は、内視鏡ライブ画像と一致するように、内視鏡２のセンサ３ａからの検出結果に基づきバーチャル画像をＣＰＵ２５内の合成回路２５Ａによって生成し、生成した画像をモニタ１７及び第２術者用モニタ３４のバーチャル画像用モニタ１７ｂに表示させる。また、同時にＣＰＵ２５は、第１、第２の処置具３８，３９のセンサ３ｂ，３ｃからの検出結果に基づきバーチャル画像をＣＰＵ２５内の合成回路２５Ａによってそれぞれ生成し、生成した画像を第１、第３術者用モニタ３２，３６のバーチャル画像用モニタ１７ａ，１７ｃにそれぞれ表示させる。

例えば、いま、手術中に、第２術者３４によって内視鏡２の挿入部の腹部領域に対する傾きが生じたものとする。この場合、参照用モニタ１３や内視鏡画像用モニタ１３ａ〜１３ｃに内視鏡２の傾きに応じた内視鏡ライブ画像が表示されているとすると、本実施例では、この内視鏡２の傾きがセンサ３ａによって常に検出され、ＣＰＵ２５はこの検出結果に基づくバーチャル画像をＣＰＵ２５内の合成回路２５Ａによって生成し、生成した画像をモニタ１７及び第２術者用モニタ３４のバーチャル画像用モニタ１７ｂに表示させる。 なお、ＣＰＵ２５は、第１，第２の処置具３８，３９についても同様に、各センサ３ｂ，３ｃによる各検出結果に基づくバーチャル画像をＣＰＵ２５内の合成回路２５Ａによってそれぞれ生成し、生成した画像を第１、第３術者用モニタ３２，３６のバーチャル画像用モニタ１７ａ，１７ｃにそれぞれ表示させる。
これにより、内視鏡２の挿入部や第１、第２の処置具３８，３９が傾いたときの内視鏡ライブ画像に対応する各バーチャル画像を、それぞれ対応するバーチャル画像用モニタ１７ａ〜１７ｂに表示させることができ、第１〜第３術者３１，３３，３５は内視鏡観察下において、内視鏡観察画像の観察領域の被検体の生体画像情報を得ることが可能となる。

このようにバーチャル表示制御する手術支援システム１は、さらに、被検体内の奥行き方向の生体画像情報を得て、必要に応じて手術中の術者に対して確実に提供することができ、且つ簡単な操作で生体画像情報の表示モードを変更することができるようになっている。このような手術支援システムの制御例を後述する。
本実施例の手術支援システム１において、術者がさらに患者の被検体内の奥行き方向に関する生体画像情報を取得したい場合には、術者等による操作指示により、バーチャル画像生成部１１のＣＰＵ２５は、図８に示すプログラムを起動する。

ＣＰＵ２５は、ステップＳ１の処理にて第２の表示モードであるバーチャル画像表示モードを実行する患者の臓器の選択処理を行う。
この場合、術者等は、マウス１５やキーボード１６（あるいはリモコン１２Ａ）等を用いて予め手術を行う臓器を設定入力する。手術中である場合には、臓器選択のための入力は、例えば音声入力マイク１２Ｂを用いて行うことが望ましい。例えば、術者が“臓器選択”と音声入力マイク１２Ｂに向けて音声を発すると、ＣＰＵ２５は、この音声指示信号を認識し、認識した臓器のバーチャル画像表示（第２の表示モード）を行うための準備段階に入る。

そして、ＣＰＵ２５は、次のステップＳ２の処理にて選択された臓器のスライスピッチの設定処理を行う。スライスピッチとは、内視鏡２の挿入部３７Ａが臓器内に挿入される挿入軸方向Ｓ（臓器内の奥行き方向）において、挿入部３７Ａの仮想挿入位置間隔Ｐ（図７参照）である。つまり、このスライスピッチの設定を行うことにより、臓器内の挿入軸方向Ｓにおけるスライスピッチ毎のバーチャル画像の表示が可能となる。
なお、スライスピッチの設定入力は、前記ステップＳ１と同じようにマウス１５やキーボード１６（あるいはリモコン１２Ａ）等を用いれば良い。また、手術中である場合には、例えば、術者が“スライスピッチ設定”と音声入力マイク１２Ｂに向けて音声を発すると、ＣＰＵ２５は、この音声指示信号を認識し、認識したスライスピッチＰの設定を行う。

そして、ＣＰＵ２５は、ステップＳ３の処理により、バーチャル画像表示における視点方向の選択処理を行う。すなわち、表示するバーチャル画像が第１〜第３術者３１，３３，３５にいずれかの視点方向であるかを選択する。
この場合の視点方向における入力は、前記ステップＳ１と同じようにマウス１５やキーボード１６（あるいはリモコン１２Ａ）等を用いれば良い。また、手術中である場合には、例えば、術者が“視点方向設定”と音声入力マイク１２Ｂに向けて音声を発すると、ＣＰＵ２５は、この音声指示信号を認識し、認識した視点方向（第１〜第３術者３１，３３，３５のいずれかの方向）を設定する。

その後、ＣＰＵ２５は、ステップＳ４の処理にてバーチャル画像表示モードの変更設定を行う。この変更設定は、例えば通常のバーチャル画像表示モードからスライスピッチ毎にバーチャル画像を表示するバーチャル画像表示モードに変更するための設定である。

変更設定完了後、ＣＰＵ２５は、ステップＳ５の処理にて前記ステップＳ３の処理にて決定した術者の視点方向に基づくバーチャル画像をＣＰＵ２５内の合成回路２５Ａによって生成し取得する。この場合、システムコントローラ１０のＣＰＵ２０は、ＣＰＵ２５との通信によって、このときに同期した内視鏡画像を取得している。

そして、ＣＰＵ２５は、次のステップＳ６による判断処理にて手術処置具である第１、第２の処置具３８，３９（具体的には電気メスや鉗子等）のオン信号の有無を検出し、オン信号を検出した場合には続くステップＳ７に移行し、オン信号を検出してない場合にはステップＳ８に移行する。
すなわち、前記ステップＳ６の判断処理は、スライスピッチ毎でのバーチャル画像表示モード（第２の表示モード）を自動で行うか、あるいは手動で行うかを判断している。

したがって、前記ステップＳ６の判断処理にて第１の処置具３８または第２の処置具３９のオン信号を検出した場合には自動モードと判断して、続くステップＳ７の処理により、ＣＰＵ２５は、指定された臓器の奥行き方向（挿入部３７Ａの挿入軸方向Ｓ）のスライス面を、挿入部３７Ａの仮想挿入位置間隔Ｐ毎に連続的に移動しながらバーチャル画像をＣＰＵ２５内の合成回路２５Ａによって生成し、生成した画像をバーチャル画像用モニタ１７ａ〜１７ｃにそれぞれ表示させる。
なお、この場合、前記ステップＳ３により視点方向が指定された術者用のバーチャル画像用モニタのみに表示させても良い。

図７に、スライスピッチ毎に表示されるバーチャル画像表示の一例が示されている。
例えば、指定された臓器が図７に示す臓器５０であり、スライスピッチＰが２ｃｍに設定されていたとすると、ＣＰＵ２５は、挿入部３７Ａの仮想挿入位置Ｌ１に基づくバーチャル画像５０Ａを表示した後に、挿入部３７Ａの仮想挿入位置を２ｃｍ奥行き方向（挿入軸方向Ｓ）に移動させた仮想挿入位置Ｌ２に基づくバーチャル画像５２を表示させ、以降、２ｃｍのスライスピッチＰ毎のバーチャル画像を連続的に表示させる。

また、ＣＰＵ２５は、スライスピッチＰ毎に表示されたバーチャル画像５２内に、予め設定されたスライスピッチ（仮想挿入位置間隔）Ｐの数値５２ａを所定箇所に重ねて表示することも可能である。この表示により、術者は臓器５０内において挿入部３７Ａの具体的なスライスピッチＰを認識できる。

なお、ステップＳ７の処理によりバーチャル画像用モニタには、連続的にスライスピッチＰ毎のバーチャル画像が表示されるが、ＣＰＵ２５は、音声マイク１２Ａ、カメラヘッド２Ａのスタート／ストップリモートスイッチ２ｅ、あるいは右フットスイッチ１２ｂ等の操作手段による画像表示停止指示が供給された場合には、その指示に基づくスライスピッチＰのバーチャル画像の表示を保持するように制御しても良い。

一方、前記ステップＳ６の判断処理にて第１の処置具３８または第２の処置具３９のオン信号を検出してない場合には手動モードと判断して、ＣＰＵ２５は、ステップＳ８の判断処理により、例えばカメラヘッド２Ａのスタート／ストップリモートスイッチ２ｅが押下されたか否かを判断する。なお、この判断処理は、スタート／ストップリモートスイッチ２ｅに限らず、他の操作手段（音声マイク１２Ａあるいは右フットスイッチ１２ｂ等）による入力がされたか否かを判断しても良い。

ＣＰＵ２５は、この判断処理で押下されたと判断した場合にはステップＳ９に移行し、押下されてないと判断した場合にはスタート実行を示すスイッチ操作が行われるまでこの判断処理を継続する。

ステップＳ９の処理では、ＣＰＵ２５は、指定された臓器の奥行き方向（挿入部３７Ａの挿入軸方向Ｓ）のスライス面を、挿入部３７Ａの仮想挿入位置間隔Ｐ毎に連続的に移動しながらバーチャル画像をＣＰＵ２５内の合成回路２５Ａによって生成し、生成した画像をバーチャル画像用モニタ１７ａ〜１７ｃにそれぞれ表示させる。なお、この場合、前記ステップＳ３により視点方向が指定された術者用のバーチャル画像用モニタのみに表示させても良い。

そして、ＣＰＵ２５は、続くステップＳ１０の判断処理により前記ステップＳ９と同様に、例えばカメラヘッド２Ａのスタート／ストップリモートスイッチ２ｅが押下されたか否かを判断する。すなわち、この判断処理は、スライスピッチＰ毎に連続的にバーチャル画像が表示されている状態から、術者が所望するスライスピッチＰに基づくバーチャル画像を保持するために行うためのものである。

したがって、ＣＰＵ２５は、例えばカメラヘッド２Ａのスタート／ストップリモートスイッチ２ｅが押下されてストップ指示が得られたと判断した場合には、ステップＳ１１に移行し、そうでない場合にはステップＳ９に処理を戻してスライスピッチＰ毎のバーチャル画像を連続的に表示させながら再度ステップＳ１０の判断処理を行う。

ステップＳ１１の処理により、ＣＰＵ２５は、スライスピッチＰ毎のバーチャル画像の連続表示を中断すると同時に、前記ステップＳ１の判断処理でストップ指示がなされたときのスライスピッチＰに基づくバーチャル画像の表示を保持する。

例えば、図７に臓器５０において、術者の所望する情報が目的部位６０であり、挿入部３７Ａが仮想挿入位置Ｌ２に到達したときに術者によりスタート／ストップスイッチ２ｅが押下されてストップ指示がなされたとすると、ＣＰＵ２５は、このスライスピッチＰに基づくバーチャル画像５２の表示を保持するように制御する。

すなわち、このスライスピッチＰに基づくバーチャル画像５２を保持しながら表示することにより、このバーチャル画像５２には、術者が所望する目的部位６０及びその目的部位６０近傍の血管５３や臓器５０内の部位５４等が表示されるので、術者に対し迅速に且つ確実に所望する生体情報を提供することができる。

なお、ステップＳ１１の処理によりバーチャル画像用モニタには、所定のスライスピッチＰに基づくバーチャル画像が表示されているが、ＣＰＵ２５は、再び声マイク１２Ａ、カメラヘッド２Ａのスタート／ストップリモートスイッチ２ｅ、あるいは右フットスイッチ１２ｂ等の操作手段による画像連続表示開始指示が供給された場合には、再びそのスライスピッチＰ以降のスライスピッチＰ毎にバーチャル画像の表示を連続的に行うように制御しても良く、前記ステップＳ８〜ステップＳ１１の処理を繰り返し行うように制御しても良い。

また、前記ステップＳ７及びステップＳ９によりスライスピッチＰ毎にバーチャル画像が連続的に表示されている最中に、例えばカメラヘッド２Ａの前リモートスイッチ２ｂや後リモートスイッチ２ｂ、あるいは回転式フットスイッチ１２ｃ、あるいは音声入力マイク１２Ｂより操作指示があった場合には、ＣＰＵ２５は、この操作指示に基づくスライスピッチＰでのバーチャル画像を表示させるように制御することが可能である。また、前記バーチャル画像の連続表示は、スライスピッチ毎でなくても良く、挿入部３７Ａの挿入量に基づき連続したバーチャル画像を表示しても良い。

したがって、本実施例によれば、簡単な構成で且つ低コストで、内視鏡観察下において内視鏡観察画像の観察領域の被検体のバーチャル画像及び被検体内のスライスピッチ毎のバーチャル画像を表示して、必要に応じて手術中の術者に対して確実に提供することができる。また、簡単な操作で通常のバーチャル画像表示モードとスライスピッチ毎のバーチャル画像表示モードとを変更することができる。

また、スライスピッチ毎のバーチャル画像表示モードは、第１の処置具３８または第２の処置具３９のオン信号の検出によって自動モードあるいは手動モードを判別しそれぞれのモードに基づく表示制御が可能であるため、術者が所望する生体情報を迅速且つ確実に得られることから、手術を円滑に行うことが可能となる。

なお、発明に係る実施例１において、前記内視鏡２は、挿入部の先端部が自在に湾曲可能な湾曲部を有する内視鏡であっても良い。この場合、前記センサ３ａに前記湾曲部の湾曲角度を検出する機能を設ければ、この湾曲部の湾曲角度に応じたバーチャル画像の表示が可能となる。また、センサ３ａを収容するユニットに磁気センサを設けるとともに、この磁気センサに磁気を照射する手段を設ければ、ＣＰＵ２５による演算処理によって内視鏡２の挿入量も検出することができ、すなわち、内視鏡２及び第１，第２の処置具３８，３９の挿入量に基づくバーチャル画像を表示することも可能である。この場合、磁気センサではなく、ロータリーエンコーダを用いて内視鏡２及び第１，第２の処置具３８，３９の挿入量を検出するように構成しても良い。

また、実施例１において、表示Ｉ／Ｆ２７とバーチャル画像表示用モニタ１７ａ〜１７ｃとの間に切替え手段を設け、前記ＣＰ２５による制御によって合成回路２５Ａからのバーチャル画像データを選択的に切替えて所望する前記バーチャル画像表示用モニタ１７ａ〜１７ｃに出力して表示させても良い。

なお、本発明は、上述した実施例１に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。

本発明の実施例１に係る手術支援システムの全体構成を示す概略構成図。 図１の手術支援システムの全体構成を示すブロック図。 図１の内視鏡の外観構成を示す斜視図。 センサを装着する取付対象部が術者の腕部の場合の構成例を示す斜視図。 内視鏡の接眼部に装着されるカメラヘッド上の各種スイッチを示す斜視図。 センサを装着する取付対象部であるトラカールの外観構成を示す斜視図。 手術支援システムの表示動作を説明するもので、予め決められた臓器及び臓器内のバーチャル画像表示例を示す説明図。 バーチャル画像生成部のＣＰＵによるメイン制御処理を示すフローチャート。

符号の説明

１…バーチャル画像表示装置、
２…内視鏡、
２Ａ…カメラヘッド、
２Ｂ…リモートスイッチ群、
２ａ…ライトガイドコネクタ、
３Ａ…取付対象部、
３Ｂ…スイッチ、
３Ｃ…テープ部材、
３ａ〜３ｃ…センサ、
４…ＣＣＵ、
５…光源装置、
６…電気メス装置、
７…気腹器、
８…超音波駆動電源、
９…ＶＴＲ、
１０…システムコントローラ、
１１…バーチャル画像生成部、
１１ａ…接続線、
１２Ａ…リモコン、
１２Ｂ…音声入力マイク
１２Ｃ…フットスイッチ、
１３…参照用モニタ、
１３ａ〜１３ｃ…内視鏡画像用モニタ、
１５…マウス、
１６…キーボード、
１７…モニタ、
１７ａ〜１７ｃ…バーチャル画像用モニタ、
２４…メモリ、
２４、２５…ＣＰＵ、
２７Ａ…切替部、
３０…患者、
３１…第１術者、
３２…第１術者用モニタ、
３３…第２術者、
３４…第２術者用モニタ、
３５…第３術者、
３６…第３術者用モニタ、
３７…トラーカール、
３７Ａ…挿入部、
３７Ｂ…把持部、
３７Ｃ…接眼部、
３７Ａ１…挿入部、
３７Ｂ１…本体部、
３７ｂ…延設部、
３８…第１の処置具、
３９…第２の処置具。

代理人 弁理士 伊藤 進

Claims (4)

1. 被検体像を観察可能な挿入部を有する内視鏡と、
   前記被検体の処置を行う少なくとも１つ以上の処置具と、
   前記内視鏡の挿入部の観察方向を示す情報を検出する第１の検出手段と、
   前記処置具の処置方向を示す情報を検出する第２の検出手段と、
   前記被検体に関するバーチャル画像データを記憶するバーチャル画像データ記憶手段と、
   前記第１、第２の検出手段により検出された情報に基づき前記バーチャル画像データを処理して前記第１、第２の検出手段に対応する第１、第２のバーチャル画像データを生成するバーチャル画像データ処理手段と、
   前記第１、第２のバーチャル画像データに基づく第１、第２のバーチャル画像及び前記内視鏡による内視鏡観察画像を表示可能な第１、第２のバーチャル画像表示手段と、
   前記第１、第２のバーチャル画像データに基づくバーチャル画像を前記第１、第２の検出手段により検出された情報に追従しながら前記第１、第２のバーチャル画像表示手段に表示させる制御手段と、を有し、
   前記制御手段は、前記処置具の駆動を検出した場合には、前記情報に追従した前記バーチャル画像の表示を行う第１の表示モードをオフすると同時に、このときの前記情報を基準にして所定方向に基づく所望のバーチャル画像を表示する第２の表示モードをオンさせることを特徴とする手術支援システム。
2. 前記制御手段は、前記第２の表示モードをオンした場合には、前記所定方向への移動量を前記バーチャル画像と共に表示することを特徴とする請求項１に記載の手術支援システム。
3. 前記第１、第２のバーチャル画像表示手段による表示を指示する操作手段を有し、
   前記制御手段は、前記処置具の駆動信号の有無に応じて、前記第２の表示モードを自動でオンするか、あるいは前記第２の表示モードを前記操作手段に基づき手動でオンするかを切替えるように制御することを特徴とする請求項１または請求項２に記載の手術支援システム。
4. 前記第２の表示モードは、所定方向に基づくバーチャル画像を連続表示、あるいは所定方向に基づく所定の移動量毎のバーチャル画像を表示させるモードであることを特徴とする請求項１乃至請求項３のいずれか１つに記載の手術支援システム。
   

Images