JP2005211529A - 手技支援システム - Google Patents

Abstract

【課題】 手技支援に適したバーチャル画像をリアルタイムに手技中に提供する。
【解決手段】 バーチャル画像生成部１１は、ＣＴ画像ＤＢ部２３、メモリ２４、ＣＰＵ２５、通信Ｉ／Ｆ２６、表示Ｉ／Ｆ２７、切替え部２７Ａを有し、手技中に関心部位（異常部）の周辺の各方向から見た生体画像情報（臓器等により見えない動脈、静脈の配置の画像情報や関心部位の位置の画像情報等）を提供する。
【選択図】 図１

Description

本発明は、被検体に関するバーチャル画像データを生成し、該バーチャル画像データに基づき手技の支援を行う手技支援システムに関する。

近年、画像による診断が広く行われるようになっており、例えばＸ線ＣＴ（Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ）装置等により被検体の断層像を撮像することにより被検体内の３次元的なバーチャル画像データを得、このバーチャル画像データを用いて患部の診断が行われるようになってきた。

ＣＴ装置では、Ｘ線照射・検出を連続的に回転させつつ被検体を体軸方向に連続送りすることにより、被検体の３次元領域について螺旋状の連続スキャン（ヘリカルスキャン：ｈｅｌｉｃａｌ ｓｃａｎ）を行い、３次元領域の連続するスライスの断層像から、３次元的なバーチャル画像を作成することが行われる。

そのような３次元画像の１つに、肺の気管支の３次元像がある。気管支の３次元像は、例えば肺癌等が疑われる異常部の位置を３次元的に把握するのに利用される。そして、異常部を生検によって確認するために、気管支内視鏡を挿入して先端部から生検針や生検鉗子等を出して組織のサンプル（ｓａｍｐｌｅ）を採取することが行われる。

気管支のような多段階の分岐を有する体内の管路では、異常部の所在が分岐の末梢に近いとき、内視鏡の先端を短時間で正しく目的部位に到達させることが難しいために、例えば特開２０００−１３５２１５号公報等では、被検体の３次元領域の画像データに基づいて前記被検体内の管路の３次元像を作成し、前記３次元像上で前記管路に沿って目的点までの経路を求め、前記経路に沿った前記管路の仮想的な内視像（以下、バーチャル画像と称す）を前記画像データに基づいて作成し、前記バーチャル画像を表示することで、気管支内視鏡を目的部位にナビゲーションする装置が提案されている。

また、腹部領域の体内の臓器を被検体とする診断においては、従来より、上記同様に主に腹部領域内の被検体の３次元的なバーチャル画像を作成し、これを表示しながら診断するための画像解析ソフトが実用化されている。
この種の画像解析ソフトを用いた画像システムは、医師が術前に予め患者の腹部領域内等の被検体の病変部の変化をそのバーチャル画像を見ながら把握するための診断に用いられており、通常、カンファレンス室等の手術室外で行われているのが一般的である。
特開２０００−１３５２１５号公報

従来より、内視鏡観察下で腹部領域の体内の被検体に対する手術等を行う場合にも、内視鏡観察画像の観察領域の被検体の生体画像情報（臓器等により見えない動脈、静脈の配置の画像情報や関心部位の位置の画像情報等）を、必要に応じて術者に対して迅速に提供することが望まれている。
しかしながら、上述した画像解析ソフトを用いた画像システムは、あくまでも腹部領域の被検体のバーチャル画像を見ながら行う術前診断に用いるものであり、実際の手術における内視鏡システムと併用して使用することはできず、術者に対して必要な被検体の生体情報を術中に提供することはできない。

また、例えば実際に手術を行う内視鏡システムに前記画像システムからバーチャル画像を提供して手技を支援する手技支援システムを構築することが考えられるが、リアルな内視鏡画像に支援可能なバーチャル画像を提供する形態が確立できていないために、効果的な手技支援を行うことが困難な状況にある。

本発明は、上記事情に鑑みてなされたものであり、手技支援に適したバーチャル画像をリアルタイムに手技中に提供することのできる手技支援システムを提供することを目的としている。

本発明の手技支援システムは、被検体に挿入する内視鏡の挿入部を示す角度情報を検出する検出手段と、前記検出手段により検出された角度情報に基づき前記内視鏡の観察画像面に対応した前記被検体に関する第１のバーチャル画像データを生成する第１のバーチャル画像データ生成手段と、前記内視鏡の観察画像面と所定の角度を有する面に対応した前記被検体に関する前記第２のバーチャル画像データを生成する第２のバーチャル画像データ生成手段とを備えて構成される。

以上説明したように本発明によれば、手技支援に適したバーチャル画像をリアルタイムに手技中に提供することができるという効果ある。

以下、図面を参照しながら本発明の実施例について述べる。

図１ないし図１８は本発明の実施例１に係わり、図１は手技支援システムの構成を示す構成図、図２は図１の手技支援システムの要部構成を示すブロック図、図３は図１の内視鏡の構成を示す図、図４は図１の手技支援システムの作用を説明する図、図５は図１の手技支援システムの処理の流れを示すフローチャート、図６は図５の処理で展開される画面を示す第１の図、図７は図５の処理で展開される画面を示す第２の図、図８は図５の処理で展開される画面を示す第３の図、図９は図１の手技支援システムの作用の変形例を説明する第１の図、図１０は図１の手技支援システムの作用の変形例を説明する第２の図、図１１は図５の処理で展開される画面の第１の変形例を示す図、図１２は図５の処理で展開される画面の第２の変形例を示す第１の図、図１３は図５の処理で展開される画面の第２の変形例を示す第２の図、図１４は図５の処理で展開される画面の第２の変形例を示す第３の図、図１５は図１の内視鏡が側視型の場合の側視観察方向を説明する図、図１６は図１５の側視型の内視鏡に対応した通常バーチャル画像の補正処理を示すフローチャート、図１７は図１６の処理で展開される画面を示す第１の図、図１８は図１６の処理で展開される画面を示す第２の図である。

図１に示すように、本実施例の手技支援システム１は、内視鏡システムと組み合わせて構成され、具体的には、被検体の体腔内を観察可能な観察手段としての内視鏡２、ＣＣＵ４、光源５、電気メス装置６、気腹装置７、超音波駆動電源８、ＶＴＲ９、システムコントローラ１０、バーチャル画像生成部１１、リモコン１２Ａ、音声入力マイク１２Ｂ、マウス１５、キーボード１６、バーチャル画像表示用のモニタ１７及び、手術室に配された内視鏡画像用モニタ１３及びバーチャル画像用モニタ１７ａを有して構成されている。

本実施例では内視鏡２として、図３に示すような腹腔鏡を用いている。この内視鏡（腹腔鏡）２は、被検体の腹腔内に挿入するための挿入部２ｂと、挿入部２ｂの基端側に設けられた把持部２ａとを有して構成される。挿入部２ｂの内部には照明光学系及び観察光学系が設けられており、被検体の腹腔内の観察部位を照明し、被検体の腹腔内の観察像を得ることが可能となっている。

把持部２ａにはライトガイドコネクタ２ｃが設けられ、該ライトガイドコネクタ２ｃには、一端が光源装置５に接続されたライトガイドケーブル２ｆ（図１参照）の他端に接続され、これにより、挿入部２ｂ内の照明光学系を介して光源装置５からの照明光を観察部位に照射できるようになっている。

把持部２ａに設けられた図示しない接眼部には、ＣＣＤ等の撮像手段を有するカメラヘッド２ｄが接続され、このカメラヘッド２ｄには観察像のズームイン／アウトなどの操作を行うためのリモートスイッチ２ｇが設けられている。また、このカメラヘッド２ｄの基端側にはカメラケーブル２ｅが延設されており、カメラケーブル２ｅの他端にはＣＣＵ４に電気的に接続するための接続コネクタ（図示せず）が設けられている。

図１に戻り、内視鏡２は、手術時、トラカール３７に挿通された状態のまま、このトラカール３７によって患者体内の腹部に保持されながら前記挿入部を腹部領域に挿入して、ＣＣＤ等の撮像部により腹部領域を撮像し、撮像した撮像信号をカメラヘッド２ｄを介してＣＣＵ４に供給する。

ＣＣＵ４は、内視鏡２からの撮像信号に信号処理を施し、撮像信号に基づく画像データ（例えば内視鏡ライブ画像データ）を、手術室内に配されたシステムコントローラ１０に供給する。また、システムコントローラ１０からの制御により、内視鏡のライブ画像の静止画あるいは動画に基づく画像データがＣＣＵ４からＶＴＲ９に選択的に出力される。なお、システムコントローラ１０の詳細な構成ついては後述する。

ＶＴＲ９は、システムコントローラ１０の制御により、前記ＣＣＵ４からの内視鏡ライブ画像データを記録し、あるいは再生可能である。再生時の場合には、再生された内視鏡ライブ画像データをシステムコントローラ１０に出力する。

光源装置５は、ライトガイドを介して前記内視鏡２に照明光を供給するための光源装置である。
電気メス装置６は、例えば患者の腹部領域内の異常部を電気メスプローブ（図示せず）による電気熱を用いて切断したりする手術処置装置であり、超音波駆動電源８は、超音波プローブ（図示せず）で前記異常部を切断あるいは凝固したりする手術処置装置である。

また気腹装置７は、図示はしないが送気、吸気手段を備え、接続される前記トラカール３７を介して患者体内の例えば腹部領域に炭酸ガスを送気するものである。

これらの光源装置５，電気メス装置６，気腹装置７及び超音波駆動電源８は、前記システムコントローラ１０と電気的に接続されており、このシステムコントローラ１０によってその駆動が制御されるようになっている。

また、手術室内には、上述したＣＣＵ４、ＶＴＲ９、光源装置５，電気メス装置６，気腹装置７及び超音波駆動電源８等の各種機器の他にシステムコントローラ１０及び内視鏡画像用モニタ１３、バーチャル画像用モニタ１７ａが配されている。
本実施例では、例えば患者３０の腹部内にトラカール３７を介して挿入部を挿入して被検体を撮像する術者３１が、患者３０に対して図１に示すような位置で処置を行うものとすると、この術者３１の位置に対応した見やすい位置（視野方向）に、内視鏡画像用モニタ１３、バーチャル画像用モニタ１７ａが設置されるようになっている。

システムコントローラ１０は、内視鏡システム全体の各種動作（例えば表示制御や調光制御等）を制御するもので、図２に示すように、通信インターフェイス（以下、通信Ｉ／Ｆと称す）１８、メモリ１９、制御部としてのＣＰＵ２０及び表示インターフェイス（以下、表示Ｉ／Ｆと称す）２１とを有している。

通信Ｉ／Ｆ１８は、前記ＣＣＵ４、光源装置５，電気メス装置６，気腹装置７、超音波駆動電源８、ＶＴＲ９及び後述するバーチャル画像生成部１１に電気的に接続されており、これらの駆動制御信号の送受信、または内視鏡画像データの送受信をＣＰＵ２０によって制御される。なお、この通信Ｉ／Ｆ１８には、遠隔操作手段としての術者用のリモコン１２Ａ及び音声入力マイク１２Ｂが電気的に接続されており、リモコン１２Ａの操作指示信号あるいは音声入力マイク１２Ｂの音声指示信号を取り込み、前記ＣＰＵ２０に供給するようになっている。

このリモコン１２Ａは、図示はしないが例えば内視鏡ライブ画像用の内視鏡画像用モニタ１３やバーチャル画像表示用のモニタ１７、あるいはバーチャル（仮想）画像用モニタ１７ａに表示される表示画像に対応したホワイトバランスボタン、気腹装置７を実行するための気腹ボタンと、気腹実行の際の圧力を上下に調整するための圧力ボタン、ＶＴＲ９に内視鏡ライブ画像を録画実行するための録画ボタン、その録画実行の際のフリーズボタン及びレリーズボタン、内視鏡ライブ画像あるいはバーチャル画像表示を実行するための表示ボタン、バーチャル画像を生成する際に２次元表示（２Ｄ表示）を実行するための操作ボタン（各種２Ｄ表示モードに応じたアキシャルボタン、コロナルボタン、サジタルボタン等）、バーチャル画像を表示する際の３次元表示（３Ｄ表示）を実行するための操作ボタンで、各種３Ｄ表示モードを実行した際のバーチャル画像の視野方向を示す挿入点ボタン（内視鏡２の腹部領域に対する挿入情報で、例えば内視鏡２を挿入する腹部領域のＸ方向、Ｙ方向、Ｚ方向の数値を表示するためのボタン）、注目点ボタン（内視鏡２を腹部領域に挿入した際の内視鏡２の軸方向（角度）の数値を表示するためのボタン）、３Ｄ表示する際の表示倍率変更を指示するためのボタン（表示倍率を縮小する縮小ボタン、表示倍率を拡大する拡大ボタン等）、表示色を変更するための表示色ボタン、トラッキングを実行するためのトラッキングボタン、各ボタンの押下により決定した操作設定モードに対して設定入力情報の切換や決定等を行う操作ボタンや数値等を入力するためのテンキー等を有している。

したがって、これらの各ボタンを備えたリモコン１２Ａ（またはスイッチ）を用いることによって、術者は所望する情報が迅速に得られるように操作することが可能である。

メモリ１９は、例えば内視鏡静止画像の画像データや機器設定情報等のデータを記憶するもので、これらのデータの記憶、及び読み出しは前記ＣＰＵ２０によって制御がなされるようになっている。

表示Ｉ／Ｆ２１は、前記ＣＣＵ４、ＶＴＲ９及び内視鏡画像用モニタ１３に電気的に接続されており、ＣＣＵ４からの内視鏡ライブ画像データあるいはＶＴＲ９の再生された内視鏡画像データを送受信し、例えば受信した内視鏡ライブ画像データを内視鏡画像用モニタ１３に出力する。これにより、内視鏡画像用モニタ１３は供給された内視鏡ライブ画像データに基づく内視鏡ライブ画像を表示する。

また、内視鏡画像用モニタ１３は、内視鏡ライブ画像の表示の他に、該ＣＰＵ２０の表示制御により、該内視鏡システムの各種機器設定状態やパラメータ等の設定情報を表示することも可能である。

ＣＰＵ２０は、システムコントローラ１０内の各種動作、すなわち、通信Ｉ／Ｆ１８、表示Ｉ／Ｆ２４による各種信号の送受信制御、メモリ１９の画像データの書き込みや読み出し制御、内視鏡画像用モニタ１３の表示制御、さらにはリモコン１２Ａ（またはスイッチ）の操作信号に基づく各種動作制御等を行う。

一方、前記システムコントローラ１０には、バーチャル画像生成部１１が電気的に接続されている。
バーチャル画像生成部１１は、図２に示すように、ＣＴ画像ＤＢ部２３、メモリ２４、ＣＰＵ２５、通信Ｉ／Ｆ２６、表示Ｉ／Ｆ２７、切替え部２７Ａを有している。

ＣＴ画像ＤＢ部２３は、患者のＸ線断層像を撮像する図示しない公知のＣＴ装置で生成された３次元画像データを、例えばＭＯ（Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌ ｄｉｓｋ）装置やＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）装置等、可搬型の記憶媒体を介して取り込むＣＴ画像データ取り込み部（図示せず）を備え、取り込んだ３次元画像データ（ＣＴ画像データ）を格納するものである。この３次元画像データの読み出しや書き込みは、ＣＰＵ２５によって制御される。

メモリ２４は、例えば前記３次元画像データやＣＰＵ２５によりこの３次元画像データに基づき生成されたバーチャル画像データ等のデータを記憶するもので、これらのデータの記憶、及び読み出しは前記ＣＰＵ２５によって制御がなされるようになっている。

通信Ｉ／Ｆ２６は、前記システムコントローラ１０の通信Ｉ／Ｆ１８に接続されており、バーチャル画像生成部１１と前記システムコントローラ１０とが連動して各種動作するのに必要な制御信号の送受信を行うもので、ＣＰＵ２５によって制御され、ＣＰＵ２５内に取り込まれるようになっている。

表示Ｉ／Ｆ２７は、前記ＣＰＵ２５の制御により生成されたバーチャル画像を切替部２７Ａを介してバーチャル画像用のモニタ１７，１７ａに出力する。これにより、バーチャル画像用のモニタ１７，１７ａは供給されたバーチャル画像を表示する。この場合、前記切替部２７Ａは、ＣＰＵ２５による切替え制御によって、バーチャル画像の出力を切替えて、指定されたバーチャル画像用のモニタ１７，１７ａに対し出力することが可能である。なお、バーチャル画像の表示を切替える必要がない場合には、前記切替部２７Ａを設けなくても良く、前記バーチャル画像用のモニタ１７，１７ａの双方に同じバーチャル画像を表示させても良い。

前記ＣＰＵ２５には、マウス１５及びキーボード１６が電気的に接続されている。これらマウス１５及びキーボード１６は、このバーチャル画像表示装置によるバーチャル画像表示動作を実行するのに必要な各種設定情報等を入力したり設定したりするための操作手段である。

ＣＰＵ２５は、前記バーチャル画像生成部１１内の各種動作、すなわち、通信Ｉ／Ｆ２６、表示Ｉ／Ｆ２７による各種信号の送受信制御、メモリ２４の画像データの書き込みや読み出し制御、モニタ１７、１７ａの表示制御、切替部２７Ａの切替え制御、さらにはマウス１５やキーボード１６の操作信号に基づく各種動作制御等を行う。

なお、本実施例では、前記バーチャル画像生成部１１を、例えば遠隔地に配されたバーチャル画像生成部に通信手段を介して接続するように構成すれば遠隔手術支援システムとして構築することも可能である。

また、本実施例では、内視鏡２の視野方向に基づくバーチャル画像を生成し表示するために、図３に示すように、内視鏡２の把持部２ａにセンサ３が設けられており、このセンサ３には、例えばジャイロセンサ等が収容されており、内視鏡２の腹部領域への挿入角度等の情報を検出し、センサ３の検出情報が図２に示すように通信Ｉ／Ｆ２６を介してバーチャル画像生成部１１に供給される。

なお、本実施例では、センサ３は有線にてバーチャル画像生成部１１に電気的に接続されるが、無線にてデータ通信可能に前記バーチャル画像生成部１１に接続するように構成しても良い。

次にこのように構成された本実施例の作用について説明する。本実施例では、センサ３による内視鏡２の腹部領域への挿入角度情報に基づいて、バーチャル画像生成部１１が内視鏡２の視野と一致する、図４に示すような対象臓器１００近傍の関心部位（異常部）１０１の中心にした方向の通常方向（正面）バーチャル画像を生成する。また、このときにバーチャル画像生成部１１は、同時に対象臓器１００近傍の関心部位（異常部）１０１の中心にした立方体に対して右、左、上、下、背面の方向から見た複数の側面バーチャル画像を生成する。

なお、少なくとも通常方向（正面）バーチャル画像は、センサ３の検出情報に基づき内視鏡２のライブ内視鏡画像に同期してリアルタイムに生成される。

また、本実施例では、右、左、上、下、背面の方向から見た複数の各側面バーチャル画像は、通常方向（正面）バーチャル画像と同様にライブ内視鏡画像に同期してリアルタイムに生成しても良いが、本実施例では、後述するように側面バーチャル画像の表示指示が行われた際の通常方向（正面）バーチャル画像のフレーム画像に基づく静止画像として生成するものとする。

手技が開始され、カメラヘッド２ｄにより被検体内の観察像が撮像されると、内視鏡画像用モニタ１３に内視鏡画像が表示される。

そして、バーチャル画像生成部１１は、図５に示すように、ステップＳ１にてセンサ３による内視鏡２の腹部領域への挿入角度情報に基づいて、通常方向（正面）バーチャル画像を生成し、図６に示すように通常方向バーチャル画面１５０をバーチャル（仮想）画像用モニタ１７ａに表示する。

この図６の通常方向バーチャル画面１５０には、通常方向（正面）バーチャル画像２０１の他に、右、左、上、下、背面の方向から見た複数の側面バーチャル画像の表示を指示する指示ボタン２０２、２０３、２０４、２０５、２０６と、各側面同時表示を指示するマルチ指示ボタン２０７が設けられている。

そして、ステップＳ２にて通常方向バーチャル画面１５０で指示ボタン２０２、２０３、２０４、２０５、２０６あるいはマルチ指示ボタン２０７のいずれかがポインタ２００により選択され別視点表示がなされたかどうか判断する。

なお、ポインタ２００の選択は、ポインティングデバイス等により実行されるが、例えば術者が音声入力マイク１２Ｂを用いて音声により選択を行うようにしてもよい（例えば背面は「ハイメン」と発声することで音声認識により選択可能である）。

通常方向バーチャル画面１５０で指示ボタン２０２、２０３、２０４、２０５、２０６あるいはマルチ指示ボタン２０７のいずれかがポインタ２００により選択されると、ステップＳ３にて選択された指示ボタンに応じた視点のバーチャル（仮想）画像をバーチャル（仮想）画像用モニタ１７ａに表示する。

例えば図６において右側面表示用の指示ボタン２０２がポインタ２００により選択されると、図７に示すような通常方向（正面）バーチャル画像２０１に代わる右側面バーチャル画像２１１を有する別視点バーチャル画面１５１をバーチャル（仮想）画像用モニタ１７ａに表示する。

この図７の別視点バーチャル画面１５１には、右側面バーチャル画像２１１の他に、左、上、下、背面の方向から見た複数の側面バーチャル画像の表示を指示する指示ボタン２０３、２０４、２０５、２０６と、各側面同時表示を指示するマルチ指示ボタン２０７と、通常方向（正面）バーチャル画像２０１の表示を指示する通常表示ボタン２０８が設けられている。

そして、ステップＳ４にてバーチャル画像生成部１１のＣＰＵ２５内の内部タイマをセットし時間計測を開始する。

続いて、ステップＳ５にて別視点バーチャル画面１５１で通常表示ボタン２０７がポインタ２００により選択されたかどうか判断し、通常表示ボタン２０７が選択されるとステップＳ１に戻り、通常表示ボタン２０７が選択されないと、ステップＳ６にて別視点バーチャル画面１５１で指示ボタン２０３、２０４、２０５、２０６あるいはマルチ指示ボタン２０７がポインタ２００により選択されたかどうか判断する。

別視点バーチャル画面１５１で指示ボタン２０３、２０４、２０５、２０６あるいはマルチ指示ボタン２０７がポインタ２００により選択されると、ステップＳ７にて選択された指示ボタンに応じた視点のバーチャル（仮想）画像をバーチャル（仮想）画像用モニタ１７ａに表示し、ステップＳ８にてＣＰＵ２５内の内部タイマをリセットし時間計測を再開してステップＳ９に進み、指示ボタンが選択されない場合はステップＳ６からそのままステップＳ９に進む。

ステップＳ９では、システムコントローラ１０のＣＰＵ２０の画像処理による動きベクトルによりＣＰＵ２５が内視鏡２のライブ内視鏡画像に所定以上の動きがあったかどうかを判断し、ライブ内視鏡画像に所定以上の動きがあった場合にはステップＳ１に戻り、ライブ内視鏡画像に所定以上の動きがない場合にはステップＳ１０にてＣＰＵ２５内の内部タイマが所定時間経過したかどうか判断し、所定時間経過した場合にはステップＳ１に戻り、所定時間に達していない場合にはステップＳ５にもどる。

なお、ステップＳ３あるいはステップＳ７にて、ポインタ２００によりマルチ指示ボタン２０７が選択されると、図８に示すようなマルチ視点バーチャル画面１５２がバーチャル（仮想）画像用モニタ１７ａに表示される。このマルチ視点バーチャル画面１５２は、通常方向（正面）バーチャル画像及び通常方向（正面）バーチャル画像を中心に右、左、上、下、背面の方向から見た複数の側面バーチャル画像を配置した画像を有している。

以上のように本実施例では、術者に手技中に関心部位（異常部）の周辺の各方向から見た生体画像情報（臓器等により見えない動脈、静脈の配置の画像情報や関心部位の位置の画像情報等）を所定時間提供でき、ライブ内視鏡画像に所定以上の動き（変化）がある場合には内視鏡２の腹部領域への挿入角度情報に基づいた通常方向（正面）バーチャル画像の表示に戻すことができるので、種々のバーチャル画像をリアルタイムに手技中に提供することができる。

なお、本実施例では、図９に示すように通常方向（正面）バーチャル画像に対して直交した側面バーチャル画像を生成するとしたが、これに限らず、図１０に示すように通常方向（正面）バーチャル画像に対して直交面にオフセット角θを持たせた面を側面とした側面バーチャル画像を生成するようにしてもよい。また、本実施例の側面バーチャル画像の面は一例であって、側面バーチャル画像の面は手技に適した任意の面であれば本実施例の効果を得ることはいうまでもない。

また、本実施例では、バーチャル（仮想）画像用モニタ１７ａに表示する画像を通常方向（正面）バーチャル画像あるいは側面バーチャル画像のいずれかとしたが、これに限らず、例えば図１１に示すように、通常方向（正面）バーチャル画像に隣接させ（右）側面バーチャル画像を表示させるようにしてもよい。

さらに、指示ボタンの代りに、図１２に示すように、各側面バーチャル画像のサムネイル画像を表示するようにしてもよく、図１３に示すように、選択された側面バーチャル画像のサムネイル画像の枠を太枠表示することで、表示されている側面バーチャル画像の識別が容易になると共に、サムネイル画像表示により他の側面バーチャル画像の状態が視認でき、より有用に側面バーチャル画像が提供できる。図１４に通常方向（正面）バーチャル画像に隣接させ（右）側面バーチャル画像を表示させた際の側面バーチャル画像のサムネイル画像の表示例を示す。

ところで、内視鏡２には直視型と斜視型があるが、上記実施例の場合は直視型内視鏡を想定しているため、図１５に示すように、斜視型内視鏡３００の場合、挿入方向と側視方向が一致しないため、斜視のライブ内視鏡画像と内視鏡の挿入方向のみ依存する通常方向（正面）バーチャル画像とは異なる向きの画像となる。

そこで、上記バーチャル画像生成部１１のＣＰＵ２５は、以下のようにして斜視型内視鏡３００に対応した通常方向（正面）バーチャル画像の補正を行う。

すなわち、図１６に示すように、ステップＳ２１にて図１７のような斜視型内視鏡３００の挿入方向の直視バーチャル（仮想）画像３０１をバーチャル（仮想）画像用モニタ１７ａに表示する。そして、ステップＳ２２にてバーチャル（仮想）画像３０１上で斜視型内視鏡３００の斜視角に対応した補正角を入力し、斜視補正ボタンを選択することで、ステップＳ２３にて図１８に示すような斜視補正バーチャル（仮想）画像３０２をバーチャル（仮想）画像用モニタ１７ａに表示する。この斜視補正バーチャル（仮想）画像３０２でステップＳ２４にて直視方向表示ボタンが選択されると、ステップＳ２１に戻り、直視方向表示ボタンが選択されないとステップＳ２２に戻る。

直視バーチャル（仮想）画像３０１あるいは斜視補正バーチャル（仮想）画像３０２にてＯＫボタンが選択されると、直視バーチャル（仮想）画像３０１あるいは斜視補正バーチャル（仮想）画像３０２が通常方向（正面）バーチャル画像として登録される。

これにより直視型と斜視型のそれぞれに対応した通常方向（正面）バーチャル画像を得ることができる。

なお、斜視型内視鏡に限らず側視型内視鏡に対しても、斜視型内視鏡に対する角度補正と同様な角度補正（９０度補正）を行うことで、側視型内視鏡の観察画像の方向と一致した通常方向（正面）バーチャル画像を得ることができる。

本発明は、上述した実施例に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。

本発明の実施例１に係る手技支援システムの構成を示す構成図 図１の手技支援システムの要部構成を示すブロック図 図１の内視鏡の構成を示す図 図１の手技支援システムの作用を説明する図 図１の手技支援システムの処理の流れを示すフローチャート 図５の処理で展開される画面を示す第１の図 図５の処理で展開される画面を示す第２の図 図５の処理で展開される画面を示す第３の図 図１の手技支援システムの作用の変形例を説明する第１の図 図１の手技支援システムの作用の変形例を説明する第２の図 図５の処理で展開される画面の第１の変形例を示す図 図５の処理で展開される画面の第２の変形例を示す第１の図 図５の処理で展開される画面の第２の変形例を示す第２の図 図５の処理で展開される画面の第２の変形例を示す第３の図 図１の内視鏡が側視型の場合の側視観察方向を説明する図 図１５の側視型の内視鏡に対応した通常バーチャル画像の補正処理を示すフローチャート 図１６の処理で展開される画面を示す第１の図 図１６の処理で展開される画面を示す第２の図

符号の説明

１…手技支援システム
２…内視鏡、
３…センサ
４…ＣＣＵ
５…光源装置
６…電気メス装置
７…気腹装置
８…超音波駆動電源
９…ＶＴＲ
１０…システムコントローラ
１１…バーチャル画像生成部
代理人 弁理士 伊藤 進

Claims (2)

1. 被検体に挿入する内視鏡の挿入部を示す角度情報を検出する検出手段と、
   前記検出手段により検出された角度情報に基づき前記内視鏡の観察画像面に対応した前記被検体に関する第１のバーチャル画像データを生成する第１のバーチャル画像データ生成手段と、
   前記内視鏡の観察画像面と所定の角度を有する面に対応した前記被検体に関する前記第２のバーチャル画像データを生成する第２のバーチャル画像データ生成手段と、
   を具備したことを特徴とする手技支援システム。
2. 被検体の体腔内に挿入可能な挿入部と、
   前記被検体の体腔内に対する前記挿入部の挿入方向に関する情報を検出する検出手段と、
   前記検出手段により検出された挿入方向に関する情報に基づいて、仮想的な基準点に対して所定の距離を有する面に対応した第１のバーチャル画像データを生成する第１のバーチャル画像データ生成手段と、
   前記第１のバーチャル画像データの面とは異なり、前記仮想的な基準点に対して所定の距離を有する面に対応した第２のバーチャル画像データを生成する第２のバーチャル画像データ生成手段と
   を具備したことを特徴とする手技支援システム。

Images