JP2005211530A - 手技支援システム - Google Patents

Abstract

【課題】 手技支援に適したバーチャル画像をリアルタイムに手技中に提供する。
【解決手段】 バーチャル画像生成部１１は、ＣＴ画像ＤＢ部２３、メモリ２４、ＣＰＵ２５、通信Ｉ／Ｆ２６、表示Ｉ／Ｆ２７、切替え部２７Ａを有し、手技中に関心部位（異常部）の周辺の各方向から見た生体画像情報（臓器等により見えない動脈、静脈の配置の画像情報や関心部位の位置の画像情報等）を提供する。
【選択図】 図１

Description

本発明は、被検体に関するバーチャル画像データを生成し、該バーチャル画像データに基づき手技の支援を行う手技支援システムに関する。

近年、画像による診断が広く行われるようになっており、例えばＸ線ＣＴ（Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ）装置等により被検体の断層像を撮像することにより被検体内の３次元的なバーチャル画像データを得、このバーチャル画像データを用いて患部の診断が行われるようになってきた。

ＣＴ装置では、Ｘ線照射・検出を連続的に回転させつつ被検体を体軸方向に連続送りすることにより、被検体の３次元領域について螺旋状の連続スキャン（ヘリカルスキャン：ｈｅｌｉｃａｌ ｓｃａｎ）を行い、３次元領域の連続するスライスの断層像から、３次元的なバーチャル画像を作成することが行われる。

そのような３次元画像の１つに、肺の気管支の３次元像がある。気管支の３次元像は、例えば肺癌等が疑われる異常部の位置を３次元的に把握するのに利用される。そして、異常部を生検によって確認するために、気管支内視鏡を挿入して先端部から生検針や生検鉗子等を出して組織のサンプル（ｓａｍｐｌｅ）を採取することが行われる。

気管支のような多段階の分岐を有する体内の管路では、異常部の所在が分岐の末梢に近いとき、内視鏡の先端を短時間で正しく目的部位に到達させることが難しいために、例えば特開２０００−１３５２１５号公報等では、被検体の３次元領域の画像データに基づいて前記被検体内の管路の３次元像を作成し、前記３次元像上で前記管路に沿って目的点までの経路を求め、前記経路に沿った前記管路の仮想的な内視像（以下、バーチャル画像と称す）を前記画像データに基づいて作成し、前記バーチャル画像を表示することで、気管支内視鏡を目的部位にナビゲーションする装置が提案されている。

また、腹部領域の体内の臓器を被検体とする診断においては、従来より、上記同様に主に腹部領域内の被検体の３次元的なバーチャル画像を作成し、これを表示しながら診断するための画像解析ソフトが実用化されている。
この種の画像解析ソフトを用いた画像システムは、医師が術前に予め患者の腹部領域内等の被検体の病変部の変化をそのバーチャル画像を見ながら把握するための診断に用いられており、通常、カンファレンス室等の手術室外で行われているのが一般的である。
特開２０００−１３５２１５号公報

従来より、内視鏡観察下で腹部領域の体内の被検体に対する手術等を行う場合にも、内視鏡観察画像の観察領域の被検体の生体画像情報（臓器等により見えない動脈、静脈の配置の画像情報や関心部位の位置の画像情報等）を、必要に応じて術者に対して迅速に提供することが望まれている。
しかしながら、上述した画像解析ソフトを用いた画像システムは、あくまでも腹部領域の被検体のバーチャル画像を見ながら行う術前診断に用いるものであり、実際の手術における内視鏡システムと併用して使用することはできず、術者に対して必要な被検体の生体情報を術中に提供することはできない。

また、例えば実際に手術を行う内視鏡システムに前記画像システムからバーチャル画像を提供して手技を支援する手技支援システムを構築することが考えられるが、リアルな内視鏡画像に支援可能なバーチャル画像を提供する形態が確立できていないために、効果的な手技支援を行うことが困難な状況にある。

本発明は、上記事情に鑑みてなされたものであり、手技支援に適したバーチャル画像をリアルタイムに手技中に提供することのできる手技支援システムを提供することを目的としている。

本発明の手技支援システムは、被検体に挿入する内視鏡の挿入部の挿入角度を検出する検出手段と、前記被検体の関心部位を起点とする軸角度を指定する軸角度指定手段と、前記検出手段により検出された前記挿入角度に基づき前記内視鏡の観察画像面に対応した前記被検体に関する第１のバーチャル画像データを生成する第１のバーチャル画像データ生成手段と、前記軸角度指定手段により指定された前記軸角度に基づき前記内視鏡の観察画像面に対応した前記被検体に関する第２のバーチャル画像データを生成する第２のバーチャル画像データ生成手段を備えて構成される。

本発明によれば、手技支援に適したバーチャル画像をリアルタイムに手技中に提供することができるという効果ある。

以下、図面を参照しながら本発明の実施例について述べる。

図１ないし図１１は本発明の実施例１に係わり、図１は手技支援システムの構成を示す構成図、図２は図１の手技支援システムの要部構成を示すブロック図、図３は図１の内視鏡の構成を示す図、図４は図１の手技支援システムの作用を説明する図、図５は図１の手技支援システムの処理の流れを示すフローチャート、図６は図５の処理で展開される画面を示す第１の図、図７は図５の処理で展開される画面を示す第２の図、図８は図１の視点情報入力部を内視鏡の把持部に設けられたセンサとしたときの作用を説明する第１の図、図９は図１の視点情報入力部を内視鏡の把持部に設けられたセンサとしたときの作用を説明する第２の図、図１０は図１の視点情報入力部を有するヘッドバンドを示す図、図１１は図１０のヘッドバンドの装着状態を示す図である
図１に示すように、本実施例の手技支援システム１は、内視鏡システムと組み合わせて構成され、具体的には、内視鏡２、ＣＣＵ４、光源装置５、電気メス装置６、気腹装置７、超音波駆動電源８、ＶＴＲ９、システムコントローラ１０、バーチャル画像生成部１１、リモコン１２Ａ、音声入力マイク１２Ｂ、内視鏡ライブ画像表示用の参照用モニタ１３、マウス１５、キーボード１６、バーチャル画像表示用のモニタ１７及び、手術室に配された内視鏡画像用モニタ１３及びバーチャル画像用モニタ１７ａ、ジョイスティック等からなる視点情報入力部３を有して構成されている。

本実施例では内視鏡２として、図３に示すような腹腔鏡を用いている。この内視鏡（腹腔鏡）２は、被検体の腹腔内に挿入するための挿入部２ｂと、挿入部２ｂの基端側に設けられた把持部２ａとを有して構成される。挿入部２ｂの内部には照明光学系及び観察光学系が設けられており、被検体の腹腔内の観察部位を照明し、被検体の腹腔内の観察像を得ることが可能となっている。

把持部２ａにはライトガイドコネクタ２ｃが設けられ、該ライトガイドコネクタ２ｃには、一端が光源装置５に接続されたライトガイドケーブル２ｆ（図１参照）の他端に接続され、これにより、挿入部２ｂ内の照明光学系を介して光源装置５からの照明光を観察部位に照射できるようになっている。

把持部２ａに設けられた図示しない接眼部には、ＣＣＤ等の撮像手段を有するカメラヘッド２ｄが接続され、このカメラヘッド２ｄには観察像のズームイン／アウトなどの操作を行うためのリモートスイッチ２ｇが設けられている。また、このカメラヘッド２ｄの基端側にはカメラケーブル２ｅが延設されており、カメラケーブル２ｅの他端にはＣＣＵ４に電気的に接続するための接続コネクタ（図示せず）が設けられている。

図１に戻り、内視鏡２は、手術時、トラカール３７に挿通された状態のまま、このトラカール３７によって患者体内の腹部に保持されながら前記挿入部を腹部領域に挿入して、ＣＣＤ等の撮像部により腹部領域を撮像し、撮像した撮像信号をカメラヘッドを介してＣＣＵ４に供給する。

ＣＣＵ４は、内視鏡２からの撮像信号に信号処理を施し、撮像信号に基づく画像データ（例えば内視鏡ライブ画像データ）を、手術室内の配されたシステムコントローラ１０に供給する。また、システムコントローラ１０からの制御により、内視鏡のライブ画像の静止画あるいは動画に基づく画像データがＣＣＵ４からＶＴＲ９に選択的に出力される。なお、システムコントローラ１０の詳細な構成ついては後述する。

ＶＴＲ９は、システムコントローラ１０の制御により、前記ＣＣＵ４からの内視鏡ライブ画像データを記録し、あるいは再生可能である。再生時の場合には、再生された内視鏡ライブ画像データをシステムコントローラ１０に出力する。

光源装置５は、ライトガイドを介して前記内視鏡２に照明光を供給するための光源装置である。
電気メス装置６は、例えば患者の腹部領域内の異常部を電気メスプローブ（図示せず）による電気熱を用いて切断したりする手術処置装置であり、超音波駆動電源８は、超音波プローブ（図示せず）で前記異常部を切断あるいは凝固したりする手術処置装置である。

また気腹装置７は、図示はしないが送気、吸気手段を備え、接続される前記トラカール３７を介して患者体内の例えば腹部領域に炭酸ガスを送気するものである。

これらの光源装置５，電気メス装置６，気腹装置７及び超音波駆動電源８は、前記システムコントローラ１０と電気的に接続されており、このシステムコントローラ１０によってその駆動が制御されるようになっている。

また、手術室内には、上述したＣＣＵ４、ＶＴＲ９、光源装置５，電気メス装置６，気腹装置７及び超音波駆動電源８等の各種機器の他にシステムコントローラ１０及び内視鏡画像用モニタ１３、バーチャル画像用モニタ１７ａが配されている。
本実施例では、例えば患者３０の腹部内にトラカール３７を介して挿入部を挿入して被検体を撮像する術者３１が、患者３０に対して図１に示すような位置で処置を行うものとすると、この術者３１の位置に対応した見やすい位置（視野方向）に、内視鏡画像用モニタ１３、バーチャル画像用モニタ１７ａが設置されるようになっている。

システムコントローラ１０は、内視鏡システム全体の各種動作（例えば表示制御や調光制御等）を制御するもので、図２に示すように、通信インターフェイス（以下、通信Ｉ／Ｆと称す）１８、メモリ１９、制御部としてのＣＰＵ２０及び表示インターフェイス（以下、表示Ｉ／Ｆと称す）２１とを有している。

通信Ｉ／Ｆ１８は、前記ＣＣＵ４、光源装置５、電気メス装置６、気腹装置７、超音波駆動電源８、ＶＴＲ９及び後述するバーチャル画像生成部１１に電気的に接続されており、これらの駆動制御信号の送受信、または内視鏡画像データの送受信をＣＰＵ２０によって制御される。なお、この通信Ｉ／Ｆ１８には、遠隔操作手段としての術者用のリモコン１２Ａ及び音声入力マイク１２Ｂが電気的に接続されており、リモコン１２Ａの操作指示信号あるいは音声入力マイク１２Ｂの音声指示信号を取り込み、前記ＣＰＵ２０に供給するようになっている。

このリモコン１２Ａは、図示はしないが例えばバーチャル画像表示用のモニタ１７、あるいは内視鏡画像用モニタ１３、バーチャル（仮想）画像用モニタ１７ａに表示される表示画像に対応したホワイトバランスボタン、気腹装置７を実行するための気腹ボタンと、気腹実行の際の圧力を上下に調整するための圧力ボタン、ＶＴＲ９に内視鏡ライブ画像を録画実行するための録画ボタン、その録画実行の際のフリーズボタン及びレリーズボタン、内視鏡ライブ画像あるいはバーチャル画像表示を実行するための表示ボタン、バーチャル画像を生成する際に２次元表示（２Ｄ表示）を実行するための操作ボタン（各種２Ｄ表示モードに応じたアキシャルボタン、コロナルボタン、サジタルボタン等）、バーチャル画像を表示する際の３次元表示（３Ｄ表示）を実行するための操作ボタンで、各種３Ｄ表示モードを実行した際のバーチャル画像の視野方向を示す挿入点ボタン（内視鏡２の腹部領域に対する挿入情報で、例えば内視鏡２を挿入する腹部領域のＸ方向、Ｙ方向、Ｚ方向の数値を表示するためのボタン）、注目点ボタン（内視鏡２を腹部領域に挿入した際の内視鏡２の軸方向（角度）の数値を表示するためのボタン）、３Ｄ表示する際の表示倍率変更を指示するためのボタン（表示倍率を縮小する縮小ボタン、表示倍率を拡大する拡大ボタン等）、表示色を変更するための表示色ボタン、トラッキングを実行するためのトラッキングボタン、各ボタンの押下により決定した操作設定モードに対して設定入力情報の切換や決定等を行う操作ボタンや数値等を入力するためのテンキー等を有している。

したがって、これらの各ボタンを備えたリモコン１２Ａ（またはスイッチ）を用いることによって、術者は所望する情報が迅速に得られるように操作することが可能である。

メモリ１９は、例えば内視鏡静止画像の画像データや機器設定情報等のデータを記憶するもので、これらのデータの記憶、及び読み出しは前記ＣＰＵ２０によって制御がなされるようになっている。

表示Ｉ／Ｆ２１は、前記ＣＣＵ４、ＶＴＲ９及び内視鏡画像用モニタ１３に電気的に接続されており、ＣＣＵ４からの内視鏡ライブ画像データあるいはＶＴＲ９の再生された内視鏡画像データを送受信し、例えば受信した内視鏡ライブ画像データを内視鏡画像用モニタ１３に出力する。これにより、内視鏡画像用モニタ１３は供給された内視鏡ライブ画像データに基づく内視鏡ライブ画像を表示する。

また、内視鏡画像用モニタ１３は、内視鏡ライブ画像の表示の他に、該ＣＰＵ２０の表示制御により、該内視鏡システムの各種機器設定状態やパラメータ等の設定情報を表示することも可能である。

ＣＰＵ２０は、システムコントローラ１０内の各種動作、すなわち、通信Ｉ／Ｆ１８、表示Ｉ／Ｆ２４による各種信号の送受信制御、メモリ１９の画像データの書き込みや読み出し制御、内視鏡画像用モニタ１３の表示制御、さらにはリモコン１２Ａ（またはスイッチ）の操作信号に基づく各種動作制御等を行う。

一方、前記システムコントローラ１０には、バーチャル画像生成部１１が電気的に接続されている。
バーチャル画像生成部１１は、図２に示すように、ＣＴ画像ＤＢ部２３、メモリ２４、ＣＰＵ２５、通信Ｉ／Ｆ２６、表示Ｉ／Ｆ２７、切替え部２７Ａを有している。

ＣＴ画像ＤＢ部２３は、患者のＸ線断層像を撮像する図示しない公知のＣＴ装置で生成された３次元画像データを、例えばＭＯ（Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌ ｄｉｓｋ）装置やＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）装置等、可搬型の記憶媒体を介して取り込むＣＴ画像データ取り込み部（図示せず）を備え、取り込んだ３次元画像データ（ＣＴ画像データ）を格納するものである。この３次元画像データの読み出しや書き込みは、ＣＰＵ２５によって制御される。

メモリ２４は、例えば前記３次元画像データやＣＰＵ２５によりこの３次元画像データに基づき生成されたバーチャル画像データ等のデータを記憶するもので、これらのデータの記憶、及び読み出しは前記ＣＰＵ２５によって制御がなされるようになっている。

通信Ｉ／Ｆ２６は、前記システムコントローラ１０の通信Ｉ／Ｆ１８に接続されており、バーチャル画像生成部１１と前記システムコントローラ１０とが連動して各種動作するのに必要な制御信号の送受信を行うもので、ＣＰＵ２５によって制御され、ＣＰＵ２５内に取り込まれるようになっている。

表示Ｉ／Ｆ２７は、前記ＣＰＵ２５の制御により生成されたバーチャル画像を切替部２７Ａを介してバーチャル画像用のモニタ１７，１７ａに出力する。これにより、バーチャル画像用のモニタ１７，１７ａは供給されたバーチャル画像を表示する。この場合、前記切替部２７Ａは、ＣＰＵ２５による切替え制御によって、バーチャル画像の出力を切替えて、指定されたバーチャル画像用のモニタ１７，１７ａに対し出力することが可能である。なお、バーチャル画像の表示を切替える必要がない場合には、前記切替部２７Ａを設けなくても良く、前記バーチャル画像用のモニタ１７，１７ａの双方に同じバーチャル画像を表示させても良い。

前記ＣＰＵ２５には、マウス１５及びキーボード１６が電気的に接続されている。これらマウス１５及びキーボード１６は、このバーチャル画像表示装置によるバーチャル画像表示動作を実行するのに必要な各種設定情報等を入力したり設定したりするための操作手段である。

ＣＰＵ２５は、前記バーチャル画像生成部１１内の各種動作、すなわち、通信Ｉ／Ｆ２６、表示Ｉ／Ｆ２７による各種信号の送受信制御、メモリ２４の画像データの書き込みや読み出し制御、モニタ１７、１７ａの表示制御、切替部２７Ａの切替え制御、さらにはマウス１５やキーボード１６の操作信号に基づく各種動作制御等を行う。

なお、本実施例では、前記バーチャル画像生成部１１を、例えば遠隔地に配されたバーチャル画像生成部に通信手段を介して接続するように構成すれば遠隔手術支援システムとして構築することも可能である。

また、本実施例では、内視鏡２の視野方向に基づくバーチャル画像を生成し表示するために、図３に示すように、内視鏡２の把持部２ａにセンサ９９が設けられており、このセンサ９９には、例えばジャイロセンサ等が収容されており、内視鏡２の腹部領域への挿入角度等の情報を検出し、センサ９９の検出情報が図２に示すように通信Ｉ／Ｆ２６を介してバーチャル画像生成部１１に供給される。

なお、本実施例では、センサ９９は有線にてバーチャル画像生成部１１に電気的に接続されるが、無線にてデータ通信可能に前記バーチャル画像生成部１１に接続するように構成しても良い。

次にこのように構成された本実施例の作用について説明する。本実施例では、センサ９９による内視鏡２の腹部領域への挿入角度情報に基づいて、バーチャル画像生成部１１が内視鏡２の視野と一致する、図４に示すような対象臓器１００近傍の関心部位（異常部）１０１の中心にした方向のバーチャル画像を生成する。

なお、少なくともバーチャル画像は、センサ９９の検出情報に基づき内視鏡２のライブ内視鏡画像に同期してリアルタイムに生成される。

手技が開始され、内視鏡２により被検体内の撮像が開始されると、内視鏡画像用モニタ１３に内視鏡画像が表示される。

そして、バーチャル画像生成部１１は、図５に示すように、ステップＳ１にてセンサ３による内視鏡２の腹部領域への挿入角度情報に基づいて、通常方向バーチャル画像を生成し、図６に示すように通常方向バーチャル画面１５０をバーチャル（仮想）画像用モニタ１７ａに表示する。

この図６の通常方向バーチャル画面１５０には、通常バーチャル画像２０１の他に、パノラマバーチャル画像の表示を指示するパノラマ指示ボタン２０２が設けられている。

そして、ステップＳ２にて通常方向バーチャル画面１５０でパノラマ指示ボタン２０２がポインタ２１０により選択されたかどうか判断する。

なお、ポインタ２１０の選択は、ポインティングデバイス等により実行されるが、例えば術者が音声入力マイク１２Ｂを用いて音声により選択を行うようにしてもよい（例えば背面は「ハイメン」と発声することで音声認識により選択可能である）。

図６において通常方向バーチャル画面１５０でパノラマ指示ボタン２０２がポインタ２１０により選択されると、ステップＳ３にて図７に示すようなパノラマバーチャル画像２１１を有するパノラマバーチャル画面１５１をバーチャル（仮想）画像用モニタ１７ａに表示する。

この図７のパノラマバーチャル画面１５１には、通常方向バーチャル画像２０１の表示を指示する通常表示ボタン２０８と、パノラマバーチャル画像２１１の内視鏡２に対する仮想視点の相対位置を示す仮想視点ナビゲータ２０９とが設けられている。

そして、ステップＳ４にて通常表示ボタン２０８が選択されたかどうか判断する。

このように本実施例では、通常方向バーチャル画像とパノラマバーチャル画像を術中に提供でき、手技中に関心部位（異常部）の周辺の各方向から見た生体画像情報（臓器等により見えない動脈、静脈の配置の画像情報や関心部位の位置の画像情報等）を提供することができるので、手技支援に適したバーチャル画像をリアルタイムに手技中に提供することができる。

なお、視点情報入力部３をジョイスティックから構成するとしたが、内視鏡２の把持部２ａに設けられたセンサ９９を視点情報入力部３とすることができる。センサ９９を視点情報入力部３とした際には、図８及び図９に示すように、内視鏡２を所定角θ傾けることで、視点をの方向を角度θ移動させたパノラマバーチャル画像を得ることができる。図８は内視鏡２の回動角と反対の向きにパノラマバーチャル画像を移動させる例を示し、図９は内視鏡２の回動角と同向きにパノラマバーチャル画像を移動させる例を示している。

また、図１０に示すように、滅菌処理可能なワンタッチ式のヘッドバンド４０に視点情報入力部３としてのモーションセンサ５００を設け、このヘッドバンド４０を図１１に示すように術者の頭部に装着するようにしても良い。

本発明は、上述した実施例に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。

本発明の実施例１に係る手技支援システムの構成を示す構成図 図１の手技支援システムの要部構成を示すブロック図 図１の内視鏡の構成を示す図 図１の手技支援システムの作用を説明する図 図１の手技支援システムの処理の流れを示すフローチャート 図５の処理で展開される画面を示す第１の図 図５の処理で展開される画面を示す第２の図 図１の視点情報入力部を内視鏡の把持部に設けられたセンサとしたときの作用を説明する第１の図 図１の視点情報入力部を内視鏡の把持部に設けられたセンサとしたときの作用を説明する第２の図 図１の視点情報入力部を有するヘッドバンドを示す図 図１０のヘッドバンドの装着状態を示す図

符号の説明

１…手技支援システム
２…内視鏡
３…視点情報入力部
４…ＣＣＵ
５…光源装置
６…電気メス装置
７…気腹装置
８…超音波駆動電源
９…ＶＴＲ
１０…システムコントローラ
１１…バーチャル画像生成部
９９…センサ
代理人 弁理士 伊藤 進

Claims (1)

1. 被検体に挿入する内視鏡の挿入部の挿入角度を検出する検出手段と、
   前記被検体の関心部位を起点とする軸角度を指定する軸角度指定手段と、
   前記検出手段により検出された前記挿入角度に基づき前記内視鏡の観察画像面に対応した前記被検体に関する第１のバーチャル画像データを生成する第１のバーチャル画像データ生成手段と、
   前記軸角度指定手段により指定された前記軸角度に基づき前記内視鏡の観察画像面に対応した前記被検体に関する第２のバーチャル画像データを生成する第２のバーチャル画像データ生成手段と
   を具備したことを特徴とする手技支援システム。

Images