JP2006223374A - 手術支援装置、手術支援システム及び手術支援方法 - Google Patents

Abstract

【課題】手術の進行過程に沿った仮想画像を記録することができる手術支援装置を提供する。
【解決手段】本発明の手術支援装置は、手術部位の仮想画像に対して、加工処理を施して加工画像を作成する画像加工処理と、手術部位に対する内視鏡下手術の進行過程に応じて、画像加工処理により作成された加工画像を記録する加工画像記録の処理を行う。
【選択図】図５

Description

本発明は、手術支援装置、手術支援システム及び手術支援方法に関し、特に、仮想画像を用いた手術支援装置、手術支援システム及び手術支援方法に関する。

近年、画像による診断が広く行われるようになっており、例えばＸ線ＣＴ（Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ）装置等により被検体の断層像を撮像することにより被検体内の３次元的な仮想画像データを得て、該仮想画像データを用いて患部の診断が行われるようになっている。

ＣＴ装置では、Ｘ線照射・検出を連続的に回転させつつ被検体を体軸方向に連続送りすることにより、被検体の３次元領域について螺旋状の連続スキャン（ヘリカルスキャン：ｈｅｌｉｃａｌ ｓｃａｎ）を行い、３次元領域の連続するスライスの断層像から、３次元な仮想画像を作成することが行われる。

さらに、術前の診断ではなく、手術中の術者に対し、被検体の情報を提供し得る仮想画像表示装置も提案されている（例えば、特許文献１参照）。
特開２００４−３３７４６２号公報

しかし、上述した提案に係る装置により表示される仮想画像は、被検体の仮想画像であるが、手術の進行に対応するものではないため、手術の進行に応じて切除等された部位は依然として切除前の状態で表示される。従って、術者が術中に仮想画像を参照しても、手術の進行に沿ったものではないため、見難い場合がある。すなわち、仮想画像は、単に被検体の術前の仮想画像を得たときの画像であるため、例えば既に取り除いた組織も依然として残ってしまうという問題があった。

そこで、本発明は、手術の進行過程に沿った仮想画像を記録することができる手術支援装置を提供することを目的とする。

本発明の手術支援装置は、手術部位の仮想画像に対して、加工処理を施して加工画像を作成する画像加工処理手段と、前記手術部位に対する内視鏡下手術の進行過程に応じて、前記画像加工処理手段により作成された前記加工画像を記録する加工画像記録手段を有する。

本発明の手術支援装置によれば、手術の進行過程に沿った仮想画像を記録することができる。

以下、図面を参照して本発明の実施の形態を説明する。図１は、本発明の実施の形態に係わる仮想画像表示装置を備えた手術支援システムの全体構成を示す概略構成図である。図２は、図１の手術支援システムの全体構成を示すブロック図である。図３は、図１の内視鏡の外観構成を示す斜視図である。図４は、取付対象部が術者の腕部の場合の構成を示す斜視図である。

図１に示すように、本実施の形態の手術支援システム１は、内視鏡システム１Ａと仮想画像表示装置１Ｂとが組み合わせて構成されている。内視鏡システム１Ａは、観察手段としての内視鏡２、カメラコントロールユニット（以下、ＣＣＵという）４、光源装置５、電気メス装置６、気腹器７、超音波駆動電源８、ビデオテープレコーダ（以下、ＶＴＲという）９、システムコントローラ１０及び内視鏡ライブ画像を表示する参照用の内視鏡画像用モニタ１３を含む。その内視鏡２には、ＣＣＵ４と光源装置５が接続されている。システムコントローラ１０には、ＣＣＵ４、光源装置５、電気メス装置６、気腹器７、超音波駆動電源８及びＶＴＲ９が接続されている。さらに、リモコン１２Ａ、及び音声入力マイク１２Ｂが、システムコントローラ１０に接続されている。

仮想画像表示装置１Ｂは、仮想画像生成部１１、マウス１５、キーボード１６、仮想画像表示用のモニタ１７及び、手術室に配された仮想画像用のモニタ１７ａを有している。仮想画像生成部１１は、画像処理が可能なコンピュータである。仮想画像生成部１１には、後述するセンサ３ａ、システムコントローラ１０、マウス１５、キーボード１６、モニタ１７及び１７ａが接続されている。内視鏡画像用のモニタ１３と仮想画像用のモニタ１７ａはそれぞれ表示手段であり、手術室に配された術者用モニタ３２を構成する。

内視鏡２は、本実施の形態では、図３及び図４に示すような腹腔鏡を用いている。この腹腔鏡は、被検体の体腔内に挿入するための挿入部３７Ａと、挿入部３７Ａの基端側に設けられた把持部３７Ｂと、この把持部３７Ｂに設けられた接眼部３７Ｃとから構成される。また、挿入部３７Ａの内部には、照明光学系及び観察光学系が設けられており、被検体の腹腔内の観察部位を照明し、被検体の腹腔内の観察像を得ることが可能である。把持部３７Ｂには、ライトガイドコネクタ２ａが設けられている。このライトガイドコネクタ２ａには、一端が光源装置５に接続されたライトガイドケーブルの他端に設けられたコネクタが接続される。これにより、照明光学系を介して光源装置５からの照明光により観察部位を照明する。

接眼部３７Ｃには、図４に示すようにＣＣＤ等の固体撮像素子を内蔵したカメラヘッド２Ａが接続される。このカメラヘッド２Ａには観察像のズームイン／アウトなどの操作を行うためのリモートスイッチ２Ｂが設けられている。このカメラヘッド２Ａの基端側にカメラケーブルが延設されている。また、そのカメラケーブルの他端には、ＣＣＵ４に電気的に接続するための接続コネクタが設けられている。

このような内視鏡（ここでは腹腔鏡）２は、手術時、センサ３ａを所定の位置に有するトラカール３７に挿通されて用いられるようになっている。また、トラカール３７には、気腹器７に接続された送気用チューブのコネクタが接続される。これにより、気腹器７からの送気により腹腔内を膨らませて内視鏡２の視野や処置のための空間領域を確保する。

内視鏡２は、トラカール３７に挿通された状態のまま、このトラカール３７によって患者体内の腹部に保持されながら挿入部３７Ａを腹部領域に挿入されて、観察光学系を介して得られた腹腔内の観察像をカメラヘッド２Ａを介してＣＣＵ４に供給する。

ＣＣＵ４は、図２に示すように、内視鏡２からの撮像信号に信号処理を施し、撮像信号に基づく画像データ（例えば内視鏡ライブ画像データ）を、手術室内に配されたシステムコントローラ１０及びＶＴＲ９に供給する。なお、この場合、システムコントローラ１０からの制御により、内視鏡のライブ画像の静止画あるいは動画に基づく画像データがＣＣＵ４から選択出力されることになる。また、システムコントローラ１０の詳細な構成ついては後述する。

ＶＴＲ９は、システムコントローラ１０の制御により、ＣＣＵ４からの内視鏡ライブ画像データを記録し、あるいは再生可能である。再生時の場合には、再生された内視鏡ライブ画像データをシステムコントローラ１０に出力する。

光源装置５は、ライトガイドケーブル内のライトガイドを介して内視鏡２に設けられた照明光学系に対して照明光を供給するための光源装置である。
電気メス装置６は、例えば患者の腹部領域内の異常部を高周波電流を用いて切断したりする手術処置具と、その処置具に対して高周波電流を出力する高周波出力装置からなる。超音波駆動電源８は、超音波プローブや鉗子等で前記異常部を切断あるいは採取したりする手術処置具と、その処置具に対して高周波電流を出力する高周波出力装置からなる。
また気腹器７は、図示はしないが送気、吸気手段を備え、接続されるトラカール３７を介して患者体内の例えば腹部領域に空気を送気するものである。

これらの光源装置５，電気メス装置６，気腹器７及び超音波駆動電源８は、システムコントローラ１０と電気的に接続されており、このシステムコントローラ１０によってその駆動が制御されるようになっている。

また、手術室内には、上述した各種機器の他にシステムコントローラ１０及び術者用モニタ３２が配されている。
本実施の形態では、例えば患者３０の腹部内にトラカール３７を介して挿入部を挿入して被検体を撮像する術者３１が、図１に示すような位置で処置を行うものとすると、この術者３１の位置に対応した見やすい位置（視野方向）に、術者用モニタ３２が設置されるようになっている。
術者用モニタ３２は、上述したように、内視鏡画像用のモニタ１３とこれに並設される仮想画像用のモニタ１７ａとを有している。

また、本実施の形態では、内視鏡２の視野方向に基づく仮想画像を生成し表示するために、図４に示すように、センサ３ａを術者３１の腕部の取付対象部３Ｂに設けても良いし、あるいは内視鏡２を挿通するトラカール３７等の取付対象部３Ａにセンサ３ａを装着してもよい。このセンサ３ａは、例えばジャイロセンサ等のセンサが所定のユニットに収容されており、トラカール３７などの取付対象部３Ａの腹部領域への挿入角度等の情報を検出し、接続線１１ａを介して後述する仮想画像生成部１１に供給する。なお、センサ３ａは、接続線１１ａを介して仮想画像生成部１１に電気的に接続されるが、無線にてデータ通信可能に仮想画像生成部１１に接続するように構成しても良い。なお、トラカール３７に挿入部３７Ａの挿入量を検出するためのエンコーダを設け、挿入部３７Ａの先端部の位置情報も合わせて得るようにしてもよい。そして、その位置情報と視野方向の情報とに基づいて、後述する仮想画像の生成及び表示に使用してもよい。

システムコントローラ１０は、内視鏡システム全体の各種動作（例えば表示制御や調光制御等）を制御するもので、図２に示すように、通信インターフェイス（以下、通信Ｉ／Ｆという）１８、メモリ１９、制御部としての中央処理装置（以下、ＣＰＵという）２０及び表示インターフェイス（以下、表示Ｉ／Ｆと称す）２１とを有している。

通信Ｉ／Ｆ１８は、ＣＣＵ４、光源装置５、電気メス装置６、気腹器７、超音波駆動電源８、ＶＴＲ９及び後述する仮想画像生成部１１に電気的に接続されており、これらの駆動制御信号の送受信、または内視鏡画像データの送受信をＣＰＵ２０の制御によって行う。なお、この通信Ｉ／Ｆ１８には、遠隔操作手段としての術者用のリモコン１２Ａ及び音声入力マイク１２Ｂが電気的に接続されており、リモコン１２Ａの操作指示信号あるいは音声入力マイク１２Ｂの音声指示信号を取り込み、ＣＰＵ２０に供給するようになっている。

このリモコン１２Ａは、図示はしないが例えば内視鏡ライブ画像用の仮想画像表示用のモニタ１７あるいは術者用モニタ３２に表示される表示画像に対応したホワイトバランスボタン、気腹器７を実行するための気腹ボタン、気腹実行の際の圧力を上下に調整するための圧力ボタン、ＶＴＲ９に内視鏡ライブ画像を録画実行するための録画ボタン、その録画実行の際のフリーズボタン及びレリーズボタン、内視鏡ライブ画像あるいは仮想画像表示を実行するための表示ボタン、仮想画像を表示する際に２次元表示（２Ｄ表示）を実行するための操作ボタン（各種２Ｄ表示モードに応じたアキシャルボタン、コロナルボタン、サジタルボタン等）を有している。さらに、このリモコン１２Ａは、仮想画像を表示する際に３次元表示（３Ｄ表示）を実行するための操作ボタンであって、各種３Ｄ表示モードを実行した際の仮想画像の視野方向を示す挿入点ボタン（内視鏡２の腹部領域に対する挿入情報で、例えば内視鏡２を挿入する腹部領域のＸ方向、Ｙ方向、Ｚ方向の数値を表示するためのボタン）、注目点ボタン（注目する腹部領域のＸ方向、Ｙ方向、Ｚ方向の数値を表示するためのボタン）、３Ｄ表示する際の表示倍率変更を指示するためのボタン（表示倍率を縮小する縮小ボタン、表示倍率を拡大する拡大ボタン等）、表示色を変更するための表示色ボタン、トラッキングを実行するためのトラッキングボタン、各ボタンの押下により決定した操作設定モードに対して設定入力情報の切換や決定等を行う操作ボタンや数値等を入力するためのテンキー等を有している。

なお、本実施の形態では、センサ３ａを有するユニットに例えば押下式のスイッチを設け、このスイッチを押下操作することにより、リモコン１２Ａの各ボタンによる機能の実行が可能となるように構成しても良い。
したがって、これらの各ボタンを備えたリモコン１２Ａ（またはスイッチ）を用いることによって、術者は所望する情報が迅速に得られるように操作することが可能である。

メモリ１９は、例えば内視鏡静止画像の画像データや機器設定情報等のデータを記憶するもので、これらのデータの記憶、及び読み出しはＣＰＵ２０によって制御がなされるようになっている。

表示Ｉ／Ｆ２１は、ＣＣＵ４、ＶＴＲ９及びモニタ１３に電気的に接続されており、ＣＣＵ４からの内視鏡ライブ画像データあるいはＶＴＲ９の再生された内視鏡画像データを送受信し、例えば受信した内視鏡ライブ画像データをモニタ１３に出力する。これにより、モニタ１３は供給された内視鏡ライブ画像データに基づく内視鏡ライブ画像を表示する。
また、モニタ１３は、内視鏡ライブ画像の表示の他に、ＣＰＵ２０の表示制御により、内視鏡システムの各種機器設定状態やパラメータ等の設定情報を表示することも可能である。

ＣＰＵ２０は、システムコントローラ１０内の各種動作、すなわち、通信Ｉ／Ｆ１８、表示Ｉ／Ｆ２１による各種信号の送受信制御、メモリ１９への画像データの書き込みやメモリ１９からの画像データの読み出し制御、モニタ１３の表示制御、さらにはリモコン１２Ａ（またはスイッチ）の操作信号に基づく各種動作制御等を行う。

一方、システムコントローラ１０には、仮想画像生成部１１が電気的に接続されている。
仮想画像生成部１１は、図２に示すように、ＣＴ画像ＤＢ部２３、メモリ２４、ＣＰＵ２５、通信Ｉ／Ｆ２６、表示Ｉ／Ｆ２７、及び切替え部２７Ａを有している。

ＣＴ画像ＤＢ部２３は、患者のＸ線断層像を撮像する図示しない公知のＣＴ装置で生成された３次元画像データを、例えばＭＯ（Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌ ｄｉｓｋ）装置やＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）装置等、可搬型の記憶媒体を介して取り込むＣＴ画像データ取り込み部（図示せず）を備え、取り込んだ３次元画像データ（ＣＴ画像データ）を格納するものである。この３次元画像データの読み出しや書き込みは、ＣＰＵ２５によって制御される。

メモリ２４は、例えば３次元画像データやＣＰＵ２５によりこの３次元画像データに基づき生成あるいは加工された仮想画像データ等のデータを記憶するもので、これらのデータの記憶、及び読み出しはＣＰＵ２５によって制御がなされるようになっている。

通信Ｉ／Ｆ２６は、システムコントローラ１０の通信Ｉ／Ｆ１８、取付対象部３Ａに設けられたセンサ３ａに接続されており、仮想画像生成部１１とシステムコントローラ１０とが連動して各種動作するのに必要な制御信号の送受信や、センサ３ａからの検出信号の受信を行うもので、ＣＰＵ２５によって制御され、ＣＰＵ２５内に取り込まれるようになっている。

表示Ｉ／Ｆ２７は、ＣＰＵ２５の制御により生成された仮想画像を切替部２７Ａを介して仮想画像用のモニタ１７，１７ａに出力する。これにより、仮想画像用モニタ１７，１７ａは供給された仮想画像を表示する。この場合、切替部２７Ａは、ＣＰＵ２５による切替え制御によって、仮想画像の出力を切替えて、指定された仮想画像用モニタ１７又は１７ａに対し出力することが可能である。なお、仮想画像の表示を切替える必要がない場合には、切替部２７Ａを設けなくても良く、仮想画像用モニタ１７，１７ａの双方に同じ仮想画像を表示させても良い。

ＣＰＵ２５には、マウス１５及びキーボード１６が電気的に接続されている。これらマウス１５及びキーボード１６は、この仮想画像表示装置１Ｂによる仮想画像表示動作を実行するのに必要な各種設定情報等を入力したり設定したりするための操作手段である。

ＣＰＵ２５は、仮想画像生成部１１内の各種動作、すなわち、通信Ｉ／Ｆ２６、表示Ｉ／Ｆ２７による各種信号の送受信制御、メモリ２４への画像データの書き込みやメモリ２４からの画像データの読み出し制御、モニタ１７、１７ａの表示制御、切替部２７Ａの切替え制御、さらにはマウス１５やキーボード１６の操作信号に基づく各種動作制御等を行う。

また、ＣＰＵ２５は、図示はしないがＣＴ画像ＤＢ部２３から読み込んだ３次元画像データ（ＣＴ画像データ）を用いて、センサ３ａからの挿入角度情報に基づき、仮想画像を生成する画像処理手段としてのソフトウエアプログラムを実行する。そのプログラムは、予め図示しないＲＯＭ等のメモリにストアされる。ＣＰＵ２５は、この画像処理手段を用いて生成された仮想画像、すなわち、内視鏡リアル画像に対応した仮想画像を、切替部２７Ａにより切替えて指定したモニタ１７、１７ａに表示させる表示制御を行う。また、そのような画像処理用のプログラムには、一般に、３次元画像の加工を行う加工処理手段、対象形状等を変更するためのパラメータ変更手段等を含んでいる。

なお、本実施の形態では、仮想画像生成部１１を、例えば遠隔地に配された仮想画像生成部に通信手段を介して接続するように構成すれば遠隔手術支援システムとして構築することも可能である。

以上のような構成に係る手術支援システム１は、その利用方法は種々あり、術前、術中及び術後のそれぞれにおいて利用できる。
次に、以上のような構成に係る手術支援システム１の全体的な作用を説明する。図５は、手術支援システム１の全体の作用を説明するための図である。図５に示すように、まず、患者の術前画像を、３次元画像データである仮想画像として記憶手段であるＣＴ画像ＤＢ部２３にストアする（ステップＳ１）。術前の仮想画像（３次元画像）は、例えば、上述したように、ＣＴ装置により得た患者の断層像から作成し、ＣＴ画像ＤＢ部２３に記録、すなわちストアされる。
手術の進行過程を示す手術スケジュールのデータ（以下、スケジュールデータという）を、記憶手段であるメモリ２４にストアする（ステップＳ２）。スケジュールデータは、内視鏡下手術の進行過程に応じた複数の手術ステップのデータを含み、後述する加工画像が関連付けられるように、各ステップが区別できるようなデータであれば、どのようなデータでもよい。例えば、後述するように、単なる番号でもよい。

次に、術者は、ストアされた手術スケジュールの手術ステップに応じて術前の仮想画像を加工し、術前の仮想画像及びその仮想画像を加工した加工画像のデータを、仮想画像記録手段であるメモリ２４にストアする（ステップＳ３）。加工画像も仮想画像である。このステップＳ３の仮想画像を加工する処理が、画像加工処理手段および画像加工処理ステップを構成する。また、ステップＳ３の加工画像のデータをメモリ２４にストアする処理が、加工画像記録手段および加工画像記録ステップを構成する。

以上のステップＳ３によって作成された加工画像と術前の加工処理がされていない仮想画像とが手術ステップに応じてメモリ２４にストアされ、手術が開始されると、手術の進行過程に合った手術ステップに応じて、メモリ２４から各手術ステップに対応する仮想画像又は加工画像のデータが読み出されて、仮想画像用モニタ１７ａの画面上に再生される（ステップＳ４）。その結果、手術中に、手術の進行にあった仮想画像がモニタ１７ａに表示される。このステップＳ４が、表示制御手段及び表示制御ステップを構成する。
なお、本実施の形態では、ＣＴ装置により得た患者の断層像から作成した仮想画像として３次元画像を用いているが、３次元画像を用いなくてもよく、２次元画像であってもよい。さらになお、仮想画像は、手術を行う患者自身の３次元画像データを用いて生成してもよいし、別途用意される他人の３次元画像データを用いて生成してもよい。

ここで、図５のステップＳ３における仮想画像及び加工画像のデータのストアについて詳細に説明する。

仮想画像生成部１１は、その３次元画像データをメモリ２４にストアしており、術者等の操作者が、操作手段であるマウス１５とキーボード１６を操作することによって、３次元データに基づく仮想画像を仮想画像表示用のモニタ１７上に表示させることができる。その場合、内視鏡下での手術であるので、想定される内視鏡の挿入方向又は位置の情報をキーボード１６等から入力して指示することによって、実際に手術時に内視鏡２により観察される画像と同様の観察方向の仮想画像を表示させることができる。

図６は、術前の仮想画像から加工画像が作成される過程を説明するための図である。加工画像は、仮想画像表示装置１Ｂによって作成される。術者等の操作者が、仮想画像生成部１１に接続されたマウス１５とキーボード１６を用いて、仮想画像表示用のモニタ１７に手術部位を含む所望の仮想画像を表示させながら、加工画像を作成する。なお、ここでは、説明の簡単のために、ある血管を切断する例を示すが、手術内容に応じた加工画像が作成される。

図６の仮想画像ＶＲ１には、モニタ１７の画面５１内に患者の手術部位である血管５２を含む画像が表示されている。仮想画像ＶＲ１は、ＣＴ画像ＤＢ部２３あるいはメモリ２４からその血管５２及びその周囲組織の部分の画像を読み出すことによって、モニタ１７に表示された３次元画像である。上述したように、操作者が実際の内視鏡下による手術を想定して、操作者が内視鏡の視野方向等の情報をキーボード１６を用いてＣＰＵ２５に指示することによって、所望の仮想画像をモニタ１７に表示させ得る。

血管を切断する場合、切断箇所の前後にクリップ（ここでは４つ）を設け、そのクリップ間を切断することによって、切断箇所からの出血を防止することができる。従って、手術部位である血管５２に複数のクリップを設けるという手術ステップを示す画像が作成される。すなわち、操作者は、クリップ５３が血管５２に設けられた状態を示す仮想画像を、仮想画像ＶＲ１に対して加工処理を施して作成することができる。具体的には、周知の３次元画像処理ソフトウエアを用いて、血管の３次元画像データに、クリップの３次元画像データを追加するように加工処理が行われる。従って、そのような周知の３次元画像処理ソフトウエアを有する仮想画像生成部１１が、手術部位である血管等の仮想画像に対して加工処理を施して加工画像を作成する画像加工処理手段を構成する。図６の加工画像ＶＲ２は、手術前の状態を示す血管を含む仮想画像に、血管を切断する前のステップとしてのクリップを血管に設けるステップが実行された後の状態を示している。言い換えると、加工画像ＶＲ２は、手術ステップに応じて血管の仮想画像にクリップを付けた状態を示す仮想画像である。

次の加工画像ＶＲ３は、血管５２のクリップ５３に挟まれた部分が切断された後の状態を示す仮想画像である。加工画像ＶＲ３において、血管５２の切断箇所の部分が垂れ下がっている。切断箇所の端部が、重力の影響で垂れ下がるようにすることも、３次元画像処理の周知の方法により実現される。

以上のように、手術の進行ステップ、例えば血管にクリップを設けるというステップ後に血管を切断するというステップが続くという手術ステップに応じて、加工画像が作成され、メモリ２４に記録される。

なお、手術ステップと加工画像との対応には、種々の方法がある。例えば、手術ステップは、術者が決めた任意のステップでもよいし、単にインクリメントしたステップ番号を加工画像に対応付けるようにしてもよい。さらに、加工画像は、ステップＳ２の手術スケジュールデータと関連付けて手術ステップと対応付けてもよく、あるいは手術の進行の時間経過に応じて予め決められたタイマから出力されるタイミング信号と対応付けてもよい。さらにあるいは、操作信号としては、後述する音声信号、フットスイッチ等の所定のスイッチ操作信号でもよい。
また、手術ステップは、処置具の操作状態に関連付けてもよい。例えば、手術ステップは、手術において使用される電気メス装置６の処置具の操作状態を示す操作信号、例えば処置具に対する所定のオン操作信号、処置具の所定の出力信号等の状態に関連付けられる。手術ステップと処置具の操作状態との関連付けについては後述する。

また、図６のＶＲ１のように、加工しない仮想画像を手術ステップに応じて記録しておきたい場合もあるので、メモリ２４には、加工していない仮想画像と、仮想画像に対して加工処理をした加工画像とが記録される。

ステップＳ３において記録された仮想画像（加工画像を含む）は、ステップＳ４において手術ステップに応じてメモリ２４から読み出してモニタ１７に表示させることができる。
上述したように、手術支援システム１は、術前、術中及び術後のそれぞれにおいて利用できるが、まず、術中に仮想画像（加工画像を含む）を手術ステップに応じてモニタ１７ａに表示させるように利用する場合について説明する。なお、ここでは説明を簡単にするために、仮想画像は、単純に手術ステップと番号のみで関連付けられており、その番号をインクリメントあるいはデクリメントする指示に応じて、その番号に対応した仮想画像が読み出される場合で説明する。

術者は、手術開始後、所定の指示、例えばマイク１２Ｂを用いた音声指示によって、最初の番号、例えば番号「１」の仮想画像をモニタ１７ａに表示させる。仮想画像は、連続した番号によって関連付けられている。そして、術者がマイク１２Ｂを介して例えば「次」という言葉を発することによってシステムコントローラ１０において音声認識され、「次」という言葉が認識されたことを示す情報（仮想画像に対応する番号をインクリメントするインクリメント指示情報）が、仮想画像生成部１１へ送信される。仮想画像生成部１１は、そのインクリメント指示情報を受信すると、仮想画像に関連付けられた番号（以下、手術ステップ番号という）を１つ増やした手術ステップ番号に対応する仮想画像をモニタ１７ａに表示する。また、術者がマイク１２Ｂを介して例えば「前」という言葉を発することによってシステムコントローラ１０において音声認識されると、「前」という言葉が認識されたことを示す情報（仮想画像に対応する番号をデクリメントするデクリメント指示情報）が、仮想画像生成部１１へ送信される。その結果、仮想画像生成部１１は、手術ステップ番号を１つ戻して、その戻した手術ステップ番号に対応する仮想画像をモニタ１７ａに表示する。

図７は、内視鏡画像と仮想画像の表示対応の例を説明するための図である。図７に示すように、血管に４つのクリップを設けた後に、術者が「次」の言葉を発すると、システムコントローラ１０からの指示により、仮想画像生成部１１は、モニタ１７ａに表示される仮想画像を、仮想画像ＶＲ４からＶＲ５へ変更する。

このとき、血管を切断する前と切断した後の仮想画像が、モニタ１７ａにも表示されているので、術者は、モニタ１３に表示されるライブの内視鏡画像と、モニタ１７ａに表示される手術ステップに応じた仮想画像とを見ながら、手術を進めることができる。

なお、上述したように、マイク１２Ｂを利用した音声指示ではなく、内視鏡２の操作部に設けられたボタン等のスイッチに予め機能を割り付けておき、手術ステップを進めたり戻したりするようにしてもよい。例えば、１つのボタンは手術ステップ番号をインクリメントするボタンとし、他の一つは手術ステップ番号をデクリメントするボタンとして、術者がそれらのボタンを適宜押すことによって、手術ステップに応じた所望の仮想画像をモニタ１７ａに表示させることができる。

さらにまた、上述したように、手術器具等の操作状態、例えば、所定のスイッチが押された、所定の出力信号が出力された、等の状態を、手術の進行における各手術ステップに応じて、仮想画面に予め関連付けておくと、術者が手術中に手術器具等を操作すると、自動的に、その手術ステップに対応した仮想画像がモニタ１７ａに表示されるようにしてもよい。

図８は、その処置具の出力状態に応じて仮想画像生成装置１１が手術ステップに応じた仮想画像をモニタ１７，１７ａに表示させる場合を説明するための、手術支援システム１のブロック構成図である。

手術支援システム１は、ＣＣＵ４と、ＣＣＵ４に接続されてライブの内視鏡画像を表示するモニタ１３とを含む内視鏡システム１Ａと、電気メス装置６の処置具６ａの出力状態を検出する検出部１１ｂを有する仮想画像表示装置１Ｂとからなる。検出部１１ｂの出力信号によって、処置具６ａが操作されて高周波電流出力が出力されたことが検出されると、仮想画像表示装置１１は、所定の処置が行われたことと判断し、その処置後の状態を示す仮想画像（加工画像を含む）をモニタ１７，１７ａに表示する。よって、手術支援システム１は、処置具等の状態に基づいて、手術の進行に応じた仮想画像の表示を行うことができる。

よって、術者は、術中にライブの内視鏡画像と、手術ステップに応じた仮想画像とを参照しながら、手術を行うことができる。すなわち、手術ステップに応じた仮想画像は、術者にとって手術を支援する画像となる。

なお、上述したように、モニタ１７ａに表示される３次元画像における手術部位は、センサ３ａの出力信号を用いて得られた内視鏡２の視線方向又は位置の情報に基づいて、モニタ１３に表示される内視鏡画像における手術部位の大きさと視線方向は一致するようにすることができる。従って、この場合は、ステップＳ３において加工処理されて作成される仮想画像は、手術部位の大きさ及び視線方向について考慮して作成する必要はない。

すなわち、仮想画像表示装置１Ｂは、手術開始後は、センサ３ａの出力信号に応じて、内視鏡２の視野方向に対応した仮想画像をモニタ１７，１７ａに表示させるようにし、所定のステップになったときに、上述したステップＳ３に応じて記録された仮想画像を表示するようにしてもよい。

しかし、内視鏡２の視線方向と位置情報が得られない場合、仮想画像を２次元画像で作成する場合等がある。そのような場合は、手術ステップに応じて作成される仮想画像は、実際に行われる手術における内視鏡２の視線方向と位置を予め想定して作成される。

さらになお、術中の手術支援として、内視鏡画像と仮想画像を重畳したりするようにしてもよい。
図９は、内視鏡画像にその仮想画像を重畳した場合を説明するための図である。図９において、術者が「重畳」という言葉を発すると、その音声がシステムコントローラ１０において音声認識され、その結果、仮想画像表示装置１Ｂは、内視鏡画像に仮想画像を重畳して内視鏡画像用のモニタ１３あるいは仮想画像用のモニタ１７ａに表示する。この場合、術者は、血管５２、神経５４等の位置を確認しながら、処置を行うことができる。

上述したように、ステップＳ４の仮想画像を、術中に表示するようにすれば、仮想画像表示装置１Ｂは、手術支援装置として機能させることができる。

次に、術前に手術支援システム１が利用される場合について説明する。
まず、ステップＳ３において作成された仮想画像を、術前に術者が手術内容の確認等をするためにモニタ１７に表示するようにすれば、仮想画像表示装置１Ｂは、手術シミュレーション装置として機能させることができる。すなわち、予め手術の進行に応じた仮想画像（加工画像を含む）を記録し、手術の進行に応じて仮想画像と加工画像を表示させれば、あたかもアニメーションのように手術ステップが表示されるので、術前に術者は、担当する手術の内容を、仮想画像により確認することができる。

よって、術前に手術の進行に合わせて記録された仮想画像を確認できるので、仮想画像表示装置１Ｂは、手術シミュレーションを行う手術支援装置として利用することができる。

また、このようなシミュレーション装置は、他の術者への教育用あるいはトレーニング用にも利用することができる。

具体的には、ステップＳ３において仮想画像に対して加工処理をして加工画像を作成することができるので、その加工処理機能と、手術の進行に応じた仮想画像の記録機能とを用いることによって、手術のトレーニング装置として、上述した仮想画像表示装置１Ｂを利用することができる。例えば、手術部位の対象臓器は、患者によって大きさが異なるので、ステップＳ３の画像の加工処理において、対象臓器の形状に係わるパラメータの変更をすれば、患者に合ったシミュレーションを行うことができる。３次元画像などの仮想画像の形状等のパラメータの変更は、その画像処理ソフトウエアに含まれるパラメータ変更機能（手段）を用いることによって行うことができる。

次に、術後に手術支援システム１を利用する場合について説明する。
まず、ステップＳ３において仮想画像を作成することができるので、術中に術者の処置内容をモニタ１２３に映し出される内視鏡画像を見ながら、術者以外の者、例えば看護師が、仮想画像生成部１１に接続されたマウス１５とキーボード１６を用いて、仮想画像表示用のモニタ１７あるいは１７ａに手術部位を含む所望の仮想画像を表示させながら、内視鏡下での処置内容に応じた仮想画像と加工画像を作成し、ＣＴ画像ＤＢ部２３に記録する。これによって、手術内容の記録を作成することが出来る。

従って、術後、手術内容の記録をカルテの一部とすることができる。

以上のように、本実施の形態に係る手術支援システムによれば、手術の進行過程に沿った仮想画像を記録あるいは表示をすることができる。

本発明は、上述した実施の形態に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。

本発明の実施の形態に係わる仮想画像表示装置を備えた手術支援システムの全体構成を示す概略構成図である。 図１の手術支援システムの全体構成を示すブロック図である。 図１の内視鏡の外観構成を示す斜視図である。 取付対象部が術者の腕部の場合の構成を示す斜視図である。 本発明の実施の形態に係わる手術支援システムの全体の作用を説明するための図である。 術前の仮想画像から加工画像が作成される過程を説明するための図である。 内視鏡画像と仮想画像の表示対応の例を説明するための図である。 処置具の出力状態に応じて仮想画像生成装置が手術ステップに応じた仮想画像をモニタに表示させる場合を説明するための、手術支援システムのブロック構成図である。 図９は、内視鏡画像にその仮想画像を重畳した場合を説明するための図である。

符号の説明

１ 手術支援システム、１Ａ 内視鏡システム、１Ｂ 仮想画像表示装置、２ 内視鏡、４ ＣＣＵ、５ 光源装置、６電気メス装置、７ 気腹器、８ 超音波駆動電源、９ ＶＴＲ、１０ システムコントローラ、１１ 仮想画像生成部、１３，１７，１７ａ モニタ
代理人 弁理士 伊 藤 進

Claims (11)

1. 手術部位の仮想画像に対して、加工処理を施して加工画像を作成する画像加工処理手段と、
   前記手術部位に対する内視鏡下手術の進行過程に応じて、前記画像加工処理手段により作成された前記加工画像を記録する加工画像記録手段を有することを特徴とする手術支援装置。
2. さらに、表示制御手段を有し、
   前記仮想画像記録手段は、前記加工画像に加えて、加工処理がされていない前記手術部位の仮想画像も記録し、
   前記表示制御手段は、前記内視鏡下手術の進行過程に応じて、前記加工画像又は前記仮想画像を読み出して表示手段に表示することを特徴とする請求項１記載の手術支援装置。
3. 前記複数の仮想画像は、３次元画像データにより生成される画像であることを特徴とする請求項１又は請求項２記載の手術支援装置。
4. 前記画像加工処理手段は、前記手術部位の対象臓器の形状に係わるパラメータを変更するパラメータ変更手段を含むことを特徴とする請求項１から請求項３のいずれか記載の手術支援装置。
5. 内視鏡により得られた内視鏡画像を表示する内視鏡画像表示手段と、
   手術部位に対する内視鏡下手術の進行過程に応じた前記手術部位の仮想画像を複数記録した仮想画像記録手段と、
   該仮想画像記録手段に記録された前記複数の仮想画像を表示する仮想画像表示手段と、
   前記内視鏡下手術の進行に応じて前記複数の仮想画像を前記仮想画像記録手段から読み出して前記仮想画像表示手段に表示する表示制御手段とを有することを特徴とする手術支援システム。
6. 前記仮想画像記録手段に記録された前記複数の仮想画像は、前記手術部位の仮想画像と、前記手術部位の仮想画像に対して加工処理された加工画像とを含むことを特徴とする請求項５記載の手術支援システム。
7. 前記表示制御手段は、前記内視鏡下手術の進行に応じた操作信号又は所定のタイマから出力されるタイミング信号に基づいて、前記複数の仮想画像を前記仮想画像記録手段から読み出して前記仮想画像表示手段に表示することを特徴とする請求項６記載の手術支援システム。
8. 前記操作信号は、音声指示信号、スイッチ操作信号又は処置具操作信号であることを特徴とする請求項７に記載の手術支援システム。
9. 前記複数の仮想画像は、３次元画像データにより生成される画像であることを特徴とする請求項５から請求項８のいずれか記載の手術支援システム。
10. 前記仮想画像表示手段は、前記内視鏡の視野方向又は位置の情報に基づいて生成された画像を前記仮想画像として表示することを特徴とする請求項７記載の手術支援システム。
11. 手術部位の仮想画像に対して、加工処理を施して加工画像を作成する画像加工処理ステップと、
    前記手術部位に対する内視鏡下手術の進行過程に応じて、前記画像加工処理ステップにおいて作成された前記加工画像を記録する加工画像記録ステップと、
    内視鏡により得られた内視鏡画像を第１の表示手段に表示する内視鏡画像表示ステップと、
    前記内視鏡下手術の進行に応じて前記仮想画像又は前記加工画像を読み出して第２の表示手段に表示する表示制御ステップとを有することを特徴とする手術支援方法。
    
    

Images