JP2007152027A - 内視鏡視野拡張システム、内視鏡視野拡張装置及び内視鏡視野拡張用プログラム - Google Patents

Abstract

【課題】 内視鏡画像に撮像された領域よりも外側の領域に処置具が移動した場合であっても、内視鏡の移動や変倍に対する特別な操作を行わずに、内視鏡画像の視野を実質的に拡張すること。
【解決手段】 内視鏡Ｅ及び処置具Ｆの位置及び姿勢を検出する位置姿勢検出手段１３，１５，２３と、この検出値を基に、内視鏡Ｅで撮像された内視鏡画像Ａ１の外側に所定のＣＧ画像Ａ２を付加した複合画像Ａを作成する複合画像作成手段２４とを備えて内視鏡視野拡張システム１０が構成されている。複合画像作成手段２４は、内視鏡画像Ａ１に映る撮像部位を基準とした処置具Ｆの実際の位置及び姿勢に合わせて、処置具Ｆの存在をＣＧ画像Ａ２に反映させる
【選択図】 図１

Description

本発明は、内視鏡視野拡張システム、内視鏡視野拡張装置及び内視鏡視野拡張用プログラムに係り、更に詳しくは、内視鏡で撮像された領域よりも外側の領域の状態を示すＣＧ画像を内視鏡画像と共に表示することで、当該内視鏡画像により得られた視野を実質的に外側に拡張する内視鏡視野拡張システム、内視鏡視野拡張装置及び内視鏡視野拡張用プログラムに関する。

近時、手術時に大きな切開をすることなく、患者に対する身体的負担を少なくした内視鏡下の低侵襲手術が行われている。この低侵襲手術は、体内に挿入された内視鏡で患部を撮像しながら、メスや鉗子等を先端側に備えた細長いロッド状の処置具を体外から体内の患部に向けて挿入し、手術者である医師が内視鏡画像をモニターで見ながら、体外側から処置具を遠隔操作し、その先端側のメスや鉗子等を動かして患部の処置を行う手術である。

このような内視鏡下の低侵襲手術においては、患部が微細である場合、内視鏡をズームインして内視鏡画像を拡大する必要があるが、このように内視鏡画像を拡大すると、前記モニター上に映る患部周辺の視野は狭くなる。この場合、遠隔操作される処置具の動きによって、当該処置具が内視鏡画像から外れ易くなり、モニターで処置具が目視できなくなる度に、内視鏡の位置を動かしたり、内視鏡画像をズームアウトする等、内視鏡の同時操作が必要になり、これが手術者のスムーズな手術動作を阻害する要因となっている。このため、手術者に対しては、内視鏡及び処置具を同時並行的に適切に操作可能な高度な操作技術が求められることになり、これが、低侵襲手術時における手術者への大きな負担となっている。

ところで、特許文献１には、処置具を所定方向に動かすことで、並存する内視鏡の移動や変倍を可能とした内視鏡外科手術システムが開示されている。
特開２００２−１７７５２号公報

しかしながら、前記内視鏡外科手術システムにあっては、処置具の動きに追従して内視鏡が自動的に動作することになるため、内視鏡画像から処置具を外れ難くできるものの、内視鏡がズームインされた状態、つまり、内視鏡で撮像される視野が狭い状態では、前述した内視鏡画像の追従動作により、今度は、撮像された患部が内視鏡画像から外れ易くなってしまう。従って、このような場合は、内視鏡をズームアウト方向に変倍する等、内視鏡を操作するための処置具の意図的な操作が依然必要となり、このシステムにあっても、手術者のスムーズな手術を阻害する要因となる。

本発明は、このような課題に着目して案出されたものであり、その目的は、内視鏡画像に撮像された領域よりも外側の領域に処置具が移動した場合であっても、内視鏡の移動や変倍に対する特別な操作を行わずに、内視鏡画像に対する実際の処置具の状態を付加的に表すことで内視鏡画像の視野を補完し、当該視野を実質的に拡張することができる内視鏡視野拡張システム、内視鏡視野拡張装置及び内視鏡視野拡張用プログラムを提供することにある。

（１）前記目的を達成するため、本発明は、内視鏡及び処置具の位置及び姿勢を検出する位置姿勢検出手段と、当該位置姿勢検出手段による検出値を基に、前記内視鏡で撮像された内視鏡画像の外側に所定のＣＧ画像を付加した複合画像を作成する複合画像作成手段とを備え、
前記複合画像作成手段は、前記内視鏡画像に映る撮像部位を基準とした前記処置具の実際の位置及び姿勢に合わせて、当該処置具の存在を前記ＣＧ画像に反映させる、という構成を採っている。

（２）また、前記ＣＧ画像には、前記処置具の先端位置に対して同一離間距離の範囲を示す距離円が作成される、という構成を採ることが好ましい。

（３）ここで、前記距離円は、前記処置具の先端位置をそれぞれ中心として、半径が異なるように複数作成され、前記処置具が前記内視鏡の延出方向に相対移動すると、その移動量に伴って、前記距離円間のピッチが変化する、という構成を採っている。

（４）更に、前記距離円は、少なくとも三つ作成され、当該各距離円の間の領域毎に、相互に異なる色彩が付される、という構成を採るとよい。

（５）また、前記ＣＧ画像には、前記処置具の先端位置から、当該処置具の延出方向に更に先に延びる処置具延長線が作成される、という構成を併せて採用することができる。

（６）更に、前記複合画像作成手段は、前記内視鏡及び前記処置具の各先端部分間の離間距離を算出し、当該離間距離を表示可能にするとよい。

（７）また、前記複合画像作成手段は、前記処置具が複数存在する場合に、前記処置具毎に異なる色彩が付された前記ＣＧ画像をそれぞれ作成する、という構成を採ることもできる。

（８）更に、本発明に係る内視鏡視野拡張装置は、内視鏡で撮像された内視鏡画像と、この内視鏡画像の外側に付加されて処置具の状態を表すＣＧ画像とにより構成された複合画像を作成する複合画像作成手段を備え、
前記複合画像作成手段は、前記内視鏡画像に映る撮像部位を基準とした前記処置具の実際の位置及び姿勢に合わせて、当該処置具の存在を前記ＣＧ画像に反映させる、という構成を採っている。

（９）また、本発明は、所定のコンピュータに対し、内視鏡で撮像された内視鏡画像の外側に所定のＣＧ画像が付加された複合画像を作成させるためのプログラムであって、
内視鏡及び処置具の位置情報及び姿勢情報を取得し、前記内視鏡画像に映る撮像部位を基準とした前記処置具の実際の位置及び姿勢に合わせて、前記処置具の存在が反映された前記ＣＧ画像を作成し、前記内視鏡画像と前記ＣＧ画像とを結合して複合画像を作成することを前記コンピュータに実行させる、という構成を採っている。

前記（１）、（８）及び（９）の構成によれば、内視鏡画像に写された領域よりも外側となる領域に処置具が存在する場合に、あたかも、内視鏡画像を外側に拡張したかのように、内視鏡画像の撮像位置に対応して処置具がＣＧ画像に表示されることになり、内視鏡の移動や変倍に対する特別な操作を行わずに、低侵襲手術時における手術者の操作負担を軽減することができる。

前記（２）のように構成することで、ＣＧ画像に表示された処置具の先端位置から患部までの離間距離が視覚的に把握し易くなり、手術者は、処置具の操作が行い易くなり、低侵襲手術時における手術者の操作負担を更に軽減することができる。

前記（３）の構成によれば、距離円のピッチの状態や手術者が視認することにより、手術者は、体内外方向（上下方向）に配置された内視鏡と処置具との上下方向の離間状態を感覚的に把握し易くなり、当該上下方向における処置具の操作が一層行い易くなる。例えば、距離円の間隔が密になっているときは、処置具が内視鏡に対して上下方向に離れていると確認できる一方、距離円の間隔が疎になっているときは、処置具が内視鏡に対して上下方向に近づいていると確認できる。更に、（４）の構成にすると、手術者等に対し、内視鏡と処置具との離間状態を一層把握させ易くできる。

前記（５）の構成により、処置具の直進方向をＣＧ画像上に表現することができ、手術者にとって、患部への処置具の進行方向の目安を立て易くなり、手術者における処置具の操作を更に行い易くできる。

前記（６）の構成により、内視鏡の先端部分から処置具の先端部分までの正確な距離を手術者に認識させることが可能となり、手術者における処置具の操作を一層行い易くできる。

前記（７）の構成によれば、複数の処置具が相互に接近すると、それぞれの持つ色彩が重なって新たな色彩としての表示が可能となり、この新たな色彩を手術者が視認することにより、処置具同士の接近状態がより分かり易くなって、処置具同士の干渉等の未然防止に寄与する。

以下、本発明の実施形態について図面を参照しながら説明する。

図１には、本実施形態に係る内視鏡視野拡張システムの概略構成図が示されている。この図において、内視鏡視野拡張システム１０は、患部Ｐの上方の皮膚組織Ｓを体内外間で貫通するように配置された筒状のトロカールＴの内部に、内視鏡Ｅと、メスや鉗子等が先端に設けられた処置具Ｆとを体内外に延びるように配置し、内視鏡Ｅ及び処置具Ｆの各先端部分を患部Ｐに接近させて当該患部Ｐの処置を行う内視鏡下での低侵襲手術の際に用いられるシステムである。

前記内視鏡拡張システム１０は、手術時に体外側に表出する内視鏡Ｅ及び処置具Ｆの各後端部分に取り付けられたマーカ保持プレート１２，１２と、これらマーカ保持プレート１２，１２の複数箇所に取り付けられ、赤外線を照射可能な赤外線発光ダイオードからなるマーカ１３と、マーカ１３からの赤外線の検出により当該各マーカ１３の三次元座標を検出する三次元位置計測装置１５と、この三次元位置計測装置１５で検出された各マーカ１３の位置から内視鏡Ｅ及び処置具Ｆの先端部分の位置及び姿勢を求め、当該各先端部分の位置及び姿勢から、内視鏡Ｅで撮像された内視鏡画像Ａ１の外側に所定のＣＧ（コンピュータ・グラフィック）画像Ａ２が付加された複合画像Ａを作成するホストコンピュータ１７と、複合画像Ａを表示するモニター１８とを備えて構成されている。

前記マーカ保持プレート１２は、図２に示されるように、平面視ほぼ方形状の本体部２０と、この本体部２０に連なるともに、内視鏡Ｅ及び処置具Ｆの後端部分に接続される接続部２１とからなる。各本体部２０には、前記マーカ１３がそれぞれ三箇所に設けられ、各マーカ１３は、本体部２０の四隅のうちの三隅となる第１位置Ｏ（原点）、第２位置α、及び第３位置βにそれぞれ設けられている。ここで、第１位置Ｏと第２位置αとを結ぶ直線Ｏαと、第１位置Ｏと第３位置βとを結ぶ直線Ｏβとは、相互に直交するようになっている。また、処置具Ｆに接続された接続部２１には、更に、マーカ１３が一箇所設けられている。なお、マーカ１３は、本体部２０における残り一隅に更に設ける等、増設してもよく、このようにすると、三次元位置計測装置１５による測定精度を更に向上させることができる。

前記三次元位置計測装置１５は、図１に示されるように、各マーカ１３から発光された赤外線を受光する受光部１５Ａを備え、マーカ１３からの赤外線の照射方向を追跡することにより、各マーカ１３の三次元座標が検出される公知の構造となっている。この構造については、本発明の要旨ではないため、詳細な説明を省略する。なお、三次元位置計測装置１５としては、各マーカ１３が設けられた部位の三次元座標を検出できる限りにおいて、種々の原理や構造の装置を用いることも可能である。

前記ホストコンピュータ１７は、プロセッサ等の複数のプログラムモジュールが組み込まれており、三次元位置計測装置１５で検出された各マーカ１３の位置から内視鏡Ｅ及び処置具Ｆの先端部分の位置及び姿勢を求める演算手段２３と、これら演算手段２３の演算結果に基づいて前記複合画像Ａを作成する複合画像作成手段２４と実行させるプログラムがインストールされている。

前記演算手段２３では、三次元位置計測装置１５の測定値、具体的に、本体部２０の三箇所に設けられた各マーカ１３の三次元座標から、次の手順で、内視鏡Ｅ及び処置具Ｆの先端部分の姿勢及び位置が求められる。

先ず、三次元計測装置１５の座標系Ｏ−ｘｙｚ（以下、「カメラ座標系」と称する。）をマーカ保持プレート１２の座標系Ｏ−αβγ（以下、「物体座標系」と称する。）に変換する。
ここで、カメラ座標系における前記第１位置Ｏ、第２位置α、第３位置βの各マーカ１３の座標を、

とする。
第１位置Ｏを物体座標系の原点とし、物体座標系における各位置を、第１位置Ｏ´、第２位置α´、第３位置β´とすると、

となる。但し、ここでのＴ_０は、

とする。

そして、以下の逆回転行列式を用い、マーカ保持プレート１２の姿勢、すなわち、カメラ座標系の座標軸（ｘ軸、ｙ軸、ｚ軸）と物体座標系の座標軸（α軸、β軸、γ軸）におけるロール角、ピッチ角、ヨー角の差を逆算する。

先ず、第２位置α´について、ロール角θ_ｚは、次式（１）で求められる。

次に、θ_ｚ＝０（ｙ_α´＝０）となるように物体座標系を次式によりｚ軸周りに回転する。

但し、

そして、ヨー角θ_ｙは、次式（２）で求められる。

次に、θ_ｙ＝０（ｚ_α´´＝０）となるように物体座標系を次式によりｙ軸周りに回転する。

但し、

以上の計算により、α軸とｘ軸が一致する。

以上と同様の手順を第３位置β´についても行う。

但し、

これにより、ピッチ角θ_ｘは、次式（３）で求められる。

ここで、

より、β軸とｙ軸、γ軸とｚ軸が一致する。

以上の式（１）〜（３）により、各マーカ１３の三次元座標から、予め記憶された各マーカ保持プレート１２，１２の姿勢が求められ、当該姿勢と、内視鏡Ｅ及び処置具Ｆの各先端部分との各姿勢の相対差に基づき、幾何学的に内視鏡Ｅ及び処置具Ｆの先端部分の姿勢が算出される。そして、更に、内視鏡Ｅの先端部分の姿勢を基準とした処置具Ｆの相対姿勢が求められる。

また、内視鏡Ｅ若しくは処置具Ｆの先端部分の三次元座標は、各マーカ１３との相対位置関係が不変となる条件下で幾何学的に求められる。

そして、カメラ座標系で計測された処置具Ｆの先端部分の三次元座標は、カメラ座標系で計測された内視鏡Ｅの先端部分の三次元座標との差により、内視鏡Ｅの先端部分を原点とした内視鏡座標系に変換される。

以上の説明により、マーカ保持プレート１２、マーカ１３、三次元位置計測装置１５及び演算手段２３は、内視鏡Ｅ及び処置具Ｆの先端部分の位置及び姿勢を検出する位置姿勢検出手段を構成する。

なお、前記位置姿勢検出手段としては、本実施形態に限らず、内視鏡Ｅ及び処置具Ｆの位置及び姿勢を検出できる限りにおいて、種々の装置や構成を採用することができ、例えば、内視鏡Ｅや処置具Ｆをロボットで動作させる場合には、当該ロボットに対する動作指令値を用いることができる。

前記複合画像作成手段２４では、図３に模式的に示されるように、線分Ｌにより表示した処置具Ｆを含むＣＧ画像Ａ２（同図（Ａ）参照）が、内視鏡により撮像された実画像である内視鏡画像Ａ１（同図（Ｂ）参照）よりも大きいサイズで作成され、その後、ＣＧ画像Ａ２の表面に内視鏡画像Ａ１を重ね、それらが重なっている領域のＣＧ画像Ａ２を隠蔽することで、内視鏡画像Ａ１の周囲にＣＧ画像Ａ２が表出した複合画像Ａ（同図（Ｃ）参照）が作成される。

換言すれば、前記複合画像Ａの中央部分に内視鏡Ｅによる実際の撮像部位が内視鏡画像Ａ１として表示され、その周囲のＣＧ画像Ａ２には、前記撮像部位を基準とした処置具Ｆの実際の状態に即して、当該処置具Ｆが線分で表されることになる。

前記ＣＧ画像Ａ２は、その中央部分の基準位置が内視鏡画像Ａ１の中央部分の位置に合致するように設定されている。このＣＧ画像Ａ２には、前記演算手段２３で求められた処置具Ｆの先端部分の位置及び姿勢に対応して、公知のソフトウェアにより、擬制的な線分Ｌを使って処置具Ｆが三次元的に表示されるようになっている。つまり、ＣＧ画像Ａ２は、前記位置姿勢検出手段で実際に検出された処置具Ｆの先端部分の位置及び姿勢に基づき、実際には内視鏡Ｅで撮像されていない処置具Ｆの一部分若しくは全部分が、あたかも内視鏡Ｅにより撮像されたかのように処置具Ｆを表す線分が作成される。ここで、当該線分を作成する際には、三次元位置計測装置１５により検出された接続部２１のマーカ１３の三次元座標と、処置具Ｆの先端部分の三次元座標とを結んだ直線を用いるとよい。なお、これら三次元座標は、内視鏡Ｅの先端部分を基準とした内視鏡系座標である。

また、前記ＣＧ画像Ａ２には、処置具Ｆの先端部分を中心として、半径の異なる複数の同心円状に設けられた距離円Ｃが作成されている。この距離円Ｃは、処置具Ｆの先端部分からの離間距離を示すものであり、各距離円Ｃの各半径の長さが前記離間距離に対応することになる。ここで、距離円Ｃを三つ以上作成したとき、各距離円Ｃの間に形成された領域毎に、色の濃さすなわち明度を変える等、相互に異なる色彩を付すとよい。

更に、ＣＧ画像Ａ２には、処置具Ｆの先端から、その延出方向に更に先に直線状に延びる処置具延長線Ｘが作成されており、当該処置具延長線Ｘにより、処置具Ｆの進行方向を見当付けることが可能となる。

このように作成された複合画像Ａは、処置具Ｆの一部分が内視鏡Ｅで捉えられている場合、その一部分の内視鏡画像Ａ１が中央部分に表示されるとともに、内視鏡Ｅで捉えられない処置具Ｆの他の部分が、内視鏡画像Ａ１に繋がるようにしてＣＧ画像Ａ２に表示される。また、処置具Ｆが全く内視鏡Ｅで捉えられない場合には、処置具ＦをＣＧ画像Ａ２に表示可能となり、内視鏡Ｅの撮像範囲から外れた位置に処置具Ｆが存在していても、内視鏡画像Ａ１に映されている患部Ｐ等と処置具Ｆとの位置関係が複合画像Ａで把握可能となる。また、内視鏡Ｅに対して、処置具Ｆを体内外方向（上下方向）に移動させると、ＣＧ画像Ａ２は、三次元的に処置具Ｆが表示されるため、内視鏡Ｅから処置具Ｆが上下方向に離れる程、処置具Ｆがより小さく表示され、且つ、距離円Ｃのピッチが狭まって距離円Ｃが密に表示されるようになり、処置具Ｆの遠近感がより分かり易く表示されることになる。

従って、このような実施例によれば、内視鏡Ｅにより撮像された内視鏡画像Ａ１から処置具Ｆが外れた場合であっても、内視鏡Ｅに対する移動及び変倍操作をすることなく、内視鏡画像Ａ１の撮像部位に対する処置具Ｆの状態をＣＧ画像Ａ２により確認することができ、医師等の手術者にとって煩わしい操作を少なくできるという効果を得る。

なお、前記複合画像Ａは、複数の処置具Ｆがある場合に、前述と同様にして、処置具Ｆ毎に前記ＣＧ画像Ａ２を作成し、これらＣＧ画像Ａ２を内視鏡Ｅの先端部分の位置を基準にして相互に重ね合わせることにより、内視鏡画像Ａ１の周囲に複数の処置具Ｆを模擬した複数の線分を表示できるようにすればよい。この場合、各ＣＧ画像Ａ２の中央部分に対し、色彩を他のＣＧ画像Ａ２と異なるようにするとよく、これによって、処置具Ｆ同士の接近時には、各ＣＧ画像Ａ２の色彩が重なり合って、新たな色彩が表出されることになり、処置具Ｆの接近や干渉等が複合画像Ａで一層分かり易くなる。

更に、前記演算手段２３で、内視鏡Ｅと処置具Ｆの各先端部分間の離間距離を算出し、当該離間距離を前記複合画像Ａに付随してモニター１８上に表示することも可能である。

その他、本発明における装置各部の構成は図示構成例に限定されるものではなく、実質的に同様の作用を奏する限りにおいて、種々の変更が可能である。

本実施形態に係る内視鏡視野拡張システムの概略構成図。 図１における内視鏡及び処置具の各後端部分の拡大図。 （Ａ）は、ＣＧ画像を示す図であり、（Ｂ）は、内視鏡画像を示す図であり、（Ｃ）は、複合画像を示す図である。

符号の説明

１０ 内視鏡視野拡張システム
１２ マーカ保持プレート（位置姿勢検出手段）
１３ マーカ（位置姿勢検出手段）
１５ 三次元位置計測装置（位置姿勢検出手段）
１７ ホストコンピュータ
２３ 演算手段（位置姿勢検出手段）
２４ 複合画像作成手段
Ａ 複合画像
Ａ１ 内視鏡画像
Ａ２ ＣＧ画像
Ｃ 距離円
Ｅ 内視鏡
Ｆ 処置具
Ｘ 処置具延長線

Claims (9)

1. 内視鏡及び処置具の位置及び姿勢を検出する位置姿勢検出手段と、当該位置姿勢検出手段による検出値を基に、前記内視鏡で撮像された内視鏡画像の外側に所定のＣＧ画像を付加した複合画像を作成する複合画像作成手段とを備え、
   前記複合画像作成手段は、前記内視鏡画像に映る撮像部位を基準とした前記処置具の実際の位置及び姿勢に合わせて、当該処置具の存在を前記ＣＧ画像に反映させることを特徴とする内視鏡視野拡張システム。
2. 前記ＣＧ画像には、前記処置具の先端位置に対して同一離間距離の範囲を示す距離円が作成されることを特徴とする請求項１記載の内視鏡視野拡張システム。
3. 前記距離円は、前記処置具の先端位置をそれぞれ中心として、半径が異なるように複数作成され、前記処置具が前記内視鏡の延出方向に相対移動すると、その移動量に伴って、前記距離円間のピッチが変化することを特徴とする請求項２記載の内視鏡視野拡張システム。
4. 前記距離円は、少なくとも三つ作成され、当該各距離円の間の領域毎に、相互に異なる色彩が付されていることを特徴とする請求項３記載の内視鏡視野拡張システム。
5. 前記ＣＧ画像には、前記処置具の先端位置から、当該処置具の延出方向に更に先に延びる処置具延長線が作成されることを特徴とする１〜４の何れかに記載の内視鏡視野拡張システム。
6. 前記複合画像作成手段は、前記内視鏡及び前記処置具の各先端部分間の離間距離を算出し、当該離間距離を表示可能としたことを特徴とする請求項１〜５の何れかに記載の内視鏡視野拡張システム。
7. 前記複合画像作成手段は、前記処置具が複数存在する場合に、前記処置具毎に異なる色彩が付された前記ＣＧ画像をそれぞれ作成することを特徴とする請求項１〜６の何れかに記載の内視鏡視野拡張システム。
8. 内視鏡で撮像された内視鏡画像と、この内視鏡画像の外側に付加されて処置具の状態を表すＣＧ画像とにより構成された複合画像を作成する複合画像作成手段を備え、
   前記複合画像作成手段は、前記内視鏡画像に映る撮像部位を基準とした前記処置具の実際の位置及び姿勢に合わせて、当該処置具の存在を前記ＣＧ画像に反映させることを特徴とする内視鏡視野拡張装置。
9. 所定のコンピュータに対し、内視鏡で撮像された内視鏡画像の外側に所定のＣＧ画像が付加された複合画像を作成させるためのプログラムであって、
   内視鏡及び処置具の位置情報及び姿勢情報を取得し、前記内視鏡画像に映る撮像部位を基準とした前記処置具の実際の位置及び姿勢に合わせて、前記処置具の存在が反映された前記ＣＧ画像を作成し、前記内視鏡画像と前記ＣＧ画像とを結合して複合画像を作成することを前記コンピュータに実行させることを特徴とする内視鏡画像拡張用プログラム。

Images