JP2010274044A - 手術支援装置、手術支援方法及び手術支援プログラム - Google Patents

Abstract

【課題】患者の負担が無く、非常に安価な構成で、患部に対して術前診断画像を重畳表示できるようにすること。
【解決手段】手術支援装置１は、診断画像取得部３にて手術前に撮影した被検体の診断画像より作成した三次元モデル画像を取得すると共に、観察画像取得部２にて手術中の被検体の観察画像を取得し、画像対応付け部４にて上記三次元モデル画像と上記観察画像とを対応付け、また、特徴点検出部５にて上記観察画像内の特徴点を所定の条件に従って自動的に検出する。そして、特徴点座標取得部６にて、上記特徴点の座標値を、上記対応付けされた三次元モデル画像と観察画像との対応関係に基づいて取得して、位置姿勢演算部７及び画像表示部８にて、その取得された特徴点の座標値と上記三次元モデル画像の座標情報とから、三次元モデル画像を観察画像に重畳表示させる。
【選択図】図１

Description

本発明は、術前に撮影した被検体の診断画像を術中に撮影される当該被検体の観察画像に重畳表示させて、当該被検体に対する術者の手術のための支援を行う手術支援装置及び手術支援方法、並びに、そのような手術支援装置としての動作をコンピュータに行わせるための手術支援プログラムに関する。

一般に、術前に、ＣＴ或いはＭＲＩ装置等の断層画像撮影装置により被検体である患者の診断画像を撮影し、手術を担当する医師は、この術前の診断画像から患部を特定し、更に実際の手術計画を立てる。どのようなアプローチを採択し、どこまでの範囲を処置すべきかを、この診断画像を頼りに行い、実際に患者に対峙した際には、この術前の診断画像をイメージし、患者にこのイメージを重ねて手術を行う。

一方、内視鏡手術のような低侵襲手術では、術部を大きく切開する手術に比べて術野が制限されるので、術者は術中の患部と手術具との位置関係を直接的に把握できなくなる。そこで、術中の患部をビデオカメラにより撮像して観察画像を取得し、術者はその観察画像を頼りに処置を行なう手法が採られている。

そこで近年、術前に撮影した診断画像をビデオカメラで取得した術中の患部の観察画像に重畳表示することで、術者を支援する手術支援装置が提案されている。この手術支援装置における重畳表示には、診断画像を術中の観察画像に正確に位置合わせすることが必須となる。

この術中の観察画像と診断画像の位置合わせの方法については、例えば、特許文献１に示されているように、光学的に患部の空間座標を検出する光学式検出装置を利用する方法が知られている。この方法では、光学式検出装置が位置を認識するための特定マーカを利用するもので、術前の診断画像を撮影する段階から特定マーカを患者に装着し、手術までその状態を保持する必要がある。この特定マーカは、一般には、骨に埋め込む形のものが多用されており、患者にとっては負担である。また、特許文献２には、術前の診断画像撮影時と術中にのみ患者に装着する専用の位置決めフレームを利用して、術前と術中に特定マーカの位置を一致させることで、患者の負担を軽減する提案もなされている。

さらに、特許文献３には、レーザ光を利用して、実際の患部の表面を走査し、患部表面の三次元座標を測定することで、診断画像と観察画像で見られる実際の患部との位置合わせを行う方法が開示されている。

特開２００１−２９３００６号公報 特開２００１−８７２８３号公報 特開２００７−２０９５３１号公報

しかしながら、上記特許文献１及び２のような光学的に空間座標を検出する方法では、診断画像と観察画像で見られる実際の患部との位置合わせのために、術中には、患者は特定マーカを装着することが必要であり、加えて、常に光学式検出装置が特定マーカを認識できるように、配慮する必要がある。

一方、上記特許文献３のようにレーザ光を利用した場合には、特定のマーカを利用する必要は無いものの、本来手術行為には不必要な大がかりな設備を手術室に入れる必要があり、コスト的にもシステム構築に投資がかさむ。加えて、レーザ光をスキャンさせて患部の表面情報を取得する作業の際には、遮蔽されることなくレーザ光が必ず患部に当たるように配慮する必要があり、手術計画の中に、この表面情報取得プロセスを専用に入れる必要がある。

本発明は、上記の点に鑑みてなされたもので、患者の負担が無く、非常に安価な構成で患部に対して術前診断画像を重畳表示することが可能な手術支援装置、手術支援方法及び手術支援プログラムを提供することを目的とする。

本発明の手術支援装置の一態様は、
手術前に撮影した被検体の診断画像より作成した三次元モデル画像を取得する三次元画像取得手段と、
手術中に撮影される上記被検体の観察画像を取得する観察画像取得手段と、
上記三次元画像取得手段で取得された上記三次元モデル画像と上記観察画像取得手段で取得された上記観察画像とを対応付ける画像対応付け手段と、
上記観察画像取得手段で取得された上記観察画像内の特徴点を所定の条件に従って自動的に検出する特徴点検出手段と、
上記特徴点検出手段で検出された上記特徴点の座標値を、上記画像対応付け手段で対応付けされた上記三次元モデル画像と上記観察画像との対応関係に基づいて取得する特徴点座標取得手段と、
上記特徴点座標取得手段で取得された上記特徴点の座標値と上記三次元画像取得手段で取得された上記三次元モデル画像の座標情報とから、上記三次元モデル画像を上記観察画像に重畳表示させて、上記被検体に対する術者の手術の支援を行う重畳表示手段と、
を具備することを特徴とする。

また、本発明の手術支援方法の一態様は、
手術前に診断画像撮影装置によって撮影した被検体の診断画像より作成した三次元モデル画像を取得し、
撮影機器によってリアルタイムに撮影される手術中の上記被検体の観察画像を取得し、
上記取得された三次元モデル画像と上記取得された観察画像とを術者による選択に基づき対応付けし、
上記取得された観察画像内の特徴点を所定の条件に従って自動的に検出し、
上記検出された特徴点の座標値を、上記対応付けされた上記三次元モデル画像と上記観察画像との対応関係に基づいて取得し、
上記取得された上記特徴点の座標値と上記取得された三次元モデル画像の座標情報とから、上記三次元モデル画像を上記観察画像に重畳して表示装置に表示させて、上記被検体に対する術者の手術の支援を行う、
ことを特徴とする。

更に、本発明の手術支援プログラムの一態様は、
コンピュータに、
手術前に診断画像撮影装置によって撮影した被検体の診断画像より作成した三次元モデル画像を取得する手順と、
撮影機器によってリアルタイムに撮影される手術中の上記被検体の観察画像を取得する手順と、
上記取得された三次元モデル画像と上記取得された観察画像とを術者による選択に基づき対応付けする手順と、
上記取得された観察画像内の特徴点を所定の条件に従って自動的に検出する手順と、
上記検出された特徴点の座標値を、上記対応付けされた上記三次元モデル画像と上記観察画像との対応関係に基づいて取得する手順と、
上記取得された上記特徴点の座標値と上記取得された三次元モデル画像の座標情報とから、上記三次元モデル画像を上記観察画像に重畳して表示装置に表示させて、上記被検体に対する術者の手術の支援を行う手順と、
を実行させるためのものであることを特徴とする。

本発明によれば、患者に装着する特定マーカが不要であるので患者の負担が無く、また、本来手術行為には不必要な大がかりな設備が不要であるので非常に安価な構成で、患部に対して術前診断画像を重畳表示することが可能な手術支援装置、手術支援方法及び手術支援プログラムを提供することができる。

図１は、本発明の一実施形態に係る手術支援装置の構成を示す機能ブロック図である。 図２は、図１の手術支援装置の実際の構成と、手術具との関係を示す図である。 図３は、図２中のコンピュータの構成を示す図である。 図４は、観察画像と三次元モデル画像との対応付け操作時の表示例を示す図である。 図５は、対応点と最終的な精度の関係を示す図である。 図６は、対応付け時の画像の拡大を説明するための図である。 図７は、画像の拡大機能を利用した際の精度評価結果を示す図である。

以下、本発明を実施するための形態を図面を参照して説明する。

図１に示すように、本発明の一実施形態に係る手術支援装置１は、観察画像取得部２、診断画像取得部３、画像対応付け部４、特徴点検出部５、特徴点座標取得部６、位置姿勢演算部７、及び画像表示部８から構成される。

ここで、観察画像取得部２は、術中の被検体の観察画像を取得するものである。また、診断画像取得部３は、術前の被検体の診断画像より作成した三次元モデル画像を取得するものである。そして、画像対応付け部４は、上記診断画像取得部３で取得された三次元モデル画像と上記観察画像取得部２で取得された観察画像とを対応付ける。

一方、特徴点検出部５は、上記観察画像取得部２で取得された観察画像内の特徴点を所定の条件に従って自動的に検出する。

特徴点座標取得部６は、上記特徴点検出部５で検出された特徴点の座標値を、上記画像対応付け部４で対応付けされた三次元モデル画像と観察画像との対応関係に基づいて取得する。位置姿勢演算部７は、上記特徴点座標取得部６で取得された特徴点の座標値に基づいて、被検体と上記観察画像取得部２との相対的位置姿勢を演算する。そして、画像表示部８は、上記位置姿勢演算部７の演算結果に基づいて、上記診断画像取得部３が取得した三次元モデル画像の位置姿勢を変更して、上記観察画像取得部２が取得した観察画像に重畳表示する。

このような手術支援装置１は、具体的には、図２に示すように、コンピュータ１０と該コンピュータ１０の入力装置１１及びモニタ１２と、該コンピュータ１０によって実行される手術支援プログラムとから構成されることができる。

コンピュータ１０は、図３に示すように、ＣＰＵ１０１、ＲＡＭ１０２、ＲＯＭ１０３、ハードディスクドライブ（ＨＤＤ）１０４及び入出力ポート１０５を備え、入出力ポート１０５には、ユーザが任意の情報を入力したり各種の指示を与えるための入力装置１１としてキーボード１１１及びマウス１１２と、ＬＣＤ又はＣＲＴから成り任意の情報を表示可能なモニタ１２と、がそれぞれ接続されている。

コンピュータ１０のＲＯＭ１０３又はＨＤＤ１０４には、上記手術支援装置１としての動作を該コンピュータ１０に行わせるための手術支援プログラムが予め記憶されている。即ち、コンピュータ１０のＣＰＵ１０１は、この手術支援プログラムを実行することで、本実施形態に係る手術支援装置１として機能することが可能となる。

また、コンピュータ１０の入出力ポート１０５には、ＣＴやＭＲＩ装置等の二次元スライス像を撮影可能な断層画像撮影装置２０が接続されることができる。この断層画像撮影装置２０は、診断画像を術前に撮影する撮影装置であり、通常、手術を行う手術室とは別に設けられたＭＲＩ撮影室に設置されている。なお、コンピュータ１０は、診断画像と観察画像の重畳表示処理を実行するにあたり、断層画像撮影装置２０からは術前に撮影された診断画像を取得できていれば良いので、コンピュータ１０は断層画像撮影装置２０と直接接続されていなくても良く、診断画像は例えばＣＤ−ＲやＣＤ−ＲＷ、ＭＯ、ＺＩＰ、ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ等の各種記録媒体の何れかを介して、入出力ポート１０５に接続された対応する読取装置により、断層画像撮影装置２０からコンピュータ１０へ送られるようにしても良い。こうして直接或いは記録媒体を介して断層画像撮影装置２０からコンピュータ１０に送られた診断画像は、ＨＤＤ１０４に保存される。また、診断画像の代わりに或いは診断画像に加えて、断層画像撮影装置２０又は別の装置によって上記診断画像を基に生成した三次元モデル画像をコンピュータ１０に送るようにしても構わない。

さらに、コンピュータ１０の入出力ポート１０５には、ビデオカメラ３０が接続される。このビデオカメラ３０は、例えば、患部と手術具４０とのリアルタイム画像を取得できるビデオカメラや、図２に示すように、内視鏡や手術用顕微鏡等の手術具４０に装着する専用ビデオカメラ等の、所謂動画が撮影可能なカメラである。

以下、本実施形態に係る手術支援装置１の各部の動作をより詳細に説明する。

観察画像取得部２は、ビデオカメラ３０から手術中の観察画像を取得する。具体的には、コンピュータ１０のＣＰＵ１０１が手術支援プログラムに従って、ビデオカメラ３０からの観察画像を入出力ポート１０５を介してＲＡＭ１０２又はＨＤＤ１０４に取り込む動作を実行する。一般的な手術の現場においては、手術操作の一連の流れを画像として保存する目的で、或いは内視鏡や手術用顕微鏡のように、この画像を頼りに術者が処置を行う目的で、ビデオカメラ３０が用意されており、該観察画像取得部２は、そのビデオカメラ３０で撮影された動画像を観察画像として取得する。この観察画像はデジタルデータであり、以降の加工がソフトウエア的に可能である。

診断画像取得部３は、術前にＣＴ或いはＭＲＩ装置等の断層画像撮影装置２０を利用して取得した診断画像を入力し、その二次元のスライス像である診断画像を基に三次元の立体的な三次元モデル画像として再構成する。具体的には、コンピュータ１０のＣＰＵ１０１が手術支援プログラムに従って、断層画像撮影装置２０からの診断画像を入出力ポート１０５を介してＲＡＭ１０２又はＨＤＤ１０４に取り込み、この取り込んだ診断画像、或いは周知のファイル操作により断層画像撮影装置２０から予め記録媒体に記録された診断画像がＲＡＭ１０２又はＨＤＤ１０４に取り込まれている場合にはその取り込まれている診断画像、を基に三次元モデルを生成して、その生成した三次元モデルをＲＡＭ１０２に記憶する動作を実行する。或いは、断層画像撮影装置２０が診断画像から三次元モデル画像を生成する機能を備える場合や、別途三次元モデル画像生成プログラムを用いて事前に三次元モデル画像を生成してＨＤＤ１０４に保存してある場合には、その三次元モデル画像をＲＡＭ１０２に取り込む動作を実行するというものであっても構わない。

なお、上記特許文献１及び２に開示されているように、従来は、診断画像を取得する際に患者に特定マーカを装着し、そのマーカも含めた二次元スライス像を診断画像として取得する必要があるが、本実施形態では、そのような特定マーカを利用する必要はない。即ち、断層画像撮影装置２０は、患者のみの二次元スライス像を撮影すれば良く、従って、特定マーカを利用しない本手術支援装置１は、患者にとっても非常に低侵襲である。

前述したように、手術を担当する医師は、術前の二次元スライス像から患部を特定し、更に実際の手術計画を立てる。どのようなアプローチを採択し、どこまでの範囲を処置すべきかを、この二次元スライス像を頼りに行う、実際に患者に対峙した際には、この術前の二次元スライス像をイメージし、患者にこのイメージを重ねて手術を行う。この医師が頭の中でイメージしていた映像を、実際の手術環境の中で実現することが、本実施形態の狙いである。

三次元再構成された三次元モデル画像と実際の手術用ベッドに横たわる患者の疾患部位とは完全に一致するはずである。つまり、実際の患部の表面と三次元モデル画像の表面は一義的に同じである。そのため、解剖学的な特徴を頼りにすることで、患部のある位置と同じ位置を三次元モデル画像上で特定することができる。

そこで、画像対応付け部４で、互いの同じ場所を関連付ける。具体的には、コンピュータ１０のＣＰＵ１０１が手術支援プログラムに従って、例えば図４に示すように、同じモニタ１２上に、観察画像取得部２で観察画像１２１として取得した患部の画像と診断画像取得部３で取得した三次元モデル画像１２２とを並べ表示し、医師等による互いの同じ場所の指定を受け付ける。即ち、マウス１１２を利用して、観察画像と三次元モデル画像の同じ位置にマウスカーソル１２３を移動させてクリックすることを交互に行なうことで、複数点を選択していく。なお、図４では、説明の都合上、対応点の位置が明確となるように両画像１２１，１２２上にマウスカーソル１２３を示しているが、実際には、マウスカーソル１２３は一つであり、クリック操作で選択された位置には選択位置を示すマークが示されるようになっている。こうして選択された対応点の位置情報がＲＡＭ１０２に蓄えられていく。そして、それら蓄えられた情報を基にして、実際の観察画像にあたかも透明な三次元モデル画像がオーバーレイされているような状態を生成し、ＲＡＭ１０２に保持する。このように、観察画像１２１上で見えているこの点は、三次元モデル画像１２２上ではこの点であるというように、画像対応付け部４にて、複数の位置について、観察画像と三次元モデル画像の対応点の関連付けを行う操作により、互いの異なる性格のデータの関連性を導き、手術支援装置１の内部に、観察画像と三次元モデル画像が重なりあったような形態のデータを作成し、これを保持する。

なお、選択する対応点の個数については、図５に示すように、４点以上必要であり、好ましくは８点以上が必要である。加えて、もし最終的な重畳精度として、２ｍｍが必要な場合はマウス１１２での位置指定の誤差を４ピクセル以内に抑えて８点以上を対応付けすれば実現する。１．５ｍｍ以下の精度が必要な場合は、マウス１１２での位置指定誤差を２ピクセル以内に抑えて８点以上を対応付けすれば実現する。１ｍｍ以下が必要であれば、マウス１１２での位置指定誤差を１ピクセル以下に抑えて１２点以上を対応付けすれば精度を確保できることが判っている。

そこで、本実施形態では、画像対応付け部４は、対応付けする画像を自動的に拡大して、目標位置を正確に指定できる機能を持っている。この機能を利用することによって、図６に示すように、選択する際の画像を拡大し、その拡大画像１２４により確実に目標の点を指定することができる。

この画像の拡大機能を利用すると、図７に示すように、４点以上の点を対応付ければ、０．５ｍｍ以下の重畳精度を確保することが可能となる。

一方、この画像対応付け部４の動作と同時に、特徴点検出部５は、上記観察画像取得部２で取得した撮影している実際の観察画像内で、特徴的な位置を自動的に複数点検出する。具体的には、コンピュータ１０のＣＰＵ１０１が手術支援プログラムに従って、ＲＡＭ１０２又はＨＤＤ１０４に取り込まれた観察画像から、例えば、色合いが急激に変化する境界や点、凹凸が変化する端部分や点、明るさが変化する境界やその近辺の点等、所定の条件に従って画像内で目印になり得る特徴点を検出する動作を実行する。この特徴点は、観察対象が動いても追従できるように、出来るだけ離れた位置で、少なくとも２点を検出することが必要である。上記対応点の個数と同様、精度を考えれば、特徴点の個数は、例えば４点以上好ましくは８点以上必要であり、処理時間に制限が無ければ多い程良い。本実施形態においては、この特徴点の個数については任意に設定でき、特徴点検出部５は、その設定に従った個数の特徴点を検出する。上記特許文献１及び２に開示されているように、従来は、この特徴点の検出において、特定マーカを検出するようにしていたが、本実施形態では観察画像中の特徴的な位置を検出するので、特定マーカを不要とすることができる。

特徴点座標取得部６は、上記特徴点検出部５で検出した実際の画像の特徴点の空間座標値を入手する。これは、上記画像対応付け部４によって蓄えられている、観察画像にオーバーレイされているかのような状態の三次元モデル画像を利用する。つまり、今、観察画像における特徴点として認識されている点は、オーバーレイされている三次元モデル画像でも同じ点を指す。そこで、コンピュータ１０のＣＰＵ１０１が手術支援プログラムに従って、ＲＡＭ１０２に蓄えられている三次元モデル画像上に、この特徴点を投影し、上記診断画像取得部３で用いた二次元スライス像から三次元モデル画像の描画法を逆に利用することで、この点の空間座標値を獲得する。つまり、上記診断画像取得部３では、術前に撮影した二次元スライス像を点の集合として認識し、この点を画像処理によって繋ぐことで、立体的な面を構成する。つまり描画された面は、点の集合で構成されており、作成された面から、面内の任意の点の座標値を獲得することは容易である。これは、例えば空間座標値が既知の３点で構成される三角形の表面の任意の点を指し示し、この指し示した点の座標値を計算で求めることが可能であることと同一である。

即ち、画像対応付け部４では、観察画像と三次元モデル画像が重なりあったデータが保持されている。この状態は例えば、写真の上にトレーシングペーパを配し、該トレーシングペーパ表面に線で写真をなぞって描いた絵が、同じ大きさと位置で覆い被さっているような状態である。また、特徴点検出部５は、観察画像内の特徴点を検出する。観察画像上に特徴点がある場合、その位置は、重なり合った三次元モデル画像上の同じ位置に参照する。これは例えるならば、観察画像上の特徴点をカーボンコピーで、三次元モデル画像上に描くような作業である。三次元モデル画像上に描かれた特徴点は、三次元モデル画像を描画する際の処理を逆に演算することで、特徴点の三次元座標データを得ることができる。この処理を特徴点座標取得部６は行う。

ここまでの各機能部の処理で、観察画像内の特徴点の位置の空間座標が把握できた。この空間座標の原点は、患者が横たわる手術台、或いは、手術を行う患部の側にある。この状態を世界座標系と呼ぶことにする。一方で、観察画像を撮影するビデオカメラ３０については、術中は任意に動かされる場合が多い。例えば、内視鏡等は、患者は固定されたように動かず、内視鏡を絶えず動かして患部を観察する。操作している医師側から見れば、世界座標系においてのビデオカメラ３０の位置・姿勢が相対的に変化していると説明するのが判り易い。一方で、この位置姿勢の変化によって変化するモニタ１２内の画像を中心に考えると、ビデオカメラ３０側から見て、患部はどのように見えているのかであり、この場合はビデオカメラ３０を中心に考えた座標系をカメラ座標系と呼ぶと、カメラ座標系から見て、世界座標系にある患部はどのような位置関係なのかを把握する必要がある。本実施形態は、最終的には、この観察画像内に三次元モデル画像の重畳を実現するものである。

そこで、位置姿勢演算部７によって、具体的には、コンピュータ１０のＣＰＵ１０１が手術支援プログラムに従って、上記特徴点座標取得部６で得た世界座標系の特徴点の空間座標をカメラ座標系に座標変換し、このカメラ座標系から見た特徴点の空間座標値に変換する。同時に、複数の特徴点の空間座標値から、ビデオカメラ３０の位置・姿勢情報を演算する。

こうしてビデオカメラ３０の位置・姿勢が判ったならば、その位置・姿勢において三次元モデル画像がどのように見えるかは、同じように世界座標系にある三次元モデル画像をカメラ座標系に座標変換することで把握できる。画像表示部８は、具体的には、コンピュータ１０のＣＰＵ１０１が手術支援プログラムに従って、この情報を基にして、三次元モデル画像を再描画するための、位置情報・回転情報・拡大縮小情報等の変数の演算を実行し、その変数に則って三次元モデル画像を描画する。そして、その描画した三次元モデル画像を観察画像が表示されているモニタ１２内に同時に可視表示をすることで、観察画像内で三次元モデルが重畳表示された状態を実現することができる。

以上のように、本実施形態によれば、術前の診断画像から再構成した三次元モデル画像と術中の観察画像の位置合わせを実行する場合に、三次元モデル画像の表面を構成する面そのものが持つ座標データを参照し、観察画像と三次元モデル画像の各々の対応部位を基に対応付けることによって、内部処理上あたかも観察画像と三次元モデル画像が重ね合っているような状態を保持する。この状態を例えれば、カーボンコピー用紙のような状態である。そして、観察画像の中で治療部位或は患部表面の特徴点を自動的に候補抽出し、この特徴点の座標値を三次元モデル画像に参照することで、観察画像内の複数の特徴点の三次元座標を取得し、これらの座標値から観察しているビデオカメラ３０の位置・姿勢のデータを演算し、この演算結果に基づき、三次元再構成した三次元モデル画像の観察画像内部での描画様式を変更することで、ビデオカメラ３０の動き、逆に言えば観察部位の動きに応じて患部に三次元モデル画像が重畳された映像を作り出すことができる。

従って、本実施形態では、上記特許文献１及び２に開示されているような特定マーカを患者に設置する必要無しに、患部の観察画像への術前診断画像の重畳画像を生成することができる。

また、上記特許文献３に開示されているようなレーザスキャンを用いて患部表面の形状を計測する必要もなく、大幅にシステム構成を簡単にするのみならず、非常に安価な構成で患部に対して術前診断画像を重畳表示することが可能である。即ち、レーザスキャンさせて表面形状を計測する装置の導入が不要であり、普通に手術現場に利用されているビデオカメラ３０を用いるのみで同じ効果を得ることができる。

以上、一実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。

（付記）
前記の具体的実施形態から、以下のような構成の発明を抽出することができる。

（１） 手術前に撮影した被検体の診断画像より作成した三次元モデル画像を取得する三次元画像取得手段と、
手術中に撮影される上記被検体の観察画像を取得する観察画像取得手段と、
上記三次元画像取得手段で取得された上記三次元モデル画像と上記観察画像取得手段で取得された上記観察画像とを対応付ける画像対応付け手段と、
上記観察画像取得手段で取得された上記観察画像内の特徴点を所定の条件に従って自動的に検出する特徴点検出手段と、
上記特徴点検出手段で検出された上記特徴点の座標値を、上記画像対応付け手段で対応付けされた上記三次元モデル画像と上記観察画像との対応関係に基づいて取得する特徴点座標取得手段と、
上記特徴点座標取得手段で取得された上記特徴点の座標値と上記三次元画像取得手段で取得された上記三次元モデル画像の座標情報とから、上記三次元モデル画像を上記観察画像に重畳表示させて、上記被検体に対する術者の手術の支援を行う重畳表示手段と、
を具備することを特徴とする手術支援装置。

（対応する実施形態）
実施形態において、例えば、診断画像取得部３が上記三次元画像取得手段に、観察画像取得部２が上記観察画像取得手段に、画像対応付け部４が上記画像対応付け手段に、特徴点検出部５が上記特徴点検出手段に、特徴点座標取得部６が上記特徴点座標取得手段に、位置姿勢演算部７及び画像表示部８が上記重畳表示手段に、手術支援装置１が上記手術支援装置に、それぞれ対応する。特徴点検出手段における所定の条件としては、例えば、観察画像の中で急峻に明暗が変化する、或いは、色合いが変化することである。なお、三次元画像取得手段における三次元モデル画像の取得とは、診断画像から作成した三次元モデル画像を入力することであっても良いし、診断画像を入力してその診断画像を基に三次元モデル画像を作成することであっても良い。

（作用効果）
この（１）に記載の手術支援装置によれば、患者に装着する特定マーカが不要であるので患者の負担が無く、また、本来手術行為には不必要な大がかりな設備が不要であるので非常に安価な構成で、患部に対して術前診断画像を重畳表示することが可能となる。

（２） 上記重畳表示手段は、
上記特徴点座標取得手段で取得された上記特徴点の座標値に基づいて、上記被検体と上記観察画像取得手段が取得する観察画像を撮影する撮影機器との相対的位置姿勢を演算する位置姿勢演算手段と、
上記位置姿勢演算手段の演算結果に基づいて、上記三次元画像取得手段で取得された上記三次元モデル画像を上記観察画像取得手段が取得した上記観察画像に重畳表示する画像表示手段と、
からなることを特徴とする（１）に記載の手術支援装置。

（実施形態との対応）
実施形態において、例えば、位置姿勢演算部７が上記位置姿勢演算手段に、画像表示部８が上記画像表示手段に、ビデオカメラが上記撮影機器に、それぞれ対応する。

（作用効果）
この（２）に記載の手術支援装置によれば、特別な装置を用いることなく、被検体と観察画像を撮影する撮影機器との相対的位置姿勢を演算によって容易に把握できるので、非常に安価な構成で、患部に対して術前診断画像を重畳表示することが可能となる。

（３） 上記画像対応付け手段は、術者によって選択された、同一表示画面上に並列表示された上記三次元モデル画像と上記観察画像との対応する位置に従って対応付けを行なうように構成されたことを特徴とする（２）に記載の手術支援装置。

（実施形態との対応）
実施形態において、例えば、三次元モデル画像１２２と観察画像１２１とが上記同一表示画面上に並列表示された上記三次元モデル画像と上記観察画像に対応する。

（作用効果）
この（３）に記載の手術支援装置によれば、三次元モデル画像と観察画像との対応付けを容易に行うことができる。

（４） 手術前に診断画像撮影装置によって撮影した被検体の診断画像より作成した三次元モデル画像を取得し、
撮影機器によってリアルタイムに撮影される手術中の上記被検体の観察画像を取得し、
上記取得された三次元モデル画像と上記取得された観察画像とを術者による選択に基づき対応付けし、
上記取得された観察画像内の特徴点を所定の条件に従って自動的に検出し、
上記検出された特徴点の座標値を、上記対応付けされた上記三次元モデル画像と上記観察画像との対応関係に基づいて取得し、
上記取得された上記特徴点の座標値と上記取得された三次元モデル画像の座標情報とから、上記三次元モデル画像を上記観察画像に重畳して表示装置に表示させて、上記被検体に対する術者の手術の支援を行う、
ことを特徴とする手術支援方法。

（実施形態との対応）
実施形態において、例えば、断層画像撮影装置２０が上記診断画像撮影装置に、ビデオカメラ３０が上記撮影装置に、モニタ１２が上記表示装置に、観察画像の中で急峻に明暗が変化する或いは色合いが変化することが上記所定の条件に、それぞれ対応する。なお、三次元モデル画像の取得とは、診断画像から作成した三次元モデル画像を入力することであっても良いし、診断画像を入力してその診断画像を基に三次元モデル画像を作成することであっても良い。

（作用効果）
この（４）に記載の手術支援方法によれば、患者に装着する特定マーカが不要であるので患者の負担が無く、また、本来手術行為には不必要な大がかりな設備が不要であるので非常に安価な構成で、患部に対して術前診断画像を重畳表示することが可能となる。

（５） 上記重畳表示は、
上記取得された上記特徴点の座標値に基づいて、上記被検体と上記撮影機器との相対的位置姿勢を演算し、
この演算結果に基づいて、上記取得された三次元モデル画像を上記取得された観察画像に重畳して上記表示装置に表示する、
ことを特徴とする（４）に記載の手術支援方法。

（作用効果）
この（５）に記載の手術支援方法によれば、特別な装置を用いることなく、被検体と観察画像を撮影する撮影機器との相対的位置姿勢を演算によって容易に把握できるので、非常に安価な構成で、患部に対して術前診断画像を重畳表示することが可能となる。

（６） 上記対応付けは、術者によって選択された、上記表示装置の表示画面上に並列表示された上記三次元モデル画像と上記観察画像との対応する位置に従って対応付けを行なうことを特徴とする（５）に記載の手術支援方法。

（実施形態との対応）
実施形態において、例えば、三次元モデル画像１２２と観察画像１２１とが上記表示装置の表示画面上に並列表示された上記三次元モデル画像と上記観察画像に対応する。

（作用効果）
この（６）に記載の手術支援方法によれば、三次元モデル画像と観察画像との対応付けを容易に行うことができる。

（７） コンピュータに、
手術前に診断画像撮影装置によって撮影した被検体の診断画像より作成した三次元モデル画像を取得する手順と、
撮影機器によってリアルタイムに撮影される手術中の上記被検体の観察画像を取得する手順と、
上記取得された三次元モデル画像と上記取得された観察画像とを術者による選択に基づき対応付けする手順と、
上記取得された観察画像内の特徴点を所定の条件に従って自動的に検出する手順と、
上記検出された特徴点の座標値を、上記対応付けされた上記三次元モデル画像と上記観察画像との対応関係に基づいて取得する手順と、
上記取得された上記特徴点の座標値と上記取得された三次元モデル画像の座標情報とから、上記三次元モデル画像を上記観察画像に重畳して表示装置に表示させて、上記被検体に対する術者の手術の支援を行う手順と、
を実行させるための手術支援プログラム。

（実施形態との対応）
実施形態において、例えば、コンピュータ１０が上記コンピュータに、断層画像撮影装置２０が上記診断画像撮影装置に、ビデオカメラ３０が上記撮影装置に、モニタ１２が上記表示装置に、観察画像の中で急峻に明暗が変化する或いは色合いが変化することが上記所定の条件に、それぞれ対応する。また、コンピュータ１０のＲＯＭ１０３又はＨＤＤ１０４に予め記憶された手術支援プログラムが上記手術支援プログラムに対応する。なお、三次元モデル画像の取得とは、診断画像から作成した三次元モデル画像を入力することであっても良いし、診断画像を入力してその診断画像を基に三次元モデル画像を作成することであっても良い。

（作用効果）
この（７）に記載の手術支援プログラムによれば、患者に装着する特定マーカが不要であるので患者の負担が無く、また、本来手術行為には不必要な大がかりな設備が不要であるので非常に安価な構成で、コンピュータの表示装置に患部に対する術前診断画像の重畳表示を行なうことが可能となる。

１…手術支援装置、 ２…観察画像取得部、 ３…診断画像取得部、 ４…画像対応付け部、 ５…特徴点検出部、 ６…特徴点座標取得部、 ７…位置姿勢演算部、 ８…画像表示部、 １０…コンピュータ、 １１…入力装置、 １２…モニタ、 ２０…断層画像撮影装置、 ３０…ビデオカメラ、 ４０…手術具、 １０１…ＣＰＵ、 １０２…ＲＡＭ、 １０３…ＲＯＭ、 １０４…ＨＤＤ、 １０５…入出力ポート、 １１１…キーボード１１Ａ、 １１２…マウス、 １２１…観察画像、 １２２…三次元モデル画像、 １２３…マウスカーソル、 １２４…拡大画像。

Claims (7)

1. 手術前に撮影した被検体の診断画像より作成した三次元モデル画像を取得する三次元画像取得手段と、
   手術中に撮影される前記被検体の観察画像を取得する観察画像取得手段と、
   前記三次元画像取得手段で取得された前記三次元モデル画像と前記観察画像取得手段で取得された前記観察画像とを対応付ける画像対応付け手段と、
   前記観察画像取得手段で取得された前記観察画像内の特徴点を所定の条件に従って自動的に検出する特徴点検出手段と、
   前記特徴点検出手段で検出された前記特徴点の座標値を、前記画像対応付け手段で対応付けされた前記三次元モデル画像と前記観察画像との対応関係に基づいて取得する特徴点座標取得手段と、
   前記特徴点座標取得手段で取得された前記特徴点の座標値と前記三次元画像取得手段で取得された前記三次元モデル画像の座標情報とから、前記三次元モデル画像を前記観察画像に重畳表示させて、前記被検体に対する術者の手術の支援を行う重畳表示手段と、
   を具備することを特徴とする手術支援装置。
2. 前記重畳表示手段は、
   前記特徴点座標取得手段で取得された前記特徴点の座標値に基づいて、前記被検体と前記観察画像取得手段が取得する観察画像を撮影する撮影機器との相対的位置姿勢を演算する位置姿勢演算手段と、
   前記位置姿勢演算手段の演算結果に基づいて、前記三次元画像取得手段で取得された前記三次元モデル画像を前記観察画像取得手段が取得した前記観察画像に重畳表示する画像表示手段と、
   からなることを特徴とする請求項１に記載の手術支援装置。
3. 前記画像対応付け手段は、術者によって選択された、同一表示画面上に並列表示された前記三次元モデル画像と前記観察画像との対応する位置に従って対応付けを行なうように構成されたことを特徴とする請求項２に記載の手術支援装置。
4. 手術前に診断画像撮影装置によって撮影した被検体の診断画像より作成した三次元モデル画像を取得し、
   撮影機器によってリアルタイムに撮影される手術中の前記被検体の観察画像を取得し、
   前記取得された三次元モデル画像と前記取得された観察画像とを術者による選択に基づき対応付けし、
   前記取得された観察画像内の特徴点を所定の条件に従って自動的に検出し、
   前記検出された特徴点の座標値を、前記対応付けされた前記三次元モデル画像と前記観察画像との対応関係に基づいて取得し、
   前記取得された前記特徴点の座標値と前記取得された三次元モデル画像の座標情報とから、前記三次元モデル画像を前記観察画像に重畳して表示装置に表示させて、前記被検体に対する術者の手術の支援を行う、
   ことを特徴とする手術支援方法。
5. 前記重畳表示は、
   前記取得された前記特徴点の座標値に基づいて、前記被検体と前記撮影機器との相対的位置姿勢を演算し、
   この演算結果に基づいて、前記取得された三次元モデル画像を前記取得された観察画像に重畳して前記表示装置に表示する、
   ことを特徴とする請求項４に記載の手術支援方法。
6. 前記対応付けは、術者によって選択された、前記表示装置の表示画面上に並列表示された前記三次元モデル画像と前記観察画像との対応する位置に従って対応付けを行なうことを特徴とする請求項５に記載の手術支援方法。
7. コンピュータに、
   手術前に診断画像撮影装置によって撮影した被検体の診断画像より作成した三次元モデル画像を取得する手順と、
   撮影機器によってリアルタイムに撮影される手術中の前記被検体の観察画像を取得する手順と、
   前記取得された三次元モデル画像と前記取得された観察画像とを術者による選択に基づき対応付けする手順と、
   前記取得された観察画像内の特徴点を所定の条件に従って自動的に検出する手順と、
   前記検出された特徴点の座標値を、前記対応付けされた前記三次元モデル画像と前記観察画像との対応関係に基づいて取得する手順と、
   前記取得された前記特徴点の座標値と前記取得された三次元モデル画像の座標情報とから、前記三次元モデル画像を前記観察画像に重畳して表示装置に表示させて、前記被検体に対する術者の手術の支援を行う手順と、
   を実行させるための手術支援プログラム。

Images