JP2005278992A - 手術支援装置、方法及びプログラム - Google Patents

Abstract

【課題】 手術中の手術部位の状態を精度良く表す画像を提示することを、簡易な構成で実現する。
【解決手段】 脳神経外科の手術の実施にあたり、事前に撮影した脳のＭＲＩ画像に基づいて脳の３次元モデル((A)参照)を生成しておき、手術中には、脳の表面をレーザ光で走査し反射したレーザ光を検出することで、脳の表面の各個所の３次元座標を測定すると共に、脳に対して超音波断層画像の撮影を行うことで、脳の非露出部分の各個所の３次元座標を測定し、これらのデータに基づき、３次元脳モデルの対応する節点の位置を修正し((B)参照)、それ以外の節点の位置がどのように変位するかを有限要素法により推定演算して修正する((C)参照)ことで、手術操作等に伴って変位や変形が生じた脳の現在の状態を表すように３次元脳モデルを修正する。そして、修正後の３次元脳モデルに基づいてＭＲＩ画像を補正して手術中に表示する。
【選択図】 図６

Description

本発明は手術支援装置、方法及びプログラムに係り、特に、手術前に撮影した手術部位の複数の高精細断層画像を補正して表示手段に表示させることで手術の実施を支援する手術支援装置及び手術支援方法、コンピュータを前記手術支援装置として機能させるための手術支援プログラムに関する。

核磁気共鳴コンピュータ断層撮影法（ＭＲＩ：Magnetic Resonance Imaging、ＮＭＲ−ＣＴ：Nuclear Magnetic Resonance-Computed Tomographyともいう）は、静磁場内にある生体内のスピンをもつ原子核の核磁気共鳴現象を利用して生体の断層画像を得るものであり、Ｘ線ＣＴ撮影のような放射線被爆がなく、骨による影響を受けず、任意の方向についての高精細な断層画像が得られる等の特長を有しており、手術や検査等、医療の様々な場面で用いられている（なお、以下では核磁気共鳴コンピュータ断層撮影法による撮影によって得られた断層画像をＭＲＩ画像と称する）。

例えば、脳神経外科の手術における摘出対象である脳腫瘍は、目視では正常部との境界が分り難いため、脳神経外科の手術では、事前に頭部のＭＲＩ画像を撮影しておき、実際の術野を頭部のＭＲＩ画像と繰り返し見比べることで、脳腫瘍と正常部との境界を判断しながら手術が進められている。また、人間の脳には機能的に重要な場所（機能野：eloquent area）があるので（例えば運動野・感覚野・言語野・視覚野・聴覚野等）、各機能野がどの位置にどのように分布しているかを事前に調べ、手術中に参照される頭部のＭＲＩ画像上に各機能野の分布具合を地図として表示させることも行われている（functional mapping ＭＲＩともいう）。

上記に関連して非特許文献１には、脳神経外科の手術において、赤外光を用いた位置検出により、手術前に撮影した頭部のＭＲＩ画像と術野の空間を共通の座標系によって対応付けると共に、現在手術操作を加えている箇所の位置を検出し、現在手術操作を加えている箇所をＭＲＩ画像上で表示するように構成された光学式手術ナビゲーション装置が開示されている。

また、非特許文献２には、超音波プローブによって手術中に超音波断層画像を撮影すると共に、超音波プローブの位置を赤外光によって検出することで、手術前に撮影した頭部のＭＲＩ画像を手術中に撮影した超音波断層画像と対応付け、非特許文献１に記載の光学式手術ナビゲーション装置と同様に、現在手術操作を加えている箇所をＭＲＩ画像上で表示するように構成されたナビゲーション装置が開示されている。

また、特許文献１には、手術顕微鏡の位置及び向きを光学式の位置計測方式で検出し、拡大率や焦点距離のデータ処理を行い、手術前に撮影した頭部のＭＲＩ画像や脳血管画像等の画像情報を、手術中に手術顕微鏡で撮影されたリアルタイム画像と位置合わせして重畳表示する技術が開示されている。

更に、特許文献２には、手術前に撮影した高精細なＭＲＩ画像（術前画像）を３次元画像に再構成し、予測される変形に関する変形条件に基づき３次元画像を変形し変形データとして記憶しておき、手術中にＭＲＩ画像を撮影し、術前画像中の関心領域の２次元画像を３次元画像に再構成し、変形データとの類似性を演算して最適な変形データを選択し、硬性鏡からの被検体の画像を重畳して表示する技術が開示されている。
Medtronic SNT、"StealthStation"、[online]、[平成１６年３月２日検索]、インターネット＜ＵＲＬ：http://www.stealthstation.com/physician/neuro/library/treon.jsp＞ Medtronic SNT、"SonoNav"、[online]、[平成１６年３月２日検索]、インターネット＜ＵＲＬ：http://www.stealthstation.com/physician/neuro/library/sononav.jsp＞ 特開２０００−３３３９７１号公報 特開２００２−１０２２４９号公報

しかしながら、脳神経外科の手術では手術中の操作により脳が変形するため、手術前に撮影した頭部のＭＲＩ画像を参照しても、手術中の実際の脳の状態（例えば脳腫瘍の位置や範囲等）を精度良く判断することは困難である。前述した非特許文献１、非特許文献２及び特許文献１に記載の技術は、何れも手術中の操作による脳の変形を考慮しておらず、手術前に撮影したＭＲＩ画像に新たな情報を加えたり、リアルタイム画像と位置合わせして表示する技術であるので、手術の一助にはなるものの、手術の精度向上には必ずしも寄与しない。

上記の問題は、例えば特許文献２に記載の技術のように、手術中にＭＲＩ画像の撮影を定期的に行い、手術中に参照するＭＲＩ画像を定期的に更新することで解決できる。しかし、これを実現するためには手術室にＭＲＩ撮影装置を設置する必要があり、非磁性材料から成る手術機材を使用する必要もある等、極めて高コストで制約も非常に多く、また、ＭＲＩ画像の撮影を行っている間は手術操作を中断せざるを得ない、という新たな問題も生ずる。更に、特許文献２に記載の技術は、手術中の手術部位の変形が事前に予測した変形条件と相違していた場合に表示画像の精度が低下するという欠点も有している。

本発明は上記事実を考慮して成されたもので、手術中の手術部位の状態を精度良く表す画像を提示することを簡易な構成で実現できる手術支援装置、手術支援方法及び手術支援プログラムを得ることが目的である。

上記目的を達成するために請求項１記載の発明に係る手術支援装置は、手術中に手術部位の表面を光学的に測定し、前記手術部位の表面の各個所の３次元位置を表す第１の位置情報を取得する第１取得手段と、手術中に前記手術部位の非露出部分を超音波により測定し、前記手術部位の非露出部分の各個所の３次元位置を表す第２の位置情報を取得する第２取得手段と、前記第１取得手段によって取得された前記第１の位置情報及び前記第２取得手段によって取得された前記第２の位置情報に基づき、手術前に撮影した手術部位の複数の高精細断層画像に基づいて生成された三次元モデルを用いて前記手術部位の各個所における変位及び変形を推測し前記複数の高精細断層画像を補正する補正手段と、前記補正手段によって補正された高精細断層画像を表示手段に表示させる表示制御手段と、を含んで構成されている。

請求項１記載の発明は、手術前に撮影した手術部位の複数の高精細断層画像（１回の断層撮影で得られる手術部位の複数の断面を各々高精細に可視化した画像）に基づいて生成された手術部位の三次元モデルを用いている。なお、上記の手術部位は頭部（脳）に限られるものではなく、生体の任意の部位に適用できる。また、上記の高精細断層画像としては、例えば請求項６に記載したように、核磁気共鳴コンピュータ断層撮影法によって撮影したＭＲＩ画像（このＭＲＩ画像には、ＭＲＩ画像上に各機能野の分布具合を地図として表示させたfunctional mapping ＭＲＩ画像も含まれる）が好適であるが、手術部位を高精細に表す断層画像であればよく、例えばＸ線ＣＴ撮影等の他の撮影方法で撮影した断層画像を適用してもよい。手術部位の三次元モデルとしては、例えば手術部位を多数個の立体要素の集合として表す三次元モデルを適用することができ、該三次元モデルは、例えば複数の高精細断層画像から、手術部位に相当する画像領域を各々抽出し、抽出した画像領域に対して手術部位の表面又は内部に位置し画像上での判別が容易な特徴点（例えば手術部位が脳であれば脳溝や血管等の特徴部分に対応している点）を多数設定すると共に各特徴点の３次元位置を求め、手術部位の外縁を表す立体モデルを、設定した各特徴点を頂点（節点）とする多数個の立体要素へ分割することで生成することができる。

また、請求項１記載の発明において、第１取得手段は、手術中に手術部位の表面（手術中に露出する部分）を光学的に測定し、手術部位の表面の各個所の３次元位置を表す第１の位置情報を取得し、第２取得手段は、手術中に手術部位の非露出部分を超音波により測定し、手術部位の非露出部分（手術中に露出しない部分、例えば手術部位の内部や深層、底面等）の各個所の３次元位置を表す第２の位置情報を取得する。また、補正手段は、第１取得手段によって取得された第１の位置情報及び第２取得手段によって取得された第２の位置情報に基づき、手術前に撮影した手術部位の複数の高精細断層画像に基づいて生成された三次元モデルを用いて手術部位の各個所における変位及び変形を推測し複数の高精細断層画像を補正する。

手術中の操作により手術部位に変位や変形が生じると、この手術部位の変位や変形に伴い手術前に撮影された高精細断層画像の精度が低下することになる。これに対して請求項１記載の発明では、手術部位の変位や変形に伴い、第１取得手段によって取得される第１の位置情報が表す手術部位の表面の各個所の３次元位置が変化すると共に、第２取得手段によって取得される第２の位置情報が表す手術部位の非露出部分の各個所の３次元位置が変化する。続いて、手術部位の変位や変形が反映された第１の位置情報及び第２の位置情報に基づき、補正手段により、三次元モデルを用いて手術部位の各個所における変位及び変形が推測されて複数の高精細断層画像が補正されるので、変位や変形が生じた後の手術部位の状態を精度良く表す高精細断層画像を得ることができる。そして、補正手段によって補正された高精細断層画像が表示制御手段によって表示手段に表示されるので、手術中の手術部位の状態を精度良く表す画像を手術者等に提示することができ、手術の精度向上に寄与することができる。

また、第１取得手段による手術部位の表面の光学的な測定や、第２取得手段による手術部位の非露出部分の超音波による測定は、ＭＲＩ撮影装置等と比較して何れも構成が簡単かつ大幅に安価な装置で実現できるので、請求項１記載の発明に係る手術支援装置は、手術中にＭＲＩ画像の撮影を定期的に行う等の場合と比較して、装置構成を大幅に簡素化することができる。更に、手術部位の表面を光学的な測定したり、手術部位の非露出部分を超音波によって測定することは、何れもＭＲＩ撮影装置による撮影等と比較して短時間で行うことができるので、請求項１記載の発明によれば、上記の測定を行うことで手術が長時間中断されることも回避することができる。

なお、請求項１記載の発明において、第１取得手段は、例えば請求項２に記載したように、手術顕微鏡に取り付けられ手術部位の表面をレーザ光で走査する走査装置と、手術顕微鏡に取り付けられ手術部位の表面で反射されたレーザ光を受光することで手術部位の表面のうちレーザ光が照射された個所の３次元位置を検出する検出手段と、を含んで構成され、検出手段による３次元位置の検出を、手術部位の表面上の各個所をレーザ光で走査しながら繰り返し行うことで、第１の位置情報を取得するように構成することが好ましい。なお、検出手段による３次元位置の検出は、例えば三角測量法を適用して行うことができる。

第１取得手段を上記構成とすることにより、手術部位の表面上の各個所の３次元位置を非接触で検出できるので、手術部位の表面上の各個所に接触しながら前記各個所の３次元位置を検出する等の場合と比較して、手術部位に悪影響を与えたり、手術部位に変位や変形を生じさせることなく、手術部位の表面上の各個所の３次元位置を検出することができる。また、走査装置及び検出手段は手術顕微鏡に取り付けられているので、走査装置によるレーザ光の走査や検出手段によるレーザ光の受光が手術顕微鏡によって阻害されることがなくなり、手術部位表面上の各個所の３次元位置の検出に際して手術顕微鏡を移動させる必要がなくなる。また手術顕微鏡は手術中、手術部位の表面（詳しくは手術部位の表面上の手術者が着目している個所）を指向するように向きが調整されるので、走査装置によるレーザ光の走査範囲等を調整する作業も不要となる。

また、請求項１記載の発明において、例えば請求項３に記載したように、第１取得手段は、手術顕微鏡に取り付けられ手術部位の表面を撮像する撮像手段を更に備え、補正手段は、撮像手段によって撮像された画像も用いて手術部位の各個所における変位及び変形の推測を行うことが好ましい。第１取得手段によって取得された第１の位置情報（及び第２取得手段によって取得された第２の位置情報）に基づき、三次元モデルを用いて手術部位の各個所における変位及び変形を推測するためには、第１の位置情報によって３次元位置が判明している手術部位の表面の各個所が、三次元モデルにおけるどの部分に対応しているのかを判断する対応付けを行う必要があり、この対応付けには、例えば手術部位の表面に表れている特徴（例えば手術部位が脳であれば脳溝や血管等）を利用することができるが、手術部位の表面に表れている特徴の種類等に依っては、手術部位の表面に表れている特徴が第１の位置情報上に明瞭に現れないことがあり、この場合、上記の対応付けを行うことが困難となる。

これに対し、請求項３に記載したように、手術部位の表面を撮像する撮像手段を手術顕微鏡に取り付け、撮像手段によって撮像された画像も用いて手術部位の各個所における変位及び変形の推測を行えば、手術部位の表面に表れている特徴の種類等に拘らず（例えば前記特徴が色の変化等のように、３次元位置の変化を伴わない特徴であっても）、撮像手段によって撮像された画像に基づいて第１の位置情報と三次元モデルとの対応付けを行うことができるので、第１の位置情報と三次元モデルとの対応付けの精度を向上させることができ、手術部位の各個所における変位及び変形の推測精度を向上させることができる。なお撮像手段は、その撮像範囲が手術部位の表面上の各個所の３次元位置が検出される範囲（例えば請求項２に記載した走査装置によるレーザ光の走査範囲）と一致するように手術顕微鏡に取り付けられていることが望ましい。これにより、撮像手段によって撮像された画像と第１の位置情報との対応付けを行う必要が無くなり、第１の位置情報と三次元モデルとの対応付けをより容易に行うことができる。

また、請求項１記載の発明において、第２取得手段は、例えば請求項４に記載したように、手術部位へ超音波を送波すると共に手術部位の非露出部分の各個所で反射された超音波を受波するプローブと、該プローブで受波された超音波を断層画像へ変換する変換手段を含んで構成されており、プローブの３次元位置に基づき、変換手段によって得られた超音波断層画像上の各個所の３次元位置を求めることで、第２の位置情報を取得するように構成することができる。

更に、請求項４記載の発明において、プローブの３次元位置を検出するための手段を設けてもよいが、第１取得手段は、手術顕微鏡に取り付けられ手術部位の表面をレーザ光で走査する走査装置と、手術顕微鏡に取り付けられ手術部位の表面で反射されたレーザ光を受光することで手術部位の表面のうちレーザ光が照射された個所の３次元位置を検出する検出手段と、を含んで構成されている場合、例えば請求項５に記載したように、第２取得手段のプローブの３次元位置の検出も行うように第１取得手段を構成すると共に、第２取得手段を、第１取得手段によって検出されたプローブの３次元位置に基づいて、超音波断層画像上の各個所の３次元位置を求めるように構成することが好ましい。これにより、プローブの３次元位置を検出するための手段を新たに設ける必要がなくなるので、装置構成をより簡素化することができる。

また、請求項１記載の発明において、補正手段による複数の高精細断層画像の補正には任意の補正方法を適用可能であるが、例えば請求項７に記載したように、第１取得手段によって取得された第１の位置情報及び第２取得手段によって取得された第２の位置情報に基づき、手術部位の三次元モデルのうち第１の位置情報又は第２の位置情報によって３次元位置が既知の箇所に対応する部分の位置を修正した後に、手術部位の三次元モデルのうち３次元位置が未知の箇所に対応する部分における変位及び変形を有限要素法又はそれに類似の方法により推測し、該推測結果に基づき手術部位の三次元モデルを再修正し、再修正後の手術部位の三次元モデルに基づいて複数の高精細断層画像の補正を行うことができる。

また、請求項１記載の発明において、複数の高精細断層画像の撮影は手術前に行われ、第１及び第２の位置情報の取得（３次元位置の検出）は手術中に行われるので、第１及び第２の位置情報に基づく高精細断層画像の補正に際しては、高精細断層画像（三次元モデル）と第１及び第２の位置情報との位置合わせを行う必要がある。この位置合わせは、具体的には、例えば請求項８に記載したように、手術前の複数の高精細断層画像の撮影時には手術部位の周辺に３個以上の第１のマークを付与すると共に、手術時（例えば手術部位が露出した以降）には、手術部位の近傍に３個以上の第２のマークを付与し、第１取得手段は、第１のマーク及び第２のマークの３次元位置を表すマーク位置情報も取得し、補正手段を、第１取得手段によって取得されたマーク位置情報及び高精細断層画像上の第１のマークに相当する画像部の位置に基づいて、高精細断層画像と第１の位置情報及び第２の位置情報との位置合わせを行うように構成することで実現できる。

例えば第１のマークを患者の皮膚上に付与する場合、第１のマークは手術中に位置が変化する可能性があるが、請求項８記載の発明のように手術時に第２のマークを付与する場合、この第２のマークを手術中に位置が変化しない場所（例えば脳の手術であれば、患者の頭皮を切開することで露出する頭蓋骨上）に付与することができる。また、第１取得手段によって取得されたマーク位置情報及び高精細断層画像上の第１のマークに相当する画像部の位置に基づいて、高精細断層画像と第１の位置情報及び第２の位置情報との位置合わせを一旦行った後の手術中は、第２のマークの３次元位置を表すマーク位置情報を取得するのみで、取得した第２のマークのマーク位置情報と、位置合わせ時の第１のマークと第２のマークとの位置関係に基づいて、高精細断層画像と第１の位置情報及び第２の位置情報との位置合わせを行うことができるので、手術中に第１及び第２の位置情報を取得するための３次元位置の検出（測定）範囲に、第１のマークが付与されている位置を含める必要が無くなる。従って、３次元位置の検出（測定）範囲を狭くできることで、第１及び第２の位置情報の精度を向上させることができると共に、手術中に位置が変化しない場所に第２のマークを付与できることで、手術中の高精細断層画像と第１の位置情報及び第２の位置情報との位置合わせの精度、ひいては手術部位の各個所における変位及び変形の推測精度を向上させることができる。

また、請求項１記載の発明において、例えば請求項９に記載したように、第１取得手段による第１の位置情報の取得、第２取得手段による第２の位置情報の取得、補正手段による複数の高精細断層画像の補正、及び、表示手段による高精細断層画像の表示が、手術中に繰り返し行われるように構成することが好ましい。手術部位は手術中に変位及び変形を繰り返すが、上記のように、第１及び第２の位置情報の取得、複数の高精細断層画像の補正・表示を手術中に繰り返し行うことで、表示手段に表示される高精細断層画像が繰り返し更新されることになり、手術中の手術部位の最新の状態を精度良く表す画像を手術者等に提示することができる。

請求項１０記載の発明に係る手術支援方法は、手術前に撮影した手術部位の複数の高精細断層画像に基づいて前記手術部位の三次元モデルを生成する第１のステップ、手術中に手術部位の表面を光学的に測定し、前記手術部位の表面の各個所の３次元位置を表す第１の位置情報を取得すると共に、手術中に前記手術部位の非露出部分を超音波により測定し、前記手術部位の非露出部分の各個所の３次元位置を表す第２の位置情報を取得する第２のステップ、前記第２のステップで取得した前記第１の位置情報及び前記第２の位置情報に基づき、前記第１のステップで生成した三次元モデルを用いて前記手術部位の各個所における変位及び変形を推測し、推測した前記手術部位の各個所における変位及び変形に応じて、手術前に撮影した前記手術部位の複数の高精細断層画像を補正する第３のステップ、及び、前記第３のステップで補正した高精細断層画像を表示手段に表示させる第４のステップを含んでいるので、請求項１記載の発明と同様に、手術中の手術部位の状態を精度良く表す画像を提示することを簡易な装置構成で実現できる。

請求項１１記載の発明に係る手術支援プログラムは、手術中に手術部位の表面を光学的に測定させ、前記手術部位の表面の各個所の３次元位置を表す第１の位置情報を取得する第１取得手段、手術中に前記手術部位の非露出部分を超音波により測定させ、前記手術部位の非露出部分の各個所の３次元位置を表す第２の位置情報を取得する第２取得手段、前記第１取得手段によって取得された前記第１の位置情報及び前記第２取得手段によって取得された前記第２の位置情報に基づき、手術前に撮影した手術部位の複数の高精細断層画像に基づいて生成された三次元モデルを用いて前記手術部位の各個所における変位及び変形を推測し、推測した前記手術部位の各個所における変位及び変形に応じて、手術前に撮影した前記手術部位の複数の高精細断層画像を補正する補正手段、及び、前記補正手段によって補正された高精細断層画像を表示手段に表示させる表示制御手段として機能させる。

請求項１１記載の発明に係る手術支援プログラムは、表示手段が接続されたコンピュータを、上記の第１取得手段、第２取得手段、補正手段及び表示制御手段として機能させるためのプログラムであるので、前記コンピュータが請求項１１記載の発明に係る手術支援プログラムを実行することにより、前記コンピュータが請求項１に記載の手術支援装置として機能することになり、請求項１記載の発明と同様に、手術中の手術部位の状態を精度良く表す画像を提示することを簡易な構成で実現できる。

以上説明したように本発明は、手術中に手術部位の表面を光学的に測定して手術部位の表面の各個所の３次元位置を表す第１の位置情報を取得すると共に、手術中に手術部位の非露出部分を超音波により測定して手術部位の非露出部分の各個所の３次元位置を表す第２の位置情報を取得し、第１の位置情報及び第２の位置情報に基づき、手術前に撮影した手術部位の複数の高精細断層画像に基づいて生成された手術部位の三次元モデルを用いて手術部位の各個所における変位及び変形を推測し複数の高精細断層画像を補正し、補正した高精細断層画像を表示手段に表示させるので、手術中の手術部位の状態を精度良く表す画像を提示することを簡易な構成で実現できる、という優れた効果を有する。

以下、図面を参照して本発明の実施形態の一例を詳細に説明する。なお、以下では本発明を、手術部位としての脳の内部に生じている脳腫瘍を摘出する手術の支援に適用した場合を例に説明するが、本発明はこれに限定されるものではない。

図１には本実施形態に係る手術支援装置１０が示されている。手術支援装置１０はパーソナル・コンピュータ（ＰＣ）等から成るコンピュータ１２を備えている。コンピュータ１２はＣＰＵ１２Ａ、ＲＯＭ１２Ｂ、ＲＡＭ１２Ｃ及び入出力ポート１２Ｄを備えており、これらはバス１２Ｅを介して互いに接続されている。また、入出力ポート１２Ｄには、ユーザが任意の情報を入力したり各種の指示を与えるためのキーボード１４及びマウス１６、ＬＣＤ又はＣＲＴから成り任意の情報を表示可能なディスプレイ１８、ハードディスクドライブ（ＨＤＤ）２０及びＣＤ−ＲＯＭドライブ２２が各々接続されている。なお、ディスプレイ１８は本発明に係る表示手段に対応している。

コンピュータ１２のＨＤＤ２０には、後述する３次元脳モデルの生成を行うための３次元モデル生成プログラム、及び、後述するＭＲＩ画像表示処理を行うためのＭＲＩ画像表示プログラムが予めインストールされている。本実施形態において、コンピュータ１２は請求項１１に記載のコンピュータに、３次元モデル生成プログラム及びＭＲＩ画像表示プログラムは請求項１１記載の発明に係る手術支援プログラムに対応しており、コンピュータ１２は３次元モデル生成プログラム及びＭＲＩ画像表示プログラムを実行することで、請求項１に記載の手術支援装置として機能することが可能となる。

３次元モデル生成プログラム及びＭＲＩ画像表示プログラムをコンピュータ１２にインストール（移入）するには幾つかの方法があるが、例えば３次元モデル生成プログラム及びＭＲＩ画像表示プログラムをセットアッププログラムと共にＣＤ−ＲＯＭに記録しておき、このＣＤ−ＲＯＭをコンピュータ１２のＣＤ−ＲＯＭドライブ２２にセットし、ＣＰＵ１２Ａに対して前記セットアッププログラムの実行を指示すれば、ＣＤ−ＲＯＭから３次元モデル生成プログラム及びＭＲＩ画像表示プログラムが順に読み出されてＨＤＤ２０に順に書き込まれ、必要に応じて各種の設定が行われることで、３次元モデル生成プログラム及びＭＲＩ画像表示プログラムのインストールが行われる。

また、コンピュータ１２の入出力ポート１２Ｄには、核磁気共鳴コンピュータ断層撮影法により任意の方向についての生体の高精細な断層画像（ＭＲＩ画像）を撮影可能なＭＲＩ撮影装置２４、手術顕微鏡２６に取り付けられた３次元形状測定装置３０及びビデオカメラ３２、生体の超音波断層画像を撮影可能な超音波断層撮影装置３４が各々接続されている。ＭＲＩ撮影装置２４は、本発明に係る「手術部位の複数の高精細断層画像」を手術前に撮影する撮影装置であり、手術を行う手術室とは別に設けられたＭＲＩ撮影室に設置されている。なお、コンピュータ１２が後述するＭＲＩ画像表示処理を実行するにあたり、ＭＲＩ撮影装置２４からは手術前にＭＲＩ撮影装置２４によって撮影されたＭＲＩ画像のデータを取得できていればよいので、コンピュータ１２はＭＲＩ撮影装置２４と接続されていなくてもよく、ＭＲＩ画像のデータは例えばＣＤ−ＲやＣＤ−ＲＷ、ＭＯ、ＺＩＰ、ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ等の各種記録媒体の何れかを介してＭＲＩ撮影装置２４からコンピュータ１２へ送られるようにしてもよい。

一方、手術顕微鏡２６は図２に示す顕微鏡部３８を含んで構成されており、この顕微鏡部３８には、顕微鏡部３８の下方側（図２（Ａ）における下方側）へ向けられた対物レンズ４０と、顕微鏡部３８の側面から斜め上方へ突出するように配置された接眼レンズ４２が取り付けられている。なお、対物レンズ４０は、詳しくは複数枚のレンズから成るズームレンズ（焦点距離可変レンズ）である。また図示は省略するが、対物レンズ４０と接眼レンズ４２の間には、対物レンズ４０に入射された光を接眼レンズ４２へ導くプリズム等の光学部品が配置されている。これにより、接眼レンズ４２を両眼で覗いた手術者に、対物レンズ４０及び接眼レンズ４２によって形成された被写体の光学像が視認（立体視）される。なお、対物レンズ４０と接眼レンズ４２の間にはフォーカス機構が設けられており、被写体の光学像のフォーカス及びズーム倍率は、手術者がフットスイッチ又は顕微鏡部３８の鏡筒付近に取付けられたスイッチを操作することで調節可能とされている。

手術顕微鏡２６は、手術室内の所定位置に固定されるベース部を備え、このベース部には、複数本のロッドの端部同士が回動可能に連結されて成るアーム４４の一端部が回動可能に連結されており、顕微鏡部３８はアーム４４の他端部（先端部）に回動可能に連結されている（図２にはアーム４４の一端部のみ図示）。顕微鏡部３８の側面には操作用の把持部４６が取り付けられており、手術者が把持部４６を把持して顕微鏡部３８を動かすことにより、アーム４４の各連結部（関節）を回動させて顕微鏡部３８を所望の位置へ移動させたり所望の方向へ向けることができ、手術者が所望の範囲を光学像として視認することが可能とされている。

また、顕微鏡部３８の底面には、３次元形状測定装置３０とビデオカメラ３２が一体化されて成る測定／撮像ユニット４８が取付けられている。測定／撮像ユニット４８は筐体が箱型とされ、ビデオカメラ３２は顕微鏡部３８の下方側を撮像可能に測定／撮像ユニット４８の筐体に取付けられている。また、測定／撮像ユニット４８の筐体の底面には矩形状の開口が設けられ、この開口は光透過性のカバー５０によって閉止されており、３次元形状測定装置３０は、測定／撮像ユニット４８の筐体内部のカバー５０（開口）に対応する位置に取付けられている。

図３に示すように、３次元形状測定装置３０は、一対のレール５４の間に掛け渡された可動ベース５６を備えている。可動ベース５６は、レール５４と平行に延設されモータ５８によって回転されるボールネジ６０が螺合しており、ボールネジ６０の回転に伴いレール５４に沿って摺動移動される。また、可動ベース５６にはレーザ光源を含んで構成された発光部６２が取付けられており、発光部６２のレーザ光（送出レーザ光）射出側には、可動ベース５６に取付けられたミラー６４、モータ７２の回転軸に取付けられモータ７２の駆動に伴って向きが変更されるガルバノメータミラー６６が順に配置されている。発光部６２から射出された送出レーザ光は、ミラー６４、ガルバノメータミラー６６で反射されることで、カバー５０を透過して測定／撮像ユニット４８の筐体外へ射出される。

また、測定／撮像ユニット４８の筐体外へ射出された送出レーザ光は、被照射体（例えば手術部位としての脳の表面）で反射され、戻りレーザ光として、カバー５０を透過してミラー６７に入射される。ミラー６７は、ガルバノメータミラー６６と同一の向きでモータ７２の回転軸に取付けられ、モータ７２の駆動に伴って向きが変更されるように構成されている。ミラー６７の戻りレーザ光射出側にはミラー６８、レンズ６９、多数個の光電変換素子が一列に配列されて成るラインセンサ７０が順に配置されており、ミラー６７に入射された戻りレーザ光はミラー６７、６８で反射され、レンズ６９を透過することで、ラインセンサ７０で受光される。ラインセンサ７０からの出力信号は増幅器やＡ／Ｄ変換器を介して３次元形状測定装置３０のコントローラに入力される（何れも図示省略）。またコントローラには、可動ベース５６の位置を検出する位置センサと、ガルバノメータミラー６６（及びミラー６７）の向きを検出する角度センサも接続されている。

コントローラは、ラインセンサ７０から増幅器・Ａ／Ｄ変換器を経て入力された受光データに基づいて、ラインセンサ７０の何れの光電変換素子でレーザ光が受光されたかを判断し、ラインセンサ７０上でのレーザ光を受光した光電変換素子の位置と、センサによって検出された可動ベース５６の位置及びガルバノメータミラー６６の向きに基づいて、被照射体上のレーザ光照射位置の３次元座標（詳しくは、測定／撮像ユニット４８の筐体の位置を基準として設定された３次元座標系（筐体座標系と称する）における３次元座標）を三角測量法により検出（演算）する。また、コントローラにはモータ７２、５８が各々接続されており、モータ７２を駆動してガルバノメータミラー６６（及びミラー６７）の向きを変化させることで、被照射体上のレーザ光照射位置をモータ７２の回転軸の軸線と直交する方向に沿って移動させる（主走査）と共に、モータ５８を移動して可動ベース５６を移動させることで、被照射体上のレーザ光照射位置をレール５４と平行な方向に沿って移動させる（副走査）。

これにより、被照射体の表面形状（被照射体の表面の各個所の３次元座標）が、その全面に亘り、３次元形状測定装置３０によって測定されることになる。３次元形状測定装置３０はコンピュータ１２から指示されると被照射体の表面形状の測定を行い、測定によって得られた被照射体の表面の各個所の３次元座標を表すデータ（以下、このデータを表面測定データと称する）をコンピュータ１２へ出力する。なお、表面測定データは本発明に係る第１の位置情報に対応しており、レール５４、可動ベース５６、モータ５８、ボールネジ６０、発光部６２、ミラー６４、ガルバノメータミラー６６及びモータ７２は請求項２に記載の走査装置に、ミラー６７、６８、レンズ６９、ラインセンサ７０及びモータ７２は請求項２に記載の検出手段に各々対応している。またビデオカメラ３２は、３次元形状測定装置３０による測定範囲と同一の範囲を撮像するように、位置及び向きが調節されている。

また図１に示すように、超音波断層撮影装置３４には、超音波を送波すると共に任意の物体によって反射された超音波を受波するプローブ３６が接続されており、超音波断層撮影装置３４は、プローブ３６で超音波が受波されることでプローブ３６から入力される信号を超音波断層画像へ変換し、コンピュータ１２へ出力する。またプローブ３６には、プローブ３６の位置及び向きを検出するために、光反射率の高い材料から成るマーク３６Ａが先端部及び後端部に貼付されている。後述するように、超音波断層撮影装置３４が超音波断層画像の撮影を行っているときには、プローブ３６に貼付されたマーク３６Ａの３次元座標が３次元形状測定装置３０によって測定される。

次に本実施形態の作用を説明する。本実施形態において、脳腫瘍を摘出する手術を行うにあたっては、まずＭＲＩ撮影室で患者（手術対象者）の頭部のＭＲＩ画像がＭＲＩ撮影装置２４によって事前に撮影される。ＭＲＩ画像の撮影時には、図４（Ｂ）に示すように、患者の頭部に対して事前に決定された皮膚切開線（頭皮を切開する位置を表す線）に基づき、患者の頭部のうち手術時に切開される範囲の周辺に相当する位置に、ＭＲＩ画像に写る材質から成る術前マーク８０が３個又はそれ以上の数貼付される。この術前マーク８０は請求項８に記載の第１のマークに対応しており、例えば直径が５mm程度の大きさの白色で球状のマークを用いることができる。なお、図４（Ｂ）に示す開頭範囲は手術時に頭蓋骨を切除する範囲を意味している。

そして、例として図４（Ａ）に示すように、患者の頭部に対して一定間隔（例えば１ｍｍ程度）で設定した複数の断面の各々について、ＭＲＩ撮影装置２４によってＭＲＩ画像が撮影される。これにより、設定した各断面を高精細に可視化した複数のＭＲＩ画像（手術部位の複数の高精細断層画像）が得られる。なお、撮影によって得られた複数のＭＲＩ画像の一部には術前マーク８０も写し込まれている。また、患者の頭部に貼付された術前マーク８０は、手術時まで貼付位置を変えずに残される。また、ＭＲＩ撮影装置２４によって撮影された複数のＭＲＩ画像は本発明に係る複数の高精細断層画像（請求項６に記載のＭＲＩ画像）に対応している。

上記の撮影によって得られた複数のＭＲＩ画像のデータは、ＭＲＩ撮影装置２４からコンピュータ１２に入力され、ＨＤＤ２０に記憶される。そして、コンピュータ１２によって患者の脳の３次元モデル（３次元脳モデル）の生成が行われる。具体的には、まず入力されたデータが表す複数のＭＲＩ画像のうち３個の術前マーク８０の少なくとも１つが写し込まれているＭＲＩ画像を全て選択し、選択したＭＲＩ画像上での３個の術前マーク８０の位置を基準とする（例えば３個の術前マーク８０の何れか１つを原点とする）３次元座標系（以下、ＭＲＩ座標系と称する）を設定する。また、複数のＭＲＩ画像から患者の脳に相当する画像領域を各々抽出し、複数のＭＲＩ画像から各々抽出した画像領域に対し、脳の表面又は内部に位置し、ＭＲＩ画像や表面測定データ、超音波断層画像上での判別が容易な特徴点（脳溝や脳回、動脈、静脈等の脳の特徴部分に対応している点、脳腫瘍と正常部との境界に相当する点も含む）を多数設定し、ＭＲＩ座標系での各特徴点の３次元座標を求めると共に、各特徴点のＭＲＩ座標系での３次元座標と、各特徴点のＭＲＩ画像上での位置をＨＤＤ２０等に記憶する。

続いて、設定した多数の特徴点のうち、脳の表面に位置している特徴点（節点）を辺で結び、辺で囲まれた部分を平面とみなすことで、脳の外縁を表す立体モデルを生成すると共に、脳の内部に位置している特徴点（節点）も辺で結び、辺で囲まれた部分を平面とみなすことで、脳の外縁を表す立体モデルを多数個の立体要素へ分割する。これにより、図４（Ｃ）にも示すように、患者の頭部の複数のＭＲＩ画像から、患者の脳を多数個の立体要素の集合として表す脳の３次元モデルを生成することができる。また、コンピュータ１２は、ＭＲＩ座標系での各特徴点（各節点）の３次元座標に基づいて３次元脳モデルにおける節点の疎密を調べ、３次元脳モデル中に節点の間隔が大きい（密度が低い）領域が存在していた場合には、該領域に対して節点を追加することで、３次元脳モデルを構成する各立体要素のサイズを均一化する。そしてコンピュータ１２は、生成した３次元脳モデルのデータをＨＤＤ２０に記憶させる。

上述した３次元脳モデルの生成は請求項１０に記載の第１のステップに対応している。なお、上記の３次元脳モデルの生成をコンピュータ１２とは別のコンピュータで行い、生成された３次元脳モデルのデータをコンピュータ１２へ転送するようにしてもよい。

脳腫瘍を摘出する手術は、上述したＭＲＩ画像の撮影及び３次元脳モデルの生成が完了した後に行われるが、この手術の開始時に手術者によりコンピュータ１２に対してＭＲＩ画像表示プログラムの起動が指示されることで、手術中にはコンピュータ１２によってＭＲＩ画像表示処理が実行される。以下、このＭＲＩ画像表示処理について、図５のフローチャートを参照して説明する。

ステップ１００では患者の開頭が完了したか否か判定し、判定が肯定される迄ステップ１００を繰り返す。脳腫瘍摘出手術では、まず患者の頭皮を切開して頭蓋骨を露出させた後に、露出した頭蓋骨のうち事前に決定された開頭範囲に相当する部分を切除することで、手術部位としての脳を露出させる開頭手術が行われる。開頭手術が完了し、開頭手術が完了したことを表す情報がキーボード１４を介して手術者によって入力されると、ステップ１００の判定が肯定されてステップ１０２へ移行し、ディスプレイ１８にメッセージを表示させる等により、手術者に対して術中マークの付与を要請する。そして、次のステップ１０４で術中マークの付与が完了したか否か判定し、判定が肯定される迄ステップ１０４を繰り返す。

術中マークの付与が要請されると、手術者は、例として図４（Ｂ）にも示すように、開頭手術によって頭蓋骨の一部が切除されることで形成された骨窓の近傍の頭蓋骨上に、術中マーク８２を３個又はそれ以上の数付与する。なお、術中マーク８２は請求項８に記載の第２のマークに対応しており、例えば前述の術前マーク８０と同様に、直径が５mm程度の大きさの白色で球状のマークを用いることができる。術中マーク８２の付与が完了すると、手術者は、開頭手術の間は開頭手術を阻害しない位置に配置していた手術顕微鏡２６の顕微鏡部３８を、開頭手術によって露出した脳が、手術顕微鏡２６の対物レンズ４０及び接眼レンズ４２が光学像を形成する視野範囲内に入る位置へ移動させた後に（この顕微鏡部３８の移動に伴い、露出した脳や術中マーク８２、術前マーク８０が３次元形状測定装置３０による測定範囲内及びビデオカメラ３２による撮像範囲内に入ることになる）、術中マーク８２の付与が完了したことを表す情報をキーボード１４を介して入力する。

これによりステップ１０４の判定が肯定され、次のステップ１０６以降で、筐体座標系における座標値をＭＲＩ座標系における座標値に変換するための座標変換式を求めるキャリブレーション処理が行われる。すなわち、まずステップ１０６では現在の状態が「測定中」であることを表すメッセージをディスプレイ１８に表示させることで、手術操作を中断させる。またステップ１０８では、３次元形状測定装置３０に対して表面形状の測定を指示すると共に、ビデオカメラ３２に対して脳の表面の撮像を指示する。これにより、３次元形状測定装置３０では、脳の表面を含む患者の頭部へ向けて送出レーザ光を射出し、患者の頭部で反射された戻りレーザ光のラインセンサ７０上での受光位置に基づいてレーザ光の照射位置の３次元座標を検出（演算）することを、ガルバノメータミラー６６（及びミラー６７）の向きを変化させると共に可動ベース５６を移動させながら繰り返すことで、開頭手術を経た患者の頭部の表面形状（脳の表面を含む頭部の各個所の３次元座標）の測定を行う。また、ビデオカメラ３２は脳の表面を各々撮像する。上記の３次元形状測定装置３０による表面形状の測定及びビデオカメラ３２による撮像は２０秒程度の時間で完了する。

ステップ１１０では、３次元形状測定装置３０が開頭手術を経た患者の頭部の表面形状の測定を行うことで得られた表面測定データを３次元形状測定装置３０から取り込むと共に、ビデオカメラ３２が撮像を行うことで得られた画像データをビデオカメラ３２から取り込む。ステップ１１２では、３次元形状測定装置３０から取り込んだ表面測定データから、個々の術前マーク８０及び個々の術中マーク８２に対応するデータを抽出し（術前マーク８０及び術中マーク８２は３次元形状測定装置３０によって球状の物体として検出される）、抽出したデータに基づいて個々の術前マーク８０及び個々の術中マーク８２の中心の３次元座標を演算によって求める。

なお、術前マーク８０及び術中マーク８２は、ビデオカメラ３２による撮像によって得られた撮像画像中では円形の画像部として存在しているので、表面測定データから抽出したデータが表す個々の術前マーク８０や個々の術中マーク８２に対応する球状の物体の中心と、撮像画像中に存在している個々の術前マーク８０や個々の術中マーク８２に対応する円形の画像部の中心を重ね合わせることで、表面測定データと撮像画像を重ね合わせることができる。また、開頭手術前（術中マーク８２を付与する前）に個々の術前マーク８０の３次元座標を求めておき、ステップ１１２で演算した個々の術前マーク８０の３次元座標が表す個々の術前マーク８０の位置関係（術前マーク８０の間隔）を開頭手術前に求めた個々の術前マーク８０の位置関係と比較することで、開頭手術に伴って術前マーク８０の位置が変化していないか否かをチェックし、必要に応じて術前マーク８０の位置修正・術前マーク８０及び術中マーク８２の３次元座標の再導出を行うようにしてもよい。

ステップ１１２で演算した個々の術前マーク８０及び個々の術中マーク８２の３次元座標（この３次元座標は請求項８に記載のマーク位置情報に対応している）は筐体座標系における座標値であるが、個々の術前マーク８０のＭＲＩ座標系における３次元座標値は既知であるので、次のステップ１１４では、ステップ１１２で演算した個々の術前マーク８０及び個々の術中マーク８２の３次元座標が表す術前マーク群と術中マーク群の位置関係、個々の術前マーク８０のＭＲＩ座標系における座標値に基づき、筐体座標系における３次元座標値を、術中マーク８２の位置を基準としてＭＲＩ座標系における３次元座標値に変換する座標変換式を導出し、導出した座標変換式をＨＤＤ２０に記憶させる。これによりキャリブレーション処理が完了する。なお、上記のステップ１１４は、後述するステップ１３０，１４０と共に請求項８に記載の補正手段に対応している。

本実施形態では術前マーク８０を患者の頭部の頭皮上に付与しているので、術前マーク８０の位置は手術の進行に伴って変化する可能性があるが、術中マーク８２は骨窓の近傍の頭蓋骨上に付与しているので、術中マーク８２の位置が手術中に変化することはない。そして本実施形態では、上記のように筐体座標系における３次元座標値を、術中マーク８２の位置を基準としてＭＲＩ座標系における３次元座標値に変換する座標変換式を導出しているので、上記の座標変換式を用いることで、手術の進行に伴って術前マーク８０の位置が変化したとしても影響を受けることなく、筐体座標系における３次元座標値を、術中マーク８２の位置を基準としてＭＲＩ座標系（当初の術前マーク８０の位置を基準として設定したＭＲＩ座標系）における３次元座標値に精度良く変換することができ、３次元脳モデル（及びＭＲＩ画像）と第１の位置情報（表面測定データ）及び第２の位置情報（非露出部分データ：詳細は後述）との位置合わせを精度良く行うことができる。

また、筐体座標系における３次元座標値を、術中マーク８２の位置を基準としてＭＲＩ座標系における３次元座標値に変換できることに伴い、３次元形状測定装置３０による以降の測定及びビデオカメラ３２による以降の撮像において、開頭範囲（骨窓）に対して比較的離れた位置に付与されている術前マーク８０を、３次元形状測定装置３０による測定範囲内及びビデオカメラ３２による撮像範囲内に入れる必要が無くなる。これにより、顕微鏡部３８（３次元形状測定装置３０及びビデオカメラ３２）を手術部位としての脳により接近させた状態で、３次元形状測定装置３０による測定及びビデオカメラ３２による撮像を行うことができるので、３次元形状測定装置３０による測定及びビデオカメラ３２による撮像の精度も向上させることができる。

次のステップ１１６では、ディスプレイ１８に表示していた「測定中」のメッセージを消去すると共に、手術前に撮影されたＭＲＩ画像のデータをＨＤＤ２０から読み込み、読み込んだデータに基づいてＭＲＩ画像（患者の脳の高精細な断層画像）をディスプレイ１８に表示させる。ディスプレイ１８に表示された上記のＭＲＩ画像を参照することで、手術者は、開頭手術完了直後の段階での摘出対象の脳腫瘍の位置等を正確に判断することができる。なお、ＭＲＩ画像の表示専用の高精細なディスプレイを設け、この高精細ディスプレイにＭＲＩ画像を表示させるようにしてもよい。また、ディスプレイ１８に単にＭＲＩ画像を表示させるのみならず、手術顕微鏡２６の対物レンズ４０及び接眼レンズ４２が光学像を形成する視野範囲の中心が、ＭＲＩ画像上の何れの位置に対応しているかを演算し、ＭＲＩ画像上の演算した位置に、例えば明滅するマーク等を表示させることで、手術者が注目している個所をＭＲＩ画像上に明示させるようにしてもよい。

なお、上記のように開頭手術完了直後の段階では、手術前に撮影されたＭＲＩ画像（未補正のＭＲＩ画像）を表示させることに限られるものではなく、開頭手術により脳に変位や変形が生じている可能性を考慮し、開頭手術完了直後の段階においても、後述するステップ１２２〜ステップ１５０の処理を経て補正したＭＲＩ画像を表示させるようにしてもよいし、開頭手術完了直後の段階において、未補正のＭＲＩ画像を表示させるか補正したＭＲＩ画像を表示させるかを手術者が選択可能としてもよい。

次のステップ１１８では、ディスプレイ１８に表示しているＭＲＩ画像を更新すべきタイミングが到来したか否か判定する。この判定は、ＭＲＩ画像の表示を開始してから（或いはＭＲＩ画像の更新を前回行ってから）一定時間が経過したか否かを判断することで行ってもよいし、手術者がＭＲＩ画像の更新を指示したか否かを判断することで行ってもよい。ステップ１１８の判定が否定された場合はステップ１２０へ移行し、手術が終了したか否か判定する。この判定は、手術終了を意味する情報がキーボード１４を介して手術者により入力されたか否かを判断することで行うことができる。この判定も否定された場合はステップ１１８に戻り、何れかの判定が肯定される迄ステップ１１８，１２０を繰り返す。

上記のように「測定中」のメッセージに代えてＭＲＩ画像がディスプレイ１８に表示されると、手術者は、脳腫瘍摘出手術における開頭手術以降の手術操作を開始するが、この手術操作には例えば脳をヘラで押したり、脳の一部を切開又は切除する等の操作が含まれている。そして、脳に対してこのような操作を加えると脳の各部に変位や変形が生じるので、実際の脳の状態（各部の位置や形状）がディスプレイ１８に表示しているＭＲＩ画像が表す脳の状態と相違することになり、ディスプレイ１８に表示されているＭＲＩ画像を参照しても、手術者が摘出対象の脳腫瘍の位置や範囲等を精度良く判断することが困難となってくる。このため、ＭＲＩ画像表示処理では、ＭＲＩ画像の表示を開始してから（或いはＭＲＩ画像の更新を前回行ってから）一定時間が経過するか、又は、ＭＲＩ画像の更新を指示する情報がキーボード１４を介して手術者により入力されると、ステップ１２０の判定が肯定されてステップ１２２へ移行し、ステップ１２２以降でディスプレイ１８に表示しているＭＲＩ画像を補正・更新する処理を行う。

すなわち、まずステップ１２２では現在の状態が「測定中」であることを表すメッセージをディスプレイ１８に表示させることで、手術操作を中断させる。またステップ１２４では、３次元形状測定装置３０に対して表面形状の測定を指示すると共に、ビデオカメラ３２に対して脳の表面の撮像を指示する。これにより、３次元形状測定装置３０では、脳の表面を含む患者の頭部へ向けて送出レーザ光を射出し、患者の頭部で反射された戻りレーザ光のラインセンサ７０上での受光位置に基づいてレーザ光の照射位置の３次元座標を検出（演算）することを、ガルバノメータミラー６６（及びミラー６７）の向きを変化させると共に可動ベース５６を移動させながら繰り返すことで、開頭手術を経た患者の頭部の表面形状（頭部の各個所の３次元座標）の測定を行う。また、ビデオカメラ３２は脳の表面を各々撮像する。上記の３次元形状測定装置３０による表面形状の測定及びビデオカメラ３２による撮像は２０秒程度の時間で完了する。

なお、脳腫瘍摘出手術等では、手術者が手術顕微鏡２６を把持部４６を把持して顕微鏡部３８を動かし、手術操作を加える部分を手術顕微鏡２６により視認しながら行われるが、３次元形状測定装置３０及びビデオカメラ３２はこの手術顕微鏡２６に取付けられているので、３次元形状測定装置３０による表面形状の測定やビデオカメラ３２による撮像に際し、表面形状の測定範囲や撮像範囲を改めて調整する必要はなく、３次元形状測定装置３０は単に筐体座標系における一定範囲について表面形状の測定を行うのみで脳の表面や術中マーク８２を含む測定範囲内における表面形状の測定を行うことができ、ビデオカメラ３２についても単に一定の撮像範囲を撮像するのみで脳の表面や術中マーク８２を含む撮像範囲内を撮像することができる。

ステップ１２６では、３次元形状測定装置３０による測定によって得られた表面測定データを３次元形状測定装置３０から取り込むと共に、ビデオカメラ３２が撮像を行うことで得られた画像データをビデオカメラ３２から取り込む。ステップ１２８では、３次元形状測定装置３０から取り込んだ表面測定データから、個々の術中マーク８２に相当するデータを各々抽出し、抽出したデータに基づいて個々の術中マーク８２の中心の３次元座標を演算によって各々求める。ステップ１３０では、先のステップ１１４で導出した座標変換式をＨＤＤ２０から読み出し、読み出した座標変換式を用いて、表面測定データが表す脳表面の各点の３次元座標（筐体座標系における座標値）を、ステップ１２８で求めた３次元座標が表す個々の術中マーク８２の位置を基準としてＭＲＩ座標系における３次元座標値へ各々変換し、座標変換後の表面測定データをＨＤＤ２０に記憶させる。これにより、第１の位置情報（表面測定データ）と３次元脳モデル（及びＭＲＩ画像）との位置合わせが完了する。

なお、上述したステップ１２４〜ステップ１３０は、実際に測定・撮像を行う３次元形状測定装置３０、ビデオカメラ３２と共に、請求項１及び請求項１１に記載の第１取得手段（詳しくは請求項２，３に記載の第１取得手段）に対応している。

ステップ１３２では、超音波断層画像の撮影を手術者に要請するメッセージをディスプレイ１８に表示させることで、超音波断層撮影装置３４を用いて脳の超音波断層画像を撮影させると共に、３次元形状測定装置３０に対して表面形状の測定を指示する。これにより、手術者はプローブ３６を把持し、プローブ３６の先端を患者の脳へ向けた状態で、超音波断層撮影装置３４に対して超音波断層画像の撮影を指示する。

超音波断層画像の撮影が指示されると、超音波断層撮影装置３４はプローブ３６の先端から超音波を送波させ、任意の物体で反射されてプローブ３６で受波された超音波に応じてプローブ３６から出力される電気信号をデジタルデータに変換してメモリ等に記憶することを、プローブ３６の先端からの超音波の送波方向を一定方向に沿って変化させながら繰り返した後に、メモリ等に記憶したデータを並べ替えることで、前記一定方向と平行な断面についての脳の超音波断層画像を表すデータを生成する。また手術者は、超音波断層撮影装置３４に対して超音波断層画像の撮影を指示することを、前記一定方向と略直交する方向へ略一定距離ずつプローブ３６を移動させながら繰り返す。

これにより、患者の脳に対して略一定距離ずつ隔てられた複数の断面に対応する複数の超音波断層画像が各々撮影される。なお、複数の超音波断層画像の撮影は３分程度の時間で完了する。また、上記のように各断面に対応する超音波断層画像の撮影が行われている間、３次元形状測定装置３０によって表面形状の測定が継続されることで、プローブ３６の位置（プローブ３６に貼付されているマーク３６Ａの３次元座標）及び術中マーク８２の位置が繰り返し測定される。

ステップ１３４では、超音波断層撮影装置３４によって撮影された複数の超音波断層画像のデータを超音波断層撮影装置３４から各々取り込むと共に、３次元形状測定装置３０による測定によって得られた表面測定データを３次元形状測定装置３０から取り込む。ステップ１３６では、３次元形状測定装置３０より取り込んだ表面形状測定データから、各超音波断層画像を撮影している時のプローブ３６の個々のマーク３６Ａに相当するデータ及び個々の術中マーク８２に対応するデータを各々抽出し、抽出したデータに基づいて、各超音波断層画像を撮影しているときの個々のマーク３６Ａの中心の３次元座標及び個々の術中マーク８２の中心の３次元座標を演算によって各々求める。また、演算によって求めた個々のマーク３６Ａの中心の３次元座標に基づいて、各超音波断層画像を撮影している時のプローブ３６の先端の３次元座標（筐体座標系における座標値）及びプローブ３６の向き（筐体座標系における向き）を演算する。

ステップ１３８では、超音波断層撮影装置３４から取り込んだ複数の超音波断層画像のデータに基づき、各超音波断層画像から脳の内部（３次元形状測定装置３０では３次元座標を検出できない非露出部分）に位置しており、かつ画像上での判別が容易な特徴点（脳溝や動脈、静脈等の脳の特徴部分に対応している点、脳腫瘍と正常部との境界に相当する点も含む）を各々抽出する。そしてステップ１４０では、まずステップ１３６で演算した各超音波断層画像を撮影している時のプローブ３６の先端の３次元座標及びプローブ３６の向き、各超音波断層画像上での各特徴点の位置に基づき、筐体座標系ににおける各特徴点の３次元座標を演算した後に、先のステップ１１４で導出した座標変換式をＨＤＤ２０から読み出し、読み出した座標変換式を用いて、筐体座標系における各特徴点の３次元座標を、ステップ１３６で求めた３次元座標が表す個々の術中マーク８２の位置を基準としてＭＲＩ座標系における３次元座標値へ各々変換し、座標変換後の各特徴点の３次元座標及び各特徴点の超音波断層画像上での位置を非露出部分データとしてＨＤＤ２０に記憶させる。これにより、第２の位置情報（非露出部分データ）と３次元脳モデル（及びＭＲＩ画像）との位置合わせが完了する。

なお、上述したステップ１３２〜１４０は、実際に超音波断層画像の撮影を行う超音波断層撮影装置３４と共に、請求項１及び請求項１１に記載の第２取得手段（詳しくは請求項４，５に記載の第２取得手段）に対応しており、プローブ３６に貼付されているマーク３６Ａの３次元座標を測定する３次元形状測定装置３０は請求項５に記載の第１取得手段に対応している。また、ステップ１３８〜ステップ１５４は請求項１０に記載の第２のステップにも対応している。

上記処理により、ＭＲＩ画像の補正に用いる表面測定データ及び非露出部分データの取得が完了すると、次のステップ１４２では、ＨＤＤ２０から３次元脳モデル（図６（Ａ）も参照）のデータを取り込む。次のステップ１４４では、まずビデオカメラ３２から取り込んだ画像データが表す撮像画像上に表れている脳の特徴部分（例えば脳溝や脳回、動脈、静脈等）を、ＭＲＩ画像に表れている脳の特徴部分と照合することで、撮像画像とＭＲＩ画像との対応付け（撮像画像上に表れている脳表面の各点がＭＲＩ画像上のどの部分に対応しているかの判断）を行う。また、本実施形態では３次元形状測定装置３０による測定範囲と同一の範囲を撮像するように、ビデオカメラ３２の位置及び向きが調節されているので、撮像画像とＭＲＩ画像との対応付けの結果に基づいて、表面測定データによってＭＲＩ座標系における３次元座標が既知となっている脳表面の各点がＭＲＩ画像上のどの部分に対応しているかを判断する。そして、３次元脳モデルの生成時にＨＤＤ２０に記憶した３次元脳モデルの各節点（特徴点）のＭＲＩ画像上での位置に基づいて、３次元脳モデルを構成する各節点のうち、表面測定データによってＭＲＩ座標系における３次元座標が既知となっている脳表面の各点に対応する節点を判断することで、表面測定データと３次元脳モデルとの対応付けを行う。

上記のように、ビデオカメラ３２によって撮像された画像を表面測定データと３次元脳モデルとの対応付けに用いることで、例えば脳の表面の色の変化等のように表面測定データ上では明瞭でない特徴も利用して表面測定データと３次元脳モデルとの対応付けを行うことができるので、表面測定データと三次元脳モデルとの対応付けの精度を向上させることができる。なお、上記事項は請求項３に記載の補正手段に対応している。

またステップ１４４では、同様に、超音波断層画像に表れている脳の特徴部分をＭＲＩ画像に表れている脳の特徴部分と照合することで、超音波断層画像において脳の内部に相当する各点がＭＲＩ画像上のどの部分に対応しているかを判断し、３次元脳モデルの各節点（特徴点）のＭＲＩ画像上での位置及び超音波断層画像から抽出された各特徴点の超音波断層画像上での位置に基づいて、３次元脳モデルを構成する各節点のうち、非露出部分データによってＭＲＩ座標系における３次元座標が既知となっている脳の内部の各特徴点に対応する節点を判断する。

そして、表面測定データが表す脳表面の各点の何れかに対応していると判断した節点の３次元座標を、対応する点の３次元座標（表面測定データが表すＭＲＩ座標系での３次元座標）に置き換えると共に、非露出部分データが表す脳の内部の各特徴点の何れかに対応していると判断した節点の３次元座標を、対応する特徴点の３次元座標（非露出部分データデータが表すＭＲＩ座標系での３次元座標）に置き換えることで、例として図６（Ｂ）にも示すように、３次元脳モデルを構成する各節点のうち、表面測定データが表す脳表面の各点の何れか又は非露出部分データが表す脳の内部の各特徴点の何れかに対応している節点の位置を修正する。なお、図６（Ｂ）には脳の表面又は裏面に対応している節点についてのみ位置を修正している例が示されているが、脳の表面と裏面の間の部分に対応している節点も位置修正の対象としてもよい。

ステップ１４６では、ステップ１４４で位置修正対象とした節点及び該節点の修正後の位置に基づき、３次元脳モデルを構成する各節点のうち、ステップ１４４における位置修正対象の節点を、ステップ１４４における修正後の位置へ移動させる外力が３次元脳モデルに加わることで、それ以外の節点の位置がどのように変位するかを、有限要素法を適用して推定演算し、推定演算の結果に基づき、例として図６（Ｃ）にも示すように、ステップ１４４で位置修正対象とした節点以外の節点の位置（３次元座標）を修正する。これにより、現在の脳の状態（各部の変位や変形）を精度良く表すように、３次元脳モデルを修正することができる。なお、有限要素法に代えてそれに類似の方法（例えば処理の高速化等を目的として有限要素法を簡略化した方法等）を適用するようにしてもよい。

次のステップ１４８では、ステップ１４４，１４６で各節点の位置を修正した３次元脳モデルと、３次元脳モデルの各節点（特徴点）のＭＲＩ画像上での位置に基づき、例えば３次元脳モデルの修正による各節点の位置の移動に応じてＭＲＩ画像の各画素の位置が移動するように、ＭＲＩ画像に対して幾何学変換を行う等により、修正後の３次元脳モデルが表す脳の各部の変位や変形に応じてＭＲＩ画像を補正する。これにより、現在の脳の状態を高精細かつ精度よく表すＭＲＩ画像を得ることができる。なお、上述したステップ１４２〜ステップ１４８は、請求項１及び請求項１１に記載の補正手段（詳しくは請求項７に記載の補正手段）に対応しており、請求項１０に記載の第３のステップにも対応している。そして、ステップ１５０では補正後のＭＲＩ画像をディスプレイ１８に表示させることで、ディスプレイ１８に表示しているＭＲＩ画像を更新してステップ１１８に戻る。なお、ステップ１５０は請求項１及び請求項１１に記載の表示制御手段に対応しており、請求項１０に記載の第４のステップにも対応している。

これにより、ディスプレイ１８に更新表示された上記のＭＲＩ画像を参照することで、手術者は、開頭手術後の各種の手術操作により脳の各部に変位や変形が生じても、摘出対象の脳腫瘍の位置等を正確に判断することができる。また、上述したＭＲＩ画像の補正・更新表示は、手術が終了する迄の間（ステップ１２０の判定が肯定される迄の間）、繰り返し（ステップ１１８の判定が肯定される毎に）行われる（請求項９記載の発明に相当）ので、手術者は、随時更新表示されるＭＲＩ画像を参照することで、脳腫瘍の摘出開始時や、摘出中、摘出終了時等の各段階において、手術操作を加えた部分と周囲の脳との適切な解剖学的位置関係を確認しながら手術を行うことができる。また、残存腫瘍（腫瘍の取り残し）の有無を確認することもでき、摘出対象の脳腫瘍を完全に摘出することが可能になる。更に、ディスプレイ１８に表示させるＭＲＩ画像は、事前に調査した各機能野の分布具合が地図として重畳表示されたfunctional mapping ＭＲＩ画像であってもよいが、このfunctional mapping ＭＲＩ画像を表示するようにした場合、手術者は、手術操作を加えている部位と各機能野の位置関係を把握しながら手術を進めることができる。

このように、本実施形態に係る手術支援装置１０では、３次元形状測定装置３０によって手術中に脳の表面が光学的に測定される（と共に、ビデオカメラ３２によって手術中に脳の表面が撮像される）ことで得られた表面形状データと、超音波断層撮影装置３４によって手術中に脳の非露出部分が超音波によって測定されることで得られた非露出部分データに基づいて、事前に撮影したＭＲＩ画像を脳の現在の状態を精度良く表すＭＲＩ画像へ補正して手術中に表示するので、現在の脳の状態（手術操作等に伴って変位や変形が生じた後の脳の状態）を手術者に認識させることができ、手術の精度向上を実現することができる。

また、本実施形態に係る手術支援装置１０では、３次元形状測定装置３０による表面形状の測定及びビデオカメラ３２による撮像が２０秒程度の時間で完了し、超音波断層撮影装置３４による複数の超音波断層画像の撮影が３分程度の時間で完了するので、手術中にＭＲＩ画像の撮影を定期的に行う場合と比較して手術操作の中断時間が大幅に短縮される。従って、脳の現在の状態を表すＭＲＩ画像を手術中に表示するために手術が妨げられることも回避することができる。

また、本実施形態に係る手術支援装置１０は、既存の脳神経外科の手術設備に、３次元形状測定装置３０、ビデオカメラ３２、３次元モデル生成プログラム及びＭＲＩ画像表示プログラムをインストールしたコンピュータ１２を追加するのみで実現できるので、手術中にＭＲＩ画像の撮影を定期的に行う場合と比較して遙かに低コストで実現することができる。

なお、上記ではビデオカメラ３２を１台のみ設置した構成を説明したが、これに限定されるものではなく、互いに異なる方向から撮像する複数台のビデオカメラを設置し、各ビデオカメラで撮像された画像を用いて表面測定データと三次元脳モデルとの対応付けを行うことで、表面測定データと三次元脳モデルとの対応付けの精度を更に向上させるようにしてもよい。

また、上記では脳腫瘍を摘出する手術の支援に本発明を適用した例を説明したが、これに限定されるものではなく、脳腫瘍の摘出以外の脳の手術に適用してもよい。また、手術部位も脳に限られるものではなく、本発明は人体の任意の部位に対する手術の支援に適用可能である。

また、上記では本発明に係る高精細断層画像としてＭＲＩ画像を例に説明したが、手術部位を高精細に表す断層画像であればよく、例えばＸ線ＣＴ撮影等、他の公知の撮影方法で撮影された断層画像を適用してもよい。また、本発明に係る高精細断層画像以外に、他の撮影方法（例えばポジトロン・エミッション断層撮影法（ＰＥＴ）やシングル・フォトン・エミッション・コンピュータ断層撮影法（ＳＰＥＣＴ）等）で撮影された他の断層画像も参照しながら手術が行われる場合、他の断層画像を本発明に係る高精細断層画像と事前に対応付けておき、前述のように表面測定データ及び非露出部分データに基づいて本発明に係る高精細断層画像を補正した後に、補正後の高精細断層画像に基づいて前記他の断層画像も補正して表示するようにしてもよい。

手術支援装置の概略構成を示すブロック図である。 ３次元形状測定装置及びビデオカメラが取り付けられた手術顕微鏡の、（Ａ）は側面図、（Ｂ）は底面図である。 ３次元形状測定装置の内部構成を示す斜視図である。 ＭＲＩ画像の撮影及びＭＲＩ画像からの３次元脳モデルの生成を説明するイメージ図である。 手術支援装置のコンピュータで実行されるＭＲＩ画像表示処理の内容を示すフローチャートである。 脳表面の各点及び脳の非露出部分に相当する各特徴点の３次元座標に基づく３次元脳モデルの補正を説明するイメージ図である。

符号の説明

１０ 手術支援装置
１２ コンピュータ
１８ ディスプレイ
２２ ドライブ
２４ ＭＲＩ撮影装置
２６ 手術顕微鏡
３０ ３次元形状測定装置
３２ ビデオカメラ
３４ 超音波断層撮影装置
３６ プローブ
８０ 術前マーク
８２ 術中マーク

Claims (11)

1. 手術中に手術部位の表面を光学的に測定し、前記手術部位の表面の各個所の３次元位置を表す第１の位置情報を取得する第１取得手段と、
   手術中に前記手術部位の非露出部分を超音波により測定し、前記手術部位の非露出部分の各個所の３次元位置を表す第２の位置情報を取得する第２取得手段と、
   前記第１取得手段によって取得された前記第１の位置情報及び前記第２取得手段によって取得された前記第２の位置情報に基づき、手術前に撮影した手術部位の複数の高精細断層画像に基づいて生成された三次元モデルを用いて前記手術部位の各個所における変位及び変形を推測し前記複数の高精細断層画像を補正する補正手段と、
   前記補正手段によって補正された高精細断層画像を表示手段に表示させる表示制御手段と、
   を含む手術支援装置。
2. 前記第１取得手段は、手術顕微鏡に取り付けられ前記手術部位の表面をレーザ光で走査する走査装置と、前記手術顕微鏡に取り付けられ前記手術部位の表面で反射されたレーザ光を受光することで前記手術部位の表面のうちレーザ光が照射された個所の３次元位置を検出する検出手段と、を含んで構成され、前記検出手段による３次元位置の検出を、前記手術部位の表面上の各個所をレーザ光で走査しながら繰り返し行うことで、前記第１の位置情報を取得することを特徴とする請求項１記載の手術支援装置。
3. 前記第１取得手段は、手術顕微鏡に取り付けられ前記手術部位の表面を撮像する撮像手段を更に備え、前記補正手段は、前記撮像手段によって撮像された画像も用いて前記手術部位の各個所における変位及び変形の推測を行うことを特徴とする請求項１記載の手術支援装置。
4. 前記第２取得手段は、前記手術部位へ超音波を送波すると共に手術部位の非露出部分の各個所で反射された超音波を受波するプローブと、該プローブで受波された超音波を断層画像へ変換する変換手段を含んで構成されており、前記プローブの３次元位置に基づき、前記変換手段によって得られた超音波断層画像上の各個所の３次元位置を求めることで、前記第２の位置情報を取得することを特徴とする請求項１記載の手術支援装置。
5. 前記第１取得手段は、手術顕微鏡に取り付けられ前記手術部位の表面をレーザ光で走査する走査装置と、前記手術顕微鏡に取り付けられ前記手術部位の表面で反射されたレーザ光を受光することで前記手術部位の表面のうちレーザ光が照射された個所の３次元位置を検出する検出手段と、を含んで構成され、前記第２取得手段の前記プローブの３次元位置の検出も行い、
   前記第２取得手段は、前記第１取得手段によって検出された前記プローブの３次元位置に基づいて、前記超音波断層画像上の各個所の３次元位置を求めることを特徴とする請求項４記載の手術支援装置。
6. 前記高精細断層画像は、核磁気共鳴コンピュータ断層撮影法によって撮影したＭＲＩ画像であることを特徴とする請求項１記載の手術支援装置。
7. 前記補正手段は、前記第１取得手段によって取得された前記第１の位置情報及び前記第２取得手段によって取得された前記第２の位置情報に基づき、前記手術部位の三次元モデルのうち前記第１の位置情報又は前記第２の位置情報によって３次元位置が既知の箇所に対応する部分の位置を修正した後に、前記手術部位の三次元モデルのうち３次元位置が未知の箇所に対応する部分における変位及び変形を有限要素法又はそれに類似の方法により推測し、該推測結果に基づき前記手術部位の三次元モデルを再修正し、再修正後の前記手術部位の三次元モデルに基づいて前記複数の高精細断層画像の補正を行うことを特徴とする請求項１記載の手術支援装置。
8. 手術前の前記複数の高精細断層画像の撮影時には手術部位の周辺に３個以上の第１のマークが付与されると共に、手術時には手術部位の近傍に３個以上の第２のマークが付与され、
   前記第１取得手段は、前記第１のマーク及び第２のマークの３次元位置を表すマーク位置情報も取得し、
   前記補正手段は、前記第１取得手段によって取得されたマーク位置情報及び前記高精細断層画像上の前記第１のマークに相当する画像部の位置に基づいて、前記高精細断層画像と前記第１の位置情報及び前記第２の位置情報との位置合わせを行うことを特徴とする請求項１記載の手術支援装置。
9. 前記第１取得手段による前記第１の位置情報の取得、前記第２取得手段による前記第２の位置情報の取得、前記補正手段による前記複数の高精細断層画像の補正、及び、前記表示手段による前記高精細断層画像の表示は、手術中に繰り返し行われることを特徴とする請求項１記載の手術支援装置。
10. 手術前に撮影した手術部位の複数の高精細断層画像に基づいて前記手術部位の三次元モデルを生成する第１のステップ、
    手術中に手術部位の表面を光学的に測定し、前記手術部位の表面の各個所の３次元位置を表す第１の位置情報を取得すると共に、手術中に前記手術部位の非露出部分を超音波により測定し、前記手術部位の非露出部分の各個所の３次元位置を表す第２の位置情報を取得する第２のステップ、
    前記第２のステップで取得した前記第１の位置情報及び前記第２の位置情報に基づき、前記第１のステップで生成した三次元モデルを用いて前記手術部位の各個所における変位及び変形を推測し、推測した前記手術部位の各個所における変位及び変形に応じて、手術前に撮影した前記手術部位の複数の高精細断層画像を補正する第３のステップ、
    及び、前記第３のステップで補正した高精細断層画像を表示手段に表示させる第４のステップ
    を含む手術支援方法。
11. 表示手段が接続されたコンピュータを、
    手術中に手術部位の表面を光学的に測定させ、前記手術部位の表面の各個所の３次元位置を表す第１の位置情報を取得する第１取得手段、
    手術中に前記手術部位の非露出部分を超音波により測定させ、前記手術部位の非露出部分の各個所の３次元位置を表す第２の位置情報を取得する第２取得手段、
    前記第１取得手段によって取得された前記第１の位置情報及び前記第２取得手段によって取得された前記第２の位置情報に基づき、手術前に撮影した手術部位の複数の高精細断層画像に基づいて生成された三次元モデルを用いて前記手術部位の各個所における変位及び変形を推測し、推測した前記手術部位の各個所における変位及び変形に応じて、手術前に撮影した前記手術部位の複数の高精細断層画像を補正する補正手段、
    及び、前記補正手段によって補正された高精細断層画像を表示手段に表示させる表示制御手段
    として機能させる手術支援プログラム。

Images