JP2022122663A - 手術ナビゲーションシステム、情報処理装置、および、情報処理方法 - Google Patents

Abstract

【課題】術野画像と術前画像とを素早く精度よく位置合わせして表示する。【解決手段】術前画像に含まれる脳溝パターンを抽出するとともに、術中の患者の脳の術野画像に含まれる脳溝パターンを抽出する。術前画像の脳溝パターンのうち、術野画像の脳溝パターンに一致する範囲を抽出し、この範囲を、術野画像に一致させるように術前画像を変換させるための変換ベクトルを算出する。変換ベクトルによって術前画像を変位させて、接続されている表示装置に表示させる。【選択図】 図４

Description

本発明は、顕微鏡の術野映像と、医用画像取得装置から得られた医用画像とを位置合わせして表示する手術ナビゲーションシステムに関する。

手術前に作成した治療計画データと手術中に獲得したデータとを統合して、術具等の位置や姿勢をガイドすることにより安全・安心に手術が行われるように術者を支援する手術用ナビゲーションシステムが知られている。例えば、手術用ナビゲーションシステムは、ＭＲＩなどの医用画像撮影装置によって術前に患者を撮像した医用画像上に、位置計測装置等のセンサを用いて検出した術具等の各種医療機器の実空間における位置情報を重畳して表示し、手術の支援を行う。これにより、術者は、実際の術具の位置と、医用画像の例えば腫瘍との位置関係を医用画像上で把握することができる。

なお、位置計測装置等が実空間における術具や患者の位置を検出するために、術具や患者にはマーカーが付される。術前の医用画像の撮像の際にも、患者の同じ位置にマーカーを付して撮像する。医用画像上のマーカーの位置と、患者のマーカーの位置を対応付けることにより、画像空間座標と実空間座標との対応づけ（レジストレーション）を行う。

また、特許文献１には、術前の画像上の血管等の所定のパターンと、手術中に顕微鏡で撮像した術野の映像上の血管等の所定のパターンを比較して、術前画像を術野映像にあわせて変形させて、処置具とともに表示する手術ナビゲーション技術が開示されている。具体的には、特許文献１の手術ナビゲーション装置では、対象とする生体組織は、脳であり、手術前に撮像した画像に基づいて脳の３Ｄモデル（３次元画像）を生成し、３Ｄモデルの表面上の血管のパターンと、手術中の撮像画像に含まれる血管パターンとのパターンマッチングを行う。パターンマッチング結果に基づいて、開頭による脳の変形（ブレインシフト）の量を、有限要素法を用いて３次元メッシュの変位を推定することにより算出する。算出した変形量に基づいて３Ｄモデルを変形させ、処置具の位置を示す表示を付したナビゲーション画像を表示する。

国際公開第２０１８/０１２０８０号

特許文献１に記載されている技術では、手術前に撮像した画像の血管のパターンと、開頭後の術野の顕微鏡映像の血管パターンとを用いてパターンマッチングを行って脳の変位量を算出する。しかしながら、術前の画像をMRI（磁気共鳴撮像装置）で撮像した場合には、脳表の血管を明確に描出できないため精度が低かった。また、手術開始後は、脳表面を切開するため、手術中の脳の変位の算出に血管パターンを用いるのは難しい。

また、脳の変位を検出するために、手術中の脳の表面にマーカーを配置する方法は、患者および術者の負担になる。

一方、実際の手術では、手術進行に伴い、患者の生体組織を切り開いたり、腫瘍等を切除したりするため、切除された組織が無くなったり、その組織があった空間に周囲の組織がシフトして来たりする。これにより、患者の解剖学的構造そのものに変化が生じるため、手術前に得た画像を逐次更新し、手術中に生じた脳の変形を反映させることが望まれる。しかしながら、特許文献１に記載された技術では、手術中の解剖学的構造の変化を推定して、手術前の画像を更新することは難しい。

本発明の目的は、特別な器具を使用せず、リアルタイムに撮像した術野の画像と、術前に撮像した画像とを素早く精度よく位置合わせする技術を提供することにある。

上記目的を達成するために、本発明の手術ナビゲーションシステムは、術前に患者の脳について撮像した術前画像を受け取って、術前画像に含まれる脳溝パターンを抽出する術前脳溝抽出部と、術中の患者の脳の術野画像を撮影する術野画像撮影装置から術野画像を受けとって、術野画像に含まれる脳溝パターンを抽出する術野脳溝抽出部と、術前画像内の脳溝パターンのうち、術野画像の脳溝パターンに一致する脳溝パターンの範囲を探索する探索部と、探索した範囲の脳溝パターンを、術野画像の脳溝パターンに一致させる変換ベクトルを算出する変換ベクトル算出部と、変換ベクトルによって術前画像の座標を変換し、接続されている表示装置に表示させる演算部とを有する。

本発明によれば、術野画像と術前画像とを素早く精度よく位置合わせして表示することができるため、手術の進行をスムーズにすると共に、手術の精度向上に貢献することができる。

本発明の第1実施形態の手術ナビゲーションシステムのハードウェア構成を示す図 術野映像取得装置（顕微鏡装置）と術具位置検出装置とベッドの斜視図 第１実施形態の手術ナビゲーションシステムの情報取得・処理部４の機能ブロック図 第１実施形態の情報取得・処理部４の処理動作を示すフローチャート （ａ）～（ｃ）第１実施形態の手術ナビゲーションシステムの情報取得・処理部４の処理動作を示す説明図 第２実施形態の手術ナビゲーションシステムの情報取得・処理部４の機能ブロック図 第２実施形態の情報取得・処理部４の処理動作を示すフローチャート （ａ），（ｂ）第２実施形態の情報取得・処理部４の処理動作を示す説明図 第３実施形態の情報取得・処理部４の機能ブロック図 第３実施形態の情報取得・処理部４の処理動作を示すフローチャート 第３実施形態の情報取得・処理部４の処理動作を示す説明図 第４実施形態の情報取得・処理部４の機能ブロック図 第４実施形態の情報取得・処理部４の処理動作を示すフローチャート 第４実施形態の情報取得・処理部４の処理動作を示す説明図

以下、本発明の一実施形態について図に基づいて説明する。なお、以下の説明及び添付図面において、同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略することにする。

［１．第１実施形態］
第１の実施形態の手術ナビゲーションシステムは、術前に患者の脳について撮像した術前画像を受け取って、術前画像に含まれる脳溝パターンを抽出するとともに、術中の患者の脳の術野画像を撮影する術野画像撮影装置から術野画像を受けとって、術野画像に含まれる脳溝パターンを抽出する。術前画像内の複数の範囲のうち、術野画像の脳溝パターンに一致する脳溝パターンを含む範囲を抽出し、その範囲を術野画像に一致させるように術前画像の座標を変換させるための変換ベクトルを算出する。最後に、変換ベクトルによって術前画像を変位させて、接続されている表示装置に表示させる。

［１－１．構成］
図１は、実施形態の手術ナビゲーションシステム１のハードウェア構成を示すブロック図であり、図２は、術具位置検出装置１２と術野映像取得装置１３とベッド１７とを示す斜視図であり、図３は、手術ナビゲーションシステム１の情報取得・処理部４の機能ブロック図である。

図１のように、第1実施形態の手術ナビゲーションシステム１には、医用画像取得装置１１と、術具位置検出装置１２と、術野映像取得装置１３とが接続され、医用画像取得装置１１から受け取った患者の術前の医用画像（術前画像）を、術野映像取得装置１３が撮像する手術中の術野映像（術野画像）に位置合わせして表示する。その際、医用画像上で術具の位置を示すマークを表示する。

手術ナビゲーションシステム１は、情報取得・処理部４と、記憶部２と、主メモリ３と、表示部９が接続された表示メモリ５と、表示部６と、マウス８が接続されたコントローラ７と、キーボード９とを備え、これらはシステムバス１０によって信号送受可能に接続されている。ここで、「信号送受可能に」とは、電気的、光学的に有線、無線を問わずに、相互にあるいは一方から他方へ信号送受可能な状態を示す。

情報取得・処理部４には、上述の医用画像取得装部１１と、術具位置検出装置１２と、術野映像取得装置１３とが信号送受可能に接続されている。

医用画像取得部１１は、ＭＲＩ、ＣＴ、および、超音波撮像装置等の撮像装置であり、患者の３次元画像を医用画像として撮影する。

術具位置検出装置１２は、術具１９、ベッド１７に搭載された患者１５、および、術野映像取得装置１３の実空間位置を検出する装置であり、光学的に検出する装置（ステレオカメラ）であっても磁気的に検出する装置（磁気センサ）であってもよい。ここではステレオカメラを術具位置検出装置１２として用いる。

術具１９は、患者を切開したり、切除したりする器具であり、例えばモノポーラやバイポーラ等の電気メスである。術具１９には、マーカー１８が固定されており、術具位置検出装置１２によって実空間における位置が検出される。

術野映像取得装置１３は、患者の術野の映像を撮影・取得する装置であり、ここでは手術顕微鏡を用いる。術野映像取得装置１３は、ステレオ視できる光学系として左右２台のカメラを有していることを前提とする。図２に示すように術野映像取得装置（手術顕微鏡）１３には、術野映像位置情報取得部（例えばマーカー）１４が取り付けられており、術具位置検出装置１２によって実空間におけるその位置が検出される。

患者１５が搭載されるベッド１７にも、患者位置情報取得部（マーカー）１６が取り付けられており、術具位置検出装置１２によってその位置が検出される。これにより、ベッド１７の所定の位置に搭載された患者位置を検出することができる。

情報取得・処理部４は、図３にその機能ブロック図を示したように、術野映像取得装置１３から術野映像を取得し、脳溝パターンを抽出する術野映像取得部３０１と、医用画像と術野映像の脳溝パターンを比較して変換ベクトルを求める照合部３０２と、求めた変換ベクトルにより術前画像の座標を変換する演算部３０３と、出力部３０４とを備えている。照合部３０２は、探索部３０２ａと変換ベクトル算出部３０２ｂとを含む。探索部３０２ａは、術前画像内の脳溝パターンのうち、術野画像の脳溝パターンに一致する脳溝パターンの範囲を探索する。変換ベクトル算出部３０２ｂは、探索した範囲の脳溝パターンを、術野画像の脳溝パターンに一致させる変換ベクトルを算出する。

情報取得・処理部４は、ＣＰＵ（図示せず）を含み、ＣＰＵが記憶部２に予め格納されているプログラムや、プログラム実行に必要なデータを主メモリ３にロードして実行することにより上述の各ブロック（３０１～３０４）の機能をソフトウエアにより実現する。なお、情報取得・処理部４は、各ブロック（３０１～３０４）の機能の一部または全部をハードウェアにより実現することも可能である。例えば、ＡＳＩＣ（Application Specific Integrated Circuit）のようなカスタムＩＣや、ＦＰＧＡ（Field-Programmable Gate Array）のようなプログラマブルＩＣを用いてブロック（３０１～３０４）の機能を実現するように回路設計を行えばよい。

記憶部２は、ハードディスク等である。また、記憶部２は、フレキシブルディスク、光（磁気）ディスク、ＺＩＰメモリ、ＵＳＢメモリ等の可搬性記録媒体とデータの受け渡しをする装置であっても良い。

主メモリ３は、情報取得・処理部４が実行するプログラムや演算処理の途中経過を記憶するものである。

表示メモリ５は、液晶ディスプレイやＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）等の表示部６に表示するための表示データを一時格納するものである。

マウス８やキーボード９は、操作者が本システム１に対して操作指示を行う操作デバイスである。マウス８はトラックパッドやトラックボールなどの他のポインティングデバイスであっても良い。

コントローラ７は、マウス８の状態を検出して、表示部６上のマウスポインタの位置を取得し、取得した位置情報等を情報取得・処理部４へ出力するものである。

［１－２．処理］
以下、情報取得・処理部４の各部の処理動作を図４のフローと、図５の画像例を参照しながら具体的に説明する。

（ステップＳ４０１）
情報取得・処理部４の医用画像情報取得部２０１は、医用画像取得装置１１からＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等を介して医用画像５１を取得する（図５（ａ）参照）。具体的には、医用画像情報取得部２０１は、ＭＲＩ画像やＸ線ＣＴ画像等の３次元医療画像を医用画像取得装置１１から取得し、画像処理によってサーフェスレンダリング（SR）画像を複数方向について生成し、サーフェスレンダリング画像を医用画像５１とする。

（ステップＳ４０２）
医用画像情報取得部２０１は、医用画像５１上の特徴的な位置として溝の位置を取得する（図５（ａ）参照）。例えば、医用画像５１に対して平滑化処理を行い、各画素に対して平均的な深度情報を取得し、平滑化前の深度情報と比較して差分があらかじめ設定した閾値よりも大きければ、溝があると認識し、当該箇所を特徴的な位置（特徴点、すなわち脳溝）として抽出する。以下、複数の特徴的な位置（溝の位置）を脳溝パターンとも呼ぶ。

（ステップＳ４０３）
術野映像取得部３０１は、術野映像取得装置１３の左右のカメラから現時点の術野映像（静止画像）５２をそれぞれ取得する。

（ステップＳ４０４）
術野映像取得部３０１は、術野映像取得装置１３の左右のカメラ間距離をＢ、焦点距離をＦ、撮像対象物までの距離をＺ、左右カメラの画像での視差をＤとした場合、Ｚ＝Ｂ×Ｆ／Ｄを画素ごとに算出する。画素位置および撮像対象物までの距離から、術野映像５２の各画素の３次元位置情報を取得する。

術野映像取得部３０１は、術野映像５２の３次元位置情報の深さ情報（ｚ方向）に対して平滑化処理を行うことにより、各画素に対して平均的な深さ情報を取得し、平滑化前の深さ情報と比較して差分があらかじめ設定した閾値よりも大きければ、溝があると認識し、当該箇所を特徴的な位置（特徴点、すなわち脳溝パターン）として抽出する（図５（ｂ））。

（ステップＳ４０５）
照合部３０２の探索部３０２ａは、ステップＳ４０２で抽出した医用画像５１の脳溝パターン（特徴点）と、ステップＳ４０４で抽出した術野映像５２の脳溝パターン（特徴点）とを比較し、術野映像５２の脳溝パターンに最も一致する医用画像５１の範囲５３を探索する。変換ベクトル算出部３０２ｂは、視野映像５２の範囲５３の脳溝パターンの点群（図５（ｂ））と、医用画像５１の脳溝パターン（特徴点）の点群に対して、ICP(Iterative Closest Point)アルゴリズムを用いて２つの点群が整合するように繰り返し計算を行い、並進ベクトルおよび回転行列を求め、これを変換行列とする。

（ステップＳ４０６）
演算部３０３は、術具位置検出装置１２から術野映像取得装置（手術顕微鏡）１３に取り付けられた術野映像位置情報取得部（マーカー）１４の位置と、患者位置情報取得部（ベッドに取り付けられたマーカー）１６を取り込む。これにより、演算部３０３は、術野映像取得装置（手術顕微鏡）１３と、患者１５の実空間上での位置をそれぞれ認識する。

（ステップＳ４０７）
演算部３０３は、図５で示すようにステップS４０５求めた変換行列を用いて医用画像を変換する。これにより、医用画像空間座標と実空間座標の位置合わせ（レジストレーション）を実施される。

（ステップＳ４０８）
演算部３０３は、術具位置検出装置１２が取得した術具１９のマーカー１８の位置を取り込み、術具１９の位置を認識する。

出力部２０５は、ステップＳ４０７においてレジストレーション後の医用画像を表示する。このとき、医用画像上に術具の位置を表す矢印や〇印等のマークを表示する。

［１－３．効果］
第１実施形態によると、以下の効果を得ることができる。

特殊な器具・操作を必要とせず、医用画像および術野映像の脳溝を用いて素早く医用画像レジストレーションを実現することができるため、術者のストレスや負担を軽減することができる。

［２．第２実施形態］
第２実施形態の手術ナビゲーションシステムについて説明する。

第２実施形態ではすでに医用画像空間座標と実空間座標の位置合わせ済みの医用画像と術野映像を用いて、術中にリアルタイムに術野映像と医用画像の脳溝パターンを比較し、医用画像を術野映像から取得した患者の解剖学的構造に合わせて更新（変形）させる。

すなわち、第２実施形態の手術ナビゲーションシステムでは、術前に患者の脳について撮像した術前画像を受け取って、術前画像に含まれる脳溝パターンを抽出するとともに、術中の患者の脳の術野画像を撮影する術野画像撮影装置から術野画像を受けとって、術野画像に含まれる脳溝パターンを抽出する。術前画像内の複数の範囲のうち、術野画像の脳溝パターンに最も一致度の高い脳溝パターンを含む範囲を抽出し、範囲を術野画像に一致させるために、術前画像を（深度方向に）変形させる。変形後の術前画像を、接続されている表示装置に表示させる。

［２－１．構成］
第２実施形態の構成は、図６に示したように、情報取得・処理部４が、画像を変形させる画像変形部３０５を備える点が第1実施形態と異なる。また、照合部３０２が、変換ベクトル算出３０２ｂの代わりに変位ベクトル算出部１３０２を備え、さらにブレインシフト算出部３０２ｃを備える点で第１実施形態とは異なる。他の構成は、第１実施形態と同様であるので説明を省略する。

［２－２．処理］
以下、情報取得・処理部４の各部の処理動作を図７のフローを参照しながら具体的に説明する。

（ステップＳ５０１）
情報取得・処理部４の医用画像情報取得部２０１は、医用画像取得装置１１から医用画像空間座標と実空間座標の位置合わせ済み医用画像５１を取得する。

（ステップＳ５０２）
医用画像情報取得部２０１は、第１実施形態のステップＳ４０２と同様に医用画像５１上の脳溝パターンを取得する。

（ステップＳ５０３）
術具位置検出装置１２は、実空間座標における術具位置を検出する。

（ステップＳ５０４）
術野映像取得部３０１は、術野映像取得装置（手術顕微鏡）１３から術野映像を、術前と術中に逐次取得する。

（ステップＳ５０５）
術野映像取得部３０１は、第１実施形態のステップＳ４０４と同様に、術前の術野映像の脳溝パターンを抽出する。

（ステップＳ５０６）
照合部３０２の探索部３０２ａは、第1の実施形態のステップＳ４０５と同様に、ステップＳ５０２で抽出した医用画像５１の脳溝パターンと、ステップＳ５０５で抽出した術野映像５２の脳溝パターン（特徴点）とを比較し、術野映像５２の脳溝パターンに最も一致する医用画像５１の範囲５３を探索する。

次に、ブレインシフト算出部３０２ｃは、術前の術野映像５１（図８（ａ））の深度情報８１を求め、術中の術野映像５２から図８（ｂ）の深度情報８２を求め、両者の差（沈み込み量：ブレインシフト）８３を算出する。

図８（ａ），（ｂ）の深度情報８１，８２は、術野映像取得装置（顕微鏡）１３のカメラ６０１と被検体１５の組織（脳）６０２の表面との距離である。

具体的には、ブレインシフト算出部３０２ｃは、術野映像５１、５２の深度情報８１，８２を第1実施形態のステップＳ４０４と同様にカメラから撮像対象物（脳表）までの距離Ｚを算出することにより求める。
なお、本ステップＳ５０６で算出される深度情報８１と８２の差８３は、手術前の病変６０３を含む組織６０２と、病変６０３の一部が除去された後の組織６０４および病変６０５との変形量（ブレインシフト）を示している。

（ステップＳ５０７）
演算部３０３は、医用画像５１を深度方向および面内に変形させて、術野映像５２に一致させる変位場行列を、アフィン変換を用いて求める。具体的には、まず術前医用画像から算出した組織６０２の深さ情報８４と沈みこみの変形量８３の差分から組織６０４の深さ情報８５を求める。そして、脳深部を起点として、組織６０２の深さ情報８４と組織６０４の深さ情報８５の比を用いてアフィン変換を適用し医用画像を変形させるための変位場行列を求める。

これにより、術前には、図８（ａ）のような形状であった脳形状を、開頭や病変除去により図８（ｂ）のように深度方向に沈み込んだ（ブレインシフト）後の脳形状に一致させるための変換行列を求めることができる。

（ステップＳ５０８）
画像変形部３０５は、ステップS５０７で求めた変換行列を用いて、医用画像５１を変形させる。これにより、患者のリアルタイムな解剖学的構造に一致する医用画像５１を生成する。

（ステップＳ５０９）
画像変形部３０５は、ステップS５０８にて生成した変形後の医用画像と、ステップ５０１で取得した医用画像が一致するか判断する。例えば、画像の特徴点（脳溝パターン）を2値化して比較し、一致するかどうかを判断する。

（ステップＳ５１０）
画像変形部３０５は、ステップS５０９にて画像情報が一致しないと判断した場合は、画像情報を更新し、医用画像５１の空間座標と実空間座標の位置合わせ（レジストレーション）を再度実施する。

（ステップＳ５１１）
出力部２０５は、位置合わせ済みの変形後の医用画像を表示する。このとき、変形後の医用画像上に、ステップＳ５０８で取得した術具の位置を表す矢印や〇印等のマークを表示する。

［２－３．効果］
第２実施形態によると、以下の効果を得ることができる。すなわち、手術の切開や切除等の手技を進めていくと、術前に撮影した医用画像と、現在の患者の生体組織の解剖学的構造にずれが生じていくが、画像変形部３０５が医用画像を変形させることによりそのずれをリアルタイムに修正することができる。術者は、変形後の医用画像を見て腫瘍の位置等を確認することができるため、精度の高い手術を実現することができる。

［３．第３実施形態］
第３実施形態の手術ナビゲーションシステムについて、図９～図１１を用いて説明する。

第３実施形態では、変位ベクトルの予測を行い、画像を患者の実際の解剖学的構造に合うように変形する。さらに、蓄積した変位ベクトル予測情報と顕微鏡映像情報とを比較し、変位ベクトル予測機能をアップデートする。

すなわち、手術ナビゲーションシステム、術前に患者の脳について撮像した術前画像を受け取るとともに、術具の位置データを時系列に受け取る。術具の時系列な位置データから、術具によって除去された生体組織の範囲を切除領域として算出する。切除領域を用いて、術前画像に生じる変形を表す変位ベクトルを演算により予測し、求めた変位ベクトルにより術前画像を変形させる。変形後の術前画像を、接続されている表示装置に表示させる。

［３－１．構成］
第３実施形態の構成は、第１実施形態と情報取得・処理部4の構成が異なる。

情報取得・処理部４は、図９にその機能ブロック図を示したように、術具位置検出装置１２から医用画像に位置合わせ済みの術具位置情報と医用画像を取得する術具位置履歴保存部７０１と、術具軌跡を基にブレインシフトを予測する変位ベクトル予測部７０２と、予測に基づき画像を変形させる画像変形部３０４と、画像を出力する出力部３０５と、変形情報を蓄積する変形情報蓄積部７０３とを備えている。

変位ベクトル予測部７０２は、術前の画像（例えばＭＲＩ画像）と摘出（切除）した領域とを入力データとし、変位場行列を教師データとして、学習済みの学習モデル（人工知能アルゴリズム）９０５を搭載している。これにより、変位ベクトル予測部７０２は、学習モデルに、実際の術前画像（医用画像５１）と、術具位置から算出した切除領域とを入力することより、ブレインシフトによる変形を予測し、変位場行列を出力することができる。

人工知能アルゴリズムとしては、例えば、畳込みニューラルネットワークなど、深層学習（ディープラーニング）のＡＩアルゴリズムを用いることが好ましい。具体的には、ＡＩアルゴリズムとして、Ｕ－ｎｅｔ、Ｓｅｇ－ｎｅｔ、ＤｅｎｓｅＮｅｔなどの公知のＡＩアルゴリズムを用いることができる。

学習プロセスでは、上述の入力データを学習前の人工知能アルゴリズムに入力し、出力される予測データと上述の教師データとの比較を行う。そして、比較結果を人工知能アルゴリズムにフィードバックしてアルゴリズムの修正を繰り返すことで、予測データと教師データとの誤差が最小となるように人工知能アルゴリズムを最適化する。

［３－２．処理］
以下、情報取得・処理部４の各部の処理動作を図１０のフローを参照しながら具体的に説明する。

（ステップＳ８０１）
術具位置検出装置１２は、医用画像取得装置１１からＬＡＮ等を介して、医用画像空間座標と実空間座標との位置合わせ済みの医用画像５１を取得する。

（ステップＳ８０２）
術具位置履歴保存部７０１は、術具位置検出装置１２から術具位置情報を取得する。

（ステップＳ８０３）
術具位置履歴保存部７０１は、ステップS８０２で取得した術具位置情報を軌跡として保存する。

（ステップＳ８０４）
術具位置履歴保存部７０１は、ステップS８０３で取得した軌跡情報をもとに切除領域を算出する。例えば、術具（電気メス等）が通過した軌跡または軌跡によって囲まれた領域９０２は、切除された領域であると判断する。

（ステップＳ８０５）
変位ベクトル予測部７０２は、ステップS８０４で算出した切除領域９０２と、ステップＳ８０１で取得した医用画像５１を、学習済みモデル９０５に入力することにより、学習済みモデル９０５が出力する変位場行列９０６を得る（図１１参照）。

（ステップＳ８０６）
画像変形部３０４は、ステップS８０５で求めた変位場行列（変形ベクトル）９０６を、ステップＳ８０１で取得した医用画像に適用することにより医用画像５１を変形する。具体的には、医用画像５１のデータを並べて行列形式に表したものに変位場行列９０６を掛けることにより、ブレインシフト後の医用画像を生成する。

これにより、図１１に示すように、医用画像５１の組織９０１の病変９０２の一部が除去され、病変除去後の組織９０３および病変９０４が除去前から変形し、脳表が沈み込んだブレインシフト後の医用画像を求めることができる。

（ステップＳ８０７）
情報取得・処理部４の画像変形部３０４は、ステップS８０６にて生成した変形後の医用画像と、ステップＳ８０１で取得した医用画像５１が一致するか判断する。例えば、画像の特徴点（脳溝パターン）を2値化して比較し、一致するかどうかを判断する。

（ステップＳ８０８）
画像変形部３０４は、ステップS８０９において変形後の医用画像と、ステップＳ８０１で取得した医用画像５１が一致しないと判断した場合は、医用画像５１の空間座標と実空間座標の位置合わせ（レジストレーション）を再度実施する。

（ステップＳ８０９）
出力部３０５は、位置合わせ済みの医用画像に術具の位置を示すマークを重畳して出力し、表示部６に表示する。

（ステップＳ８１０）
また、変形情報蓄積部７０３は、ステップS８０６で取得した画像変形情報を蓄積する。

（ステップＳ８１１）
変位ベクトル予測部７０２は、ステップS８１０で蓄積した画像変形情報（シミュレーション結果）を用いて、より高精度に変位ベクトル予測ができるよう変位ベクトル予測機能をアップデートする。具体的には、手術後にＭＲＩ等の医用画像撮像装置で撮像した画像と、ステップS８１０で蓄積した医用画像５１とを一致させる変位場行列を求め、この変位場行列を出力データ（教師データ）として学習モデル９０５の再学習を行う。入力データは、医用画像５１と、ステップＳ８０４で求めた切除領域とする。

［３－３．効果］
第３実施形態によると、以下の効果を得ることができる。

手術の切開や切除等の手技を進めていくと、術前の医用画像と、術中の患者の解剖学的構造とにずれが生じていくが、それを予測して医用画像を演算により変形させ、変形後の医用画像を術具位置とともに表示することができる。よって、術者は、変形後の医用画像を見て腫瘍の位置等を把握することができるため、精度の高い手術を実現することができる。

さらに、蓄積した情報を用いて変位ベクトル予測機能をアップデートすることで、より正確な予測をすることができ手術の精度と安全性に大きく寄与する。

［４．第４実施形態］
第４実施形態の手術ナビゲーションシステムについて、図１２～図１４を用いて説明する。

第４実施形態の手術ナビゲーションシステムは、第３実施形態と同様に変位ベクトルの予測を行う構成であるが、予測を行う際に、術野映像（顕微鏡映像）の深度情報を用いることでより精度の高い予測を行う点が第３実施形態とは異なっている。また、蓄積した変位ベクトル予測情報と顕微鏡映像情報とを比較し、変位ベクトル予測機能をアップデートする。

すなわち、第４実施形態の手術ナビゲーションシステムは、術前に患者の脳について撮像した術前画像を受け取るとともに、術具の位置データを時系列に受け取って、術具の時系列な位置データから、術具によって除去された生体組織の範囲を切除領域として算出する。また、術中の患者の脳の術野画像を撮影する術野画像撮影装置から術野画像を受けとって、術野の脳表面までの深度情報を求める。術前の医用画像の脳表の位置座標と、術野画像の脳表面までの深度情報から、術野画像の術前からの脳表の沈み込み量（ブレインシフト）を算出する。切除領域と、沈み込み量とを用いて、術前画像に生じる変形を表す変位ベクトルを演算により求め、求めた変位ベクトルにより術前画像を変形させる。画像変形部によって変形後の前記術前画像を、接続されている表示装置に表示させる。

［４－１．構成］
手術ナビゲーションシステムの情報取得・処理部４は、図１２に示すように、術具位置検出装置１２から位置合わせ済み術具位置情報と医用画像を取得する術具位置履歴保存部７０１と、術具軌跡を基に変位ベクトルを予測する変位ベクトル予測部１７０２と、術野映像取得装置１３から術野映像を取得する術野映像取得部３０１と、医用画像と術野映像の脳溝パターンを比較する照合部３０２と、照合した結果を演算する演算部３０３と、画像を変形させる画像変形部３０５と出力部３０４と、変形情報を蓄積する変形情報蓄積部７０３とを備えている。

変位ベクトル予測部１７０２は、術前の画像（例えばＭＲＩ画像）と、摘出（切除）した領域と、沈み込み量（ブレインシフト）とを入力データとし、変位場行列を教師データとして、学習済みの学習モデル（人工知能アルゴリズム）１９０５を搭載している。これにより、変位ベクトル予測部１７０２は、学習モデル１９０５に、実際の術前画像（医用画像５１）と、術具位置の軌跡から算出した切除領域と、算出した沈み込み量（ブレインシフト）８３とを入力することより、変形を予測し、変位場行列を出力することができる。

［４－２．処理］
以下、情報取得・処理部４の各部の処理動作を図１３のフローを参照しながら具体的に説明する。第１～第３実施形態において説明した処理と同様の処理については、同一のステップ番号を付し、簡単に説明する。

（ステップＳ５０１～Ｓ５０２）
医用画像情報取得部２０１は、医用画像空間座標と実空間座標の位置合わせ済みの医用画像５１を医用画像取得装置１１から取得し、医用画像５１上の脳溝パターンを取得する。

（ステップＳ５０４～Ｓ５０６）
術野映像取得部３０１は、術野映像取得装置（手術顕微鏡）１３から術野映像を取得し、術野映像の脳溝パターンを抽出する。

照合部３０２は、医用画像５１の脳溝パターンと、術野映像５２の脳溝パターンを比較し、術野映像５２の脳溝パターンに最も一致する医用画像５１の範囲５３を探索する。術前の術野映像５１の深度情報８１と、術中の術野映像５２の深度情報８２を求め、両者の差（沈み込み量：ブレインシフト）８３を算出する（図８（ａ），（ｂ）参照）。

（ステップＳ８０２～Ｓ８０４）
術具位置履歴保存部７０１は、術具位置検出装置１２から術具位置情報を取得し、術具位置情報を軌跡として保存するとともに、軌跡情報をもとに切除領域を算出する。

（ステップＳ１８０５）
変位ベクトル予測部１７０２は、ステップＳ５０６で算出した沈み込み量（ブレインシフト）８３と、ステップS８０４で算出した切除領域９０２と、ステップＳ８０１で取得した医用画像５１を、学習済みモデル１９０５に入力することにより、学習済みモデル９０５が出力する変位場行列１９０６を得る（図１１参照）。

（ステップＳ８０６～Ｓ８１０）
画像変形部３０４は、ステップＳ１８０５で求めた変位場行列１９０６を医用画像５１に適用することにより医用画像５１を変形し、ブレインシフト後の医用画像を求める。

情報取得・処理部４の画像変形部３０４は、ステップS８０６にて生成した変形後の医用画像と、ステップＳ８０１で取得し医用画像５１が一致するか判断し、一致しない場合は、医用画像５１の空間座標と実空間座標の位置合わせ（レジストレーション）を再度実施する。出力部３０５は、位置合わせ済みの医用画像に術具の位置を示すマークを重畳し
また、変形情報蓄積部７０３は、ステップS８０６で取得した画像変形情報を蓄積する。

（ステップＳ８１１）
変位ベクトル予測部１７０２は、手術後にＭＲＩ等の医用画像撮像装置で撮像した画像と、ステップS８１０で蓄積した医用画像５１とを一致させる変位場行列を求め、この変位場行列を出力データ（教師データ）として学習モデル９０５の再学習を行う。入力データは、医用画像５１と、ステップＳ８０４で求めた切除領域と、ステップＳ５０６で求めた沈み込み量（ブレインシフト）８３とする。

［４－３．効果］
第４実施形態によると、以下の効果を得ることができる。

変位ベクトル予測時に、視野映像（顕微鏡映像）と比較することでより正確な予測を行うことができ、精度の高い手術に寄与することができる。

１：手術ナビゲーションシステム
２：記憶部
３：主メモリ
４：情報取得・処理部
５：表示メモリ
６：表示部
７：コントローラ
８：マウス
９：キーボード
１０：システムバス
１１：医用画像取得装置
１２：術具位置検出装置
１３：術野映像取得装置
１４：術野映像位置情報取得部（マーカー）
１５：患者
１６：患者位置情報取得部（マーカー）
１７：ベッド
１８：マーカー
１９：術具
２０：手術ナビゲーション装置
３０１：術野映像取得部
３０２：照合部
３０３：演算部
３０４：出力部
３０５：画像変形部
６０１：対物レンズ
６０２、９０１：組織（変形前）
６０３、９０２：病変（変形前）
６０４、９０３：組織（変形後）
６０５、９０４：病変（変形後）
７０１：術具位置履歴保存部
７０２：変位ベクトル予測部
７０３：変形情報蓄積部
１７０２：変位ベクトル予測部

Claims (11)

1. 術前に患者の脳について撮像した術前画像を受け取って、前記術前画像に含まれる脳溝パターンを抽出する術前脳溝抽出部と、
   術中の患者の脳の術野画像を撮影する術野画像撮影装置から前記術野画像を受けとって、前記術野画像に含まれる脳溝パターンを抽出する術野脳溝抽出部と、
   前記術前画像内の脳溝パターンのうち、前記術野画像の脳溝パターンに一致する脳溝パターンの範囲を探索する探索部と、
   探索した前記範囲の脳溝パターンを、前記術野画像の脳溝パターンに一致させる変換ベクトルを算出する変換ベクトル算出部と、
   前記変換ベクトルによって前記術前画像の座標を変換し、接続されている表示装置に表示させる演算部とを有することを特徴とする手術ナビゲーションシステム。
2. 請求項１に記載の手術ナビゲーションシステムであって、
   前記術野画像または前記術前画像の前記脳溝パターンは、画像の示す脳表の深度を表す深度情報が、予め定めた値よりも大きい点の集合であることを特徴とする手術ナビゲーションシステム。
3. 請求項２に記載の手術ナビゲーションシステムであって、
   前記術前脳溝抽出部は、前記術前画像の深度情報の平均値を求め、前記深度情報と前記平均値の差が予め定めた値より大きい位置を、脳溝がある点として抽出することを特徴とする手術ナビゲーションシステム。
4. 請求項２に記載の手術ナビゲーションシステムであって、前記術野画像撮影装置は、左右２つのカメラを含み、前記術野脳溝抽出部は、前記左右のカメラ間の距離と、焦点距離と、前記左右のカメラでそれぞれ撮影した画像の視差とを用いて、前記脳までの距離を算出することにより、前記術野画像の３次元位置情報を取得し、前記３次元位置情報の深度情報の平均値を求め、前記深度情報と前記平均値の差が予め定めた値より大きい位置は、脳溝がある点として抽出することを特徴とする手術ナビゲーションシステム。
5. 術前に患者の脳について撮像した術前画像を受け取って、前記術前画像に含まれる脳溝パターンを抽出する術前脳溝抽出部と、
   術前および術中の患者の脳の術野画像を撮影する術野画像撮影装置から前記術野画像を受けとって、前記術野画像に含まれる脳溝パターンを抽出する術野脳溝抽出部と、
   前記術前画像内の脳溝パターンのうち、前記術野画像の脳溝パターンに最も一致度の高い範囲を探索する探索部と、
   前記術前画像内の脳溝パターンのうち、前記術野画像の脳溝パターンに一致する脳溝パターンの範囲を探索する探索部と、
   前記術前画像の前記範囲について、術前の前記術野画像の所定の位置からの第１の深度を求め、術中の前記術野画像の前記所定の位置からの第２の深度を求め、前記第１の深度と第２の深度との差であるブレインシフトを求めるブレインシフト算出部と、
   前記ブレインシフトを用いて、前記術前画像を深度方向に変形させて前記術野画像に一致させる変位ベクトルを算出する変位ベクトル算出部と、
   前記術前画像を前記変位ベクトルによって変形させる画像変形部と、
   前記画像変形部によって変形後の前記術前画像を、接続されている表示装置に表示させる演算部とを有することを特徴とする手術ナビゲーションシステム。
6. 術前に患者の脳について撮像した術前画像を受け取る術前画像取得部と、
   術具の位置データを時系列に受け取る術具位置取得部と、
   前記術具の時系列な位置データから、前記術具によって除去された生体組織の範囲を切除領域として算出する切除領域算出部と、
   前記脳について前記切除領域を切除した場合に前記術前画像に生じる変形を表す変位ベクトルを、前記切除領域と前記術前画像に基づいて演算により予測する変位ベクトル予測部と、
   求めた変位ベクトルにより前記術前画像を変形させる画像変形部と、
   前記画像変形部によって変形後の前記術前画像を、接続されている表示装置に表示させる演算部とを有することを特徴とする手術ナビゲーションシステム。
7. 請求項６に記載の手術ナビゲーションシステムであって、
   術中の患者の脳の術野画像を撮影する術野画像撮影装置から前記術野画像を受けとって、前記術野画像の脳表面までの深度情報を求め、前記術野画像の脳表面までの深度情報と、前記術前画像の脳表の位置座標とに基づいて、前記術野画像の術前からの脳表の沈み込み量を算出するブレインシフト算出部をさらに有し、
   前記変位ベクトル予測部は、前記切除領域と前記術前画像に加えて、前記沈み込み量に基づいて、演算により前記変位ベクトルを予測することを特徴とする手術ナビゲーションシステム。
8. 請求項６に記載の手術ナビゲーションシステムであって、前記画像変形部は、切除領域と術前画像を入力データ、および、変位ベクトルを教師データとして学習済みの学習モデルを含むことを特徴とする手術ナビゲーションシステム。
9. 請求項７に記載の手術ナビゲーションシステムであって、前記画像変形部は、切除領域と術前画像と脳表の沈み込み量を入力データ、および、変位ベクトルを教師データとして学習済みの学習モデルを含むことを特徴とする手術ナビゲーションシステム。
10. 術前に患者の脳について撮像した術前画像を受け取って、前記術前画像に含まれる脳溝パターンを抽出する術前脳溝抽出部と、
    術中の患者の脳の術野画像を撮影する術野画像撮影装置から前記術野画像を受けとって、前記術野画像に含まれる脳溝パターンを抽出する術野脳溝抽出部と、
    前記術前画像内の脳溝パターンのうち、前記術野画像の脳溝パターンに一致する脳溝パターンの範囲を探索する探索部と、
    探索した前記範囲の脳溝パターンを、前記術野画像の脳溝パターンに一致させる変換ベクトルを算出する変換ベクトル算出部と、
    前記変換ベクトルによって前記術前画像の座標を変換し、接続されている表示装置に表示させる演算部とを有することを特徴とする情報処理装置。
11. 術前に患者の脳について撮像した術前画像を受け取って、前記術前画像に含まれる脳溝パターンを抽出し、
    術中の患者の脳の術野画像を撮影する術野画像撮影装置から前記術野画像を受けとって、前記術野画像に含まれる脳溝パターンを抽出し、
    前記術前画像内の脳溝パターンのうち、前記術野画像の脳溝パターンに一致する脳溝パターンの範囲を探索し、
    探索した前記範囲の脳溝パターンを、前記術野画像の脳溝パターンに一致させる変換ベクトルを算出し、
    前記変位ベクトルによって前記術前画像の座標を変換し、接続されている表示装置に表示させることを特徴とする情報処理方法。

Images