JP2020036708A - 手術支援装置及び手術ナビゲーションシステム - Google Patents

Abstract

【課題】介入前後における臓器の移動・変形を予測し、術者に提示する術具等の位置情報の精度を向上させる。【解決手段】対象物に対する介入前後のデータを解析することにより、介入に起因して変形する前記対象物の変形規則を学習した人工知能アルゴリズムを記憶する記憶装置と、前記人工知能アルゴリズムを用いて、介入前のデータに基づいて介入後の前記対象物の形状を予測した予測データを生成する予測データ生成部と、を備えた手術支援装置を提供する。【選択図】図１

Description

本発明は、手術時に医用画像を用いて術者を支援する手術用支援装置及び手術用ナビゲーションシステムに関する。

手術前に作成した治療計画データと手術中に獲得したデータとを統合して、術具等の位置や姿勢をガイドすることにより安全・安心に手術が行われるように術者を支援する手術用ナビゲーションシステムが知られている。
より詳細には、手術用ナビゲーションシステムは、例えば、ＣＴやＭＲＩなどの医用画像撮影装置によって術前に取得された医用画像上に、位置計測装置等のセンサを用いて検出した術具等の各種医療機器の実空間における位置情報を重畳して表示させることにより、術者に対して術具の位置を提示して手術の支援を行うシステムである。

ところで、臓器は術中に移動あるいは変形する場合があり、このような場合には、術前に撮像された医用画像における対象臓器と術中の変形した対象臓器とにおいて、その形状や位置が必ずしも一致しない。従って、手術ナビゲーションシステムにおいて、術前に撮影した画像上に術具の位置情報を表示させても、その位置情報の信頼性が低い場合がある。

このような臓器が移動・変形する現象の一例として、脳神経外科手術における開頭時に脳が移動・変形する「ブレインシフト」が知られている。ブレインシフトは数ｍｍから数ｃｍもの脳の移動又は変形を伴うため、術前画像に基づいた手術ナビゲーションすなわち、術具等の位置情報の提示の精度は顕著に低下してしまう（非特許文献１）。

ここで、ブレインシフトについて説明する。
図１１に、脳腫瘍を摘出する施術を行う際に、介入前後でブレインシフトが生じたことを表す医用画像、つまり、介入前後の脳の断層像の例を示す。具体的には、図１１（Ａ）は、介入前すなわち開頭前の脳の断層像を示し、図１１（Ｂ）は介入後すなわち開頭後の脳の断層像を示している。

図１１（Ａ）に示す開頭前の脳の断層像では、頭蓋骨１０２に囲まれた領域に脳実質１０３および脳腫瘍１０４が存在している。ここで、脳腫瘍１０４を摘出する手術を実施する場合、頭蓋骨１０２および硬膜の一部が切除され、開頭範囲１０６が形成される。この時、図１１（Ｂ）に示すように、脳脊髄液に浮かんでいた脳実質１０３や脳腫瘍１０４は重力などの影響によって開頭前の位置から移動・変形する。これがブレンインシフトと呼ばれる現象である。

上述のように、手術ナビゲーションにおいては、図１１（Ａ）の手術前の医用画像を用いて術具の位置情報を提示する手術支援が行われる。ところが、手術中は、ブレインシフトが発生するため、脳は図１１（Ｂ）に示すような状況になっている。すなわち、手術ナビゲーションシステムで用いられる術前の医用画像における脳の位置と術中の脳の位置に差異が生じるため、提示する位置情報の精度を低下させる要因となってしまう。

この他、脳外科手術に限らず、臓器は開腹手術によっても変形する。また、臓器の変形は、仰臥位、伏臥位、立位、座位など、被検体の体位の変化によっても生じ得る。そこで、手術等の介入前後における臓器の移動・変形を予測して、手術ナビゲーションシステムに適用することができれば、位置情報の提示の精度を向上させることが考えられる。臓器の移動・変形を予測する手法として、有限要素法を用いた構造解析に関する研究が行われている。

Gerard IJ, et al.「Brain shift in neuronavigation of brain tumors: A review」Med Image Anal. 35号 403-420頁 2017年

しかしながら、非特許文献１にも記載されているように、介入前後における臓器の移動・変形は複数の要因が関与する複雑な現象であることから、正確な物理モデルを構築することが困難であり、臓器の移動・変形を予測する実用的な技術の開発には至っていない。従って、手術ナビゲーションシステムにおいて提示する術具等の位置情報の信頼性が充分とは言い難い。

本発明は、上記事情に鑑みてなされたものであり、介入前後における臓器の移動・変形を予測し、術者に提示する術具等の位置情報の精度を向上させることを目的とする。

上記課題を解決するために、本発明は以下の手段を提供する。
本発明の一態様は、対象物に対する介入前後のデータを解析することにより、介入に起因して変形する前記対象物の変形規則を学習した人工知能アルゴリズムを記憶する記憶装置と、前記人工知能アルゴリズムを用いて、介入前のデータに基づいて介入後の前記対象物の形状を予測した予測データを生成する予測データ生成部と、を備えた手術支援装置を提供する。
また、本発明の他の態様は、上記手術支援装置を備えた手術ナビゲーションシステムを提供する。

本発明によれば、介入前後における臓器の移動・変形を予測し、術者に提示する術具等の位置情報の精度を向上させることができる。

本発明の実施形態に係る手術支援装置を適用した手術ナビゲーションシステムの概略構成を示すブロック図である。 図１の手術ナビゲーションシステムにおける位置計測装置の概略構成を示す説明図である。 本発明の実施形態に係る手術支援装置に適用する手術支援に係る人工知能アルゴリズムを生成する処理を説明するフローチャートである。 本発明の実施形態に係る手術支援装置において予測データとしての予測医用画像を生成する処理を説明するフローチャートである。 本発明の実施形態に係る手術ナビゲーションシステムにおいて、手術ナビゲーションを行う処理を説明するフローチャートである。 本発明の実施形態に係る手術ナビゲーションシステムのディスプレイに表示される表示画面の一例を示す説明図であり、（Ａ）は術前画像及びブレインシフト予測画像を示し、（Ｂ）は（Ａ）の画像に術具の位置情報を重畳させた画像を示す。 本発明の実施形態に係る手術ナビゲーションシステムのディスプレイに表示される表示画面の一例を示す説明図である。 本発明の実施形態に手術ナビゲーションシステムのディスプレイに表示される表示画面の一例を示す説明図である。 本発明の実施形態の変形例１に係る手術ナビゲーションシステムにおいて、予測医用画像の補正処理を説明するフローチャートである。 本発明の実施形態の変形例２に係る手術ナビゲーションシステムにおいて、予測医用画像の補正処理を説明するフローチャートである。 ブレインシフトを説明する脳の断層画面の参考図であり、（Ａ）は開頭前、（Ｂ）は開頭後を示す。

本発明の実施形態に係る手術支援装置は、対象物に対する介入前後のデータを解析することにより、介入に起因して変形する前記対象物の変形規則を学習した人工知能アルゴリズムを記憶する記憶装置と、前記人工知能アルゴリズムを用いて、介入前のデータに基づいて介入後の前記対象物の形状を予測した予測データを生成する予測データ生成部と、を備えている。

以下、本発明の実施形態に係る手術支援装置について、図面を参照してより詳細に説明する。なお、本実施形態においては、一例として、上記した手術支援装置及びこの手術支援装置を適用した手術ナビゲーションシステムに説明する。

図１に本実施形態に係る手術支援装置を適用した手術ナビゲーションシステムの概略構成図を示す。手術ナビゲーションシステム３００は、手術支援装置３０１、手術支援装置３０１から提供される位置情報等を表示させるディスプレイ３０２、ネットワーク３０３を介して手術支援装置３０１に通信可能に接続される医用画像データベース３０４、及び術具等の位置を計測する位置計測装置３０５を備えている。

手術支援装置３０１は、所望の医用画像上に術具等の位置情報を重畳して、位置情報をリアルタイムに提示することにより術者を支援する装置であり、中央処理装置３１１、主メモリ３１２、記憶装置３１３、表示メモリ３１４、コントローラ３１５及びネットワークアダプタ３１６を備えている。手術支援装置３０１を構成するこれらの各構成は、システムバス３１７を介して夫々接続されている。また、システムバス３１７にはキーボード３０９が接続されると共にコントローラ３１５にはマウス３０８が接続され、マウス３０８及びキーボード３０９は医用画像の処理条件の入力を受付ける入力装置として機能する。

手術支援装置３０１としては、上述の各部を備えた汎用又は専用のコンピュータを適用することができる。マウス３０８は、例えば、トラックパッドやトラックボールなどの他のポインティングデバイスであってもよく、また、表示装置３０６にタッチパネル機能を持たせ、これによってマウス３０８やキーボード３０９の機能を代替させることもできる。

中央処理装置３１１は、手術支援装置３０１全体を制御し、マウス３０８又はキーボード３０９を介して入力された処理条件に従って医用画像や位置計測装置３０５によって計測された位置情報に対して所定の演算処理を実行する。

このため、図１に示すように、中央処理装置３１１は、入力データ生成部３１８及び予測データ生成部３１９の機能を実現する。なお、これらの中央処理装置３１１が実現する入力データ生成部３１８及び予測データ生成部３１９の機能は、中央処理装置３１１が予め記憶装置３１３等のメモリに格納されたプログラムを読み込んで実行することによりソフトウエアとして実現することができる。

なお、中央処理装置３１１は、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、あるいは両者の組み合わせによって構成することができる。また、中央処理装置３１１に含まれる各部が実行する動作の一部又は全部を、ＡＳＩＣ（application specific integrated circuit）やＦＰＧＡ（field-programmable gate array）により実現することもできる。

入力データ生成部３１８は、マウス等の入力装置によって入力された処理条件や医用画像データベース３０４から読み込んだ医用画像に基づいて、介入前の対象物の形状を含む対象物に係る情報を示す入力データを生成する。入力データは介入後の対象物の形状を予測した予測データを生成するために必要となる情報であり、入力データとして、医用画像データベース３０４から読み込んだ２次元あるいは３次元の医用画像の他、当該医用画像から画像処理によって対象物の特徴領域を抽出したセグメンテーション画像、又は画像処理によって抽出された特徴点等を用いることができる。対象物が脳である場合には、例えば、頭蓋骨、脳実質、脳腫瘍などが特徴領域として考えられ、このような特徴領域の輪郭に含まれる任意の点を特徴点とすることができる。

予測データ生成部３１９は、記憶装置３１８に記憶された人工知能アルゴリズムを用い、入力データ生成部３１８によって生成された入力データに基づく介入前のデータから介入後の前記対象物の形状を予測した予測データを生成する。人工知能アルゴリズム及び予測データの生成の詳細については後述する。

主メモリ３１２は、中央処理装置３１１が実行するプログラムや演算処理の途中経過を記憶するものである。
記憶装置３１３は、対象物に対する介入前後のデータを解析することにより、介入に起因して変形する対象物の変形規則を学習した人工知能アルゴリズムを記憶している。言い換えると、記憶装置３１３は、何らかの処置や手術等を含む介入によって変形する臓器等の対象物について、介入前及び介入後の形状や位置、介入の手法や条件等のデータを解析することにより、対象物である臓器等の変形規則を学習した手術支援に係る人工知能アルゴリズムを予め生成し、記憶している。

また、記憶装置３１３は、中央処理装置３１１が実行するプログラムやプログラム実行に必要なデータを格納する。さらに、記憶装置３１３は、医用画像データベース３０４から読み込んだ医用画像及び医用画像に係る関連医療情報を格納する。医用画像に係る関連医療情報としては、例えば、診断名、年齢、性別、医用画像撮像時の体位、手術時の体位・姿勢、腫瘍部位、腫瘍領域、開頭領域、開腹領域、組織病理診断などの対象物、対象臓器に対する手術関連情報などが挙げられる。記憶装置３１３として、例えば、ハードディスク等のＣＤ／ＤＶＤ、ＵＳＢメモリ、ＳＤカード等の可搬性記録媒体とデータの授受が可能な装置を適用することができる。

表示メモリ３１４は、表示装置３０２に画像等を表示させるための表示データを一時的に格納するものである。
コントローラ３１５は、マウス３０８の状態を検出して、表示装置３０６上のマウスポインタの位置を取得し、取得した位置情報等を処理装置２へ出力する。ネットワークアダプタ３１６は、手術支援装置３０１をＬＡＮ（Local Area Network）、電話回線及びインターネット等から構成されるネットワーク３０３に接続させる。

ディスプレイ３０２は、手術支援装置３０１によって生成される位置情報が重畳された医用画像を表示することで、医用画像及び術具等の位置情報を術者に提供する。

医用画像データベース３０４は、被検体３０１の断層画像等の医用画像及び医用画像に係る関連医療情報を記憶する。医用画像データベース３０４に記憶される医用画像は、例えば、ＭＲＩ装置、Ｘ線ＣＴ装置、超音波撮像装置、シンチレーションカメラ装置、ＰＥＴ装置、又はＳＰＥＣＴ装置などの医用画像撮影装置によって撮影されたものを用いることが好ましい。

また、関連医療情報として、例えば、介入が開頭術である場合には、開頭領域や患者の体位、患者情報など、臓器の移動・変形に影響を与えると考えられる因子に係る情報を記憶させておく。医用画像データベース３０４は、ネットワーク３０３を介して、ネットワークアダプタ３１６と信号送受可能に接続されている。ここで、「信号送受可能に」とは、電気的、光学的に有線、無線を問わずに、相互にあるいは一方から他方へ信号送受可能な状態を示す。

位置計測装置３０５は、手術等の介入後において、被検体内における術具等の三次元的な位置を計測する。すなわち、図２に示すように位置計測装置３０５は、寝台６０２上の被検体６０１を、被検体６０１近傍に設けられたマーカ６０３からの光と術具６０４に設けられた６０５の光を赤外線カメラ６０６により計測することで、被検体６０１における術具６０４等の位置を示す位置情報を取得し、取得した位置情報をシステムバス３１を介して中央処理装置３１１に出力する。

（手術支援に係る人工知能アルゴリズムの生成について）
記憶装置３１３には、上述のように、介入に起因して変形する対象物の変形規則を学習した人工知能アルゴリズムが記憶されている。この手術支援に係る人工知能アルゴリズムは、何らかの処置や手術等を含む介入によって変形する臓器等の対象物について、介入前及び介入後の形状や位置、介入の手法や条件等のデータを解析し、対象物である臓器等の変形規則を学習した学習済み人工知能アルゴリズムであり、例えば、図３に示すフローチャートに示す手順に従って生成する。

人工知能アルゴリズムは、手術支援装置を用いて生成することができる他、他のコンピュータ等を用いて生成することもできる。以下の説明においては、ブレインシフトの予測、つまり介入前後における脳の形状の変形規則を学習した人工知能アルゴリズムを、手術支援装置を用いて生成する例について説明する。

図３に示すように、ステップＳ２０１では、中央処理装置３１１により医用画像データベース３０４から介入前後すなわち開頭術の前後における医用画像及び当該医用画像に係る関連医療情報の読み込みを行う。ステップＳ２０２では、ステップＳ２０１で読み込まれた医用画像及び関連医療情報に基づいて、人工知能アルゴリズムに入力し学習させるための入力データと教師データを生成する。

生成する医用画像に関する入力データとしては、上述のように、医用画像の他、医用画像から特徴領域を抽出したセグメンテーション画像や特徴点を入力データとすることができる。同様に、教師データとして、医用画像、セグメンテーション画像、特徴点の他、介入前後の対象物の移動や変形を対応づける変位行列を選択することができる。

次のステップＳ２０３、ステップＳ２０４及びステップ２０５は人工知能アルゴリズムによる機械学習のプロセスである。このステップＳ２０３において入力データを人工知能アルゴリズムに代入し、ステップＳ２０４において予測データを取得し、ステップＳ２０５において得られた予測データと教師データとの比較を行う。そして、比較結果を人工知能アルゴリズムにフィードバックして修正、すなわち、ステップＳ２０３〜ステップＳ２０５の処理を繰り返すことで、予測データと教師データとの誤差が最小となるように人工知能アルゴリズムを最適化する。

人工知能アルゴリズムとしては、例えば、畳込みニューラルネットワークなど、深層学習（ディープラーニング）の人工知能アルゴリズムを用いることが好ましいが、この限りではない。ステップＳ２０５において、所望の条件が満たされた場合、Ｓ２０６において学習済み人工知能アルゴリズムを出力する。

最適化された人工知能アルゴリズムは、学習済ネットワークとも呼ばれ、入力データに対して特定のデータを出力する関数と同様の機能を有するプログラムである。本実施形態において最適化された人工知能アルゴリズムは、介入前のデータに対して介入後における脳の形状の予測データを出力する手術支援に係る人工知能アルゴリズムである。このようにして生成（最適化）された手術支援に係る学習済みの人工知能アルゴリズムは、記憶装置３１３に記憶される。

なお、ステップＳ２０４において生成される予測データの例として、移動・変形した後の臓器の医用画像、セグメンテーションされた医用画像、移動量あるいは変形量を定量的に示す値、あるいは介入前の画像から介入後の画像を対応させる変換行列などが挙げられる。

そして、記憶装置３１３に記憶した手術支援に係る学習済みの人工知能アルゴリズムを用いて、上述のように構成された手術ナビゲーションシステム３００では、入力されたデータに基づいて介入対象の臓器の予測データを生成し、予測データを用いて術者に対して術具等の位置情報を提示する手術ナビゲーションを実施する。

（手術支援に係る人工知能アルゴリズムを用いた予測データの生成について）
以下、本実施形態に係る手術支援装置において人工知能アルゴリズムを用いて予測データを生成する処理について、図４のフローチャートに従って説明する。なお、本実施形態で生成する予測データは、介入後、すなわち開頭後の脳の変形を表す医用画像である。

ステップＳ４０１では、医用画像データベース３１３から、介入前すなわち開頭前に撮影した医用画像及び関連医療情報の読み込みを行う。ステップＳ４０２では、ステップＳ４０１で読み込まれたデータに基づいて、入力データ生成部３１８により記憶装置３１３に記憶された人工知能アルゴリズムに入力するための入力データを生成する。

ステップＳ４０３では、入力データを人工知能アルゴリズムに代入し、ステップＳ４０４において予測データ生成部３１９が人工知能アルゴリズムに従って演算を行い、予測データを生成する。中央処理装置３１１は、次のステップＳ４０５において、得られた予測データを記憶装置３１３または医用画像データベース３０４に記憶させたり、表示メモリ３１４を介してディスプレイ３０２に表示させたりする。

続いて、本実施形態に係る手術ナビゲーションシステム３００における、手術ナビゲーション処理（位置情報提示処理）について図５のフローチャートに従って説明する。
以下の説明で用いる位置情報には、計測対象の空間座標における位置及び向き、姿勢等の情報を含む。

ステップＳ５０１において、中央処理装置３１１が医用画像データベース３０４から術前に撮像した医用画像及び予測データ生成部３１９により生成された予測データとして介入後の対象物の形状を示す予測医用画像を取得する。ステップＳ５０２では、取得した医用画像のＤＩＣＯＭ（Digital Imaging and Communication in Medicine）情報、関連医療情報、予測医用画像に関する情報から、ナビゲーションに用いる医用画像や予測医用画像の位置及び方向を取得する。

ステップＳ５０３では、中央処理装置３１１が位置計測装置３０５を用いて、被検体６０１の位置を検出するためのマーカ６０３の位置情報を計測する（図２参照）。ステップＳ５０４では、ステップＳ５０２とステップＳ５０３で得られた医用画像の位置情報及び被検体の位置情報から、被検体位置に対応する医用画像上の位置を算出して、被検体の位置と医用画像上の位置の位置合わせを行う。

ステップＳ５０５では、術具等の操作を誘導するために、術具の位置情報を計測する。すなわち、中央処理装置３１１は、位置計測装置６０５を用いて、術具６０４に設けられたマーカ６０５の位置情報を計測し、医用画像座標系でのマーカ６０５の座標を算出する。なお、マーカ６０５の位置情報には、術具６０４の先端までのオフセットも含まれているものとする。

ステップＳ５０６では、ステップＳ５０５において得られた術具等の位置情報を医用画像上に重畳させたナビゲーション画像を生成し、表示メモリ３１４を介してディスプレイ３０２に表示させる。このとき、術具等の位置情報を重畳させ表示させる医用画像は、術前に取得した介入前の医用画像又は予測データ生成部により生成された介入後の予測医用画像の何れか一方又は両方を選択することができる。

なお、画像処理条件（パラメータ等）については、マウス３０８およびキーボード３０９により入力が可能であり、中央処理装置３１１は、入力された画像処理条件に応じた処理を施したナビゲーション画像を生成する。

図６は、本実施形態に係る手術ナビゲーションシステムによって生成されたナビゲーション画像をディスプレイ３０２に表示させた表示画面の一例である。図６（Ａ）に示す例は、介入前の医用画像すなわち術前画像９０１と介入後の予測医用画像すなわちブレインシフト予測画像９１１を同時に表示させたものであり、図６（Ｂ）は図６（Ａ）の医用画像に術具９１４の位置情報を重畳して表示させたものである。

図６（Ａ）の術前画像９０１では、セグメンテーションされた開頭前の脳実質９０２と開頭前の脳腫瘍９０３が表示されている。図６（Ａ）のブレインシフト予測画像９１１では、予測された開頭後の脳実質９１２と予測された開頭後の脳腫瘍９１３が表示されている。

図６（Ｂ）に示すように、図６（Ａ）の術前画像９０１とブレインシフト予測画像９１１の両方の画像に術具の位置情報を表示させることによって、術前画像９０１に基づいた手術ナビゲーションとブレインシフト予測画像９１１に基づいた手術ナビゲーションの両方を同時に実施することができる。図６（Ａ）及び（Ｂ）では、一例としてアキシャル断面について示したが、サジタル断面、コロナル断面、３次元レンダリング画像のいずれの画像についても同様に術前画像とブレインシフト予測画像を同時に表示することができる。

このように本実施形態によれば、位置計測装置６０５により計測される被検体６０１又は被検体６０１との相対的な位置関係が変化しない寝台や固定具等の剛体に固定されたマーカ６０３の位置情報と、医用画像に付された画像位置情報であるＤＩＣＯＭ情報とから、被検体位置と画像位置との位置合わせに必要な位置合わせ情報を生成する。そして、術具６０４に設けられたマーカ６０５から取得した術具６０４の位置情報を医用画像に仮想的に重畳したナビゲーション画像を生成しディスプレイ３０２に表示させることができる。

このとき、介入後の予測画像上に位置情報を重畳させることで、介入後に臓器が移動または変形する場合であっても、提示する位置情報の精度を向上させることができる。つまり、本実施形態に係る手術ナビゲーションシステムによれば、介入前後における臓器の移動・変形を予測した予測医用画像を生成し、これをナビゲーション画像として用いることで、短時間で術者に対する術具の画像誘導、すなわち、術者に提示する術具等の位置情報の精度を向上させることができる。

（ナビゲーション画像の他の表示例１）
図７は、本実施形態に係る手術ナビゲーションシステムによって生成されたナビゲーション画像をディスプレイ３０２に表示させた表示画面の他の例である。図７に示すように、表示画面７０１は、ナビゲーション画像として、被検体６０１の手術部位の直交３断面画像であるアキシャル断面７１１、サジタル断面７１２及びコロナル断面７１３と、３次元レンダリング画像７１４に、位置合わせ情報に従って形成された仮想術具表示７１５が重ねて表示されている。

また、表示画面７０１の右部上には、被検体位置計測インターフェイスである位置取得アイコン７２１と、位置合わせ実行インターフェイスであるレジストレーションアイコン７２２、介入による移動・変形を予測した医用画像を表示する移動・変形予測アイコン７２３が入力用として表示されている。

ユーザが、位置取得アイコン７２１を押下することよって、位置計測装置３０５による被検体位置の計測指示を受け付け、レジストレーションアイコン７２２を押下することによって、位置計測装置３０５によって計測された被検体の位置情報に応じた被検体の医用画像上の位置を算出し、被検体の位置と医用画像上の位置の位置合わせを行う。また、移動・変形予測アイコン７２３を押下することによって、生成された予測医用画像を表示装置３０２に表示させる。

また、表示画面７０１の右部下には、画像処理指令を入力する画像閾値インターフェイス７３１、視点位置平行移動インターフェイス７３２、視点位置回転移動インターフェイス７３３及び画像拡大インターフェイス７３４のアイコンが表示されている。画像閾値インターフェイス７３１を操作することにより、医用画像の表示領域を調節することができる。また、視点位置平行移動インターフェイス７３２を操作することによって、医用画像に対する視点の位置を平行移動させ、視点位置回転移動インターフェイス７３３を操作することによって、視点の位置を回転移動させることができる。さらに、画像拡大インターフェイス７３４を操作することによって、選択領域を拡大させことができる。

（ナビゲーション画像の他の表示例２）
図８は、本実施形態に係る手術ナビゲーションシステムによって生成されたナビゲーション画像をディスプレイ３０２に表示させた表示画面の他の例である。図８の例は、介入前の医用画像すなわち術前画像に、介入後の予測医用画像すなわちブレインシフト予測画像を重畳表示させたものである。

術前画像とブレインシフト予測画像の重畳画像１００１では、セグメンテーションされた開頭前の脳実質１００２と開頭前の脳腫瘍１００３、予測された開頭後の脳実質１０１２、予測された開頭後の脳腫瘍１０１３が表示される。ここで、状況に応じて、術前画像のみの表示、あるいはブレインシフト予測画像のみの表示に切り替えることも可能である。

また、図８では、一例としてアキシャル断面について示したが、サジタル断面、コロナル断面、３次元レンダリング画像のいずれの画像についても同様に術前画像とブレインシフト予測画像を重畳表示できるものとする。

［変形例１］
本実施形態の変形例１に係る手術支援ナビゲーションシステムについて説明する。本変形例では、記憶装置３１３に記憶された手術支援に係る学習済み人工知能アルゴリズムを用いて生成された予測医用画像を必要に応じて補正する。すなわち、手術支援装置３０１によって生成される予測データとしての予測医用画像を、術具６０４によって実際の被検体６０１の臓器の位置を計測することによって随時補正する。以下、図９のフローチャートに従って本変形例における予測医用画像の補正処理の流れを説明する。

図９において、ステップＳ８０１からステップＳ８０５は、図４のフローチャートにおけるステップＳ４０１からＳ４０５と同様に、予測データを生成し、ディスプレイに表示させる処理を行う。すなわち、ステップＳ８０１において、中央処理装置３１１が、医用画像データベース３１３から、介入前すなわち開頭前に撮影した医用画像及び関連医療情報の読み込みを行い、ステップＳ８０２において、読み込まれたデータに基づいて入力データを生成する。

ステップＳ８０３〜ステップＳ８０４では、入力データを人工知能アルゴリズムに代入し、予測データ生成部３１９によって人工知能アルゴリズムに従って演算を行い予測データを生成する。次のステップＳ８０５において、中央処理装置３１１は、得られた予測データを記憶装置３１３または医用画像データベース３０４に記憶させたり、表示メモリ３１４を介してディスプレイ３０２に表示させたりする。

ステップＳ８０６では、中央処理装置３１１が位置計測装置６０５を用いて、術具６０４の位置情報を計測する。すなわち、術具６０４をプローブとして、介入によって移動・変形した後の臓器の表面や特徴点の現実の位置情報を計測する。例えば、脳神経外科手術の場合では、ステップＳ８０５においてディスプレイ３０２に予測医用画像を表示させた状態で、術具６０４の先端を脳表面に配置させることによって、開頭によってブレインシフトが生じた現実の脳表面の位置を捉えることができる。このとき、ステップＳ８０５の予測医用画像に表示される脳表面と術具６０４の先端位置にずれが生じている場合には、計測された特徴点を用いて予測医用画像を随時補正する。

ステップ８０７では、補正された予測医用画像を表示装置３０６に表示する。ここで、特徴点の位置計測による予測医用画像の補正処理は随時行うことができるものとし、介入前の医用画像、介入後の予測医用画像、補正された予測医用画像はそれぞれ画面操作により随時表示できるものとする。なお、上記した補正処理は介入前の医用画像に対して行ってもよい。

［参考例］
本実施形態に係る手術支援ナビゲーションシステムの参考例について説明する。本参考例では、学習済み人工知能アルゴリズムを用いた予測画像に代えて、術中の位置情報計測によって予測画像を生成、つまり、特徴点の位置計測によって介入前の医用画像を補正する。以下、参考例に係る補正処理について図１０のフローチャートに従って説明する。

ステップＳ１１０１では、医用画像データベース３１３から、介入前すなわち開頭前の医用画像の読み込みを行う。ステップＳ１１０２では医用画像をディスプレイ３０２に表示する。ステップＳ１１０３では、術具６０４をプローブとして、介入によって移動・変形した後の臓器の表面や特徴点の現実の位置情報を計測する。

より具体的には、ステップＳ１１０２において介入前の医用画像がディスプレイ３０２に表示された状態で、特徴点を画面上で指定し、さらに術具６０４の先端を対応する現実の移動後の特徴点に配置して位置計測することによって、開頭前後の特徴点の位置の変化を定義することができる。

さらに、介入前後に位置が移動する特徴点と、介入前後で位置が変化しないと推定される特徴点を指定することによって定義される境界条件に基づいて介入前の画像を補正し、介入後の状態に近い画像を生成・表示することができる。ステップ１１０４では、補正された医用画像をディスプレイ３０２に表示する。ここで、特徴点の位置計測による医用画像の補正処理は随時行うことができるものとし、介入前の医用画像と補正された医用画像はそれぞれ画面操作により随時表示できるものとする。

本実施形態によれば、特定の介入を与える前後のデータから被検体が介入によって移動・変形する現象を学習した学習済みの人工知能アルゴリズムを生成し、これを用いて介入前の画像データおよび手術関連情報から、介入後の被検体の画像を予測する。そして、この予測した画像をディスプレイに表示させ、被検体と術具の位置情報とを取得し、医用画像に重畳させることで、術前の画像を用いた従来の手術ナビゲーションに比して精緻な手術ナビゲーションが可能となる。

３００・・・手術ナビゲーションシステム、３０１・・・手術支援装置、３０２・・・ディスプレイ、３０３・・・ネットワーク、３０４・・・医用画像データベース、３０５・・・位置計測装置、３０８・・・マウス、３０９・・・キーボード、３１１・・・中央処理装置、３１２・・・主メモリ、３１３・・・記憶装置、３１４・・・表示メモリ、３１５・・・コントローラ、３１６・・・ネットワークアダプタ、３１８・・・入力データ生成部、３１９・・・予測データ生成部、６０１・・・被検体、６０２・・・寝台、６０３，６０５・・・マーカ、６０４・・・術具、６０６・・・赤外線カメラ

Claims (9)

1. 対象物に対する介入前後のデータを解析することにより、介入に起因して変形する前記対象物の変形規則を学習した人工知能アルゴリズムを記憶する記憶装置と、
   前記人工知能アルゴリズムを用いて、介入前のデータに基づいて介入後の前記対象物の形状を予測した予測データを生成する予測データ生成部と、を備えた手術支援装置。
2. 前記データが医用画像および／または前記対象物に対する手術関連情報である請求項１記載の手術支援装置。
3. 前記データが画像処理によって抽出された、前記対象物を示す領域の画像又は前記対象物の特徴点を含む請求項１記載の手術支援装置。
4. 前記予測データが、介入前の対象物と介入後の対象物を対応づける変位行列を含む請求項１記載の手術支援装置。
5. 前記介入が開頭手術であり、前記対象物が脳である請求項１記載の手術支援装置。
6. 前記介入が開腹手術であり、前記対象物が肝臓等の消化器である請求項１記載の手術支援装置。
7. 前記介入が開胸手術であり、前記対象物が肺又は心臓である請求項１記載の手術支援装置。
8. 請求項１乃至請求項７の何れか１項記載の手術支援装置と、
   医用画像を表示する表示装置と、
   被検体の位置情報及び術具の位置を計測する位置計測装置と、を備え、
   前記手術支援装置によって生成された予測データと、前記位置計測装置によって計測された被検体及び術具の位置を重畳させて前記表示装置に表示させる手術ナビゲーションシステム。
9. 前記位置計測装置によって前記被検体の特徴点の位置情報を計測し、該位置情報を用いて前記予測データを補正する請求項８記載の手術ナビゲーションシステム。

Images