JP2021049198A - 手術支援装置及び手術ナビゲーションシステム - Google Patents

Abstract

【課題】手術における適切な介入部位を予測し、予測された介入部位を術者に提示することで介入部位の精度を向上させる。【解決手段】手術支援装置は、人工知能アルゴリズムを用いて、介入前のデータに基づいて介入部位を予測した予測データを生成する予測データ生成部を備える。人工知能アルゴリズムは、対象物に対する介入前のデータと介入部位データを解析することにより、介入部位を学習した人工知能アルゴリズムであり、介入部位の１点の座標、領域或いは形状を予測データとして出力する。人工知能アルゴリズムの学習に用いる介入前のデータ及び予測データ生成のために人工知能アルゴリズムに入力される入力データは、画像データ、セグメント画像、特徴点などである。予測データは、事前に取得した患者の画像とともに表示装置に表示される。【選択図】図１

Description

本発明は、手術時に医用画像を用いて術者を支援する手術用支援装置及び手術用ナビゲーションシステムに関する。

手術前に作成した治療計画データと手術中に獲得したデータとを統合して、術具等の位置や姿勢をガイドすることにより安全・安心に手術が行われるように術者を支援する手術用ナビゲーションシステムが知られている。

より詳細には、手術用ナビゲーションシステムは、例えば、ＭＲＩなどの医用画像撮影装置によって術前に取得された医用画像上に、位置計測装置等のセンサを用いて検出した術具等の各種医療機器の実空間における位置情報を重畳して表示させることにより、術者に対して術具の位置を提示して手術の支援を行うシステムである。

手術用ナビゲーションシステムで解決すべき課題の一つに、術者に対する適切な介入部位の提示が挙げられる。介入部位とは、手術の対象である体内の組織や臓器に対し処置を施すために、まず対象者即ち患者の体表を術具で切開等する際の体表部分であり、処置を施す部位の位置に応じて適切な位置や大きさを設定する必要がある。これまでは、手術中に術者が患者の身体に介入するときは、医用画像を参考に術者の経験に基づいて介入部位を決めていた。しかし、術者の経験が浅い場合は、手術の目的に合致した適切な介入部位を適切に決めることができず、位置がずれていたり、範囲が小さすぎたりしていた。この場合は、介入後に改めて介入部位を拡張する等の補正が行われることとなり、手術時間の超過による患者への身体的負荷が増大していた。

特に、脳腫瘍を摘出などの頭蓋骨の切除と開頭を伴う脳外科手術等の手術では、腫瘍の大きさ・腫瘍までの距離・損傷を回避すべき脳の領野の位置など、様々な要因に基づいて総合的にその切除部位（介入位置）を判断しなければならず、また切除部位に応じて患者の体位を適切に設定する必要がある。熟練していない術者は切除部位を適切に決められず、切除後にさらに頭蓋骨を追加の切除が必要となる状況も起こり得る。しかし、このような課題に対応する技術はこれまで提案されていない。

一方、近年、深層学習（ディープラーニング）などの人工知能アルゴリズムを用いて、医用画像の精度を向上する技術が開発されている。例えば、特許文献１には、医用画像から頭蓋内出血などを判定する技術が開示されている。

特表２０１９−５００１１０号公報

特許文献１に開示された人工知能アルゴリズムを用いた技術は、例えば手術部位の判定精度を高めることによって間接的に手術支援に資するものであるが、画像精度の向上に留まり、手術ナビゲーション技術と組み合わせた支援情報を提供するものではない。これに対し、本出願人は、介入前後の画像を教師データとして学習した人工知能アルゴリズムを用いて、介入後の対象臓器位置を予測し、手術ナビゲーションにより提示する術具位置の精度を向上する技術を提案している。この技術では、術者の介入、例えば切開によって、対象臓器が変形してしまい、手術ナビゲーションによる術具位置提示機能の精度が低下するという課題、例えば脳外科手術において開頭によって脳の形状や位置が変化する所謂「ブレインシフト」に起因する問題を解決することができる。

しかし、介入後の臓器の形状・位置の変化は、介入位置や患者の体位によって異なるが、この技術では介入位置自体の支援情報は提示されない。介入位置は、患者の状態（例えばどのような体位を取りえるか）等を考慮して臨機応変に変化させなければならない場合もあり、上述した人工知能アルゴリズムだけでは十分な手術支援機能が得られない可能性もある。また介入位置や患者体位も考慮して介入後の臓器の形状・位置変化を予測できる人工知能アルゴリズムを作成するためには、膨大な教師データが必要となる。

そこで、本発明は、手術用ナビゲーションシステムにおいて、手術の適切な介入部位を予測する技術を提供すること目的とする。

上記課題を解決するために、本発明の手術支援技術は、対象物に対する介入前のデータと介入部位データを解析することにより、介入部位を学習した人工知能アルゴリズムを作成し、この学習済み人工知能アルゴリズムを用いて、介入前のデータに基づいて介入部位を予測し、提示する。

具体的には、本発明の手術支援装置は、生体内の対象物への介入を、画像表示によって支援する手術支援装置であって、介入前の前記対象物を含む画像データまたは当該画像データを処理したデータと、生体の表面における介入位置に関する情報とを用いて学習した学習済み人工知能アルゴリズムを用いて、処置の対象である生体への介入位置を予測し、予測データを出力する予測データ生成部を備えたことを特徴とする。

また、本発明は、上記手術支援装置を備えた手術ナビゲーションシステムを提供する。この手術ナビゲーションシステムは、上述した手術支援装置と、医用画像を表示する表示装置と、処置の対象である生体の位置と術具の位置を計測する位置計測装置と、を備える。手術支援装置は、予測データ生成部により出力された介入位置に関する情報と、前記位置計測装置が計測した術具の位置とを、前記表示装置に表示させる。

本発明によれば、手術対象に対する適切な介入部位を予測し、予測された介入部位を術者に提示することで介入部位の精度を向上させることができる。その結果、患者への身体的負荷を軽減させることができる。

本発明の実施形態に係る手術ナビゲーションシステムの概略構成を示すブロック図である。 実施形態１の手術支援装置とそれを含む手術ナビゲーションシステムの構成を示すブロック図である。 実施形態１の手術支援装置の中央処理装置の構成ブロック図である。 図２の手術ナビゲーションシステムにおける位置計測装置の概略構成を示す説明図である。 実施形態１の手術支援装置に適用する人工知能アルゴリズムの生成処理を説明するフローチャートである。 介入位置と姿勢との関係を示す説明図である。 手術支援装置に適用する人工知能アルゴリズムの一例を示す図である。 実施形態１の手術支援装置において、予測データを生成する処理を説明するフローチャートである。 実施形態１の手術支援装置において、表示装置に表示される表示画面の一例を示す図である。 （Ａ）、（Ｂ）は、それぞれ実施形態１の手術支援装置において、表示装置に表示される表示画面の別の例を示す図である。 実施形態１に係る手術ナビゲーションシステムの処理を説明するフローチャートである。 実施形態１に係る手術ナビゲーションシステムにおいて、表示装置に表示される表示画面の一例を示す図である。 ブレインシフトを説明する脳の断層画面の参考図であり、（Ａ）は開頭前、（Ｂ）は開頭後を示す。 実施形態２の手術支援装置の中央処理装置の構成ブロック図である。 実施形態２の手術支援装置の人工知能アルゴリズムの出力データの一例を示す図である。 実施形態２の手術支援装置に適用する人工知能アルゴリズムの一例を示す図である。 実施形態２に係る手術ナビゲーションシステムの処理を説明するフローチャートである。

本発明の手術ナビゲーションシステムの実施形態について、図面を参照して説明する。

手術ナビゲーションシステム１００は、図１に示すように、手術支援に必要な情報（支援情報）を生成する手術支援装置１０と、手術支援装置１０が生成した情報を術者に提示する出力手段、例えば表示装置２０と、手術室内に置かれた患者や術具の位置を計測する位置計測装置３０とを備えている。

手術支援装置１０は、所望の医用画像上に術具等の位置情報を重畳して、位置情報をリアルタイムに提示することにより術者を支援する装置である。具体的には、位置計測装置３０から、患者（対象部位）や術具の位置に関する情報を取得し、術前画像とともに表示装置２０に表示させる。さらに、本実施形態では、患者に対する介入に先立って取得した対象部位の画像データ（術前画像のデータ）から生成した入力データをもとに、適切な介入位置に関する情報を含む支援情報を生成し、術具の位置情報とともに表示装置２０に表示させる。

術前画像は、ＭＲＩ装置、ＣＴ装置などの医用撮像装置で取得した患者の画像を手術支援装置１０内の記憶装置或いは外部の記憶装置に格納しておき、入力データを作成する際や支援情報として表示装置２０に表示する際に、手術支援装置１０が読み出して用いることができる。

手術支援装置１０が生成する入力データは、術前画像そのものでもよいし、術前画像から所定の特徴を持つ領域（以下、特徴領域）を抽出したセグメンテーション画像、組織や部位の特徴を抽出した特徴点データ、などであってもよい。また手術支援装置１０が出力する支援情報は、介入位置に関する情報のほか、ブレインシフトのような介入後の変化を表す情報などを含んでいてもよい。介入位置に関する情報は、介入すべき位置や領域、大きさ、介入位置と対象部位とを結ぶ線の傾きやそれから推定される患者の推奨体位、などを含む。

手術支援装置１０は、例えば、上述した入力データと同種の入力データと、手術支援装置１０の出力である介入位置に関するデータ（教師データ）とからなるセットを多数用いて、予め学習させた学習済み人工知能アルゴリズム（以下、ＡＩアルゴリズムと略す）を用いて上述した支援情報を出力する。このようなＡＩアルゴリズムは、手術支援装置１０または別の装置において作成され、手術支援装置１０の内部の記憶装置或いは外部の記憶装置に格納されている。ＡＩアルゴリズムの作成方法については後に詳述する。

上述した機能を実現するため、手術支援装置１０は、術前画像から入力データを生成する入力データ生成部１１０、ＡＩアルゴリズムを用いて入力データから介入位置に関する情報等を生成する予測データ生成部１３０、予測データ生成部１３０の出力や位置計測装置３０からの出力を表示装置２０に表示させるための表示制御部１５０を備えることができる。これらの機能は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＧＰＵ（Ｇｒａｐｈｉｃｅｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）或いはその組み合わせなどの処理装置を備えた汎用又は専用のコンピュータ上で実現することができる。入力データ生成部１１０や予測データ生成部１３０や表示制御部１５０として機能するプログラムをコンピュータのメモリに読み込んで実行することにより、ソフトウェアとして実現される。但し、処理装置が実行する機能の一部または全部を、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）などのハードウェアで実現することも可能である。また実施形態によっては、いくつかの機能を省略することも可能である。

位置計測装置３０は、手術室内において手術対象である患者の近傍に置かれたマーカや術具に固定されたマーカの位置を検出し、患者や術具の実空間座標系における三次元位置を取得する。マーカの検出は、磁気検出器、赤外線検出器など公知の位置検出器を採用することができる。対象部位や術具の実空間座標系における位置は、ＤＩＣＯＭデータの座標（画像空間の座標）の位置に座標変換されて、術前画像と重畳して表示装置２０に表示される。座標変換は、例えば、中央処理装置１１内にレジストレーション部（座標変換部）を設けて、ここで実現することができる。レジストレーションの手法は公知の手術ナビゲーションの手法を用いることができる。

本実施形態の手術ナビゲーションシステムによれば、多数のデータのセットを用いて、入力データに対し適切な介入位置を出力するように学習されたＡＩアルゴリズムを用意しておき、手術対象について当該ＡＩアルゴリズムの入力データと同種の入力データを生成し、この学習済みＡＩアルゴリズムに入力することで、手術対象にとって最適な介入位置を術者に提示することができる。これにより不適切な介入を防止し、例えば、患者に適切な体位を取らせたり、最短経路で侵襲を極力少なくした手術ができるよう支援することができる。

以上、説明した手術ナビゲーションシステムの基本的な構成の実施形態を踏まえ、以下、本発明の具体的な実施形態について、手術が開頭を伴う脳外科手術である場合を例に、説明する。なお以下の実施形態において、図１に含まれる要素と同じ要素は同じ符号で示し、重複する説明は省略する。

＜実施形態１＞
本実施形態の手術ナビゲーションシステムは、手術支援装置１０を、中央処理装置を備えたコンピュータ上に構築した実施形態であり、その中央処理装置に、手術支援装置１０を構成する入力データ生成部１１０、予測データ生成部１３０、表示制御部１５０などが含まれる。

以下、本実施形態の手術ナビゲーションシステム１００を、図２を参照して説明する。本実施形態の手術ナビゲーションシステム１００は、手術支援装置１０、手術支援装置１０から提供される位置情報等を表示させるディスプレイ（表示装置）２０、ネットワーク４０を介して手術支援装置１０に通信可能に接続される医用画像データベース５０、及び術具等の位置を計測する位置計測装置３０を備えている。

手術支援装置１０は、中央処理装置１１、主メモリ１２、記憶装置１３、表示メモリ１４、コントローラ１５及びネットワークアダプタ１６を備えている。手術支援装置１０を構成するこれらの各構成は、システムバス１７を介して夫々接続されている。また、システムバス１７にはキーボード１９が接続されると共にコントローラ１５にはマウス１８が接続されている。マウス１８及びキーボード１９は医用画像の処理条件の入力を受付ける入力装置として機能する。なおマウス１８は、例えば、トラックパッドやトラックボールなどの他のポインティングデバイスであってもよく、また、ディスプレイ２０にタッチパネル機能を持たせ、これによってマウス１８やキーボード１９の機能を代替させることもできる。

中央処理装置１１は、手術支援装置１０全体を制御し、マウス１８又はキーボード１９を介して入力された処理条件に従って医用画像や位置計測装置３０によって計測された位置情報に対して所定の演算処理を実行する。このため、中央処理装置１１は、入力データ生成部１１０、予測データ生成部１３０、表示制御部１５０等の機能を実現する。中央処理装置１１は、これらの機能のほか、図３に示すように、位置計測装置で計測した実空間座標における位置と画像座標における位置との位置合わせを行うためのレジストレーション部１４０等や、学習済みＡＩアルゴリズムを作成する場合には機械学習部１２０を備えていてもよい。

入力データ生成部１１０は、マウス１８等の入力装置によって入力された処理条件や医用画像データベース５０から読み込んだ医用画像に基づいて、介入前の対象物の形状を含む対象物に係る情報を示す入力データを生成する。入力データは介入後の対象物の形状を予測した予測データを生成するために必要となる情報であり、学習済みＡＩアルゴリズムの作成に用いた入力データに対応している。具体的には、入力データして、医用画像データベース５０から読み込んだ２次元あるいは３次元の医用画像、当該医用画像から画像処理によって対象物の特徴領域を抽出したセグメンテーション画像、又は画像処理によって抽出された特徴点等を生成する。対象物が脳である場合には、頭蓋骨、脳実質、脳腫瘍などが特徴領域として考えられ、これら特徴領域を公知のセグメンテーション手法を用いて抽出しセグメンテーション画像としてもよい。さらにこのような特徴領域の輪郭に含まれる任意の点を特徴点とすることができる。

予測データ生成部１３０は、記憶装置１３に記憶された人工知能アルゴリズムを用い、入力データ生成部１１０によって生成された入力データに基づく介入前のデータから介入部位を予測した予測データを生成する。人工知能アルゴリズム及び予測データの生成の詳細については後述する。

主メモリ１２は、中央処理装置１１が実行するプログラムや演算処理の途中経過を記憶するものである。

記憶装置１３は、対象物に対する介入前のデータと介入部位を解析することにより、介入前のデータから適切な介入部位を求める規則を学習した人工知能アルゴリズムを記憶している。記憶装置１３は、また、中央処理装置１１が実行するプログラムやプログラム実行に必要なデータを格納する。さらに、記憶装置１３は、医用画像データベース５０から読み込んだ医用画像（画像データ）及び医用画像に係る関連医療情報を格納する。関連医療情報には、診断名、年齢、性別、医用画像撮像時の体位のほか、腫瘍部位、腫瘍領域、組織病理診断などの対象物や対象臓器に関する手術関連情報や、介入部位に影響を与えると考えられる因子に係る情報を含んでもよい。記憶装置１３として、例えば、ハードディスク等のＣＤ／ＤＶＤ、ＵＳＢメモリ、ＳＤカード等の可搬性記録媒体とデータの授受が可能な装置を適用することができる。

表示メモリ１４は、表示装置２０に画像等を表示させるための表示データを一時的に格納するものである。

コントローラ１５は、マウス１８の状態を検出して、ディスプレイ２０上のマウスポインタの位置を取得し、取得した位置情報等を中央処理装置１１へ出力する。ネットワークアダプタ１６は、手術支援装置１０をＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、電話回線或いはインターネット等から構成されるネットワーク４０に接続させる。

ディスプレイ２０は、手術支援装置１０によって生成される位置情報が重畳された医用画像を表示することで、医用画像及び術具等の位置情報を術者に提供する。

医用画像データベース５０は、患者の断層画像等の医用画像及び医用画像に係る関連医療情報を記憶する。医用画像データベース５０に記憶される医用画像は、例えば、ＭＲＩ装置、ＣＴ装置、超音波撮像装置、シンチレーションカメラ装置、ＰＥＴ装置、又はＳＰＥＣＴ装置などの医用画像撮影装置によって撮影されたものを用いることが好ましい。手術支援装置１０以外の撮像装置や画像処理装置で作成したセグメンテーション画像等の画像データをもとの画像データとともに記憶していてもよい。

医用画像データベース５０は、ネットワーク４０を介して、ネットワークアダプタ１６と信号送受可能に接続されている。ここで、「信号送受可能に」とは、電気的、光学的に有線、無線を問わずに、相互にあるいは一方から他方へ信号送受可能な状態を示す。

位置計測装置３０は、手術等の介入後において、被検体内における術具等の三次元的な位置を計測するものであり、例えば、図４に示すように、手術室内に固定された１ないし複数の赤外線カメラ３０１を備える。一方、寝台３０２上の被検体（患者）６０の近傍や術具３０３には、赤外線カメラ３０１により検出可能な光を複数個所から発するマーカ３０４、３０５に設けられており、これらマーカ３０４、３０５からの光を赤外線カメラ３０１により計測することで、患者６０における術具３０３等の位置を示す位置情報を取得する。位置計測装置３０は取得した位置情報を、手術支援装置１０内のシステムバス１１７を介して中央処理装置１１に出力する。

次に、記憶装置１３に格納されるＡＩアルゴリズムの生成について説明する。

記憶装置１３に格納されているＡＩアルゴリズムは、上述のように、介入前のデータから適切な介入部位を求める規則を学習したＡＩアルゴリズムであり、手術支援装置１０または別のコンピュータ等を用いて生成することができる。

以下、開頭術において開頭前のデータから適切な開頭部位（介入位置）を求める規則を学習したＡＩアルゴリズムを手術支援装置１０内で生成する場合を例に、その生成手順を説明する。この場合、手術支援装置１０の中央処理装置１１は、図３に示したように、上述した入力データ生成部１１０や予測データ生成部１３０のほかに、機械学習部１２０を備える。また医用画像データベース５０には、介入前後すなわち開頭術の前後における医用画像がその関連医療情報とともに格納されているものとする。

ＡＩアルゴリズムの生成は、図５に示すように、まずステップＳ５０１で、中央処理装置１１（入力データ生成部１１０）が医用画像データベース５０から介入前後すなわち開頭術の前後における医用画像及び当該医用画像に係る関連医療情報の読み込みを行う。

続いてステップＳ５０２で、入力データ生成部１１０は、ステップＳ５０１で読み込まれた医用画像及び関連医療情報に基づいて、人工知能アルゴリズムに入力し学習させるための入力データと教師データを生成する。

入力データとしては、上述のように、医用画像の他、医用画像から特徴領域を抽出したセグメンテーション画像や特徴点を入力データとすることができる。ここでは、脳のＭＲＩ画像から、脳実質・頭蓋骨・腫瘍をセグメンテーションしておくものとする。セグメンテーションは、医用画像から所望の臓器や部位を抽出して臓器のみ或いは部位のみの画像を生成する技術であり、Ｓｎａｋｅｓ、Ｌｅｖｅｌ ｓｅｔ法、Ｄｅｅｐ Ｌｅａｒｎｉｎｇに基づく方法など公知の手法を用いることができ、腫瘍領域のみの画像を取り出してもよいし、腫瘍の有無を表す二値画像としてもよい。脳のＭＲＩ画像として、例えば、術前の脳実質のＭＲＩのＴ１画像（或いはＴ１強調画像）とＴ２画像（或いはＴ２強調画像）を用いることができる。これらは脳実質や腫瘍を異なるコントラストで描出している画像であり精度よくセグメンテーションを行うことができる。その他、病変の描出能に優れたＦＲＡＩＲ（Ｆｌｕｉｄ−Ａｔｔｅｎｕａｔｅｄ Ｉｎｖｅｒｓｉｏｎ Ｒｅｃｏｖｅｒｙ）画像等を用いてもよい。

入力データとして、複数の画像を用いてもよく、その場合、互いに位置のずれがないように位置合わせをしておく。具体的には，２つの画像の類似度を最大化するように片方の画像に変換行列（ここでは並進、回転に限る）を適用することで，位置合わせを行う。類似度としてはゼロ平均正規化相互相関（ＺＮＣＣ）や、差分二乗和（ＳＳＤ）、差分絶対値和（ＳＡＤ）、正規化相互相関（ＮＣＣ）、相互情報量を用いることができる。

教師データは、介入位置情報を示すデータであり、具体的には、開頭領域（切除する頭蓋骨の部分）のセグメンテーション画像、開頭領域の重心や半径などの特徴量などを選択することができる。本実施形態では、ＭＲＩ画像などの医用画像から得た頭蓋骨の三次元の二値画像の中から、例えば領域拡張法などを用いて開頭領域の画像を抽出し、二値化した画像を教師データとする。或いは抽出した開頭領域を簡単な図形で近似し、その図形を表す特徴量を教師データとして用いてもよい。例えば、円で近似する場合は、その重心と半径を教師データとすればよい。以上の入力データと教師データも位置のずれがないように位置合わせしておく。さらに開頭領域は、脳を比較的大きな領域（前頭葉、側頭葉など）に分けた領域としてもよい。

教師データは、開頭領域を示すデータのほかに、患者の頭部の姿勢（頭位）を含んでもよい。特に頭蓋骨の切開を伴う脳外科手術では、頭蓋骨内の脳脊髄液等が外部にこぼれないように、開頭位置を垂直方向の上部に設定することが重要であり、開頭位置が上部となるように頭部の姿勢を設定する必要がある。教師データとして用いる頭部の姿勢に関するデータは、例えば、図６で示すように、入力データである頭部画像の座標を基準として、その座標軸（例えばＹ軸）からの傾きをオイラー角で表したものを用いることができる。或いは、手術の対象部位と開頭領域の中心とを結ぶ線Ｌが基準座標の座標軸（垂直方向の軸）と一致するように頭部画像を回転させた画像を教師データとしてもよい。

上述したステップＳ５０１、Ｓ５０２により入力データ生成部１１０による入力データ及び教師データの生成が終了すると、機械学習部１２０は学習前の人工知能アルゴリズムを用いてステップＳ５０３〜Ｓ５０５の機械学習プロセスを開始する。すなわちステップＳ５０３において入力データを学習前の人工知能アルゴリズムに代入し、ステップＳ５０４において予測データを取得し、ステップＳ５０５において得られた予測データと教師データとの比較を行う。そして、比較結果を人工知能アルゴリズムにフィードバックして修正、すなわち、ステップＳ５０３〜ステップＳ５０５の処理を繰り返すことで、予測データと教師データとの誤差が最小となるように人工知能アルゴリズムを最適化する。

人工知能アルゴリズムとしては、例えば、畳込みニューラルネットワークなど、深層学習（ディープラーニング）のＡＩアルゴリズムを用いることが好ましい。具体的には、ＡＩアルゴリズムとして、Ｕ−ｎｅｔ、Ｓｅｇ−ｎｅｔ、ＤｅｎｓｅＮｅｔなどの公知のＡＩアルゴリズムを用いることができる。一例として、Ｕ−ｎｅｔの構造を図７に示す。Ｕ−ｎｅｔは、図示するように、複数のエンコーダＥＣと、それと同数のデコーダＤＣとを、ブリッジＢＲを介して接続するとともに、同レベルのエンコーダＥＣとデコーダＤＣとを接続した構造のネットワークであり、エンコーダ、デコーダ及びブリッジは、それぞれ、同図の下部に示すように、畳込み層（Ｃ層）やＲｅＬＵ（ランプ関数）層或いはｌｅａｋｙＲｅＬＵ層（Ｌ層）などを重ねた構造を持っている。Ｕ−ｎｅｔは、各層のエンコーダとデコーダとを直接連結することで、特徴の伝播過程で消失する画素のディテールを補うことができ、また比較的計算量が少なく短い計算時間で結果が得られるという特徴がある。図示する例では、入力データはＭＲＩ画像（例えば、セグメント画像）であり、出力される予測データは開頭領域画像（例えば、二値化画像）であり、例えば百数十例の脳腫瘍データを用いて学習させる。

ステップＳ５０５において、予測データと教師データとの誤差を評価する評価関数としては、平均絶対誤差（Ｍｅａｎ Ａｂｓｏｌｕｔｅ Ｅｒｒｏｒ）、平均二乗誤差平方根（Ｒｏｏｔ Ｍｅａｎ Ｓｑｕａｒｅｄ Ｅｒｒｏｒ）など指標を用いることができる。本実施形態では、例えば、ＡＩアルゴリズム（Ｕ−ｎｅｔ）は平均絶対誤差を最小にするように学習され、平均絶対誤差が所定の値を下回った場合に（Ｓ５０６）、Ｕ−ｎｅｔは最適化されたと考え、ステップＳ５０７において学習済みＡＩアルゴリズムとして出力される。

このように最適化されたＡＩアルゴリズム（学習済みＡＩアルゴリズム）は、入力データに対して特定のデータを出力する関数と同様の機能を有し、本実施形態においては、介入前の入力データに対して介入部位の予測データを出力する手術支援用ＡＩアルゴリズムである。介入部位の予測データは、学習に用いた教師データによって決まり、本実施形態では、開頭領域のみを抽出した二値画像（開頭領域画像）、開頭領域の境界を表す二値画像、開頭領域を簡単な図形で近似したときの図形を表す特徴量などである。また教師データが、体位（頭部の姿勢）を含む場合には、推奨される体位も予測データとして出力される。機械学習部１２０により出力された学習済みＡＩアルゴリズムは、記憶装置１３に記憶される。

次に、学習済みのＡＩアルゴリズムを用いた手術ナビゲーションの具体例について説明する。本実施形態の手術ナビゲーションシステム１００は、介入位置に関する情報の提示及び術具の位置情報の提示の２つの機能を実行することができる。

最初に、学習済みＡＩアルゴリズムを用いた予測データの生成と介入位置の提示について、図８のフローチャートに従って説明する。ここでは、予測データとして開頭領域画像が出力される場合を例に説明する。

まずステップＳ８０１で、入力データ生成部１１０は、医用画像データベース５０から、手術対象である患者について介入前すなわち開頭前に撮影した医用画像及び関連医療情報の読み込みを行う。ついでステップＳ８０２では、ステップＳ８０１で読み込まれたデータに基づいて、学習済みＡＩアルゴリズムに入力するための入力データを生成する。入力データの生成手順は、図５のステップＳ５０２における入力データの生成手順と同一であり、ＡＩアルゴリズムの学習に用いた入力データと同種のデータを生成する。入力データは、例えば、患者の脳実質のＴ１画像、Ｔ２画像及び腫瘍画像である。これら全部を用いてもよし、統合して用いてもよい。

ステップＳ８０３では、予測データ生成部１３０が記憶装置１３に記憶された学習済みＡＩアルゴリズムを読み込むとともに、ステップＳ８０２で作成した入力データを学習済みＡＩアルゴリズムに代入し、演算を行い、予測データを出力する。本実施形態では、図７のＵ−ｎｅｔに従って演算を行い、予測データとして開頭領域の画像データが得られる。ステップＳ８０４で、表示制御部１５０は、予測データ生成部１３０が生成した開頭領域の画像データを受け取り、表示メモリ１４を介してディスプレイ２０に表示させる。

ディスプレイ２０に表示される介入前の医用画像すなわち術前画像の表示画面９００の一例を図９及び図１０に示す。図９に示す例では、脳実質９０２や腫瘍部位９０３を含む介入前の脳のＭＲＩ画像に重畳して、開頭領域画像を示す画像（二値画像）９０５が表示されている。このような表示から、術者は開頭領域の位置と大きさを把握することができ、この表示を支援情報として開頭の準備を進めることができる。

なお図９では、アキシャル面の画像のみを表示しているが、それ以外の面、サジタル面やコロナル面の画像やレンダリング画像を同時に表示してもよく、それらの画像にもサジタル面やコロナル面の開頭領域画像あるいは開頭領域のレンダリング画像を重畳して示すことができる。

図１０は、予測データとして開頭領域の画像データに加えて、頭部の姿勢に関するデータが出力される場合の表示例を示す。図１０（Ａ）に示す例では、表示制御部１５０は、予測データとして頭部の姿勢（手術時の姿勢として推奨される姿勢：推奨姿勢）のオイラー角を予測データ生成部１３０から受け取ると、術前画像の上に画像座標に対し予測データの角度だけ傾きを持つ線分９１０を重畳して表示メモリ１４に渡す。これにより図示するように、術前画像上に開頭領域の中心と腫瘍の重心とを結ぶ線９１０が表示される。図１０（Ｂ）は、術前画像上に開頭領域を重畳した画像を、開頭領域の中心と腫瘍の重心とを結ぶ線が画像の座標軸（Ｙ軸：垂直方向）に一致するように回転させて表示したものである。これらの表示により、術者は頭部をどの程度傾けた状態で開頭すればよいかを視覚的に把握することができる。

なお、予測データ生成部１３０が生成した予測データは、必要に応じて記憶装置１３や医用画像データベース５０に格納する。これにより事後的な確認・検証やＡＩアルゴリズムの学習等に使用することができる。

次に、上述した介入位置の提示と術具位置の提示を含む手術ナビゲーション処理について図１１のフローチャートに従って説明する。

まずステップＳ８１１において、中央処理装置１１が医用画像データベース５０から手術対象である患者について術前に撮像した医用画像、及び予測データ生成部１３０により生成された予測データとして介入後の対象物の形状を示す予測医用画像を取得する。ステップＳ８１２では、取得した医用画像のＤＩＣＯＭ（Ｄｉｇｉｔａｌ Ｉｍａｇｉｎｇ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ ｉｎ Ｍｅｄｉｃｉｎ）情報、関連医療情報、予測医用画像に関する情報から、ナビゲーションに用いる医用画像や予測医用画像における被検体の位置及び方向（画像空間座標に置ける位置）を取得する。

ステップＳ８１３では、中央処理装置１１が位置計測装置３０を用いて、図４に示したように、被検体６０の近傍に置かれたマーカ３０４の位置情報を計測し、被検体６０の位置（実空間座標における位置）を検出する。マーカ３０４の位置は、マーカ３０４に固定された３以上の光学的あるいは磁気的に検出可能な球体マーカを位置計測装置３０で検出することにより３次元実空間における位置を検出できる。また被検体６０位置は、例えば、予めマーカ３０４を被検体６０の所定部位（例えば頭部）に仮置したときの位置と、手術を行う際に固定する位置とを計測しておき、これら２つの位置の関係を把握しておくことにより検出することができる。

ステップＳ８１４では、中央処理装置１１のレジストレーション部１４０が、ステップＳ８１２で得られた医用画像における被検体の位置情報（画像空間座標上の位置）とステップＳ８１３で及び被検体の位置情報（実空間座標における位置）から、被検体位置に対応する医用画像上の位置を算出して、被検体の位置と医用画像上の位置の位置合わせ（レジストレーション）を行う。

一方、ステップＳ８１５では、入力データ生成部１１０及び予測データ生成部１３０が、画像上での介入部位及び推奨姿勢の算出を行う。このステップは、図８のフローで説明した処理（ステップＳ８０２〜Ｓ８０４）と同じであり、入力データ生成部１１０が。ステップＳ８１２で取得した被検体の術前画像から入力データを生成し、予測データ生成部１３０が学習済みのＡＩアルゴリズムを用いて、例えば開頭領域と推奨姿勢を予測データとして生成する。

ステップＳ８１６では、術具等の操作を誘導するために、術具の位置情報を計測する。すなわち、中央処理装置１１は、位置計測装置３０を用いて、術具３０３に設けられたマーカ３０５の位置（実空間座標における位置）を計測し、それを座標変換して、医用画像座標系でのマーカ３０５の座標を算出する。なお、マーカ３０５の位置情報には、術具３０３の先端までのオフセットも含まれているものとする。

ステップＳ８１７では、表示制御部１５０が、ステップＳ８１５において得られた介入部位（開頭領域）、および、ステップＳ８１６において得られた術具等の位置情報を医用画像上に重畳させたナビゲーション画像を生成し、表示メモリ１４を介してディスプレイ２０に表示させる。このとき、術具等の位置情報を重畳させ表示させる医用画像は、術前に取得した介入前の医用画像を用いる。この際、必要に応じて、マウス１８およびキーボード１９などの入力装置を介して、所望の画像処理条件（パラメータ等）を入力してもよく、中央処理装置１１（表示制御部１５０）は、入力された画像処理条件に応じた処理を施したナビゲーション画像を生成する。

上述した各ステップは、それぞれ、ユーザ所望するタイミングで行うようにしてもよいし、いずれかのステップを手術中、継続して行ってもよい。図１１は、術具の計測（Ｓ８１６）を継続して行う場合を示しており、その場合、術具３０３の位置が変化する毎に、医用画像座標系におけるマーカ３０５の座標の算出（Ｓ８１６）と術具位置の表示（Ｓ８１７）を更新して行う。これらステップを手術が終了するまで（Ｓ８１８）、或いは入力装置を介した終了指示があるまで継続する。

本実施形態に係る手術ナビゲーションシステムによって、介入部位及び術具位置がともに表示されるナビゲーション画像の表示例を、図１２に示す。

図１２に示す表示画面９００は、ナビゲーション画像として、被検体６０の手術部位の直交３断面画像であるアキシャル断面９１１、サジタル断面９１２及びコロナル断面９１３と、３次元レンダリング画像９１４に、位置合わせ情報に従って形成された仮想術具（術具アイコン）９０４を重ねて表示したものである。また、予測された介入部位９０５も重ねて表示されている。

図示する例では、画像を表示する画面９００の右側は、ユーザからの指示や指定を受付けるインターフェイス用表示の画面であり、その上部には、被検体の位置計測を指示するための位置取得アイコン９２１と、実空間位置と画像空間位置との位置合わせを実行するためのレジストレーションアイコン９２２、予測された介入部位９１５が重ねて表示された医用画像を表示する介入部位予測アイコン９２３が表示されている。

このようなインターフェイスを介してユーザからの指示や指定を受付ける場合には、図１１で示すステップＳ８１３〜Ｓ８１５は、ユーザからの指示によって起動する。例えば、ユーザが、位置取得アイコン９２１を押下することによって、位置計測装置３０による被検体位置の計測指示を受け付け（Ｓ８１３）、レジストレーションアイコン９２２を押下することによって、位置計測装置３０によって計測された被検体の位置情報に応じた被検体の医用画像上の位置を算出し（Ｓ８１４）、被検体の位置と医用画像上の位置の位置合わせを行う。また、介入部位予測アイコン９２３を押下することによって、予測された介入部位を重畳した医用画像をディスプレイ２０に表示させる（Ｓ８１５）。

また、画像表示画面９００の右側下部には、画像処理指令を入力する画像閾値インターフェイス９３１、視点位置平行移動インターフェイス９３２、視点位置回転移動インターフェイス９３３及び画像拡大インターフェイス９３４のアイコンが表示されている。画像閾値インターフェイス９３１を操作することにより、医用画像の表示領域を調節することができる。また、視点位置平行移動インターフェイス９３２によって、医用画像に対する視点の位置を平行移動し、視点位置回転移動インターフェイス９３３によって、視点の位置を回転移動することができる。さらに、画像拡大インターフェイス９３４によって、選択領域を拡大することができる。

なお図１２では、ナビゲーション画像として手術部位の直交３断面画像を用いる場合を示したが、これに限定されず、例えば、図９に示した表示画面９００において術前画像上に術具を示すアイコンを重畳して表示させてもよい。

いずれの場合においても、術具アイコン９０４をリアルタイムに表示することで、術者は予測された介入部位９０５との位置関係が分かり、適切に被検体６０に介入することができる。

このように本実施形態によれば、位置計測装置３０により計測される被検体６０又は被検体６０との相対的な位置関係が変化しない寝台や固定具等の剛体に固定されたマーカ３０４の位置情報と、医用画像に付された画像位置情報であるＤＩＣＯＭ情報とから、被検体位置と画像位置との位置合わせに必要な位置合わせ情報を生成する。そして、術具３０３に設けられたマーカ３０５から取得した術具３０３の位置情報を医用画像に仮想的に重畳したナビゲーション画像を生成しディスプレイ２０に表示させることができる。このとき、予測された介入部位の画像を重畳させることで、術者が適切な介入を行えるため、介入の精度を向上させることができる。

なお本実施形態で用いたＡＩアルゴリズムを用いて、６５例の症例について予測した結果を実際の結果と比較して評価したところ、予測データとして得た開頭領域と実際の開頭領域との重なり度（Ｄｉｃｅ係数）は０．６以上の値（重なり度６０％以上）を示し、良好な結果が得られた。特に脳の領域との一致では１００％の一致度が得られた。

なお本実施形態では、脳外科手術の開頭について説明したが、他の身体部位の手術にも適用可能である。例えば、肝臓等の消化器を対象とした開腹手術における開腹位置や、心臓を対象とした開胸手術にも適用可能である。

＜実施形態２＞
本実施形態は、予測された介入部位の情報を用いて、さらに、介入後の臓器の移動あるいは変形を予測する機能が追加されたことが特徴である。

介入（例えば開頭）によって脳などの臓器は移動したり変形したりする場合がある。例えば、図１３（Ａ）に示すように、開頭前の脳の断層像では、頭蓋骨９０１に囲まれた領域に脳実質９０２および脳腫瘍９０３が存在している。ここで、脳腫瘍９０３を摘出する手術を実施する場合、頭蓋骨９０１および硬膜の一部が切除され、開頭範囲９０６が形成されると、図１３（Ｂ）に示すように、脳脊髄液に浮かんでいた脳実質９０２や脳腫瘍９０３は重力などの影響によって開頭前の位置から移動・変形する。このような現象はブレインシフトと呼ばれる。ブレインシフトは、数ｍｍから数ｃｍもの脳の移動又は変形を伴う。このため、介入前の画像を用いた手術ナビゲーションでは、その画像上に術具位置を表示しても、位置情報の信頼性が損なわれる。またブレインシフトは、介入位置によっても大きく影響を受ける。本実施形態は、介入位置の情報を加えて介入後変形等（ブレインシフト）を予測することにより手術ナビゲーションの精度を向上する。

本実施形態において、介入部位の予測は実施形態１と同様であり、また本実施形態を実現するための主な構成は図２に示すものと同様である。以下、実施形態１と異なる点を中心に本実施形態を説明する。

本実施形態の中央処理装置１１の構成を図１４に示す。図示するように、本実施形態の中央処理装置１１は、入力データ生成部１１０と、第１予測データ生成部１３１と、第２予測データ生成部１３２とを含む。また記憶装置１３には、介入位置を予測するように学習された第１学習済みＡＩアルゴリズムと、介入後の臓器等の移動／変形を予測するための第２学習済みＡＩアルゴリズムとが格納されている。第２学習済みＡＩアルゴリズムを、中央処理装置１１において作成する場合には、中央処理装置１１は、図３の中央処理装置と同様に機械学習部１２０を備える。

第１学習済みＡＩアルゴリズムは、実施形態１の学習済みＡＩアルゴリズムと同様であり、介入前の画像等を入力データとして、介入位置の予測データを出力する。

第２学習済みＡＩアルゴリズムは、介入に起因して変形する臓器等の対象物の変形規則を学習したものである。例えば、図１３に示したような、介入前の臓器を含む画像及び第１学習済みＡＩアルゴリズムの予測データ（介入位置情報）を入力データとして、介入後に移動／変形した臓器を含む画像を出力する。但し、入力データは医用画像に限らず、医用画像から特徴領域を抽出したセグメンテーション画像や特徴点でもよい。教師データ（出力データ）としては、たとえば、介入前後の対象物の移動や変形を対応づける変位場行列とすることができる。変位場行列は、たとえば、図１５に示すように、画像のピクセル毎にピクセル値（ｘ、ｙ）に加算する値（Δｘ、Δｙ）を定めたマップであり、出力データを変位場行列とした場合には、変形規則そのものを直接学習することになり、精度の向上が期待できる。但し、出力データは、これに限定されず、介入後の医用画像、セグメンテーション画像、特徴点などでもよい。

また学習に用いるＡＩアルゴリズムは、第１学習済みＡＩアルゴリズムと同様に、畳込みニューラルネットワークなど深層学習のＡＩアルゴリズムを用いることが好ましい。第２ＡＩアルゴリズムに用いるＵ−ｎｅｔの例を図１６に示す。Ｕ−ｎｅｔの構造は、図７に示したものと同様であるが、この例では、入力データは、介入前の脳実質の三次元ＭＲＩ画像（Ｔ１画像及びＴ２画像）と介入部位を表した三次元画像（介入部位画像）であり、教師データは、図１５に示した、術前のＭＲＩ画像の各点が、術中のＭＲＩ画像においてどこに移動するかを示す変位場行列（変位場マップ）である。また入力データの介入部位画像としては、第１の学習済みＡＩアルゴリズムの出力（予測データ）である介入画像、例えば、介入部位を１とし、それ以外の０とする二値画像を用いることができる。但し、介入部位を表す画像は二値画像ではある必要はなく、例えば、介入部位の確率が最も高い部分を１、最も低い部分を０として、その間の確率は０〜１の間の値を取るような画像でもよい。

なお人工知能アルゴリズムはＵ−ｎｅｔである必要はなく、例えば、Ｓｅｇ−ｎｅｔやＤｅｎｓｅＮｅｔなど他のアルゴリズムでもよい。

次に本実施形態による手術ナビゲーション処理（主として中央処理装置の処理）を、図１７のフローチャートに従って説明する。なお図１７において、図１１と同じ内容のステップは同じ符号で示し、重複する説明を省略する。

まず医用画像を読み込み、その位置情報と被検体位置情報をそれぞれ算出し、レジストレーション情報を算出する（Ｓ８２０（Ｓ８１１〜Ｓ８１４））。ついで読み込んだ医用画像から入力データを生成し、第１予測データ生成部１３１にて、第１学習済みＡＩアルゴリズムを用いて画像上での介入部位と姿勢を算出する（Ｓ８１５）。次のステップＳ８２１では、第２予測データ生成部１３２が、ステップＳ８１５で予測された介入部位の情報とステップＳ８１５で生成した入力データとを、第２学習済みＡＩアルゴリズムに入力し、介入後の脳実質の移動／変形を表す変位場行列（図１５）を予測データとして取得する。さらに、この変位場行列を介入前の画像に適用することにより、図１３（Ｂ）に示すように、介入後の画像を得ることができる。

変位場行列の適用方法としては、ＭＲＩ画像の各ピクセルのＸ座標とＹ座標にΔＸとΔＹ（変位場行列の中の同ピクセルに該当する点のＸ値とＹ値）をそれぞれ加算することで、移動先のＸ’座標とＹ’座標を得る。Ｘ’座標とＹ’座標におけるピクセルの画素値を、移動前のピクセルの画素値とした画像が、ブレインシフト後の予測画像となる。このような変位場行列を用いた介入後画像の生成は、第２予測データ生成部１３２で行ってもよいし、中央処理装置１１に別途演算部（不図示）を設け、その演算部で行ってもよい。

一方、ステップＳ８１６において、レジストレーション部１４０は位置計測装置３０によって計測された被検体の位置情報に応じた被検体の医用画像上の位置を算出し（Ｓ８１６）、被検体の位置と医用画像上の位置の位置合わせを行うとともに、位置計測装置３０が計測した術具（マーカ）の位置を計測し、それを座標変換して、医用画像座標系でのマーカの座標を算出する。

その後、表示制御部１５０が医用画像の上に仮想術具を重畳した画像をディスプレイ２０に表示させる。ここで介入前は、医用画像として介入前の画像を用いて、介入前画像に重畳して介入部位画像と術具アイコンを表示し（Ｓ８２２、Ｓ８２３）、介入後は、医用画像としてステップＳ８２１で予測された介入後画像を表示し、それに重畳して術具位置を表示する（Ｓ８２２、Ｓ８２４）。

このように本実施形態によれば、介入位置の情報を加えてブレインシフト（介入後画像）を予測し、ブレインシフト後の画像に対し術具等の位置情報を提示するので、手術ナビゲーションの精度を大幅に向上することができる。

１０・・・手術支援装置、１１・・・中央処理装置、２０・・・ディスプレイ（表示装置）、３０・・・位置計測装置、４０・・・ネットワーク、５０・・・医用画像データベース、６０・・・被検体１００・・・手術ナビゲーションシステム、１１０・・・入力データ生成部、１２０・・・機械学習部、１３０・・・予測データ生成部、１３１・・・第１予測データ生成部、１３２・・・第２予測データ生成部、１４０・・・レジストレーション部、１５０・・・表示制御部、３０１・・・赤外線カメラ、３０２・・・寝台、３０３・・・術具、３０４，３０５・・・マーカ。

Claims (15)

1. 生体内の対象物への介入と処置とを、画像表示によって支援する手術支援装置であって、
   介入前の前記対象物を含む画像データまたは当該画像データを処理したデータと、生体の表面における介入位置に関する情報とを用いて学習した学習済み人工知能アルゴリズムを用いて、処置の対象である生体への介入位置を予測し、予測データを出力する予測データ生成部を備えたことを特徴とする手術支援装置。
2. 請求項１に記載の手術支援装置であって、
   前記介入位置に関する情報は、画像空間における前記介入位置の１点の座標、前記１点の座標を含む所定の領域、及び前記１点の座標で特定される所定の形状のいずれかを含むことを特徴とする手術支援装置。
3. 請求項１に記載の手術支援装置であって、
   前記予測データは、前記介入を行う際の前記生体の推奨体位を含むことを特徴とする手術支援装置。
4. 請求項１に記載の手術支援装置であって、
   前記処置の対象である生体について事前に取得した事前画像を用いて、前記学習済み人工知能アルゴリズムに入力する入力データを生成する入力データ生成部をさらに備えたことを特徴とする手術支援装置。
5. 請求項４に記載の手術支援装置であって、
   前記入力データ生成部が生成する入力データは、前記学習済み人工知能アルゴリズムの学習に用いたデータと同種のデータであることを特徴とする手術支援装置。
6. 請求項４に記載の手術支援装置であって、
   前記入力データ生成部は、前記入力データとして、前記事前画像を複数の領域の画像に分割したセグメント画像を生成することを特徴とする手術支援装置。
7. 請求項４に記載の手術支援装置であって、
   前記入力データ生成部は、前記事前画像として複数の画像を用いることを特徴とする手術支援装置。
8. 請求項７に記載の手術支援装置であって、
   前記複数の画像は、組織のコントラスト、又は、撮像したモダリティが異なる画像であることを特徴とする手術支援装置。
9. 請求項１に記載の手術支援装置であって、
   前記予測データ生成部が生成した前記介入位置に関する情報を、前記処置の対象である生体について事前に取得した事前画像とともに表示装置に表示させる表示制御部をさらに備えたことを特徴とする手術支援装置。
10. 請求項９に記載の手術支援装置であって、
    前記表示制御部は、前記対象物の重心位置と前記介入位置とを結ぶ線の、前記事前画像の座標軸に対する傾きを表示装置に表示させることを特徴とする手術支援装置。
11. 請求項１０に記載の手術支援装置であって、
    前記表示制御部は、前記傾きを直線として前記事前画像上に重畳表示させることを特徴とする手術支援装置。
12. 請求項１０に記載の手術支援装置であって、
    前記表示制御部は、前記傾きの表示として、前記事前画像を前記傾きに相当する角度だけ回転させた画像を、前記事前画像とともに表示させることを特徴とする手術支援装置。
13. 請求項１に記載の手術支援装置であって、
    介入前の画像及び介入位置と、介入後の画像とを用いて学習した第二の学習済み人工知能アルゴリズムを用いて、処置の対象である生体について、介入後の画像を予測する第二の予測データ生成部をさらに備え、
    前記第二の予測データ生成部は、前記処置の対象である生体について事前に取得した事前画像及び前記予測データ生成部が生成した予測データを、前記第二の学習済み人工知能アルゴリズムに入力し、介入後における前記対象物の位置変化を予測することを特徴とする手術支援装置。
14. 請求項１に記載の手術支援装置であって、
    前記対象物は脳であり、前記予測データ生成部が生成する予測データは、開頭位置を示す領域、当該領域の輪郭、前記領域を模式的に示す図形、介入位置の中心位置と半径を含む座標、のいずれかである手術支援装置。
15. 請求項１乃至請求項１４のいずれか一項記載の手術支援装置と、
    医用画像を表示する表示装置と、
    処置の対象である生体の位置と術具の位置を計測する位置計測装置と、を備え、
    前記手術支援装置は、前記予測データ生成部により出力された介入位置に関する情報と、前記位置計測装置が計測した術具の位置とを、前記表示装置に表示させることを特徴とする手術ナビゲーションシステム。

Images