JP2008134373A - 手術シミュレータ用生体データ作成方法及びシステム、並びに手術シミュレーション方法及び手術シミュレータ - Google Patents

Abstract

【課題】現実感の高い模擬手術を提供し、高度な手術の模擬訓練を可能とする。
【解決手段】生体データは、セグメンテーション部が生体を３軸方向に所定の間隔で撮像した撮像データから臓器を抽出し、物理定数設定部が抽出した各臓器の所定部位に備える物理特性を設定し、有限要素部が物理特性を設定された所定部位を有限要素に分割することにより得られる。シミュレーション装置において、力学装置は手術模擬操作者が操作する手術操作具の位置と模擬生体との接触位置に応じた反力を発生させ、模擬運動及び画像生成演算装置は、得られた生体データを用いて力覚装置による手術操作具の移動並びに手術操作具と模擬生体との接触及び模擬生体間による反力と模擬生体の反応との運動とを計算するとともに仮定する内視鏡から撮像した模擬映像を生成する。画像表示装置は生成された画像を表示する。
【選択図】 図1

Description

本発明は、内視鏡を用いた手術のシミュレーションをするために用いる生体データの作成及び手術シミュレータに関するものである。

近年、医療と工学の融合が急速に深まり、先端的計算技術を活用する手術シミュレータが提案された。これらは手術対象の生体をポリゴンで構成し、基本的に臓器の表面のみを模擬するものであり、臓器内部はプログラムで指定された個所を切断する場合に臓器内部をポリゴンで構成し、表示するものであり、訓練種目が限られ、現実感に乏しく、最も望まれる危険回避や、手術手順確認の訓練ができなかった。生体をポリゴンで構成するため、データ作成が困難であり、訓練に応じた対象部位の変更が容易でなかった。
また、医師が高度な手術を訓練する有効な手段を持たず困難な手術をしなければならない状況が続いている。
向井信彦，黒田雅之，室井克信，宮本裕仁，浦谷明宏，矢野徹：「ＰＣベースリアルタイム手術シミュレータの開発」，電子情報通信学会論文誌，Ｖｏｌ．Ｊ８４−Ｄ−ＩＩ，Ｎｏ．６，ｐｐ．１２１３−１２２１（平成１３年６月）

本発明が解決しようとする課題は、現実感の高い模擬手術の手段を提供すること、更には、高度な手術を模擬してその訓練に資することにある。

請求項１に係る手術シミュレータ用生体データ作成方法は、生体を３軸方向に所定の間隔で撮像した撮像データから臓器を抽出するセグメンテーション過程と、前記セグメンテーション過程で抽出した各臓器の所定部位に備える物理特性を設定する物理定数設定過程と、前記物理定数設定過程で物理特性を設定された所定部位を有限要素に分割する有限要素分割過程とからなることを特徴とするものである。

請求項２に係る手術シミュレーション方法は、手術模擬操作者が操作する手術操作具の位置と模擬生体との接触位置に応じた反力を発生させる力覚模擬過程と、請求項１により得た生体データを用いて前記力覚模擬過程による手術操作具の移動及び手術操作具と模擬生体との接触による反力と模擬生体の反応との運動とを計算するとともに仮定する内視鏡から撮像した模擬映像を生成する模擬運動及び画像生成過程と、前記模擬運動及び画像生成過程により生成された画像を表示する画像表示過程とからなることを特徴とするものである。

請求項３に係る手術シミュレーション方法は、請求項２に記載のものであって、模擬運動及び画像生成過程において、手術操作具と模擬生体との接触による模擬生体の反応が、切断、切開、接触変形及び生体間の相互変形であることを特徴とするものである。

請求項４に係る手術シミュレーション方法は、請求項項２又は３記載ものであって、模擬運動及び画像生成過程において、所定数に空間分割される対象模擬空間に対し並列処理することを特徴とするものである。

請求項５に係る手術シミュレーション方法は、請求項４記載のものであって、所定数に空間分割される対象模擬空間に対し並列処理するに際し、それぞれの処理領域を前記空間分割され隣り合う所定部分を互いに重複させ、重複部分のデータをネットワークにより送受することを特徴とするものである。

請求項６に係る手術シミュレーション方法は、請求項２、３、４又は５に記載のものであって、模擬運動及び画像生成過程により計算生成されたデータを遠隔地と送受する通信過程を備えたことを特徴とすること。

請求項７に係る手術シミュレーション方法は、請求項６記載のものであって、遠隔地から送信されたデータにより送信個所からの手術操作具の運動を再現する手術用具運動再現過程を有することを特徴とするものである。

請求項８に係る手術シミュレータ用生体データ作成システムは、生体を３軸方向に所定の間隔で撮像した撮像データから臓器を抽出するセグメンテーション部と、前記セグメンテーション部で抽出した各臓器の所定部位に備える物理特性を設定する物理定数設定部と、前記物理定数設定過程で物理特性を設定された所定部位を有限要素に分割する有限要素分割部とからなることを特徴とするものである。

請求項９に係る手術シミュレータは、手術模擬操作者が操作する手術操作具の位置と模擬生体との接触位置に応じた反力を発生させる力覚装置と、請求項８により得た生体データを用いて前記力覚装置による手術操作具の移動及び手術操作具と模擬生体との接触による反力と模擬生体の反応との運動とを計算するとともに仮定する内視鏡から撮像した模擬映像を生成する模擬運動及び画像生成演算装置と、前記模擬運動及び画像生成演算装置により生成された画像を表示する画像表示装置とからなることを特徴とするものである。

請求項１０に係る手術シミュレータは、請求項９記載のものであって、手術操作具と模擬生体との接触による模擬生体の反応が、切断、切開、接触変形及び生体間の相互変形であることを特徴とするものである。

請求項１１に係る手術シミュレータは、請求項９又は１０記載のものであって、模擬運動及び画像生成演算装置が、所定数に空間分割される対象模擬空間に対し並列処理することを特徴とするものである。

請求項１２に係る手術シミュレータは、請求項１１記載のものであって、所定数に空間分割される対象模擬空間に対し並列処理するに際し、それぞれの処理領域を前記空間分割され隣り合う所定部分を互いに重複させ、重複部分のデータをネットワークにより送受するローカルネットワークを有することを特徴とするものである。

請求項１３に係る手術シミュレータは、請求項９、１０、１１又は１２記載のものであって、模擬運動及び画像生成演算装置により計算生成されたデータを遠隔地と送受する通信手段を備えたことを特徴とするものである。

請求項１４に係る手術シミュレータは、請求項１３記載のものであって、各力覚装置が、遠隔地から送信されたデータにより送信個所からの手術操作具の運動を再現するものであることを特徴とするものである。

請求項１に係る手術シミュレータ用生体データ作成方法によると、生体を３軸方向に所定の間隔で撮像したので、生体内部を含む臓器を抽出することができ、この３軸方向で構成される臓器の部分について物理特性を設定して、臓器の物理状態を再現することができる。また、所定部位を有限要素に分割するから力学処理対象点数を削減することができる。

請求項２に係る手術シミュレーション方法によると、手術模擬操作者が操作する手術操作具の位置と模擬生体との接触位置に応じた反力をその接触部位の物理的性質に応じて発生させることができ、生体データを用いて前記力覚模擬過程による手術操作具の移動及び手術操作具と模擬生体との接触による反力と模擬生体の反応との運動とを計算して臓器の形状の変化を仮定する内視鏡から見たように撮像した模擬映像を生成することができ、これを画像表示することかできる。

請求項３に係る手術シミュレーション方法によると、手術操作具である例えばメスで切断、切開し、又は鉗子で処理した臓器及び臓器間の状態を模擬及び表示することができる。

請求項４に係る手術シミュレーション方法によると、模擬運動及び画像生成過程が処理担当する部分を所定の空間に分割するから、これを並列処理して速度を向上させることができる。

請求項５に係る手術シミュレーション方法によると、模擬運動及び画像生成過程が処理担当する部分を所定の空間に分割する際に、それぞれの処理領域を前記空間分割され隣り合う所定部分を互いに重複させて、重なる部分についてネットワークにより他の処理担当部分が互いに処理結果を用いることができる。

請求項６に係る手術シミュレーション方法によると、手術シミュレーションの実行に従って模擬運動及び画像生成過程により計算生成されたデータを、遠隔地において送受することにより、その手術シミュレーション結果を再現することできる。

請求項７に係る手術シミュレーション方法によると、遠隔地から送信されたデータにより送信個所からの手術操作具の運動を再現することができ、手術操作具に触れてその動きを感じて直にその操作の感触を知ることができ、誤りがある場合は正しい操作を送受してその動きを直接知ることができる。

請求項８に係る手術シミュレータ用生体データ作成システムによると、生体を３軸方向に所定の間隔で撮像したので、生体内部を含む臓器を抽出することができ、この３軸方向で構成される臓器の部分について物理特性を設定して、臓器の物理状態を再現することができる。また、所定部位を有限要素に分割するから力学処理対象点数を削減することができる。

請求項９に係る手術シミュレータによると、力覚装置は手術模擬操作者が操作する手術操作具の位置と模擬生体との接触位置に応じた反力をその接触部位の物理的性質に応じて発生させることができ、模擬運動及び画像生成演算装置は生体データを用いて前記手術用具による手術操作具の移動及び手術操作具と模擬生体との接触による反力と模擬生体の反応との運動とを計算して臓器の形状の変化を仮定する内視鏡から見たように撮像した模擬映像を生成することができ、これを画像表示することができる。

請求項１０に係る手術シミュレータによると、手術操作具である例えばメスで切断、切開し、又は鉗子で処理した臓器及び臓器間の状態を模擬及び表示することができる。

請求項１１に係る手術シミュレータによると、模擬運動及び画像生成演算装置が処理担当する部分を所定の空間に分割するから、これを並列処理して速度を向上させることができる。

請求項１２に係る手術シミュレータによると、
模擬運動及び画像生成演算装置が処理担当する部分を所定の空間に分割する際に、それぞれの処理領域を前記空間分割され隣り合う所定部分を互いに重複させて、重なる部分についてネットワークにより他の処理担当部分が互いに処理結果を用いることができる。

請求項１３に係る手術シミュレータによると、手術シミュレーションの実行に従って模擬運動及び画像生成演算装置により計算生成されたデータを、遠隔地において送受することにより、その手術シミュレーション結果を再現することできる。

請求項１４に係る手術シミュレータによると、遠隔地から送信されたデータにより送信個所からの手術操作具の運動を再現することができ、手術操作具に触れてその動きを感じて直にその操作の感触を知ることができ、誤りがある場合は正しい操作を送受してその動きを直接知ることができる。

図１は、手術シミュレータ用生体データ作成システム及び手術シミュレータの１実施例の機能ブロック図である。図１において、１０１は手術シミュレータ用生体データ作成システム、１０２はセグメンテーション部、１０３は物理定数設定部、１０４は有限要素分割部、１０５は記憶装置、１１０は手術シミュレータ、１１１は力覚装置、１１２は模擬運動及び画像生成演算装置、１１３は画像表示装置、１１４はネットワーク、１１５は通信手段、１１６は評価用のコンソールである。
図２（ａ）は、手術シミュレータ用生体データ作成方法を説明するフロー図、図２（ｂ）は、手術シミュレーション方法を説明するフロー図である。

手術シミュレータ用生体データ作成システム１０１において以下のようにモデルデータ生成がされる。
セグメンテーション部１０２には、生体を図示しないＣＴあるいはＭＲＩにより３軸方向について所定の間隔で撮像した撮像データを入力し、このデータから臓器が形成する面をその特徴点から医学的知識を用い決定することにより臓器を抽出する（図２（ａ）のセグメンテーション過程Ｐ１０１）。
物理定数設定部１０３は、前記セグメンテーション部１０２におけるセグメンテーション過程Ｐ１０１で抽出した複数臓器の各臓器を構成する前記３軸の交点について臓器の所定の各部位毎に備える物理特性を設定する（図２（ａ）の物理定数設定過程Ｐ１０２）。このときの、物理定数にはヤング率、比重等がある。
有限要素分割部１０４は、前記物理定数設定部１０３における物理定数設定過程Ｐ１０２で物理特性を設定された所定部位を有限要素に分割する（図２（ａ）の有限要素分割過程Ｐ１０３）。
モデルデータは記憶装置１０５に所定のデータ構造で記憶される。例えば、データ構造は有限要素を包含するメタデータの構成を持つ。さらに、モデルデータに実体に即した質量、剛性、色等を付加したボリュームデータとする。

手術シミュレータ１１０において以下のように動作する。
手術項目に従って、データを記憶装置１０５より選択し読み出す。
手術操作者は画像表示装置１１３に表示されている模擬生体が表示され、この画像を参照しながら手術操作具として例えばメス又は／及び鉗子を操作する。メス又は／及び鉗子は力覚装置１１１により模擬される。力覚装置１１１は３自由度に支持され、定められた一定空間内を自在に移動可能な機構で生体を模擬する位置に配置され、メス又は／及び鉗子を模擬する操作移動に応じて図示しないエンコーダがその移動量を検出し、その位置を計測し、手術模擬操作者が操作するメス又は／及び鉗子としての手術操作具の位置と模擬生体との接触位置に応じた反力を例えばモータにより発生させる（図２（ｂ）の力覚模擬過程Ｐ１１１）。
ここで力学計算を説明する。対象とするシミュレーションの主要な目的は、臓器の力学的振る舞いであるので、臓器の切断や、切開、引っ張り等を行う必要から、数学的に精度が保証されている有限要素モデルを用いて弾性体のモデル化を行っている。通常、有限要素法は静解析法であり、次のような力と変位の釣り合い式（２）で表される。
＜Ｆ＞＝＜Ｋ＞＜Ｕ＞ （１）
ここで、＜Ｆ＞は外力ベクトル、＜Ｕ＞は変位ベクトル、＜Ｋ＞は剛性マトリクスである。（なお、本明細書において、ｘのベクトル表記を＜ｘ＞、Ｈのマトリクス表記を＜Ｈ＞とする。）式（１）に力や変位等の拘束条件を付加した連立一次方程式を解くことで、全ノードの変位を求める。しかし、一般的に連立一次方程式の数値計算は処理が重く、現実的な大きさ（数千ノード）のモデルに対しては、実時間処理できない。従来法では、前処理を行うことで実時間性を確保しているが、切断等により有限要素モデルのトポロジーが変化した場合、剛性マトリクスの再計算とその前処理を実時間処理で行う必要があり、手術シミュレータへの応用としては大きな問題が残る。そこで本発明では、動解析を用いている。式（１）に対し、動解析法は次のような運動方程式（２）で表される。
＜Ｍ＞ｄ^２＜Ｕ＞／ｄｔ^２＝＜Ｆ＞−＜Ｋ＞＜Ｕ＞−＜Ｃ＞ｄ＜Ｕ＞／ｄｔ （２）
ここで、＜Ｍ＞は質量マトリクス、＜Ｃ＞は粘性マトリクスである。この式から変位＜Ｕ＞に対する時間積分を行うことで、過渡応答を行いながら最終的に式（１）と同じ変位＜Ｕ＞が得られる。ここで時間積分の数値解法には、実時間で解を得る必要から「精度」、「計算速度」、「数値安定性」などを総合的に判断して、バランスがとれているルンゲクッタ・ギル法を用いた。
図３に有限要素法の動的モデルについての計算モデルを示す。
この反力は、手術シミュレータ用生体データ作成システム１０１によるデータを得て、手術操作具の位置と各臓器の所定部位に備える物理定数によりその大きさが決まり、模擬生体の反応を模擬するように模擬運動及び画像生成演算装置１１２で計算され、また、この状況を仮定する内視鏡から撮像したように模擬映像が生成される（図２（ｂ）の模擬運動及び画像生成過程Ｐ１１２）。
生成された映像は表示装置により表示される（図２（ｂ）の画像表示過程Ｐ１１３）。

上記模擬運動及び画像生成過程Ｐ１１２において、手術操作具が例えばメス又は／及び鉗子であり、接触による手術操作具と模擬生体との接触による模擬生体の反応が、メスによる切断、切開、凹み等の接触変形、鉗子による凹み、引っ張り伸び等の接触変形、及び手術操作具操作により変形した模擬生体により更に隣接する模擬生体間の相互変形等を模擬する（図２（ｂ）の模擬反応過程Ｐ１１２１）。
そして、模擬運動及び画像生成演算装置１１２を複数備え、模擬運動及び画像生成過程Ｐ１１２の処理をする際に、シミュレーション空間を所定の数に空間して、その各空間について各模擬運動及び画像生成演算装置１１２を担当させ、これらの各模擬運動及び画像生成演算装置１１２をネットワーク１１４で接続し並列処理する（図２（ｂ）の並列処理過程Ｐ１１２２）。分割処理することにより、手術操作具の運動、模擬生体の反応の計算、模擬映像の生成能力を高める。
このとき、前記空間分割され隣り合う所定部分を互いに重複させ、それぞれの処理領域を重複部分のデータをネットワーク１１４により送受する（図２（ｂ）の重複部分のデータ送受過程Ｐ１１２３、図４参照）。

手術シミュレータ１１０は通信手段１１５を備え、模擬運動及び画像生成演算装置１１２が計算し生成したデータを各手術シミュレータ１１０との間で送受の通信をし（図２（ｂ）の通信過程Ｐ１１２４）、利用することができる。例えば、受けたデータにより画像表示装置１１３の表示部に映像を再現して遠隔地にある者に模擬手術の状況を見ることができる。
また、通信手段１１５を介して送られたデータにより力覚装置１１１の手術操作具に運動を再現するとともに画像表示装置１１３の表示部に映像を再現して（図２（ｂ）の手術用具運動再現過程Ｐ１１２５）、遠隔地にある者に手術操作具の動きを触れること及び映像により確認することにより手術操作具操作を会得させることができる。また、受講者に操作を行わせ、指導者が受講者の操作する手術操作具の動きを通信手段１１５を介して自己の手術シミュレータ１１０の力覚装置１１１に触れることより動きの感覚を受け、操作の動きに不具合があるときは指導者が正しい方向に動かす又は止めることにより受講者に知らせることができる。このとき、音声電話による手段を併用することができる。

手術シミュレータ用生体データ作成システム及び手術シミュレータの１実施例の機能ブロック図である。 手術シミュレータ用生体データ作成方法を説明するフロー図、及び手術シミュレーション方法を説明するフロー図である。 有限要素法の動的モデルについての計算モデルを説明する図である。 模擬対象空間の分割を説明する図である。

符号の説明

１０１…手術シミュレータ用生体データ作成システム、１０２…セグメンテーション部、１０３…物理定数設定部、１０４…有限要素分割部、１１０…手術シミュレータ、１１１…力覚装置、１１２…模擬運動及び画像生成演算装置、１１３…画像表示装置、１１４…ネットワーク、１１５…通信手段。

Claims (14)

1. 生体を３軸方向に所定の間隔で撮像した撮像データから臓器を抽出するセグメンテーション過程と、
   前記セグメンテーション過程で抽出した各臓器の所定部位に備える物理特性を設定する物理定数設定過程と、
   前記物理定数設定過程で物理特性を設定された所定部位を有限要素に分割する有限要素分割過程とからなることを特徴とする手術シミュレータ用生体データ作成方法。
2. 手術模擬操作者が操作する手術操作具の位置と模擬生体との接触位置に応じた反力を発生させる力覚模擬過程と、
   請求項１により得た生体データを用いて前記力覚模擬過程による手術操作具の移動及び手術操作具と模擬生体との接触による反力と模擬生体の反応との運動とを計算するとともに仮定する内視鏡から撮像した模擬映像を生成する模擬運動及び画像生成過程と、
   前記模擬運動及び画像生成過程により生成された画像を表示する画像表示過程とからなることを特徴とする手術シミュレーション方法。
3. 模擬運動及び画像生成過程において、
   手術操作具と模擬生体との接触による模擬生体の反応が、切断、切開、接触変形及び生体間の相互変形であることを特徴とする請求項２記載の手術シミュレーション方法。
4. 模擬運動及び画像生成過程において、
   所定数に空間分割される対象模擬空間に対し並列処理することを特徴とする請求項２又は３記載の手術シミュレーション方法。
5. 所定数に空間分割される対象模擬空間に対し並列処理するに際し、それぞれの処理領域を前記空間分割され隣り合う所定部分を互いに重複させ、重複部分のデータをネットワークにより送受することを特徴とする請求項４記載の手術シミュレーション方法。
6. 模擬運動及び画像生成過程により計算生成されたデータを遠隔地と送受する通信過程を備えたことを特徴とすること請求項２、３、４又は５記載の手術シミュレーション方法。
7. 遠隔地から送信されたデータにより送信個所からの手術操作具の運動を再現する手術用具運動再現過程を有することを特徴とする請求項６記載の手術シミュレーション方法。
8. 生体を３軸方向に所定の間隔で撮像した撮像データから臓器を抽出するセグメンテーション部と、
   前記セグメンテーション部で抽出した各臓器の所定部位に備える物理特性を設定する物理定数設定部と、
   前記物理定数設定過程で物理特性を設定された所定部位を有限要素に分割する有限要素分割部とからなることを特徴とする手術シミュレータ用生体データ作成システム。
9. 手術模擬操作者が操作する手術操作具の位置と模擬生体との接触位置に応じた反力を発生させる力覚装置と、
   請求項８により得た生体データを用いて前記力覚装置による手術操作具の移動及び手術操作具と模擬生体との接触による反力と模擬生体の反応との運動とを計算するとともに仮定する内視鏡から撮像した模擬映像を生成する模擬運動及び画像生成演算装置と、
   前記模擬運動及び画像生成演算装置により生成された画像を表示する画像表示装置とからなることを特徴とする手術シミュレータ。
10. 手術操作具と模擬生体との接触による模擬生体の反応が、切断、切開、接触変形及び生体間の相互変形であることを特徴とする請求項９記載の手術シミュレータ。
11. 模擬運動及び画像生成演算装置が、
    所定数に空間分割される対象模擬空間に対し並列処理することを特徴とする請求項９又は１０記載の手術シミュレータ。
12. 所定数に空間分割される対象模擬空間に対し並列処理するに際し、それぞれの処理領域を前記空間分割され隣り合う所定部分を互いに重複させ、重複部分のデータをネットワークにより送受するローカルネットワークを有することを特徴とする請求項１１記載の手術シミュレータ。
13. 模擬運動及び画像生成演算装置により計算生成されたデータを遠隔地と送受する通信手段を備えたことを特徴とすること請求項９、１０、１１又は１２記載の手術シミュレータ。
14. 各力覚装置が、遠隔地から送信されたデータにより送信個所からの手術操作具の運動を再現するものであることを特徴とする請求項１３記載の手術シミュレータ。

Images