JP2008292534A - Method and device for simulating cutting motion in operation, method and device for determining contact in simulated operation, and database structure for simulating cutting motion in operation - Google Patents
Method and device for simulating cutting motion in operation, method and device for determining contact in simulated operation, and database structure for simulating cutting motion in operation Download PDFInfo
- Publication number
- JP2008292534A JP2008292534A JP2007135022A JP2007135022A JP2008292534A JP 2008292534 A JP2008292534 A JP 2008292534A JP 2007135022 A JP2007135022 A JP 2007135022A JP 2007135022 A JP2007135022 A JP 2007135022A JP 2008292534 A JP2008292534 A JP 2008292534A
- Authority
- JP
- Japan
- Prior art keywords
- simulated
- organ
- living body
- surgical
- viewpoint
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
Description
本発明は、手術のシミュレーションの際の手術切断運動模擬と、その際の模擬接触判定及びそれらのためのデータベース構造に関するものである。 The present invention relates to a surgical cutting motion simulation at the time of a simulation of surgery, a simulated contact determination at that time, and a database structure for them.
近年、医療と工学の融合が急速に深まり、先端的計算技術を活用する手術シミュレータが提案された。
その一例として本願発明者達は、以下のような手術シミュレータを検討した。
図10は、手術シミュレータ用生体データ作成システム及び手術シミュレータの1実施例の機能ブロック図である。図10において、1001は手術シミュレータ用生体データ作成システム、1002はセグメンテーション部、1003は物理定数設定部、1004は有限要素分割部、1005は記憶装置、1010は手術シミュレータ、1011は力覚装置、1012は模擬運動及び画像生成演算装置、1013は画像表示装置、1014はネットワーク、1015は通信手段、1016は評価用のコンソールである。
図11(a)は、手術シミュレータ用生体データ作成方法を説明するフロー図、図11(b)は、手術シミュレーション方法を説明するフロー図である。
In recent years, fusion of medicine and engineering has deepened rapidly, and a surgical simulator utilizing advanced calculation technology has been proposed.
As an example, the inventors of the present application studied the following surgical simulator.
FIG. 10 is a functional block diagram of one embodiment of a biological data creation system for a surgical simulator and a surgical simulator. In FIG. 10, 1001 is a biological data generation system for a surgical simulator, 1002 is a segmentation unit, 1003 is a physical constant setting unit, 1004 is a finite element dividing unit, 1005 is a storage device, 1010 is a surgical simulator, 1011 is a haptic device, and 1012. Is a simulated motion and image generation operation device, 1013 is an image display device, 1014 is a network, 1015 is a communication means, and 1016 is a console for evaluation.
FIG. 11A is a flow diagram for explaining a method for creating biometric data for a surgical simulator, and FIG. 11B is a flow diagram for explaining a surgical simulation method.
手術シミュレータ用生体データ作成システム1001において以下のようにモデルデータ生成がされる。
セグメンテーション部1002には、生体を図示しないCTあるいはMRIにより3軸方向について所定の間隔で撮像した撮像データを入力し、このデータから臓器が形成する面をその特徴点から医学的知識を用い決定することにより臓器を抽出する(図11(a)のセグメンテーション過程P1101)。
物理定数設定部1003は、前記セグメンテーション部1002におけるセグメンテーション過程P1101で抽出した複数臓器の各臓器を構成する前記3軸の交点について臓器の所定の各部位毎に備える物理特性を設定する(図11(a)の物理定数設定過程P1102)。このときの、物理定数にはヤング率、比重等がある。
有限要素分割部1004は、前記物理定数設定部1003における物理定数設定過程P1102で物理特性を設定された所定部位を有限要素に分割する(図11(a)の有限要素分割過程P1103)。
モデルデータは記憶装置1005に所定のデータ構造で記憶される。例えば、データ構造は有限要素を包含するメタデータの構成を持つ。さらに、モデルデータに実体に即した質量、剛性、色等を付加したボリュームデータとする。
In the operation simulator biometric
The
The physical
The finite
The model data is stored in the
手術シミュレータ1010において以下のように動作する。
手術項目に従って、データを記憶装置1005より選択し読み出す。
手術操作者は画像表示装置1013に表示されている模擬生体が表示され、この画像を参照しながら手術操作具として例えばメス又は/及び鉗子を操作する。メス又は/及び鉗子は力覚装置1011により模擬される。力覚装置1011は3自由度に支持され、定められた一定空間内を自在に移動可能な機構で生体を模擬する位置に配置され、メス又は/及び鉗子を模擬する操作移動に応じて図示しないエンコーダがその移動量を検出し、その位置を計測し、手術模擬操作者が操作するメス又は/及び鉗子としての手術操作具の位置と模擬生体との接触位置に応じた反力を例えばモータにより発生させる(図11(b)の力覚模擬過程P1111)。
ここで力学計算を説明する。対象とするシミュレーションの主要な目的は、臓器の力学的振る舞いであるので、臓器の切断や、切開、引っ張り等を行う必要から、数学的に精度が保証されている有限要素モデルを用いて弾性体のモデル化を行っている。通常、有限要素法は静解析法であり、次のような力と変位の釣り合い式(1)で表される。
<F>=[K]<U> (1)
ここで、<F>は外力ベクトル、<U>は変位ベクトル、[K]は剛性マトリクスである。(なお、本明細書において、xのベクトル表記を<x>、Hのマトリクス表記を[H]とする。)式(1)に力や変位等の拘束条件を付加した連立一次方程式を解くことで、全ノードの変位を求める。しかし、一般的に連立一次方程式の数値計算は処理が重く、現実的な大きさ(数千ノード)のモデルに対しては、実時間処理できない。従来法では、前処理を行うことで実時間性を確保しているが、切断等により有限要素モデルのトポロジーが変化した場合、剛性マトリクスの再計算とその前処理を実時間処理で行う必要があり、手術シミュレータへの応用としては大きな問題が残る。そこで本発明では、動解析を用いている。式(1)に対し、動解析法は次のような運動方程式(2)で表される。
[M]d2<U>/dt2=<F>−[K]<U>−[C]d<U>/dt (2)
ここで、[M]は質量マトリクス、[C]は粘性マトリクスである。この式から変位<U>に対する時間積分を行うことで、過渡応答を行いながら最終的に式(1)と同じ変位<U>が得られる。
図12に有限要素法の動的モデルについての計算モデルを示す。
この反力は、手術シミュレータ用生体データ作成システム1001によるデータを得て、手術操作具の位置と各臓器の所定部位に備える物理定数によりその大きさが決まり、模擬生体の反応を模擬するように模擬運動及び画像生成演算装置1012で計算され、また、この状況を仮定する内視鏡から撮像したように模擬映像が生成される(図11(b)の模擬運動及び画像生成過程P1112)。
生成された映像は表示装置により表示される(図11(b)の画像表示過程P1113)。
The surgical simulator 1010 operates as follows.
Data is selected and read from the
The surgical operator displays the simulated living body displayed on the image display device 1013, and operates, for example, a scalpel or forceps as a surgical operation tool while referring to this image. A knife or forceps is simulated by a
Here, dynamic calculation will be described. Since the main purpose of the target simulation is the mechanical behavior of the organ, it is necessary to perform organ cutting, incision, pulling, etc., so an elastic body using a finite element model with mathematical accuracy guaranteed. Is being modeled. Usually, the finite element method is a static analysis method, and is represented by the following balance equation (1) of force and displacement.
<F> = [K] <U> (1)
Here, <F> is an external force vector, <U> is a displacement vector, and [K] is a stiffness matrix. (In this specification, the vector notation of x is <x>, and the matrix notation of H is [H].) Solving simultaneous linear equations obtained by adding constraints such as force and displacement to equation (1). Thus, the displacement of all nodes is obtained. However, in general, numerical calculations of simultaneous linear equations are heavy in processing, and cannot be processed in real time for a model of a realistic size (several thousand nodes). In the conventional method, real-time performance is ensured by performing preprocessing. However, if the topology of the finite element model changes due to cutting or the like, it is necessary to recalculate the stiffness matrix and perform pre-processing in real-time processing. There remains a big problem as an application to the surgical simulator. Therefore, in the present invention, dynamic analysis is used. For the equation (1), the dynamic analysis method is expressed by the following equation of motion (2).
[M] d 2 <U> / dt 2 = <F> − [K] <U> − [C] d <U> / dt (2)
Here, [M] is a mass matrix and [C] is a viscosity matrix. By performing time integration with respect to the displacement <U> from this equation, the same displacement <U> as the equation (1) is finally obtained while performing a transient response.
FIG. 12 shows a calculation model for the finite element method dynamic model.
The reaction force is obtained by data from the biological
The generated video is displayed by the display device (image display process P1113 in FIG. 11B).
上記模擬運動及び画像生成過程P1112において、手術操作具が例えばメス又は/及び鉗子であり、接触による手術操作具と模擬生体との接触による模擬生体の反応が、メスによる切断、切開、凹み等の接触変形、鉗子による凹み、引っ張り伸び等の接触変形、及び手術操作具操作により変形した模擬生体により更に隣接する模擬生体間の相互変形等を模擬する(図11(b)の模擬反応過程P11121)。 In the simulated motion and image generation process P1112, the surgical operation tool is, for example, a scalpel or forceps, and the reaction of the simulated living body due to contact between the surgical operation tool and the simulated living body is caused by cutting, incision, dent, etc. Contact deformation, contact deformation such as dents with forceps, tensile elongation, and the like, and mutual deformation between adjacent simulated living bodies are simulated by a simulated living body deformed by operating the surgical operation tool (simulated reaction process P11121 in FIG. 11B). .
図13(a)に臓器を三角形の要素に有限分割したモデルを示す。
上記の説明において、式(1)における計算を一つの有限要素については例えば図13(b)のように平面の場合で有限要素が三角形でそれぞれの頂点をノード(あるいは節点)としそのノード番号(i,j,k)について外力(fix,fiy,fjx,fjy,fkx,fky)とそのときの変位(ui,vi,uj,vj,uk,vk)との関係を、6×6要素剛性行列を用いて求めている(図13(c))。この剛性行列は臓器のヤング率、ポアソン比、形状(ノードの相対的位置で定まる)等で定義される。有限要素が例えば三角錐の立体の場合は12×12要素剛性行列を用いる。臓器全体の外力<F>における変位<U>は各有限要素について剛性行列を重ね合わせた全体剛性行列を用いて求めることとなる(図13(d))。すなわち、図13のように1つの有限要素Pについてノードが(i,j,k)で定められ、それに隣接し1つのノードを共通にする有限要素Q(i,l,m)がある場合、行列要素(i)について重ね合わされることとなる。
そして、例えば、メスが操作されてある1つの有限要素の部分が切断されるとする(図14(a)(b))。その部分に切断により要素が影響を受けて変形が生じるのであるから、新たなノードを生成して(図14(c))、要素剛性行列を新たに作り直して再構築し(図14(d))、この行列に基づいて力と変位との関係を求めている。その全体剛性行列の再構成するための時間がかかっていた。また、行列の次元数も変更され、処理が複雑なものとなっていた。
さらに、メスが臓器を切断する際に、互いに接触したことを判定する必要があり、臓器の部分を特定するために有限要素の固有の番号にいずれに接触するかを知る必要があった。
しかし、臓器はリアルタイムに変形すべきものであるにもかかわらず、手術操作具と臓器との接触判定の計算は時間を要するものであった。臓器が変形する中で、手術操作具に近い要素群を求め、これら有限要素を構成する例えば四面体要素を構成する各平面と手術操作具との位置関係を計算しなければならなかった。(図15参照。)
FIG. 13A shows a model in which an organ is finitely divided into triangular elements.
In the above description, for the calculation in the formula (1), for one finite element, for example, in the case of a plane as shown in FIG. 13B, the finite element is a triangle and each vertex is a node (or node). i, j, k) for the external force (f ix, f iy, f jx, f jy, f kx, displacement of f ky) and the time (u i, v i, u j, v j, u k, v k ) Using a 6 × 6 element stiffness matrix (FIG. 13C). This stiffness matrix is defined by organ Young's modulus, Poisson's ratio, shape (determined by the relative position of the node), and the like. When the finite element is a triangular pyramid, for example, a 12 × 12 element stiffness matrix is used. The displacement <U> in the external force <F> of the whole organ is obtained using an overall stiffness matrix obtained by superimposing the stiffness matrices for each finite element (FIG. 13 (d)). That is, as shown in FIG. 13, when a node is defined by (i, j, k) for one finite element P and there is a finite element Q (i, l, m) that is adjacent to and shares one node, The matrix element (i) is superposed.
For example, it is assumed that the part of one finite element in which the knife is operated is cut (FIGS. 14A and 14B). Since the element is affected by the cutting and deformation occurs at that portion, a new node is generated (FIG. 14C), and the element stiffness matrix is newly reconstructed and reconstructed (FIG. 14D). ), The relationship between force and displacement is obtained based on this matrix. It took time to reconstruct the entire stiffness matrix. In addition, the number of dimensions of the matrix has been changed, and the processing has become complicated.
Further, when the scalpel cuts the organ, it is necessary to determine that the females are in contact with each other, and it is necessary to know which one is in contact with the unique number of the finite element in order to specify the part of the organ.
However, even though the organ should be deformed in real time, the calculation of the contact determination between the surgical operation tool and the organ takes time. While the organ is deformed, an element group close to the surgical operation tool must be obtained, and the positional relationship between the surgical operation tool and each plane constituting these finite elements, for example, a tetrahedral element has to be calculated. (See FIG. 15.)
解決しようとする問題点は、有限要素分割されて生成されたシミュレーション用の臓器データについて切断模擬がされたときに、有限要素のノード、行列の次元数を大きく変更せず、従って処理速度を落とさずに手術切断運動模擬する方法及び装置を提供することにある。さらに、切断模擬する際の臓器と手術操作具との接触判定を高速に行う模擬手術接触判定方法とその装置を提供することにある。
また、手術切断運動模擬に適したデータベース構造を提供する。
The problem to be solved is that when the simulation organ data generated by dividing the finite element is cut and simulated, the number of dimensions of the finite element node and matrix is not greatly changed. It is an object of the present invention to provide a method and an apparatus for simulating a surgical cutting motion without using it. It is another object of the present invention to provide a simulated surgical contact determination method and apparatus for determining contact between an organ and a surgical operation tool at the time of cutting simulation.
A database structure suitable for surgical cutting motion simulation is also provided.
上記課題を解決するため請求項1に係る生体臓器の手術切断運動模擬方法は、生体の所定部位に備える物理特性データが設定された各臓器を有限要素に分割する有限要素分割過程と、前記有限要素分割過程により得たデータを用いて手術操作具と模擬生体の接触による反力と模擬生体の反応との運動を計算する際に、力を有限要素の要素剛性の部分行列の重ね合わせによる全体剛性行列と変位との関係式において、手術操作具が模擬生体に接触する部分の当該有限要素の要素剛性の部分行列を削除して新たな全体剛性行列として模擬運動計算を行う模擬運動過程とからなることを特徴とするものである。
In order to solve the above-mentioned problem, a method for simulating a surgical cutting motion of a living organ according to
請求項2に係る生体臓器の手術切断運動模擬装置は、生体の所定部位に備える物理特性データが設定された各臓器を有限要素に分割する有限要素分割手段と、前記有限要素分割手段により得たデータを用いて手術操作具と模擬生体の接触による反力と模擬生体の反応との運動を計算する際に、力を有限要素の要素剛性の部分行列の重ね合わせによる全体剛性行列と変位との関係式において、手術操作具が模擬生体に接触する部分の当該有限要素の要素剛性の部分行列を削除して新たな全体剛性行列として模擬運動計算を行う模擬運動計算手段とからなることを特徴とするものである。 According to a second aspect of the present invention, there is provided an apparatus for simulating a surgical cutting motion of a living body organ obtained by the finite element dividing means for dividing each organ set with physical characteristic data provided in a predetermined part of the living body into finite elements, and the finite element dividing means. When calculating the motion between the reaction force caused by the contact between the surgical operating tool and the simulated living body and the response of the simulated living body using the data, the force is calculated as the total stiffness matrix and displacement by superimposing the submatrices of the element stiffness of the finite element. The relational expression is characterized by comprising a simulated motion calculation means for performing a simulated motion calculation as a new overall stiffness matrix by deleting a partial matrix of the element stiffness of the finite element of the portion where the surgical operating tool contacts the simulated living body. To do.
請求項3に係る生体臓器の手術切断運動模擬方法は、生体の所定部位に備える物理特性データが設定された各臓器を有限要素に分割する有限要素分割過程と、前記有限要素分割過程により得たデータを用いて手術操作具と模擬生体の接触による反力と模擬生体の反応との運動を計算する際に、力を有限要素の要素剛性の部分行列の重ね合わせによる全体剛性行列と変位との関係式において、手術操作具が模擬生体に接触する部分の当該有限要素の要素剛性の部分行列を削除するとともに前記切断した要素に代えて切断箇所近傍の1のノードを切断した要素のものと異なる予備ノードで置換して新たな全体剛性行列として模擬運動計算を行う模擬運動過程とからなることを特徴とするものである。 According to a third aspect of the present invention, there is provided a method for simulating the operation of cutting a living organ by a finite element dividing process for dividing each organ set with physical characteristic data for a predetermined part of a living body into finite elements and the finite element dividing process. When calculating the motion between the reaction force caused by the contact between the surgical operating tool and the simulated living body and the response of the simulated living body using the data, the force is calculated as the total stiffness matrix and displacement by superimposing the partial matrix of the element stiffness of the finite element. In the relational expression, the partial matrix of the element rigidity of the finite element of the part where the surgical operation tool comes into contact with the simulated living body is deleted and different from the element obtained by cutting one node in the vicinity of the cutting position instead of the cut element. It consists of a simulated motion process in which simulated motion calculation is performed as a new overall stiffness matrix after replacement with a spare node.
請求項4に係る生体臓器の手術切断運動模擬装置は、生体の所定部位に備える物理特性データが設定された各臓器を有限要素に分割する有限要素分割手段と、前記有限要素分割手段により得たデータを用いて手術操作具と模擬生体の接触による反力と模擬生体の反応との運動を計算する際に、力を有限要素の要素剛性の部分行列の重ね合わせによる全体剛性行列と変位との関係式において、手術操作具が模擬生体に接触する部分の当該有限要素の要素剛性の部分行列を削除するとともに前記切断した要素に代えて切断箇所近傍の1のノードを切断した要素のものと異なる予備ノードで置換して新たな全体剛性行列として模擬運動計算を行う模擬運動計算手段とからなることを特徴とするものである。
A biological organ surgical cutting motion simulation device according to
請求項5に係る模擬手術接触判定方法は、予め有限要素に分割して当該要素ごとに固有の要素番号を付与された臓器の手術模擬を行う手術操作具の内部に所定方向に向いた仮想の視点を設定する視点設定過程と、前記視点と手術操作具の先端との間に仮想のスクリーンとを設定するスクリーン設定過程と、前記視点が見た仮想画像の画素分を少なくとも有する画像メモリを備えて、その初期値を全て0で初期化しメモリ初期化過程と、前記視点からの奥行きであるz値を前記画像メモリの画素に対応して記録するz−バッファを備えて、その初期値を視点から手術操作具の先端までの距離とするz−バッファ初期化過程と、手術操作具の所定の位置及び方向による視点から見た前記臓器の表面要素を描画する際に、現在の視点による画像の各画素のz値がz−バッファに格納されているz値より小さければz−バッファのz値を書き替えるとともに、表面要素の色データの代わりに、要素番号を画像メモリに書き込ませることにより行う描画過程と、全画素について描画終了後、画像メモリについて初期値の0以外の要素番号について手術操作具との接触があると判定する接触判定過程とからなるものである。
The simulated surgical contact determination method according to
請求項6に係る模擬手術接触判定装置は、生体の臓器を予め有限要素に分割して当該要素ごとに固有の要素番号を付与しておく有限要素番号付与手段と、前記視点が見た仮想画像の画素分を少なくとも有し、初期値を全て0で初期化する画像メモリと、視点からの奥行きであるz値を前記画像メモリの画素に対応して記録し、初期値を視点から手術操作具の先端までの距離とするz−バッファと、手術操作具の所定の位置及び方向による視点から見た前記臓器の表面要素を描画して前記画像メモリに出力する画像生成部と、前記画像生成部の所定視点における画像の各画素のz値がz−バッファに格納されているz値より小さければz−バッファのz値を書き替えるとともに、表面要素の色データの代わりに、要素番号を前記画像メモリに書き込ませるz値判定手段と、画像メモリについて初期値の0以外の要素番号について手術操作具との接触があると判定する接触判定部とからなるものである。
The simulated surgical contact determination apparatus according to
請求項7に係る手術切断運動模擬用のデータベース構造は、模擬する生体の臓器ごとに分類し、前記分類した各臓器全体を覆った立体の臓器のメタデータを連結部(A)に備えた複数の臓器データ部(B)と、臓器を構成する生体部位ごとの生体モデルに分類し、前記分類した各生体モデル全体を覆った立体の生体のメタデータを備え、当該分類した生体モデルごとに力学計算ノードを備えて1つの計算要素とした複数の生体モデル部(C)とを有し、前記各生体モデル部(C)を、前記臓器データ部(B)におけるメタデータと各臓器内の生体モデルにおけるメタデータ間との接触判定と、生体モデル部の力学計算ノードにおける変数の伝播とを制御するとともに前記連結部(A)において連結する構造とし、前記各臓器データ部(B)を、前記各臓器におけるメタデータ間の接触判定と生体モデル部(C)の力学計算ノードにおける変数の伝播を制御する連結部(D)において連結する構造としたことを特徴とするものである。
The database structure for simulating a surgical cutting motion according to
請求項1に係る生体臓器の手術切断運動模擬方法よると、有限要素分割過程において生体の所定部位に備える物理特性データが設定された各臓器を有限要素に分割し、模擬運動過程において前記分割により得たデータを用いて手術操作具と模擬生体の接触による反力と模擬生体の反応との運動を計算する際に、力を有限要素の要素剛性の部分行列の重ね合わせによる全体剛性行列と変位との関係式において、手術操作具が模擬生体に接触する部分の当該有限要素の要素剛性の部分行列を削除して新たな全体剛性行列として模擬運動計算を行うから、切断のあった有限要素部分の部分行列を削除するのみで、ノード数の変更、全体剛性行列の次元数を変更せずに、高速に処理することができる。
According to the method for simulating the surgical cutting motion of a living organ according to
請求項2に係る生体臓器の手術切断運動模擬装置よると、有限要素分割手段において生体の所定部位に備える物理特性データが設定された各臓器を有限要素に分割し、模擬運動計算手段において前記分割により得たデータを用いて手術操作具と模擬生体の接触による反力と模擬生体の反応との運動を計算する際に、力を有限要素の要素剛性の部分行列の重ね合わせによる全体剛性行列と変位との関係式において、手術操作具が模擬生体に接触する部分の当該有限要素の要素剛性の部分行列を削除して新たな全体剛性行列として模擬運動計算を行うから、切断のあった有限要素部分の部分行列を削除するのみで、ノード数の変更、全体剛性行列の次元数を変更せずに、高速に処理することができる。
According to the biological organ surgical cutting motion simulation apparatus according to
請求項3に係る生体臓器の手術切断運動模擬方法よると、有限要素分割過程において生体の所定部位に備える物理特性データが設定された各臓器を有限要素に分割し、模擬運動過程において前記分割により得たデータを用いて手術操作具と模擬生体の接触による反力と模擬生体の反応との運動を計算する際に、力を有限要素の要素剛性の部分行列の重ね合わせによる全体剛性行列と変位との関係式において、手術操作具が模擬生体に接触する部分の当該有限要素の要素剛性の部分行列を削除するとともにその箇所に前記切断した要素に代えて切断箇所近傍の1のノードを切断した要素のものと異なる予備ノードで置換して新たな全体剛性行列として模擬運動計算を行うから、切断のあった有限要素部分の部分行列を削除しかつその部分新たな予備ノードを置き換えるのみで、ノード数の変更、全体剛性行列の次元数を大きく変更せずに、高速に処理することができる。
According to the method for simulating the surgical cutting motion of a living organ according to
請求項4に係る生体臓器の手術切断運動模擬装置よると、有限要素分割手段において生体の所定部位に備える物理特性データが設定された各臓器を有限要素に分割し、模擬運動計算手段において前記分割により得たデータを用いて手術操作具と模擬生体の接触による反力と模擬生体の反応との運動を計算する際に、力を有限要素の要素剛性の部分行列の重ね合わせによる全体剛性行列と変位との関係式において、手術操作具が模擬生体に接触する部分の当該有限要素の要素剛性の部分行列を削除するとともにその箇所に前記切断した要素に代えて切断箇所近傍の1のノードを切断した要素のものと異なる予備ノードで置換して新たな全体剛性行列として模擬運動計算を行うから、切断のあった有限要素部分の部分行列を削除しかつその部分新たな予備ノードを置き換えるのみで、ノード数の変更、全体剛性行列の次元数を大きく変更せずに、高速に処理することができる。
According to the biological organ surgical cutting motion simulation apparatus according to
請求項5に係る模擬手術接触判定方法によると、視点からの奥行きであるz値を画像メモリの画素に対応して記録するz−バッファを備えて所定の視点位置におけるz値を前のz値と比較して、小さいすなわち手術操作具の先端が臓器内部にあるときに、その画素部分の画像メモリを要素番号を格納することにより、要素番号で表される臓器の部分に接触しているものとすることができる。
According to the simulated surgical contact determination method according to
請求項6に係る模擬手術接触判定装置によると、視点からの奥行きであるz値を画像メモリの画素に対応して記録するz−バッファを備えて、z値判定手段において所定の視点位置におけるz値を前のz値と比較して、小さいすなわち手術操作具の先端が臓器内部にあるときに、画像メモリはその画素部分に要素番号を格納することにより、要素番号で表される臓器の部分に接触しているものとすることができる。
According to the simulated surgical contact determination apparatus according to
請求項5に係る手術切断運動模擬用のデータベース構造よると、各臓器データ部(B)とそれらの構成する生体部位ごとの生体モデル部(C)とで構造のデータとし、各臓器にメタデータと、各生体モデルにメタデータを備えて、メタデータを各臓器及び生体モデルを簡単な構造で表し、これらの間で高速に接触判定をすることができ、各生体モデルに力学計算ノードにおいて接触判定と生体の変形計算をするものとして、構造のもとで変形、力のデータを転送し、段階的に高速に実施することができる。
According to the database structure for simulating the surgical cutting motion according to
図1は本発明に係る生体臓器の手術切断運動模擬装置の機能ブロック図、図2(a),(b)は生体臓器の手術切断運動模擬方法を説明するフロー図である。図1において、101は手術シミュレータ用生体データ作成システム、102はセグメンテーション部、103は物理定数設定部、104は有限要素分割部、105はモデルデータを記憶する記憶装置、110は手術シミュレータ、111は力覚装置、112は模擬運動及び画像生成演算装置、113は画像表示装置、114はネットワーク、115は通信手段、116は評価用のコンソールである。
模擬運動及び画像生成演算装置112は、ホストコンピュータ1121と、画像合成部1122と、ホストコンピュータ1121と画像合成部1122に接続し、それぞれ異なる臓器の模擬運動及び画像生成を行う模擬運動計算機としてのノードコンピュータ11231〜1123Nを備える。
生体データ作成システム101において、図10と同様にしてモデルデータが生成され、記憶装置105に後述するデータ構造で記憶される。
FIG. 1 is a functional block diagram of a biological organ surgical cutting motion simulation apparatus according to the present invention, and FIGS. 2A and 2B are flowcharts illustrating a biological organ surgical cutting motion simulation method. In FIG. 1, 101 is a biological data creation system for a surgical simulator, 102 is a segmentation unit, 103 is a physical constant setting unit, 104 is a finite element division unit, 105 is a storage device that stores model data, 110 is a surgical simulator, and 111 is a surgical simulator. A haptic device, 112 is a simulated motion and image generation calculation device, 113 is an image display device, 114 is a network, 115 is a communication means, and 116 is an evaluation console.
The simulated motion and image
In the biological data creation system 101, model data is generated in the same manner as in FIG. 10 and stored in the
(実施態様1)
手術シミュレータ用生体データ作成システム101において(背景技術)の欄で説明したと同様にモデルデータ生成がされる。
セグメンテーション部102には、生体を図示しないCTあるいはMRIにより3軸方向について所定の間隔で撮像した撮像データを入力し、このデータから臓器が形成する面をその特徴点から医学的知識を用い決定することにより臓器を抽出する(セグメンテーション過程)。
物理定数設定部103は、前記セグメンテーション部102におけるセグメンテーション過程で抽出した複数臓器の各臓器を構成する前記3軸の交点について臓器の所定の各部位毎に備える物理特性を設定する(物理定数設定過程)。このときの、物理定数にはヤング率、比重等がある。
有限要素分割部104は、前記物理定数設定部103における物理定数設定過程で物理特性を設定された所定部位を有限要素に分割する(図2(a)の有限要素分割過程P201a)。
モデルデータは記憶装置105に所定のデータ構造で記憶される。例えば、データ構造は有限要素を包含するメタデータの構成を持つ。さらに、モデルデータに実体に即した質量、剛性、色等を付加したボリュームデータとする。
生体データ作成システム101において、臓器の生体モデルを例えば図3(a)のように三角形の要素に分割し、その要素のノードに番号を付して(i,j,k)とする。前述した力と変位の釣り合い式(1)における[K]の剛性マトリクスを初期化時に構築してある(図3(b))。手術操作者がメスを操作し、模擬運動及び画像生成演算装置112の当該臓器についてのノードコンピュータ1123iがメスと臓器との接触を後述するように判定する。このメスが接触した臓器を構成する要素Pはノードの番号(i,j,k)とする。さらに、メスの移動が進み当該臓器の生体部分を切断することになる。このとき、この要素P(i,j,k)の剛性行列が全体の剛性行列に関わりなくなると考え、この要素Pとそれに係る部分行列を削除する(図3(c),(d))。従って、新たな全体剛性マトリクスは、前記要素P(i,j,k)の部分の部分行列を加えあわせないものとなる。ノードコンピュータ1123i(iは、1〜Nのうち当該臓器の生体に割り当てられたもの)は、新たな剛性行列に基づいて式(1)により、模擬により生じた力に応じた変位を求める。(図2(a)の模擬運動過程P202a)
(Embodiment 1)
In the surgical simulator biometric data creation system 101, model data is generated in the same manner as described in the section of “Background Art”.
The
The physical
The finite
The model data is stored in the
In the biological data creation system 101, a biological model of an organ is divided into triangular elements as shown in FIG. 3A, for example, and the nodes of the elements are numbered (i, j, k). The stiffness matrix of [K] in the force-displacement balance equation (1) described above is constructed at the time of initialization (FIG. 3B). The surgical operator operates the scalpel, and the node computer 1123i for the organ of the simulated motion and image
(実施態様2)
実施態様と同様に、有限要素分割部104は、前記物理定数設定部103における物理定数設定過程で物理特性を設定された所定部位を有限要素に分割する(図2(b)の有限要素分割過程P201b)。
切断される箇所に相当する要素に関しその部分行列を単に削除しただけでなく、予備の要素を備え削除した部分にその予備の要素を交換して置き換えるようにして、切断模擬をすることができる。例えば、図4(a)のように、切断することにより削除される要素Pのノードの番号を(i,j,k)とする。このノードの番号は、もとの要素Pを示す他に前記要素Pに隣接する他の要素例えば要素Qについて番号(i,k)を共通にし、要素Rについて番号(j,k)を共通にする。新たな予備の要素Sは、番号を(j,k,l)として、番号(j,k)は要素Rと共通にして隣接させ、番号(l)については、置き換えの初期に番号(i)と同一箇所に位置させる。従って、新たな全体剛性マトリクスは、前記要素(i,j,k)の部分行列に代えて要素(j,k,l)(lはもとの全体行列にはない新たなノードに関するものである。)の関する部分行列を加えあわせたものとなる(図4(b))。従って、新たなノード番号(l)を含んだ新たな全体剛性行列を再構築する必要があるが、ただ1つのノードが増えるだけで、複雑になることはない。新たに置き換えられた予備の要素Sを含んだ要素の集合について、ノードコンピュータ1123i(iは、1〜Nのうち当該切断された臓器の生体に割り当てられたもの)は、新たな剛性行列に基づいて式(1)により、模擬により生じた力に応じた変位を求めることができる(図2(b)の模擬運動過程P202b)。交換された要素Sについて、最初ノード(l)は要素Qのノード(i)と一致しているが、加えられた力(重力、手術操作具により加えられる力)と臓器の物理定数により変位して、互いに離れることとなり、これらはノードコンピュータ1123iにより計算され、この状況の画像が生成され、表示装置により表示される。
(Embodiment 2)
Similar to the embodiment, the finite
In addition to simply deleting the submatrix with respect to the element corresponding to the part to be cut, it is possible to perform cutting simulation by replacing the spare element with a spare element and replacing the deleted part. For example, as shown in FIG. 4A, it is assumed that the node number of the element P deleted by cutting is (i, j, k). In addition to indicating the original element P, this node has the same number (i, k) for other elements adjacent to the element P, for example, the element Q, and the same number (j, k) for the element R. To do. The new spare element S has the number (j, k, l), the number (j, k) is adjacent to the element R in common, and the number (l) is the number (i) at the initial stage of replacement. It is located in the same place. Therefore, the new total stiffness matrix relates to a new node that is not in the original total matrix instead of the partial matrix of the element (i, j, k). .)) Is added to the submatrix (FIG. 4B). Therefore, it is necessary to reconstruct a new overall stiffness matrix including a new node number (l), but only one node is added and there is no complication. For the set of elements including the newly replaced spare element S, the node computer 1123i (i is assigned to the living body of the cut organ among 1 to N) is based on the new stiffness matrix. Thus, the displacement according to the force generated by the simulation can be obtained by the equation (1) (simulated motion process P202b in FIG. 2B). For the exchanged element S, the first node (l) coincides with the element (i) of element Q, but is displaced by the applied force (gravity, force applied by the surgical operation tool) and the physical constant of the organ. They are separated from each other and are calculated by the node computer 1123i, and an image of this situation is generated and displayed on the display device.
図5は模擬手術接触判定装置を説明する機能ブロック図、図6は模擬手術接触判定方法を説明するフロー図である。模擬手術接触判定は図1における模擬運動及び画像生成演算装置112の各ノードコンピュータ11231〜1123Nにおいて行われ、図5は1の模擬手術接触判定装置を表示する。模擬運動及び画像生成演算装置112におけるグラフィックスプロセッサはコンピュータグラフィックス専用LSIを用いて行い、専用回路により画像生成を高速に実行することができる。
図5において、501は図示しない操作具の所定箇所に仮想設定した視点から見た仮想画像の画像データの少なくとも1フレーム分を記憶し、初期値を全て0で初期化する例えばフレームバッファあるいはこれに相当するメモリにより構成する画像メモリ、502は前記視点からの仮想画像の奥行きであるz値を前記画像メモリ501の画素に対応して記録し、初期値を視点から手術操作具の先端までの距離Lとするz−バッファ、503は図示しない手術操作具の所定の位置及び方向による視点から見た仮想の臓器の表面要素を描画して前記画像メモリ501に出力する画像生成部、504は前記画像生成部503の所定視点における画像の各画素のz値がz−バッファ502に格納されているz値より小さければz−バッファ502のz値を書き替えるとともに、表面要素の色データの代わりに、要素番号を前記画像メモリ501に書き込ませるz値判定手段、505は画像メモリ501について初期値の0以外の要素番号について手術操作具との接触があると判定する接触判定部である。図7に視点から見た情景とそのデータを画像メモリ501とz−バッファ502との格納状況を示す。すなわち、画像メモリ501とz−バッファ502とはスクリーンに表示する画素数と同数の容量を持ち、互いに一つの画素に対応し、スクリーン803には視点から見て最近の物体が見え、その奥の物体は最近の物体から遮られない範囲で見ることができるように表示される。
生体の臓器を予め有限要素に分割して当該要素ごとに固有の要素番号は図1の手術シミュレータ用生体データ作成システム101において付与される。
図8に示すように例えばメスを模擬する手術操作具801の所定箇所Lに視点802が設定される(図6の過程P601)。さらに視点802の前に仮想のスクリーン803が設定される(図6の過程P602)。手術操作具801に設けた視点802は、所定の視野角を有して手術操作者が操作する方向に向けられる。視点802の視野角は、狭く設定され、または0に設定される(図6の過程P603)。z−バッファ502を前述したLで初期化する(図6の過程P604)。画像メモリ501を0で初期化する(図6の過程P605)。
手術操作者の操作に従って手術操作具801が操作され、その位置姿勢が確定される(図6の過程P606)とともに、視点の位置、その姿勢すなわち視線方向が設定される(図6の過程P607)。画像生成部503は視点802からスクリーン803に見た臓器の構成要素を固有の要素番号で描画する。設定した視野角が0の場合、透視投影変換を行わず平行射影を使って描画する。このとき、画像生成部503のデータには手術操作具801に設定した視点802から画像生成対象物すなわち本発明の場合は臓器の表面までの奥行きであるz値を各画素について含み、その画素は画像メモリ501が格納するフレーム内の位置と対応する。z値判定手段504において、臓器の表面要素についてのz値は、z−バッファ502に格納されているz値と比較され、新たなz値がもとのz値より大きいすなわち奥の要素は描画がキャンセルされ、新たなz値がもとのz値より小さい場合にz−バッファ502の値をその画素について書き替えとともに、画像メモリ501はz値を書き替えた画素に対応して、表面要素の色データの代わりに、要素番号を書き込ませる(図6の過程608)。図8(a)は臓器804と手術操作具801が接触なしの場合を図示し、画像メモリ501とz−バッファ502との内容が初期値のままである。図8(b)は臓器804の要素25と手術操作具801とが接触した場合を図示し、画像メモリ501とz−バッファ502との所定部分(接触した部分に対応したメモリ部分)の内容がその要素番号25と距離Lから手術操作具801であるメスの先端から切り込んだ深さを差し引いた距離Miが格納される。
描画終了後、接触判定部505は、画像メモリ501の内容を読み出し(図6の過程609)、それを調べる。画像メモリ501について全て初期値の0であれば手術操作具801と接触なしとみなし、もし0以外の要素番号があれば、それを手術操作具801と接触した要素番号とみなして接触ありの判定をする(図6の過程610)。接触の判定がされた場合、前述のように全体剛性行列から前記要素番号の要素行列を削除して(図6の過程611)、臓器変形計算を行う(図6の過程612)こととなる。
このようにして接触を判定することにより、グラフィックスプロセッサでは描画処理が高速に、自動的に実施でき、z値の比較判定、z−バッファの更新、を高速に、自動的に実施でき、手術操作具に設定した視野外のデータのキャンセルが高速に、自動的に実施できる。そのため、接触判定と、接触要素番号の特定が高速に実施できる。
FIG. 5 is a functional block diagram for explaining the simulated surgical contact determination apparatus, and FIG. 6 is a flowchart for explaining the simulated surgical contact determination method. The simulated surgical contact determination is performed in each of the node computers 11231 to 1123N of the simulated motion and image
In FIG. 5,
A living organ is divided into finite elements in advance, and a unique element number is assigned to each element in the surgical simulator biological data creation system 101 of FIG.
As shown in FIG. 8, for example, a
The
After drawing is completed, the
By determining contact in this way, the graphics processor can automatically perform drawing processing at high speed, and can automatically perform z-value comparison determination and z-buffer update at high speed. Data outside the field of view set in the operation tool can be automatically canceled at high speed. Therefore, the contact determination and the identification of the contact element number can be performed at high speed.
図9は、手術切断運動模擬用のデータベース構造を説明する図であり、データベースは図1の記憶装置105に記憶される。
手術切断運動模擬用のデータベースは、臓器データ部9011〜9013…と、生体モデル部90211,90212,90221,90222,90231,90232…とで構成される。臓器データ部9011〜9013…は、模擬する生体の臓器ごとに分類し、前記分類した各臓器全体を覆った立体の臓器のメタデータ9031,9032,9033…を連結部(A)9041,9042,9043…に備える。
生体モデル部90211〜90232…は、臓器を構成する生体部位ごとの生体モデル9051,9052〜9056…に分類し、前記分類した各生体モデル9051,9052〜9056…全体を覆った立体の生体のメタデータ9061,9062〜9066…を備える。また生体モデル部90211〜90232…には生体モデル9051,9052〜9056…ごとに力学計算ノード9071,9072,9073,9074,9075,9076…が備えられる。前記臓器のメタデータ9031,9032,9033…と生体のメタデータ9061,9062〜9066…の各々は、例えば球又は楕円体等の簡単な立体で形成して、当該臓器又は生体の全体を覆う。
各生体モデル部90211〜90232…は、その属する臓器内ごとに連結部(A)9041,9042,9043…で連結する構造、例えば樹状構造とされる。各連結部(A)9041,9042,9043…は、前記臓器データ部9011〜9013…におけるメタデータ9031,9032,9033…と各臓器内の生体モデル9051,9052〜9056…におけるメタデータ9061,9062〜9066…間の接触判定と生体モデル部90211〜90232…の力学計算ノード9071〜9076…における変数の伝播を制御する。
各臓器データ部9011〜9013…は、その属する例えば器官ごとに連結部(D)9081,9082で連結する構造、例えば樹状構造とされる。連結部(D)9082は、例えば腎臓部である臓器データ部9012と副腎部である臓器データ9013との腎臓部メタデータ9032と副腎部メタデータ9033との接触判定及び腎臓部と副腎部とを覆ってできる腹部メタデータ909と他の臓器例えば血管部である臓器データ部9011の血管メタデータ9031との接触判定を行う。
接触判定は、連結部の計算ノードにおいて、メタデータを形成する立体の面について互いに一致する部分があるときに接触するものとする。そして、変数(例えば、「力」、「変位」)のデータを接触する生体に係る連結部(A)9041,9042…、連結部(D)9081,9082を経由して、接触する生体モデルの力学計算ノードに転送してノードコンピュータ1123iで変位計算を行わせることができる。
FIG. 9 is a diagram for explaining a database structure for simulating a surgical cutting motion, and the database is stored in the
The surgical cutting motion simulation database is composed of organ data sections 9011 to 9013... And
The biological model units 90211 to 90232... Are classified into
Each of the biological model parts 90211 to 90232... Has a structure, for example, a dendritic structure, that is connected by connecting parts (A) 9041, 9042, 9043. ..,
Each organ data part 9011 to 9013... Has a structure, for example, a dendritic structure, connected by connecting parts (D) 9081 and 9082 for each organ, for example. For example, the connection unit (D) 9082 determines contact between the kidney data 9032 and the
In the contact determination, it is assumed that a contact is made when there are portions that coincide with each other with respect to the three-dimensional surfaces forming the metadata in the calculation node of the connection unit. Then, via the connection parts (A) 9041, 9042,..., Connection parts (D) 9081, 9082 related to the living body that contacts data of variables (for example, “force”, “displacement”), It can be transferred to the dynamic calculation node and the displacement calculation can be performed by the node computer 1123i.
101…手術シミュレータ用生体データ作成システム、102…セグメンテーション部、103…物理定数設定部、104…有限要素分割部、105…モデルデータを記憶する記憶装置、110…手術シミュレータ、111…力覚装置、112…模擬運動及び画像生成演算装置、113…画像表示装置 DESCRIPTION OF SYMBOLS 101 ... Biological data creation system for surgery simulators, 102 ... Segmentation part, 103 ... Physical constant setting part, 104 ... Finite element division part, 105 ... Memory | storage device which memorize | stores model data, 110 ... Surgery simulator, 111 ... Force sense apparatus, 112 ... Simulated motion and image generation calculation device, 113 ... Image display device
Claims (7)
前記有限要素分割過程により得たデータを用いて手術操作具と模擬生体の接触による反力と模擬生体の反応との運動を計算する際に、力を有限要素の要素剛性の部分行列の重ね合わせによる全体剛性行列と変位との関係式において、手術操作具が模擬生体に接触する部分の当該有限要素の要素剛性の部分行列を削除して新たな全体剛性行列として模擬運動計算を行う模擬運動過程とからなることを特徴とする生体臓器の手術切断運動模擬方法。 A finite element division process that divides each organ set with physical property data for a predetermined part of a living body into finite elements;
When calculating the motion of the reaction force and the reaction of the simulated living body due to the contact between the surgical operating tool and the simulated living body using the data obtained by the finite element division process, the force is superimposed on the sub-matrix of the element stiffness of the finite element. In the relational expression between the total stiffness matrix and displacement, the simulated motion process that calculates the simulated motion as a new total stiffness matrix by deleting the partial stiffness matrix of the finite element of the part where the surgical operating tool contacts the simulated living body A method for simulating surgical cutting motion of a living organ, characterized by comprising:
前記有限要素分割手段により得たデータを用いて手術操作具と模擬生体の接触による反力と模擬生体の反応との運動を計算する際に、力を有限要素の要素剛性の部分行列の重ね合わせによる全体剛性行列と変位との関係式において、手術操作具が模擬生体に接触する部分の当該有限要素の要素剛性の部分行列を削除して新たな全体剛性行列として模擬運動計算を行う模擬運動計算手段とからなることを特徴とする生体臓器の手術切断運動模擬装置。 A finite element dividing means for dividing each organ set with physical property data for a predetermined part of a living body into finite elements;
When calculating the reaction between the reaction force of the surgical operating tool and the simulated living body and the reaction of the simulated living body using the data obtained by the finite element dividing means, the force is superimposed on the submatrix of the element stiffness of the finite element. In the relational expression between the total stiffness matrix and the displacement, the simulated motion calculation that performs the simulated motion calculation as a new total stiffness matrix by deleting the partial matrix of the element stiffness of the finite element of the part where the surgical operating tool contacts the simulated living body An apparatus for simulating a surgical cutting motion of a living organ, characterized by comprising:
前記有限要素分割過程により得たデータを用いて手術操作具と模擬生体の接触による反力と模擬生体の反応との運動を計算する際に、力を有限要素の要素剛性の部分行列の重ね合わせによる全体剛性行列と変位との関係式において、手術操作具が模擬生体に接触する部分の当該有限要素の要素剛性の部分行列を削除するとともに前記切断した要素に代えて切断箇所近傍の1のノードを切断した要素のものと異なる予備ノードで置換して新たな全体剛性行列として模擬運動計算を行う模擬運動過程とからなることを特徴とする生体臓器の手術切断運動模擬方法。 A finite element division process that divides each organ set with physical property data for a predetermined part of a living body into finite elements;
When calculating the motion of the reaction force and the reaction of the simulated living body due to the contact between the surgical operating tool and the simulated living body using the data obtained by the finite element division process, the force is superimposed on the sub-matrix of the element stiffness of the finite element. In the relational expression between the overall stiffness matrix and the displacement, the element stiffness submatrix of the finite element of the portion where the surgical operating tool comes into contact with the simulated living body is deleted and one node in the vicinity of the cut location is substituted for the cut element A method for simulating the surgical cutting motion of a living organ, comprising a simulated motion process in which a simulated motion calculation is performed as a new whole stiffness matrix by replacing with a spare node different from that of the cut element.
前記有限要素分割手段により得たデータを用いて手術操作具と模擬生体の接触による反力と模擬生体の反応との運動を計算する際に、力を有限要素の要素剛性の部分行列の重ね合わせによる全体剛性行列と変位との関係式において、手術操作具が模擬生体に接触する部分の当該有限要素の要素剛性の部分行列を削除するとともに前記切断した要素に代えて切断箇所近傍の1のノードを切断した要素のものと異なる予備ノードで置換して新たな全体剛性行列として模擬運動計算を行う模擬運動計算手段とからなることを特徴とする生体臓器の手術切断運動模擬装置。 A finite element dividing means for dividing each organ set with physical property data for a predetermined part of a living body into finite elements;
When calculating the reaction between the reaction force of the surgical operating tool and the simulated living body and the reaction of the simulated living body using the data obtained by the finite element dividing means, the force is superimposed on the submatrix of the element stiffness of the finite element. In the relational expression between the overall stiffness matrix and the displacement, the element stiffness submatrix of the finite element of the portion where the surgical operating tool comes into contact with the simulated living body is deleted and one node in the vicinity of the cut location is substituted for the cut element And a simulated motion calculation means for performing simulated motion calculation as a new whole stiffness matrix by replacing the element with a different spare node from that of the cut element.
前記視点と手術操作具の先端との間に仮想のスクリーンとを設定するスクリーン設定過程と、
前記視点がスクリーンに見た仮想画像の画素分を少なくとも有する画像メモリを備えて、その初期値を全て0で初期化しメモリ初期化過程と、
前記視点からの奥行きであるz値を前記画像メモリの画素に対応して記録するz−バッファを備えて、その初期値を視点から手術操作具の先端までの距離とするz−バッファ初期化過程と、
手術操作具の所定の位置及び方向による視点から見た前記臓器の表面要素を描画する際に、現在の視点による画像の各画素のz値がz−バッファに格納されているz値より小さければz−バッファのz値を書き替えるとともに、表面要素の色データの代わりに、要素番号を画像メモリに書き込ませることにより行う描画過程と、
全画素について描画終了後、画像メモリについて初期値の0以外の要素番号について手術操作具との接触があると判定する接触判定過程とからなることを特徴とする模擬手術接触判定方法。 A viewpoint setting process for setting a virtual viewpoint oriented in a predetermined direction inside a surgical operation tool that performs an operation simulation of an organ that is divided into finite elements in advance and assigned a unique element number for each element;
A screen setting process for setting a virtual screen between the viewpoint and the distal end of the surgical operation tool;
An image memory having at least a pixel portion of the virtual image viewed from the viewpoint on the screen, and initializing all of its initial values to 0,
A z-buffer initialization process comprising a z-buffer for recording a z value, which is a depth from the viewpoint, corresponding to a pixel of the image memory, and using the initial value as a distance from the viewpoint to the distal end of the surgical operation tool When,
When drawing the surface element of the organ viewed from the viewpoint according to the predetermined position and direction of the surgical operation tool, if the z value of each pixel of the image from the current viewpoint is smaller than the z value stored in the z-buffer a drawing process performed by rewriting the z-value of the z-buffer and writing the element number in the image memory instead of the color data of the surface element;
A simulated surgical contact determination method comprising: a contact determination step for determining that there is contact with a surgical operation tool for an element number other than an initial value of 0 for an image memory after drawing for all pixels.
前記視点が見た仮想画像の画素分を少なくとも有し、初期値を全て0で初期化する画像メモリと、
視点からの奥行きであるz値を前記画像メモリの画素に対応して記録し、初期値を視点から手術操作具の先端までの距離とするz−バッファと、
手術操作具の所定の位置及び方向による視点から見た前記臓器の表面要素を描画して前記画像メモリに出力する画像生成部と、
前記画像生成部の所定視点における画像の各画素のz値がz−バッファに格納されているz値より小さければz−バッファのz値を書き替えるとともに、表面要素の色データの代わりに、要素番号を前記画像メモリに書き込ませるz値判定手段と、
画像メモリについて初期値の0以外の要素番号について手術操作具との接触があると判定する接触判定部とからなることを特徴とする模擬手術接触判定装置。 A finite element number assigning means that divides a living organ into finite elements in advance and assigns a unique element number to each element;
An image memory having at least pixels of the virtual image viewed by the viewpoint and initializing all initial values to 0;
A z-buffer that records the z value, which is the depth from the viewpoint, corresponding to the pixel of the image memory, and sets the initial value as the distance from the viewpoint to the tip of the surgical operation tool;
An image generation unit that draws a surface element of the organ viewed from a viewpoint according to a predetermined position and direction of a surgical operation tool and outputs the surface element to the image memory;
If the z value of each pixel of the image at the predetermined viewpoint of the image generation unit is smaller than the z value stored in the z-buffer, the z value of the z-buffer is rewritten, and instead of the color data of the surface element, the element Z value determination means for writing a number to the image memory;
A simulated surgical contact determination device comprising: a contact determination unit that determines that there is contact with a surgical operation tool for an element number other than an initial value of 0 for an image memory.
臓器を構成する生体部位ごとの生体モデルに分類し、前記分類した各生体モデル全体を覆った立体の生体のメタデータを備え、当該分類した生体モデルごとに力学計算ノードを備えて1つの計算要素とした複数の生体モデル部(C)とを有し、
前記各生体モデル部(C)を、前記臓器データ部(B)におけるメタデータと各臓器内の生体モデルにおけるメタデータ間との接触判定と、生体モデル部の力学計算ノードにおける変数の伝播とを制御するとともに前記連結部(A)において連結する構造とし、
前記各臓器データ部(B)を、前記各臓器におけるメタデータ間の接触判定と生体モデル部(C)の力学計算ノードにおける変数の伝播を制御する連結部(D)において連結する構造としたことを特徴とする手術切断運動模擬用のデータベース構造。 A plurality of organ data parts (B) that are classified for each organ of a living body to be simulated, and that have three-dimensional organ metadata covering the entire classified organs in a connection part (A),
Classification into biological models for each biological part constituting an organ, including three-dimensional biological metadata covering the whole of the classified biological models, and a dynamic calculation node for each classified biological model, and one calculation element A plurality of biological model parts (C),
Each biological model unit (C) is configured to perform contact determination between metadata in the organ data unit (B) and metadata in a biological model in each organ, and propagation of variables in a dynamic calculation node of the biological model unit. It is structured to control and connect at the connecting part (A),
Each organ data part (B) is structured to be connected in a connection part (D) that controls contact determination between metadata in each organ and propagation of variables in a dynamic calculation node of the biological model part (C). A database structure for simulating surgical cutting motion.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007135022A JP4991391B2 (en) | 2007-05-22 | 2007-05-22 | Surgical cutting motion simulation method and apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007135022A JP4991391B2 (en) | 2007-05-22 | 2007-05-22 | Surgical cutting motion simulation method and apparatus |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008292534A true JP2008292534A (en) | 2008-12-04 |
JP4991391B2 JP4991391B2 (en) | 2012-08-01 |
Family
ID=40167346
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007135022A Expired - Fee Related JP4991391B2 (en) | 2007-05-22 | 2007-05-22 | Surgical cutting motion simulation method and apparatus |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4991391B2 (en) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101870073A (en) * | 2010-06-11 | 2010-10-27 | 华中科技大学 | Multi-axis numerical control machining tool motion planning method based on process system rigidity characteristic |
JP2010279631A (en) * | 2009-06-08 | 2010-12-16 | Mitsubishi Precision Co Ltd | Method of generating model for operating simulation, operating simulation method and operating simulator |
JP2011133830A (en) * | 2009-12-25 | 2011-07-07 | Mitsubishi Precision Co Ltd | Simulated operation tool device for setting trocar position |
JP2011239974A (en) * | 2010-05-19 | 2011-12-01 | Ge Medical Systems Global Technology Co Llc | Ultrasound diagnostic apparatus |
JP2013152320A (en) * | 2012-01-25 | 2013-08-08 | Mitsubishi Precision Co Ltd | Method for creating model for surgery simulation, device for the same, method for simulating surgery, and device for the same |
JP2014176425A (en) * | 2013-03-13 | 2014-09-25 | Univ Of Tsukuba | Image diagnosis support program |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11175767A (en) * | 1997-09-19 | 1999-07-02 | Mitsubishi Electric Inf Technol Center America Inc | Graphic representation generation method using computer |
JP2004344491A (en) * | 2003-05-23 | 2004-12-09 | Hideo Fujimoto | Virtual surgery simulation system |
JP2007011460A (en) * | 2005-06-28 | 2007-01-18 | Gifu Prefecture | Method for simulating displacement of object, device for simulating displacement of object, and inner force sense presentation device |
JP2008080021A (en) * | 2006-09-28 | 2008-04-10 | Univ Waseda | Simulation unit, control unit, and operation robot control system using them, and program for simulation unit |
-
2007
- 2007-05-22 JP JP2007135022A patent/JP4991391B2/en not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11175767A (en) * | 1997-09-19 | 1999-07-02 | Mitsubishi Electric Inf Technol Center America Inc | Graphic representation generation method using computer |
JP2004344491A (en) * | 2003-05-23 | 2004-12-09 | Hideo Fujimoto | Virtual surgery simulation system |
JP2007011460A (en) * | 2005-06-28 | 2007-01-18 | Gifu Prefecture | Method for simulating displacement of object, device for simulating displacement of object, and inner force sense presentation device |
JP2008080021A (en) * | 2006-09-28 | 2008-04-10 | Univ Waseda | Simulation unit, control unit, and operation robot control system using them, and program for simulation unit |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010279631A (en) * | 2009-06-08 | 2010-12-16 | Mitsubishi Precision Co Ltd | Method of generating model for operating simulation, operating simulation method and operating simulator |
WO2010143699A1 (en) * | 2009-06-08 | 2010-12-16 | 三菱プレシジョン株式会社 | Method for making model for operation simulation, method for simulating operation, and operation simulator |
US9214095B2 (en) | 2009-06-08 | 2015-12-15 | Mitsubishi Precision Co., Ltd. | Surgical simulation model generating method, surgical simulation method, and surgical simulator |
JP2011133830A (en) * | 2009-12-25 | 2011-07-07 | Mitsubishi Precision Co Ltd | Simulated operation tool device for setting trocar position |
JP2011239974A (en) * | 2010-05-19 | 2011-12-01 | Ge Medical Systems Global Technology Co Llc | Ultrasound diagnostic apparatus |
CN101870073A (en) * | 2010-06-11 | 2010-10-27 | 华中科技大学 | Multi-axis numerical control machining tool motion planning method based on process system rigidity characteristic |
CN101870073B (en) * | 2010-06-11 | 2012-02-29 | 华中科技大学 | Multi-axis numerical control machining tool motion planning method based on process system rigidity characteristic |
JP2013152320A (en) * | 2012-01-25 | 2013-08-08 | Mitsubishi Precision Co Ltd | Method for creating model for surgery simulation, device for the same, method for simulating surgery, and device for the same |
JP2014176425A (en) * | 2013-03-13 | 2014-09-25 | Univ Of Tsukuba | Image diagnosis support program |
Also Published As
Publication number | Publication date |
---|---|
JP4991391B2 (en) | 2012-08-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Delingette et al. | A hybrid elastic model allowing real-time cutting, deformations and force-feedback for surgery training and simulation | |
US9330502B2 (en) | Mixed reality simulation methods and systems | |
JP5122963B2 (en) | Method for rendering simulated ultrasound image and processor readable medium | |
CA2662318C (en) | Immersive collaborative environment using motion capture, head mounted display, and cave | |
US20140272865A1 (en) | Physics Engine for Virtual Reality Surgical Training Simulator | |
Pan et al. | Graphic and haptic simulation system for virtual laparoscopic rectum surgery | |
JP4991391B2 (en) | Surgical cutting motion simulation method and apparatus | |
De et al. | Physically realistic virtual surgery using the point-associated finite field (PAFF) approach | |
Kim et al. | Haptic interaction and volume modeling techniques for realistic dental simulation | |
JP2008134373A (en) | Method and system of preparing biological data for operation simulation, operation simulation method, and operation simulator | |
WO2006013813A1 (en) | Information processing device and program | |
US20190362651A1 (en) | System for simulation of soft bodies | |
US20100063788A1 (en) | Method of modelling the interaction between deformable objects | |
WO1996016389A1 (en) | Medical procedure simulator | |
Choi et al. | An efficient and scalable deformable model for virtual reality-based medical applications | |
DeCarlo et al. | Integrating Anatomy and Physiology for Behavior Modelling | |
d’Aulignac et al. | Towards a realistic echographic simulator | |
Jiang et al. | Enhancing a laparoscopy training system with augmented reality visualization | |
Guo et al. | A VR-based training system for vascular interventional surgery | |
Radetzky et al. | Elastodynamic shape modeling in virtual medicine | |
WO2004081899A1 (en) | Method of generating a computer model of a deformable object | |
Sutherland et al. | Towards an augmented ultrasound guided spinal needle insertion system | |
Dequidt et al. | Vascular neurosurgery simulation with bimanual haptic feedback | |
Kuroda et al. | Interaction Model between Elastic Objects for Accurate Haptic Display. | |
Lee et al. | Neurosurgery simulation using non-linear finite element modeling and haptic interaction |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100514 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110728 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20111108 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120105 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120424 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120507 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4991391 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150511 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |