JP2003079637A - Operation navigating system - Google Patents
Operation navigating systemInfo
- Publication number
- JP2003079637A JP2003079637A JP2001277890A JP2001277890A JP2003079637A JP 2003079637 A JP2003079637 A JP 2003079637A JP 2001277890 A JP2001277890 A JP 2001277890A JP 2001277890 A JP2001277890 A JP 2001277890A JP 2003079637 A JP2003079637 A JP 2003079637A
- Authority
- JP
- Japan
- Prior art keywords
- image
- volume data
- volume
- pointer
- volume rendering
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000009877 rendering Methods 0.000 claims abstract description 65
- 238000000034 method Methods 0.000 claims description 19
- 230000003287 optical effect Effects 0.000 claims description 11
- 238000001514 detection method Methods 0.000 abstract description 13
- 230000000007 visual effect Effects 0.000 abstract 1
- 239000003550 marker Substances 0.000 description 13
- 238000003384 imaging method Methods 0.000 description 8
- 238000013500 data storage Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000005266 casting Methods 0.000 description 3
- 238000010297 mechanical methods and process Methods 0.000 description 2
- 238000001356 surgical procedure Methods 0.000 description 2
- 238000002834 transmittance Methods 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 241001590997 Moolgarda engeli Species 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000001000 micrograph Methods 0.000 description 1
Landscapes
- Apparatus For Radiation Diagnosis (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、外科手術時に、患
者の３次元のデータであるボリュームデータを元に、手
術操作を行う箇所の画像を表示する手術ナビゲーション
システムにおいて、術者の３次元空間認識を容易化する
技術に関するものである。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a surgical navigation system for displaying an image of a surgical operation site based on volume data, which is three-dimensional data of a patient, during a surgical operation. The present invention relates to a technology for facilitating recognition.
【０００２】[0002]
【従来の技術】手術ナビゲーションシステムは、手術時
に患者に対してポインタなどにより指定される位置を、
当該位置を含む患者の、直交３平面それぞれを断面とす
る断層画像上に表示することにより手術操作をナビゲー
ションするシステムであり、脳神経外科手術などの高精
度の外科手術に適用されている。2. Description of the Related Art A surgical navigation system uses a pointer or the like to position a position on a patient during surgery.
This is a system for navigating a surgical operation by displaying it on a tomographic image of a patient including the position on each of three orthogonal planes, and is applied to a highly accurate surgical operation such as neurosurgery.
【０００３】ここで、このような手術ナビゲーションシ
ステムにおける患者の断層画像は、予め、または、リア
ルタイムにX線CT装置やMRI装置によって撮像した３次元
のデータであるボリュームデータより生成される。一
方、ポインタによる指定位置を定めるために必要となる
ポインタの位置検出の方式には、機械式、光学式、磁気
式、超音波式などの方式がある。Here, a tomographic image of a patient in such a surgical navigation system is generated from volume data, which is three-dimensional data imaged by an X-ray CT apparatus or an MRI apparatus in advance or in real time. On the other hand, there are methods such as a mechanical method, an optical method, a magnetic method, and an ultrasonic method as a method of detecting the position of the pointer that is necessary to determine the designated position by the pointer.
【０００４】そして、検出したポインタの位置と、ボリ
ュームデータ中の位置との対応づけ（レジストレーショ
ン）は、たとえば、患者に複数の患者マーカを固定して
撮像を行うことによりボリュームデータ中に患者マーカ
を写し込んでおき、この患者マーカをポインタで指示し
た時点におけるポインタの検出位置とボリュームデータ
中の患者マーカ位置を対応づけることにより行われる。Correspondence (registration) between the detected position of the pointer and the position in the volume data is performed by, for example, fixing a plurality of patient markers to the patient and imaging the patient marker in the volume data. Is recorded, and the detection position of the pointer at the time when the patient marker is designated by the pointer is associated with the patient marker position in the volume data.
【０００５】[0005]
【発明が解決しようとする課題】前記従来の手術ナビゲ
ーションシステムによれば、表示画像が断層画像である
ために、直感的に３次元的な空間把握を行うことが困難
であり、術者が直交３平面それぞれについての断層画像
を頭の中で組み合わせて３次元的な空間認識を行う必要
があった。また、このことより、術者と補助者の間で共
通の空間認識を共有することが困難であった。そこで本
発明は、より直感的に３次元的な空間認識を可能とする
ことができる手術ナビゲーションシステムを提供するこ
とを課題とする。According to the above-mentioned conventional surgical navigation system, since the displayed image is a tomographic image, it is difficult to intuitively grasp the three-dimensional space, and the operator is orthogonal. It was necessary to combine the tomographic images for each of the three planes in the head for three-dimensional spatial recognition. Moreover, this makes it difficult to share common spatial recognition between the operator and the assistant. Therefore, it is an object of the present invention to provide a surgical navigation system that enables more intuitive three-dimensional space recognition.
【０００６】[0006]
【課題を解決するための手段】前記課題達成のために本
発明は、手術ナビゲーションシステムを、手術対象のボ
リュームデータを取得するボリュームデータ取得手段
と、手術対象を指示するための指示器と、指示器の指示
方向を検出する検出器と、検出された前記指示器の指示
方向に対応する、前記ボリュームデータの座標系におけ
る方向を視線方向として前記ボリュームデータを観測し
た３次元表現の画像を生成する画像生成手段と、生成さ
れた３次元画像を表示する表示手段とを備えて構成した
ものである。ここで、前記３次元表現の画像としては、
たとえば、前記ボリュームデータにボリュームレンダリ
ングを施して得られるボリュームレンダリング画像を用
いることができる。In order to achieve the above object, the present invention provides a surgical navigation system, including a volume data acquisition means for acquiring volume data of an operation target, an indicator for instructing the operation target, and an instruction. A detector that detects the pointing direction of the volume, and an image of a three-dimensional representation that observes the volume data with the direction in the coordinate system of the volume data corresponding to the detected pointing direction of the volume indicator as the line-of-sight direction. The image forming means and the display means for displaying the generated three-dimensional image are provided. Here, as the image of the three-dimensional expression,
For example, a volume rendering image obtained by performing volume rendering on the volume data can be used.
【０００７】このような手術ナビゲーションシステムに
よれば、３次元表現の画像を用いて術者のナビゲーショ
ンを行うので、術者のより直感的な３次元的な空間認識
を可能とすることができる。また、術者が操作する指示
器の方向に応じた方向から、ボリュームデータを観測し
た３次元表現の画像を生成するので、術者は３次元表現
の画像が、どの方向から手術対象を観測したものである
のかを直ちに把握することができるようになると共に、
容易に所望の方向から３次元表現の画像としてボリュー
ムデータを観測できるようになる。According to such a surgical navigation system, the operator's navigation is performed using the image of the three-dimensional representation, so that the operator's more intuitive three-dimensional spatial recognition can be realized. In addition, since an image of a three-dimensional expression obtained by observing the volume data is generated from a direction corresponding to the direction of the indicator operated by the operator, the operator observes the operation target from which direction the image of the three-dimensional expression is observed. As soon as it becomes possible to grasp whether it is a thing,
It becomes possible to easily observe the volume data as a three-dimensional representation image from a desired direction.
【０００８】[0008]
【発明の実施の形態】以下、本発明の実施形態について
説明する。図１に本実施形態に係る手術ナビゲーション
システムの構成を示す。図示するように、本手術ナビゲ
ーションシステムは、患者の３次元のデータであるボリ
ュームデータを測定するX線CT装置やMRI装置などの３次
元撮像装置１と、処理装置２と、表示装置３と、位置検
出装置４と、入力装置５と、ポインタ６と、患者マーカ
７より構成される。BEST MODE FOR CARRYING OUT THE INVENTION Embodiments of the present invention will be described below. FIG. 1 shows the configuration of a surgical navigation system according to this embodiment. As shown in the figure, the surgical navigation system includes a three-dimensional imaging device 1 such as an X-ray CT device or an MRI device that measures volume data, which is three-dimensional data of a patient, a processing device 2, and a display device 3. The position detection device 4, the input device 5, the pointer 6, and the patient marker 7 are included.
【０００９】また、処理装置２は、ボリュームデータ記
憶部２１、位置検出処理部２２、断層画像生成部２３、
ボリュームレンダリング処理部２４、表示処理部２５、
主制御部２６を有する。Further, the processing device 2 includes a volume data storage unit 21, a position detection processing unit 22, a tomographic image generation unit 23,
A volume rendering processing unit 24, a display processing unit 25,
It has a main controller 26.
【００１０】以下、このような手術ナビゲーションシス
テムの動作について説明する。まず、手術に先立ち、複
数の患者マーカ７が固定された患者のボリュームデータ
を３次元撮像装置１で取得する。３次元撮像装置１で取
得したボリュームデータは、処理装置２に転送され、ボ
リュームデータ記憶部２１に記憶される。The operation of such a surgical navigation system will be described below. First, prior to an operation, volume data of a patient to which a plurality of patient markers 7 are fixed is acquired by the three-dimensional imaging device 1. The volume data acquired by the three-dimensional imaging device 1 is transferred to the processing device 2 and stored in the volume data storage unit 21.
【００１１】次に、手術が開始されると、処理装置２
は、以下のようなレジストレーション動作を行う。すな
わち、術者が、ポインタ６の先端で各患者マーカ７を指
示し、入力装置５からレジストレーションを指示する
と、主制御部２６を介してこの指示を受け取った位置検
出処理部２２は、まず、ポインタ６先端の実空間上の座
標を算出する。Next, when the operation is started, the processing device 2
Performs the following registration operation. That is, when the operator instructs each patient marker 7 with the tip of the pointer 6 and gives an instruction for registration from the input device 5, the position detection processing unit 22 that receives this instruction via the main control unit 26 first The coordinates of the tip of the pointer 6 in the real space are calculated.
【００１２】ここで、ポインタ６先端の座標の検出方式
としては、機械式、光学式、磁気式、超音波式などの方
式が知られている。機械式は多関節のアームの先端にポ
インタ６を取り付けたものであり、各アームの角度など
からポインタ６先端の位置を計算する。一方、光学式
は、ポインタ６にマーカ（たとえば発光ダイオードなど
の光源）を設け、視差を有する複数のカメラで撮影した
画像より算出される各マーカの位置より、ポインタ６先
端の位置を検出するか、照射した赤外線の反射光を視差
を有する複数のカメラで撮影し、撮影した画像よりポイ
ンタ６先端の位置を検出する。磁気式は、直交する磁場
勾配を作り、各方向の磁場強度の変化を検出し、これよ
りポインタ６の先端の位置を検出する。超音波式はポイ
ンタ６に音源を設け、その音源からの音の３カ所に設け
たマイクロフォンへの到達時間差から、ポインタ６の先
端の位置を検出する。Here, as a method of detecting the coordinates of the tip of the pointer 6, there are known methods such as a mechanical method, an optical method, a magnetic method and an ultrasonic method. In the mechanical type, the pointer 6 is attached to the tip of an articulated arm, and the position of the tip of the pointer 6 is calculated from the angle of each arm. On the other hand, in the optical method, a marker (for example, a light source such as a light emitting diode) is provided on the pointer 6, and the position of the tip of the pointer 6 is detected from the position of each marker calculated from the images taken by a plurality of cameras having parallax. The reflected infrared light is photographed by a plurality of cameras having parallax, and the position of the tip of the pointer 6 is detected from the photographed image. The magnetic method creates an orthogonal magnetic field gradient, detects changes in the magnetic field strength in each direction, and detects the position of the tip of the pointer 6 from this. In the ultrasonic method, the pointer 6 is provided with a sound source, and the position of the tip of the pointer 6 is detected from the difference in the arrival time of the sound from the sound source to the microphones provided at three locations.
【００１３】本実施形態では、一例として光学式によっ
てポインタ６の先端位置を検出する場合について説明す
る。位置検出装置４は、間隔をおいて（視差を持たせ
て）設けられた複数のカメラ４１を含み、ポインタ６に
は複数のマーカ６１が固定されている。位置検出処理部
２２は、位置検出装置４の各カメラの撮影した各画像中
のマーカ６１の位置の変位より各マーカ６１の実空間上
の座標や、ポインタ６先端の座標を算出する。また、本
実施形態では、位置検出処理部２２において、各マーカ
６１の実空間上の座標よりポインタ６の指示方向、すな
わちポインタ６の向きをも算出する。In this embodiment, as an example, a case where the tip position of the pointer 6 is detected by an optical method will be described. The position detection device 4 includes a plurality of cameras 41 provided at intervals (with parallax), and a plurality of markers 61 are fixed to the pointer 6. The position detection processing unit 22 calculates the coordinates of each marker 61 in the real space and the coordinates of the tip of the pointer 6 from the displacement of the position of the marker 61 in each image captured by each camera of the position detection device 4. Further, in the present embodiment, the position detection processing unit 22 also calculates the pointing direction of the pointer 6, that is, the orientation of the pointer 6, from the coordinates of each marker 61 in the real space.
【００１４】次に、位置検出処理部２２は、各患者マー
カ７を指示している状態に対して算出したポインタ６先
端の実空間の座標より、ボリュームデータ記憶部２１に
記憶されているボリュームデータの各座標と実空間上の
座標との関係式、すなわち、実空間上の現在の患者のあ
る部分の位置と、ボリュームデータ中の患者のその部分
を撮像した位置を対応づける関係式を求め、これをレジ
ストレーション結果として記憶する。より具体的には、
たとえば、その時点でポインタ６の先端で指示している
患者マーカ７のボリュームデータ中の座標への、算出し
たポインタ６の先端の実空間の座標の変換を行う、また
は、その逆の変換を行う座標変換式を求め、これをレジ
ストレーション結果として記憶する。Next, the position detection processing unit 22 calculates the volume data stored in the volume data storage unit 21 from the coordinates in the real space of the tip of the pointer 6 calculated for the state in which each patient marker 7 is being designated. A relational expression between each coordinate of and the coordinate in the real space, that is, a relational expression that associates the position of a certain part of the current patient in the real space with the position of the imaged part of the patient in the volume data, This is stored as the registration result. More specifically,
For example, the calculated coordinates in the real space of the tip of the pointer 6 are converted into the coordinates in the volume data of the patient marker 7 designated by the tip of the pointer 6 at that time, or vice versa. A coordinate conversion formula is obtained and stored as a registration result.
【００１５】以上のようにレジストレーションが終了し
たならば、処理装置２はその後、以下のようなナビゲー
ション動作を行う。すなわち、位置検出処理部２２は、
ポインタ６の先端の位置とポインタ６の指示方向を検出
し、ポインタ６先端位置とポインタ６指示方向に対して
定まる位置、たとえばポインタ６先端位置からポインタ
６指示方向に所定距離進んだ位置を指示位置として求
め、求めた指示位置とポインタ６指示方向を、先に求め
たレジストレーション結果の関係式に従って、ボリュー
ムデータが存在する空間上の位置（以下、「処理位置」
と呼ぶ）と方向（以下、「処理方向」と呼ぶ）に変換す
る。When the registration is completed as described above, the processing device 2 thereafter performs the following navigation operation. That is, the position detection processing unit 22
The position of the tip of the pointer 6 and the pointing direction of the pointer 6 are detected, and the position determined by the tip 6 position of the pointer 6 and the pointing direction of the pointer 6, for example, the position advanced from the tip end position of the pointer 6 by a predetermined distance in the pointing direction of the pointer 6 is designated. The calculated pointing position and the pointing direction of the pointer 6 are obtained according to the relational expression of the registration result obtained earlier (hereinafter, “processing position”).
Is called) and a direction (hereinafter, referred to as “processing direction”).
【００１６】断層画像生成部２３は、ボリュームデータ
記憶部２１に記憶されたボリュームデータから、処理位
置を含む断層の断層画像を、直交するそれぞれ所定方向
の３平面それぞれについて生成する。また、この際、各
断層画像には、処理位置を示すクロスカーソルを含め
る。The tomographic image generation unit 23 generates a tomographic image of a tomographic image including a processing position from each of the three planes in a predetermined orthogonal direction from the volume data stored in the volume data storage unit 21. In addition, at this time, a cross cursor indicating the processing position is included in each tomographic image.
【００１７】一方、ボリュームレンダリング処理部２４
は、ボリュームデータ記憶部２１に記憶されたボリュー
ムデータに対して、処理方向を視線方向とし、ボリュー
ムデータの中心から視線方向と反対方向に所定の距離の
点を視点とするボリュームレンダリングを行い、ボリュ
ームレンダリング画像を生成する。また、この際、ボリ
ュームレンダリング画像には、前述した直交する３平
面、すなわち、各断層画像の断面を表す３平面の表示を
含める。ただし、視点の位置は、処理位置を通る視線方
向の線上の処理位置に対して定まる位置や、処理位置を
通る視線方向の線上のボリュームデータの中心に対して
定まる位置としても良い。すなわち、視点の位置は、た
とえば、処理位置そのものとしても良いし、処理位置を
通る視線方向の線上の視線方向と逆方向に処理位置から
所定距離離れた点としても良いし、処理位置を通る視線
方向の線上の視線方向と逆方向にボリュームデータの中
心から所定距離離れた点としても良い。On the other hand, the volume rendering processing unit 24
Performs volume rendering on the volume data stored in the volume data storage unit 21 with the processing direction as the line-of-sight direction and a point at a predetermined distance in the direction opposite to the line-of-sight direction from the center of the volume data as the viewpoint. Generate a rendered image. At this time, the volume rendering image includes the display of the three orthogonal planes described above, that is, the three planes representing the cross-sections of each tomographic image. However, the position of the viewpoint may be a position that is determined with respect to the processing position on the line of sight line passing through the processing position, or a position that is determined with respect to the center of the volume data on the line of sight line direction that passes through the processing position. That is, the position of the viewpoint may be, for example, the processing position itself, a point that is a predetermined distance away from the processing position in the opposite direction to the line-of-sight direction of the line-of-sight direction that passes through the processing position, or the line-of-sight through the processing position. The point may be a predetermined distance away from the center of the volume data in the direction opposite to the line-of-sight direction on the direction line.
【００１８】ここで、ボリュームレンダリングは、３次
元データを構成する各ボクセルの値に基づいて奥行きの
表現をもつ画像を生成する技術であり、たとえば、「IE
EE Computer Graphics and Applications, May 1988,
”Display of Surface from Volume Data” Marc Lev
oy」には、 生成される画像の個々の画素から投射した
光線を３次元データの 個々のボクセルが占める領域に
入射させ、その光線に沿った等間隔の点において、その
周囲のボクセルに割り当てられたRGB値、 透過率、屈折
率などを線形補間し、その点のRGB値、透過率、屈折率
とし、この光線に沿った補間値の積算値として対応する
画素の値を決定するレイキャスティングボリュームレン
ダリング技術が記載されている。Here, the volume rendering is a technique for generating an image having a depth representation based on the values of each voxel forming the three-dimensional data.
EE Computer Graphics and Applications, May 1988,
“Display of Surface from Volume Data” Marc Lev
“Oy” makes light rays projected from individual pixels of the generated image incident on the area occupied by individual voxels of the three-dimensional data, and is assigned to voxels around it at equally spaced points along the light rays. Ray casting volume that linearly interpolates RGB values, transmittance, refractive index, etc. to determine the RGB value, transmittance, refractive index at that point, and determines the value of the corresponding pixel as the integrated value of the interpolated values along this ray Rendering techniques are described.
【００１９】次に、表示処理部２５は、断層画像生成部
２３が直交する３方向それぞれについて生成した３つの
断層画像と、ボリュームレンダリング処理部２４が生成
したボリュームレンダリング画像を表示装置３に表示す
る。Next, the display processing unit 25 displays the three tomographic images generated by the tomographic image generating unit 23 in each of the three orthogonal directions and the volume rendering image generated by the volume rendering processing unit 24 on the display device 3. .
【００２０】図２に、この表示処理部２５による表示例
を示す。図中、a、b、cが断層画像であり、各断層画像
中のクロスカーソルは処理位置を示している。また、d
はボリュームレンダリング画像であり、図中の３つの平
面は、３つの断層画像の断面を表している。FIG. 2 shows a display example by the display processing unit 25. In the figure, a, b, and c are tomographic images, and the cross cursor in each tomographic image indicates the processing position. Also, d
Is a volume rendering image, and three planes in the figure represent cross sections of three tomographic images.
【００２１】本実施形態では、以上のように表示される
ボリュームレンダリング画像の表示パラメータをポイン
タ６以外に入力装置５からの入力によっても操作、変更
できるようにしている。たとえば、本実施形態では、入
力装置５から可能な操作（表示パラメータの変更）を上
下／左右の回転、拡大／縮小、深度の変更、切断面表
示、視点の移動としている。In this embodiment, the display parameters of the volume rendering image displayed as described above can be operated and changed not only by the pointer 6 but also by an input from the input device 5. For example, in the present embodiment, the operations (change of display parameters) that can be performed from the input device 5 are vertical / horizontal rotation, enlargement / reduction, depth change, cutting plane display, and viewpoint movement.
【００２２】ここで、入力装置５は、たとえば、術者が
足で操作可能なフットスイッチであり、図１に示すよう
な上下左右を指示するための上下キー５１と左右キー５
２、モードキー５３と、パラメータの増加減少を指示す
るための増減キー５４を含む操作キー群を備えており、
モードキー５３の操作毎に、主制御部２６は、モード
を、拡大／縮小モード、切断面表示モード、深度モー
ド、視点移動モード、拡大／縮小モードというようにサ
イクリックに切り替える。Here, the input device 5 is, for example, a foot switch that can be operated by the operator with his / her foot, and the up / down key 51 and the left / right key 5 for instructing up / down / left / right as shown in FIG.
2. A mode key 53 and an operation key group including an increase / decrease key 54 for instructing increase / decrease of parameters are provided.
Each time the mode key 53 is operated, the main control unit 26 cyclically switches the modes such as enlarging / reducing mode, cutting plane display mode, depth mode, viewpoint moving mode, and enlarging / reducing mode.
【００２３】入力装置５の上下キー５１が操作された場
合、主制御部２６を介してこの操作を受けたボリューム
レンダリング処理部２４は、その時点の視線方向と、生
成している画像上左右方向に垂直なボリュームデータ中
心を通る軸を中心に、視線方向を回転させてボリューム
レンダリング画像を生成する。When the up / down key 51 of the input device 5 is operated, the volume rendering processing unit 24 which has received this operation via the main control unit 26 determines the line-of-sight direction at that time and the left-right direction on the generated image. The line-of-sight direction is rotated about an axis passing through the center of the volume data perpendicular to, and a volume rendering image is generated.
【００２４】図３は、このような上下回転操作時のボリ
ュームレンダリング画像の変化を表したものであり、図
中（a）の表示から上下キー５１の下キーが操作される
と（b）のようにボリュームレンダリング画像が下方向
に回転し、上下キー５１の上キーが操作されると（c）
のようにボリュームレンダリング画像が上方向に回転す
る。なお、この上下回転の軸位置は、入力装置５からの
操作に応じて変更可能としてもよい。FIG. 3 shows changes in the volume rendering image during such a vertical rotation operation. When the down key of the up / down key 51 is operated from the display of (a) in the figure, (b) of FIG. When the volume rendering image rotates downward like this and the up key of the up / down key 51 is operated (c)
The volume rendering image rotates upward as shown in. The axial position of this vertical rotation may be changeable according to the operation from the input device 5.
【００２５】また、たとえば、入力装置５の左右キー５
２を操作された場合、主制御部２６を介してこの操作を
受けたボリュームレンダリング処理部２４は、その時点
の視線方向と、生成している画像上上下方向に垂直なボ
リュームデータ中心を通る軸を中心に、視線方向を回転
させてボリュームレンダリング画像を生成する。Further, for example, the left and right keys 5 of the input device 5
2 is operated via the main control unit 26, the volume rendering processing unit 24 receives the operation, and the axis passing through the volume data center perpendicular to the line-of-sight direction at that time and the vertical direction on the generated image. A line-of-sight direction is rotated around, and a volume rendering image is generated.
【００２６】図４は、このような左右回転操作時のボリ
ュームレンダリング画像の変化を表したものであり、図
中（a）の表示から左右キー５２の左キーが操作される
と（b）のようにボリュームレンダリング画像が左方向
に回転し、左右キー５２の右キーが操作されると（c）
のようにボリュームレンダリング画像が右方向に回転す
る。なお、この左右回転の軸位置は、入力装置５からの
操作に応じて変更可能としてもよい。FIG. 4 shows changes in the volume rendering image during such a left / right rotation operation. When the left key of the left / right key 52 is operated from the display of (a) in the figure, (b) of FIG. When the volume rendering image is rotated to the left like this and the right key of the left / right key 52 is operated (c)
The volume rendering image rotates to the right like. The axial position of the left-right rotation may be changeable according to the operation from the input device 5.
【００２７】次に、入力装置５のモードキー５３で、拡
大／縮小モードが指定され、増減キー５４で増加が指定
されると、主制御部２６を介してこの操作を受けたボリ
ュームレンダリング処理部２４は、生成するボリューム
レンダリング画像を拡大する。ボリュームレンダリング
画像の拡大は、画角（視野角）を狭めてボリュームレン
ダリング処理を行うことにより実現できる。逆に、入力
装置５のモードキー５３で、拡大／縮小モードが指定さ
れ、増減キー５４で減少が指定されると、主制御部２６
を介してこの操作を受けたボリュームレンダリング処理
部２４は、生成するボリュームレンダリング画像を縮小
する。ボリュームレンダリング画像の縮小は、画角を広
げてボリュームレンダリング処理を行うことにより実現
できる。Next, when the enlargement / reduction mode is designated by the mode key 53 of the input device 5 and the increase is designated by the increase / decrease key 54, the volume rendering processing unit which has received this operation via the main control unit 26. 24 enlarges the generated volume rendering image. The enlargement of the volume rendering image can be realized by narrowing the angle of view (viewing angle) and performing the volume rendering process. On the contrary, when the enlargement / reduction mode is designated by the mode key 53 of the input device 5 and the reduction is designated by the increase / decrease key 54, the main control unit 26
The volume rendering processing unit 24, which has received this operation via, reduces the volume rendering image to be generated. The reduction of the volume rendering image can be realized by expanding the angle of view and performing the volume rendering processing.
【００２８】図５は、このような拡大／縮小操作時のボ
リュームレンダリング画像の変化を表したものであり、
拡大／縮小モードにおいて、図中（a）の表示から増減
キー５４の増加キーが操作されると（b）のようにボリ
ュームレンダリング画像が拡大し、増減キー５４の減少
キーが操作されると（c）のようにボリュームレンダリ
ング画像が縮小する。FIG. 5 shows changes in the volume rendering image at the time of such enlargement / reduction operation.
In the enlargement / reduction mode, when the increase key of the increase / decrease key 54 is operated from the display of (a) in the figure, the volume rendering image is enlarged as shown in (b), and the decrease key of the increase / decrease key 54 is operated ( The volume rendering image shrinks as in c).
【００２９】次に、入力装置５のモードキー５３で、切
断面表示モードが指定され、増減キーが操作されると、
主制御部２６を介してこの操作を受けたボリュームレン
ダリング処理部２４は、視点、視線方向と、増減キー５
４操作に応じて設定した切断面で患者の視点方向側組織
を部分的に切断して除外したボリュームレンダリング画
像を生成する。これは、たとえば、視点からボリューム
データ中心方向に増減キー５４の操作に応じて定まる距
離進んだ位置の設定した視線方向を法線とする切断面よ
り、視点に対して遠い距離にあるボクセルデータのみを
対象としてボリュームレンダリング処理を行ってボリュ
ームレンダリング画像を生成することにより実現でき
る。Next, when the cut surface display mode is designated by the mode key 53 of the input device 5 and the increase / decrease key is operated,
The volume rendering processing unit 24, which has received this operation via the main control unit 26, changes the viewpoint, the line-of-sight direction, and the increase / decrease key 5.
4 A volume rendering image in which the tissue in the viewpoint direction of the patient is partially cut and excluded by the cut surface set according to four operations is generated. This is, for example, only voxel data that is farther from the viewpoint to the viewpoint than the cutting plane whose normal is the line-of-sight direction set at a position advanced by a distance determined by the operation of the increase / decrease key 54 in the direction of the volume data from the viewpoint. This can be realized by performing volume rendering processing on the target and generating a volume rendering image.
【００３０】図６（a）、（b）は、このような切断面表
示のボリュームレンダリング画像の変化を表したもので
あり、切断面表示モードにおいて、図中（a）の表示か
ら増減キー５４の増加キーが操作されると（b）のよう
に、切断面が奥行き方向に移動し、この切断面で患者の
視点方向側組織を部分的に切断して除外したボリューム
レンダリング画像が生成される。FIGS. 6 (a) and 6 (b) show such a change in the volume rendering image of the cut surface display, and in the cut surface display mode, the increase / decrease key 54 is changed from the display of FIG. When the increase key of is operated, the cutting plane moves in the depth direction as shown in (b), and the volume rendering image is generated by partially cutting the tissue in the viewpoint direction of the patient at this cutting plane. .
【００３１】次に、入力装置５のモードキー５３で、深
度モードが指定され、増減キー５４で増加が指定される
と、主制御部２６を介してこの操作を受けたボリューム
レンダリング処理部２４は、画像に表れるボクセルデー
タの深度を増加する。これは、たとえば、レイキャステ
ィングボリュームレンダリングにおいて、各ボクセルデ
ータに対して与える透過率を減少することにより実現で
きる。このようにすることにより、視点からより遠い位
置にある患者の組織もボリュームレンダリング画像に表
れることになる。一方、入力装置５のモードキー５３
で、深度モードが指定され、増減キー５４で減少が指定
されると、主制御部２６を介してこの操作を受けたボリ
ュームレンダリング処理部２４は、画像に表れるボクセ
ルデータの深度を減少する。これは、たとえば、レイキ
ャスティングボリュームレンダリングにおいて、各ボク
セルデータに対して与える透過率を増加することにより
実現できる。これにより、視点により近い位置にある患
者の組織のみがボリュームレンダリング画像に表れるこ
とになる。Next, when the depth mode is specified by the mode key 53 of the input device 5 and the increase is specified by the increase / decrease key 54, the volume rendering processing unit 24 which receives this operation via the main control unit 26 , Increase the depth of voxel data appearing in the image. This can be realized by, for example, reducing the transparency given to each voxel data in ray casting volume rendering. By doing so, the tissue of the patient farther from the viewpoint also appears in the volume rendering image. On the other hand, the mode key 53 of the input device 5
Then, when the depth mode is designated and the decrease key 54 is designated to decrease the volume, the volume rendering processing unit 24 which has received this operation via the main control unit 26 reduces the depth of the voxel data appearing in the image. This can be realized by, for example, increasing the transparency given to each voxel data in ray casting volume rendering. As a result, only the tissue of the patient located closer to the viewpoint will appear in the volume rendering image.
【００３２】図６（a）、（c）は、このような深度操作
時のボリュームレンダリング画像の変化を表したもので
あり、深度モードにおいて、図中（a）の表示から増減
キー５４の増加キーが操作されると（c）のように視点
により近い位置にある患者の組織のみがボリュームレン
ダリング画像に表れるようになる。FIGS. 6 (a) and 6 (c) show changes in the volume rendering image during such depth operation. In the depth mode, the increase / decrease key 54 is increased from the display of FIG. 6 (a). When the key is operated, only the tissue of the patient located closer to the viewpoint as shown in (c) appears in the volume rendering image.
【００３３】最後に、入力装置５のモードキー５３で、
視点移動モードが指定され、増減キーが操作されると、
主制御部２６を介してこの操作を受けたボリュームレン
ダリング処理部２４は、増減キー５４の増加キーが操作
された場合は視点をボリュームデータの中心に近づけ、
増減キー５４の減少キーが操作された場合は視点をリュ
ームデータの中心から遠ざけてボリュームレンダリング
処理を行って、ボリュームレンダリング画像を生成す
る。Finally, with the mode key 53 of the input device 5,
When the viewpoint movement mode is specified and the increase / decrease key is operated,
The volume rendering processing unit 24 that has received this operation via the main control unit 26 brings the viewpoint closer to the center of the volume data when the increase key of the increase / decrease key 54 is operated,
When the decrease key of the increase / decrease key 54 is operated, the viewpoint is moved away from the center of the volume data to perform the volume rendering process, and the volume rendering image is generated.
【００３４】このように本実施形態によれば、ポインタ
６で指示することにより、容易に任意の３次元画像を表
示装置３に表示させることができ、さらにフットスイッ
チ等の入力装置５を介して表示パラメータを変更し、角
度や縮尺度、切断面、深度等の異なる画像を表示させる
ことができる。As described above, according to this embodiment, an arbitrary three-dimensional image can be easily displayed on the display device 3 by pointing with the pointer 6, and the input device 5 such as a foot switch can be used. The display parameters can be changed to display images with different angles, reduced scales, cut planes, depths, and the like.
【００３５】なお、以上の実施形態では、あらかじめ３
次元撮像装置１で撮像したボリュームデータを用いて各
断層画像やボリュームレンダリング画像を生成し手術ナ
ビゲーションを行う場合について説明したが、ボリュー
ムデータとしては、手術中にリアルタイムにモバイルCT
や、オープンMRIなどの３次元撮像装置１で患者を撮像
しながら得たボリュームデータを用いて各断層画像やボ
リュームレンダリング画像を生成し手術ナビゲーション
を行うようにしてもよい。In the above embodiment, 3
The case where each tomographic image or volume rendering image is generated using the volume data imaged by the three-dimensional imaging apparatus 1 to perform surgical navigation has been described. However, as volume data, mobile CT is performed in real time during surgery.
Alternatively, surgical navigation may be performed by generating each tomographic image or volume rendering image using volume data obtained while imaging the patient with the three-dimensional imaging apparatus 1 such as open MRI.
【００３６】また、以上の手術ナビゲーションシステム
は、さらに、たとえば光学カメラ画像や内視鏡画像や顕
微鏡画像などの患者の光学画像を撮像する光学撮像系を
備え、この光学撮像系で撮像した光学画像と、ボリュー
ムデータとのレジストレーションを行って、光学画像に
ボリュームレンダリング画像を重畳して表示するように
しても良い。Further, the surgical navigation system described above further includes an optical image pickup system for picking up an optical image of a patient such as an optical camera image, an endoscopic image, a microscope image, and the like. Alternatively, the volume rendering image may be superimposed on the optical image by performing registration with the volume data.
【００３７】[0037]
【発明の効果】以上のように、本発明によれば、より直
感的に３次元的な空間認識を可能とすることができる手
術ナビゲーションシステムを提供することができる。As described above, according to the present invention, it is possible to provide a surgical navigation system capable of more intuitively performing three-dimensional spatial recognition.
【図１】本発明の実施形態に係る手術ナビゲーションシ
ステムの構成を示すブロック図である。FIG. 1 is a block diagram showing a configuration of a surgical navigation system according to an embodiment of the present invention.
【図２】本発明の実施形態に係る手術ナビゲーションシ
ステムの表示例を示す図である。FIG. 2 is a diagram showing a display example of the surgical navigation system according to the embodiment of the present invention.
【図３】本発明の実施形態に係る手術ナビゲーションシ
ステムの入力装置によるボリュームレンダリング画像の
操作例を示す図である。FIG. 3 is a diagram showing an operation example of a volume rendering image by the input device of the surgical navigation system according to the embodiment of the present invention.
【図４】本発明の実施形態に係る手術ナビゲーションシ
ステムの入力装置によるボリュームレンダリング画像の
操作例を示す図である。FIG. 4 is a diagram showing an operation example of a volume rendering image by the input device of the surgical navigation system according to the embodiment of the present invention.
【図５】本発明の実施形態に係る手術ナビゲーションシ
ステムの入力装置によるボリュームレンダリング画像の
操作例を示す図である。FIG. 5 is a diagram showing an operation example of a volume rendering image by the input device of the surgical navigation system according to the embodiment of the present invention.
【図６】本発明の実施形態に係る手術ナビゲーションシ
ステムの入力装置によるボリュームレンダリング画像の
操作例を示す図である。FIG. 6 is a diagram showing an operation example of a volume rendering image by the input device of the surgical navigation system according to the embodiment of the present invention.
１…３次元撮像装置、２…処理装置、３…表示装置、４
…位置検出装置、５…入力装置、６…ポインタ、７…患
者マーカ、２１…ボリュームデータ記憶部、２２…位置
検出処理部、２３…断層画像生成部、２４…ボリューム
レンダリング処理部、２５…表示処理部、２６…主制御
部DESCRIPTION OF SYMBOLS 1 ... Three-dimensional imaging device, 2 ... Processing device, 3 ... Display device, 4
... Position detection device, 5 ... Input device, 6 ... Pointer, 7 ... Patient marker, 21 ... Volume data storage unit, 22 ... Position detection processing unit, 23 ... Tomographic image generation unit, 24 ... Volume rendering processing unit, 25 ... Display Processing unit, 26 ... Main control unit
───────────────────────────────────────────────────── フロントページの続き (72)発明者 白川 洋 東京都千代田区内神田１丁目１番14号 株 式会社日立メディコ内 (72)発明者 伊関 洋 東京都荒川区西日暮里３−７−33 諏訪ヴ ァンベール１階 Ｆターム(参考） 4C093 AA22 AA25 CA23 FF42 FG13 4C096 AA18 AB50 AD14 AD15 DC36 DD13 ─────────────────────────────────────────────────── ─── Continued front page (72) Inventor Hiroshi Shirakawa 1-chome 1-14-1 Kanda, Chiyoda-ku, Tokyo Inside the Hitachi Medical Co. (72) Inventor Hiroshi Iseki 3-7-33 Nishi-nippori, Arakawa-ku, Tokyo Suwa 1st floor F term (reference) 4C093 AA22 AA25 CA23 FF42 FG13 4C096 AA18 AB50 AD14 AD15 DC36 DD13
Claims (5)
リュームデータ取得手段と、手術対象を指示するための
指示器と、指示器の指示方向を検出する検出器と、検出
された前記指示器の指示方向に対応する、前記ボリュー
ムデータの座標系における方向を視線方向として前記ボ
リュームデータを観測した３次元表現の画像を生成する
画像生成手段と、生成された３次元表現の画像を表示す
る表示手段とを有することを特徴とする手術ナビゲーシ
ョンシステム。1. A volume data acquisition means for acquiring volume data of a surgical target, an indicator for pointing a surgical target, a detector for detecting a pointing direction of the pointing device, and an instruction of the detected pointing device. Image generating means for generating an image of a three-dimensional representation obtained by observing the volume data with the direction in the coordinate system of the volume data corresponding to the direction as the line-of-sight direction, and display means for displaying the generated image of the three-dimensional representation. A surgical navigation system comprising:
ムであって、 前記３次元表現の画像は、前記ボリュームデータにボリ
ュームレンダリングを施して得られるボリュームレンダ
リング画像であることを特徴とする手術ナビゲーション
システム。2. The surgical navigation system according to claim 1, wherein the image of the three-dimensional representation is a volume rendering image obtained by performing volume rendering on the volume data.
ムであって、 手術対象の光学画像を撮影する光学撮像手段を備え、 前記表示手段は、前記光学画像と前記ボリュームレンダ
リング画像を重畳表示することを特徴とする手術ナビゲ
ーションシステム。3. The surgical navigation system according to claim 2, further comprising: an optical image pickup means for picking up an optical image of a surgical target, wherein the display means superimposes and displays the optical image and the volume rendering image. A featured surgical navigation system.
ンシステムであって、 ユーザの操作を受け付ける入力装置と、 前記入力装置の操作に応じて、前記ボリュームレンダリ
ングにおいて前記ボリュームデータの表示パラメータを
変更する手段を有することを特徴とする手術ナビゲーシ
ョンシステム。4. The surgical navigation system according to claim 2 or 3, wherein an input device that accepts a user operation, and a display parameter of the volume data is changed in the volume rendering in accordance with an operation of the input device. A surgical navigation system having means.
のナビゲーションを行う手術ナビゲーション方法であっ
て、 手術対象のボリュームデータを取得するステップと、 手術対象を指示するための指示器の指示方向を検出する
ステップと、 検出された前記指示器の指示方向に対応する、前記ボリ
ュームデータの座標系における方向を視線方向として前
記ボリュームデータを観測した３次元表現の画像を生成
するステップと、 生成された３次元表現の画像を表示するステップとを有
することを特徴とする手術ナビゲーション方法。5. A surgical navigation method for performing surgical navigation by displaying an image of a surgical target, which comprises a step of acquiring volume data of the surgical target and a pointing direction of a pointing device for pointing the surgical target. A step of detecting, and a step of generating an image of a three-dimensional representation in which the volume data is observed with the direction in the coordinate system of the volume data corresponding to the detected direction of the indicator detected as the line-of-sight direction. And a step of displaying an image of a three-dimensional representation.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001277890A JP2003079637A (en) | 2001-09-13 | 2001-09-13 | Operation navigating system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001277890A JP2003079637A (en) | 2001-09-13 | 2001-09-13 | Operation navigating system |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2003079637A true JP2003079637A (en) | 2003-03-18 |
Family
ID=19102343
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001277890A Pending JP2003079637A (en) | 2001-09-13 | 2001-09-13 | Operation navigating system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2003079637A (en) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005253706A (en) * | 2004-02-10 | 2005-09-22 | Hitachi Medical Corp | Magnetic resonance imaging equipment with surgical navigation device |
| JP2006130201A (en) * | 2004-11-09 | 2006-05-25 | Matsushita Electric Ind Co Ltd | Device and method for presenting positions of blood vessel and syringe needle |
| JP2007130398A (en) * | 2005-11-14 | 2007-05-31 | Toshiba Corp | Optical position measuring unit |
| JP2008503280A (en) * | 2004-06-25 | 2008-02-07 | メディシム ナームロゼ ベンノートチャップ | Method and apparatus for deriving a treatment plan for orthognathic surgery |
| JP2010240028A (en) * | 2009-04-01 | 2010-10-28 | Shimadzu Corp | X-ray imaging apparatus |
| JP2016533832A (en) * | 2013-08-26 | 2016-11-04 | コー・ヤング・テクノロジー・インコーポレーテッド | Surgical navigation system operating method and surgical navigation system |
| WO2019045144A1 (en) * | 2017-08-31 | 2019-03-07 | (주)레벨소프트 | Medical image processing apparatus and medical image processing method which are for medical navigation device |
| JP2020175004A (en) * | 2019-04-22 | 2020-10-29 | キヤノンメディカルシステムズ株式会社 | X-ray ct apparatus |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1999000052A1 (en) * | 1997-06-27 | 1999-01-07 | The Board Of Trustees Of The Leland Stanford Junior University | Method and apparatus for volumetric image navigation |
-
2001
- 2001-09-13 JP JP2001277890A patent/JP2003079637A/en active Pending
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1999000052A1 (en) * | 1997-06-27 | 1999-01-07 | The Board Of Trustees Of The Leland Stanford Junior University | Method and apparatus for volumetric image navigation |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005253706A (en) * | 2004-02-10 | 2005-09-22 | Hitachi Medical Corp | Magnetic resonance imaging equipment with surgical navigation device |
| JP4532139B2 (en) * | 2004-02-10 | 2010-08-25 | 株式会社日立メディコ | Magnetic resonance imaging system |
| JP2008503280A (en) * | 2004-06-25 | 2008-02-07 | メディシム ナームロゼ ベンノートチャップ | Method and apparatus for deriving a treatment plan for orthognathic surgery |
| JP2006130201A (en) * | 2004-11-09 | 2006-05-25 | Matsushita Electric Ind Co Ltd | Device and method for presenting positions of blood vessel and syringe needle |
| JP4561320B2 (en) * | 2004-11-09 | 2010-10-13 | パナソニック株式会社 | Blood vessel and injection needle position presentation device |
| JP2007130398A (en) * | 2005-11-14 | 2007-05-31 | Toshiba Corp | Optical position measuring unit |
| JP2010240028A (en) * | 2009-04-01 | 2010-10-28 | Shimadzu Corp | X-ray imaging apparatus |
| JP2016533832A (en) * | 2013-08-26 | 2016-11-04 | コー・ヤング・テクノロジー・インコーポレーテッド | Surgical navigation system operating method and surgical navigation system |
| WO2019045144A1 (en) * | 2017-08-31 | 2019-03-07 | (주)레벨소프트 | Medical image processing apparatus and medical image processing method which are for medical navigation device |
| US11183295B2 (en) | 2017-08-31 | 2021-11-23 | Gmeditec Co., Ltd. | Medical image processing apparatus and medical image processing method which are for medical navigation device |
| US11676706B2 (en) | 2017-08-31 | 2023-06-13 | Gmeditec Co., Ltd. | Medical image processing apparatus and medical image processing method which are for medical navigation device |
| JP2020175004A (en) * | 2019-04-22 | 2020-10-29 | キヤノンメディカルシステムズ株式会社 | X-ray ct apparatus |
| JP7249856B2 (en) | 2019-04-22 | 2023-03-31 | キヤノンメディカルシステムズ株式会社 | X-ray CT device |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4152402B2 (en) | Surgery support device | |
| EP2548495B1 (en) | System and program for supporting endoscopic observation | |
| US9665936B2 (en) | Systems and methods for see-through views of patients | |
| US8248413B2 (en) | Visual navigation system for endoscopic surgery | |
| US11258964B2 (en) | Synthesizing spatially-aware transitions between multiple camera viewpoints during minimally invasive surgery | |
| US8611988B2 (en) | Projection image generation apparatus and method, and computer readable recording medium on which is recorded program for the same | |
| JP4798712B2 (en) | Medical image display apparatus and method, and program | |
| JP5417609B2 (en) | Medical diagnostic imaging equipment | |
| US20060293557A1 (en) | Methods and apparati for surgical navigation and visualization with microscope ("Micro Dex-Ray") | |
| JP2003284717A (en) | Biopsy needle observation device, and method for the same | |
| US20080071141A1 (en) | Method and apparatus for measuring attributes of an anatomical feature during a medical procedure | |
| WO2008076079A1 (en) | Methods and apparatuses for cursor control in image guided surgery | |
| JP4926826B2 (en) | Information processing method and information processing apparatus | |
| JP6112689B1 (en) | Superimposed image display system | |
| US20210353371A1 (en) | Surgical planning, surgical navigation and imaging system | |
| JP2007244575A (en) | Ultrasonic diagnostic apparatus | |
| KR101818005B1 (en) | Apparatus and Method for Managing Face Data | |
| JP6493885B2 (en) | Image alignment apparatus, method of operating image alignment apparatus, and image alignment program | |
| WO2021126788A1 (en) | Systems for facilitating guided teleoperation of a non-robotic device in a surgical space | |
| JP5410021B2 (en) | Medical diagnostic imaging equipment | |
| JP2003079637A (en) | Operation navigating system | |
| US12023208B2 (en) | Method for operating a visualization system in a surgical application, and visualization system for a surgical application | |
| JP2004000551A (en) | Endoscope shape detecting device | |
| JP4512220B2 (en) | Image display device | |
| EP3655919A1 (en) | Systems and methods for determining three dimensional measurements in telemedicine application |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080501 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110308 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110310 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20110712 |