JP4512824B2 - Image processing apparatus and program used therefor - Google Patents
Image processing apparatus and program used therefor Download PDFInfo
- Publication number
- JP4512824B2 JP4512824B2 JP2005029797A JP2005029797A JP4512824B2 JP 4512824 B2 JP4512824 B2 JP 4512824B2 JP 2005029797 A JP2005029797 A JP 2005029797A JP 2005029797 A JP2005029797 A JP 2005029797A JP 4512824 B2 JP4512824 B2 JP 4512824B2
- Authority
- JP
- Japan
- Prior art keywords
- dimensional
- image data
- bone
- data
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 62
- 210000000988 bone and bone Anatomy 0.000 claims description 103
- 238000012937 correction Methods 0.000 claims description 29
- 238000011156 evaluation Methods 0.000 claims description 21
- 238000004364 calculation method Methods 0.000 claims description 16
- 238000013500 data storage Methods 0.000 claims description 12
- 238000002594 fluoroscopy Methods 0.000 claims description 6
- 238000000034 method Methods 0.000 description 27
- 238000003384 imaging method Methods 0.000 description 17
- 238000010586 diagram Methods 0.000 description 11
- 238000000605 extraction Methods 0.000 description 7
- 238000005259 measurement Methods 0.000 description 6
- 210000000689 upper leg Anatomy 0.000 description 6
- 238000010521 absorption reaction Methods 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 2
- 229910001111 Fine metal Inorganic materials 0.000 description 1
- NIXOWILDQLNWCW-UHFFFAOYSA-N acrylic acid group Chemical group C(C=C)(=O)O NIXOWILDQLNWCW-UHFFFAOYSA-N 0.000 description 1
- 210000000845 cartilage Anatomy 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000001727 in vivo Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 210000003127 knee Anatomy 0.000 description 1
- 210000000629 knee joint Anatomy 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 210000004872 soft tissue Anatomy 0.000 description 1
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Description
本発明は画像処理装置及びそれに用いられるプログラムに関し、特に、Ｘ線透視装置やＸ線ＣＴ装置などから取得される画像データを処理する画像処理装置及び、そのためのプログラムに好適なものである。 The present invention relates to an image processing apparatus and a program used therefor, and is particularly suitable for an image processing apparatus that processes image data acquired from an X-ray fluoroscopic apparatus, an X-ray CT apparatus, and the like, and a program therefor.
人体の関節の疾患の診断や治療においては、患者の診断や治療の対象となる部位における３次元的な動作の把握が必要である。この目的のために、現状では、連続撮影が可能なX線透視装置を用いた動作観察が行われている。しかし、連続X線透視像は一方向のみの投影像を観察するものであるため、三次元的な動きの把握が困難であり、その精度が十分でない。 In the diagnosis and treatment of diseases of human joints, it is necessary to grasp the three-dimensional movements at the site to be diagnosed and treated by the patient. For this purpose, at present, motion observation is performed using an X-ray fluoroscopic apparatus capable of continuous imaging. However, since a continuous X-ray fluoroscopic image observes a projection image in only one direction, it is difficult to grasp a three-dimensional movement and its accuracy is not sufficient.
一方、X線透視撮影の他にＸ線ＣＴ装置で被験者の測定対象部位近傍の三次元の画像データを予め収集しておき、情報処理装置で三次元の画像データに対して透視投影して得られる仮想的な二次元の透視画像データを作成し、実際に収集した二次元の透視画像データと一致するように三次元の画像データを回転・平行移動することで三次元位置を推定して把握しようとする方法がある（例えば下記非特許文献１参照。） On the other hand, in addition to X-ray fluoroscopy, three-dimensional image data in the vicinity of a measurement target region of a subject is collected in advance by an X-ray CT apparatus, and obtained by perspective projection with respect to the three-dimensional image data by an information processing apparatus. Virtual two-dimensional perspective image data is created, and the three-dimensional position is estimated and understood by rotating and translating the three-dimensional image data so that it matches the actually collected two-dimensional perspective image data. There is a method to try (for example, see Non-Patent Document 1 below).
しかしながら、この方法は一方向からのみ仮想的な二次元の透視画像データを作成しているため、特に奥行き方向に対して精度が悪いという問題がある。 However, since this method creates virtual two-dimensional perspective image data only from one direction, there is a problem that accuracy is particularly poor in the depth direction.
なお一方で、Ｘ線透視撮影を二方向に増やして同様の推定を行う方法も報告されている（例えば下記非特許文献２参照）。
しかしながら、上記非特許文献２に記載の技術では、被験者が関節の周期的な運動を繰り返し、その間に種々のタイミングで静止画撮影を行い、それらをつなぎ合わせて動きの情報を取得するというものであって、透視撮影を短い期間で複数の画像が連続して撮影される動画として処理しておらず、この方法では繰り返し動作が被験者の意識に依存したものであり精度が高くなく、またこの処理を行う画像処理装置の高速化・処理負担の軽減についても課題を残す。 However, in the technique described in Non-Patent Document 2, the subject repeats the periodic motion of the joint, and during that time, still image shooting is performed at various timings, and the motion information is acquired by connecting them. In addition, the fluoroscopic imaging is not processed as a moving image in which a plurality of images are continuously captured in a short period of time, and this method does not have high accuracy because the repetitive motion depends on the subject's consciousness. The problem also remains about speeding up and reducing the processing load of the image processing apparatus.
そこで、本発明は、上記課題を鑑み、高精度にかつ高速に被験者の測定対象部位近傍における三次元位置を推定できる画像処理装置及びそれに用いられるプログラムを提供することを目的とする。 In view of the above problems, an object of the present invention is to provide an image processing apparatus capable of estimating a three-dimensional position in the vicinity of a measurement target region of a subject with high accuracy and high speed, and a program used therefor.
発明者らは、X線透視画像を用い、この透視撮影の画像を短い時間で多数連続した二次元の透視撮影画像データとして撮影、記録するとともに、Ｘ線ＣＴ装置が取得する三次元の画像データに基づいて高精度に関節の位置を把握する手法を考案した。即ち、具体的には以下の手段を採用する。 The inventors use X-ray fluoroscopic images, and shoot and record a large number of continuous fluoroscopic images in a short time as two-dimensional fluoroscopic image data, as well as three-dimensional image data acquired by the X-ray CT apparatus. Based on the above, we have devised a method to grasp the joint position with high accuracy. Specifically, the following means are employed.
即ち、第一の手段として、二次元実透視像データを格納する二次元実透視データ格納部、この二次元実透視像データに対し補正を行う補正部、三次元画像データを格納する三次元画像データ格納部、この三次元画像データに基づいて三次元骨部データを作成する骨領域抽出・分割部、この三次元骨部データに対して移動パラメータを設定する移動パラメータ設定部、三次元骨部データ及び前記設定した移動パラメータに基づいて二次元仮想透視像データを作成する仮想透視像計算部、二次元実透視像データと前記二次元仮想透視像データとのマッチングを行うマッチング評価部、を有する画像処理装置とする。 That is, as a first means, a two-dimensional real fluoroscopic data storage unit for storing two-dimensional real fluoroscopic image data, a correction unit for correcting the two-dimensional real fluoroscopic image data, and a three-dimensional image for storing three-dimensional image data A data storage unit, a bone region extraction / division unit that creates three-dimensional bone data based on the three-dimensional image data, a movement parameter setting unit that sets movement parameters for the three-dimensional bone data, and a three-dimensional bone unit A virtual perspective image calculation unit that creates two-dimensional virtual perspective image data based on the data and the set movement parameter, and a matching evaluation unit that performs matching between the two-dimensional real perspective image data and the two-dimensional virtual perspective image data An image processing apparatus is assumed.
またこの手段において、移動パラメータ設定部は、三次元骨部データを表示装置に表示する三次元骨部データ表示部、三次元骨部データに対して骨軸を設定する第一の骨軸設定部、二次元実透視像データを表示装置に表示する二次元実透視像データ表示部、二次元実透視像データに対して骨軸を設定する第二の骨軸設定部、第一及び第二の骨軸設定部が設定した骨軸に基づいて移動パラメータを設定する移動パラメータ計算部、を有することも望ましく、更には第一の骨軸設定部で設定される骨軸は２本であり、第二の骨軸設定部で設定される骨軸も２本であることも望ましい。 Further, in this means, the movement parameter setting unit includes a three-dimensional bone data display unit that displays the three-dimensional bone data on a display device, and a first bone axis setting unit that sets a bone axis for the three-dimensional bone data. A two-dimensional real fluoroscopic image data display unit for displaying two-dimensional real fluoroscopic image data on a display device; a second bone axis setting unit for setting a bone axis for the two-dimensional real fluoroscopic image data; It is also desirable to have a movement parameter calculation unit that sets a movement parameter based on the bone axis set by the bone axis setting unit. Furthermore, there are two bone axes set by the first bone axis setting unit, It is also desirable that the number of bone axes set by the second bone axis setting unit is two.
第二の手段として、第一の手段に加え、マッチング評価部がマッチングしないと判断した場合、パラメータを更新する移動パラメータ更新部、を有することも望ましい。 As a second means, in addition to the first means, it is also desirable to have a movement parameter update unit that updates a parameter when the matching evaluation unit determines that there is no matching.
またこの手段において、仮想透視像計算部は、マッチング評価部がマッチングしないと判断し、移動パラメータを更新した場合、更新した移動パラメータに基づいて改めて二次元仮想透視像データを作成することも望ましい。 Further, in this means, when the virtual perspective image calculation unit determines that the matching evaluation unit does not match and updates the movement parameter, it is also desirable to newly generate two-dimensional virtual perspective image data based on the updated movement parameter.
また、第三の手段として、コンピュータに、二次元実透視像データを格納する手段、二次元実透視像データに対し補正を行う手段、三次元画像データを格納する手段、三次元画像データに基づいて三次元骨部データを作成する手段、三次元骨部データに対して移動パラメータを設定する手段、三次元骨部データ及び前記設定した移動パラメータに基づいて二次元仮想透視像データを作成する手段、二次元実透視像データと前記二次元仮想透視像データとのマッチングを行う手段、として機能させるためのプログラムとする。 Further, as a third means, means for storing two-dimensional real fluoroscopic image data in a computer, means for correcting the two-dimensional real fluoroscopic image data, means for storing three-dimensional image data, based on three-dimensional image data Means for creating three-dimensional bone data, means for setting movement parameters for the three-dimensional bone data, means for creating two-dimensional virtual perspective image data based on the three-dimensional bone data and the set movement parameters A program for causing the two-dimensional real perspective image data and the two-dimensional virtual perspective image data to be matched with each other.
また、この手段において、マッチングを行う手段がマッチングしないと判断した場合、移動パラメータを更新する手段、としても機能すること、更には二次元仮想透視像を作成する手段は、マッチングを行う手段がマッチングしないと判断し、移動パラメータを更新した場合、更新した移動パラメータに基づいて改めて二次元仮想透視像データを作成することも望ましい。 In addition, in this means, when it is determined that the matching means does not match, it also functions as a means for updating the movement parameter, and further, the means for creating the two-dimensional virtual perspective image is the matching means. When it is determined that the movement parameter is not updated and the movement parameter is updated, it is also desirable to newly generate two-dimensional virtual perspective image data based on the updated movement parameter.
またこの手段において、移動パラメータを設定する手段部は、三次元骨部データを表示装置に表示する手段、三次元骨部データに対して骨軸を設定する第一の設定手段、二次元実透視像データを表示装置に表示する手段、二次元実透視像データに対して骨軸を設定する第二の設定手段、第一及び第二の設定手段が設定した骨軸に基づいて移動パラメータを設定する手段、としても機能することも望ましい。第一の設定手段で設定される骨軸は２本であり、第二の設定手段で設定される骨軸も２本であることも望ましい。 Further, in this means, the means for setting the movement parameter includes means for displaying the three-dimensional bone data on the display device, first setting means for setting the bone axis for the three-dimensional bone data, and two-dimensional real fluoroscopy. A means for displaying image data on a display device, a second setting means for setting a bone axis for two-dimensional real fluoroscopic image data, and setting movement parameters based on the bone axes set by the first and second setting means It is also desirable to function as a means to do this. It is also desirable that there are two bone axes set by the first setting means and two bone axes set by the second setting means.
以上により高精度にかつ高速に被験者の測定対象部位近傍における三次元位置を推定できる画像処理装置及びそれに用いられるプログラムを提供することができる。 As described above, it is possible to provide an image processing apparatus capable of estimating a three-dimensional position in the vicinity of a measurement target site of a subject with high accuracy and high speed, and a program used therefor.
以下、本発明を実施するための形態について図面を用いて説明する。 Hereinafter, embodiments for carrying out the present invention will be described with reference to the drawings.
図１に本実施形態に係る画像処理装置が行う処理の概略を示す。本実施形態に係る画像処理装置は、Ｘ線ＣＴ装置を用いて被験者の撮影を行った結果得られる画像データと、Ｘ線透視装置を用いて被験者の撮影を行った結果得られる画像データと、を格納して画像データの処理を行う。つまり画像処理に先立ち、Ｘ線ＣＴ装置及びＸ線透視装置を用いて被験者の撮影がそれぞれ行われる必要がある。なおＸ線透視装置、Ｘ線ＣＴ装置のそれぞれは、取得した画像データを電気通信回線や各種記録媒体等を通じ、本画像処理装置に画像データを送信することにより画像処理装置のハードディスク等の格納部に格納させる。 FIG. 1 shows an outline of processing performed by the image processing apparatus according to the present embodiment. The image processing apparatus according to the present embodiment includes image data obtained as a result of imaging a subject using an X-ray CT apparatus, image data obtained as a result of imaging a subject using an X-ray fluoroscope, Is stored and image data is processed. That is, prior to image processing, the subject needs to be imaged using an X-ray CT apparatus and an X-ray fluoroscope. Each of the X-ray fluoroscopic apparatus and the X-ray CT apparatus transmits the acquired image data to the image processing apparatus through an electric communication line or various recording media, thereby storing the storage unit such as a hard disk of the image processing apparatus. To store.
次に、図２を用いて本画像処理装置のより具体的な処理手順について説明する。 Next, a more specific processing procedure of the image processing apparatus will be described with reference to FIG.
本画像処理装置が用いる画像データを取得するＸ線透視装置は、被験者の撮影対象部位近傍（例えば関節）にＸ線を投射し、二次元の画像データ（以下この取得した画像データを「二次元実透視像データ」という。）を得ることができる装置である。本実施形態に関係するＸ線透視装置は、Ｘ線を投射するＸ線源を二個有しており、それらは互いに所定の角度（一般的には９０度）ずれて配置されている。この結果一回の撮影で二つの二次元実透視像データを得ることができる（これを「二次元実透視像データの組」と表現する）。また、本実施形態に関係するＸ線透視装置は、高速で撮影をすることが可能であって、被験者の撮影対象部位を動かしながら撮影を行うことができる。即ち、短い期間で複数の二次元実透視像データの組を得ることができる。なお、後述するが、本画像処理装置は、Ｘ線透視装置により得られた複数の二次元実透視像データ複数の組に対し、歪み補正、濃度補正、エッジ強調などの処理を行う。 An X-ray fluoroscopic apparatus that acquires image data used by the image processing apparatus projects X-rays in the vicinity of a subject to be imaged (for example, a joint), and generates two-dimensional image data (hereinafter referred to as “two-dimensional This is a device capable of obtaining “real fluoroscopic image data”). The X-ray fluoroscopic apparatus related to the present embodiment has two X-ray sources that project X-rays, and they are arranged with a predetermined angle (generally 90 degrees) shifted from each other. As a result, two two-dimensional real fluoroscopic image data can be obtained by one photographing (this is expressed as “a set of two-dimensional real fluoroscopic image data”). In addition, the X-ray fluoroscopic apparatus related to the present embodiment can perform imaging at high speed, and can perform imaging while moving the imaging target region of the subject. That is, a plurality of sets of two-dimensional real fluoroscopic image data can be obtained in a short period of time. As will be described later, the image processing apparatus performs processing such as distortion correction, density correction, and edge enhancement on a plurality of sets of a plurality of two-dimensional real fluoroscopic image data obtained by the X-ray fluoroscopic apparatus.
Ｘ線ＣＴ装置は、被験者の撮影対象部位（例えば関節）近傍の静止状態における三次元画像データを取得することができる装置である。即ち、まずＸ線ＣＴ装置を用いて撮影対象部位近傍における三次元画像データを取得する。そしてその三次元画像データから診断対象となる撮影対象部位近傍の骨部を抽出し（抽出した骨部を表すデータを「三次元骨部データ」という）、その後この三次元骨部データに対し、仮想のＸ線源からＸ線を投影した場合を想定するとともに三次元骨部データに対し回転や平行移動を行わせて最も二次元実透視像データに近い仮想の透視像を得る（この仮想の透視像を表すデータを「二次元仮想透視像データ」という）。なお、三次元骨部データの回転や平行移動を行わせるためのパラメータ（以下「移動パラメータ」という）については後に詳しく説明するが、この移動パラメータは上述したＸ線透視装置を用いて取得した複数の二次元実透視像データの組、Ｘ線ＣＴ装置を用いて取得した三次元画像データ等に基づいて決定される。また逆に、最も二次元実透視像データに近い移動パラメータの示す状態が実際の被験者の撮影対象部位近傍における骨の部分と位置を表していると考えることができ、この処理を各フレームに対し繰り返すことで関節の動態情報の取得が可能となる。 An X-ray CT apparatus is an apparatus that can acquire three-dimensional image data in a stationary state in the vicinity of a region to be imaged (for example, a joint) of a subject. That is, first, three-dimensional image data in the vicinity of the region to be imaged is acquired using an X-ray CT apparatus. Then, the bone part in the vicinity of the imaging target part to be diagnosed is extracted from the three-dimensional image data (the data representing the extracted bone part is referred to as “three-dimensional bone part data”), and then, for this three-dimensional bone part data, Assuming that X-rays are projected from a virtual X-ray source, the virtual perspective image closest to the two-dimensional real perspective image data is obtained by rotating or translating the three-dimensional bone data (this virtual perspective image is obtained). Data representing a fluoroscopic image is referred to as “two-dimensional virtual fluoroscopic image data”). Note that parameters (hereinafter referred to as “movement parameters”) for performing rotation and parallel movement of the three-dimensional bone data will be described in detail later. These movement parameters are obtained by using the above-described X-ray fluoroscope. Are determined based on a set of two-dimensional real fluoroscopic image data, three-dimensional image data acquired using an X-ray CT apparatus, and the like. Conversely, it can be considered that the state indicated by the movement parameter closest to the two-dimensional real fluoroscopic image data represents the bone part and position in the vicinity of the actual subject to be imaged, and this processing is performed for each frame. By repeating, it is possible to acquire joint dynamic information.
本画像処理装置は、画像の処理に先立ちキャリブレーションを行う。
キャリブレーションは、歪み補正係数の決定と撮影ジオメトリーのパラメータの決定という二つの処理を少なくとも行う（図３参照）。
The image processing apparatus performs calibration prior to image processing.
The calibration performs at least two processes, that is, determination of a distortion correction coefficient and determination of imaging geometry parameters (see FIG. 3).
歪み補正とは、Ｘ線透視装置で良く使われているイメージインテンシファイアが周囲の磁場の影響などをうけることで生じてしまう画像の空間的なゆがみを除くことをいい、歪み補正係数の決定とは、その補正において用いる係数の決定をいう。より具体的には、画像処理前に各画像データ（例えば複数の二次元実透視データの組）に対して行う補正の係数を決定することをいう。これを行うことで精度の向上を図ることができる。この歪み補正を行う手順としては、まず、Ｘ線透視装置で被験者を撮影する前に、アクリル板などの透明な板に高いＸ線吸収係数を持つ微小物体を正方格子状に配置したもの（ひずみ補正用ファントムという。図４参照）を、Ｘ線検出器の直前に設置して撮影を行い、二次元画像データを得る（この二次元画像データを「歪み補正用二次元画像データ」という。）。そして本実施形態に係る画像処理装置は、この歪み補正用二次元画像データにおける微小物体が正しく正方格子状に配列するように、歪み補正係数を決定する。Ｘ線透視装置により取得されたほぼ全ての二次元実透視像データにはこの処理が行われる。 Distortion correction is the removal of the spatial distortion of an image that occurs when an image intensifier often used in X-ray fluoroscopy devices is affected by the surrounding magnetic field. The term “determination” refers to determination of a coefficient used in the correction. More specifically, it means determining a correction coefficient to be performed on each image data (for example, a set of a plurality of two-dimensional actual fluoroscopic data) before image processing. By doing this, the accuracy can be improved. As a procedure for correcting the distortion, first, before photographing a subject with an X-ray fluoroscope, a micro object having a high X-ray absorption coefficient is arranged on a transparent plate such as an acrylic plate in a square lattice shape (distortion). A correction phantom (refer to FIG. 4) is installed in front of the X-ray detector, and imaging is performed to obtain two-dimensional image data (this two-dimensional image data is referred to as “distortion correction two-dimensional image data”). . Then, the image processing apparatus according to the present embodiment determines the distortion correction coefficient so that the minute objects in the distortion correction two-dimensional image data are correctly arranged in a square lattice pattern. This process is performed on almost all two-dimensional real fluoroscopic image data acquired by the X-ray fluoroscopic apparatus.
撮影ジオメトリーのパラメータの決定とは、例えば、正立方体の各頂点に微小な金属球が固定された物体（投影ジオメトリキャリブレーション用ファントムという。図５参照）を用意し、Ｘ線透視装置の測定位置にこの物体を配置及び撮影し、二次元実透視像データを得て、これに対し正立方体の各頂点の画像座標を特定し、正立方体の頂点の三次元座標位置との対応関係から撮影ジオメトリーのパラメータを決定することをいう。これを定めることで、Ｘ線ＣＴ装置により得られた三次元画像データから、実透視像と同じジオメトリーをもつ透視投影による仮想透視像を計算するができるようになる。 The determination of imaging geometry parameters includes, for example, preparing an object (referred to as a projection geometry calibration phantom; see FIG. 5) in which a fine metal sphere is fixed at each vertex of a regular cube, and measuring position of an X-ray fluoroscope. This object is placed and photographed to obtain two-dimensional real perspective image data, the image coordinates of each vertex of the regular cube are specified, and the photographing geometry is determined from the correspondence with the three-dimensional coordinate position of the regular cube vertex. Is to determine the parameters. By defining this, a virtual perspective image by perspective projection having the same geometry as the actual perspective image can be calculated from the three-dimensional image data obtained by the X-ray CT apparatus.
次に本実施形態に係る画像処理装置のデータ処理について詳細に説明する。図６は、本実施形態に係る画像処理装置１における機能ブロック図を示す。本実施形態に係る画像処理装置１は、Ｘ線ＣＴ装置が取得した三次元画像データを格納する三次元画像データ格納部２と、Ｘ線透視装置が取得した複数の二次元実透視像データの組を格納する二次元実透視像データ格納部３と、を有している。 Next, data processing of the image processing apparatus according to the present embodiment will be described in detail. FIG. 6 is a functional block diagram of the image processing apparatus 1 according to the present embodiment. The image processing apparatus 1 according to the present embodiment includes a 3D image data storage unit 2 that stores 3D image data acquired by an X-ray CT apparatus, and a plurality of 2D actual fluoroscopic image data acquired by an X-ray fluoroscopic apparatus. And a two-dimensional real fluoroscopic image data storage unit 3 for storing sets.
そして更に、二次元実透視像データを処理する部として、二次元実透視像データ格納部が格納した複数の二次現実透視像データに対し、上述の歪み補正を行う歪み補正部４と、歪み補正が行われた二次元実透視像データに対して更に濃度補正を行う濃度補正部５と、更にこれからエッジ強調処理を行う第一のエッジ強調部６と、を有しており、二次元実透視像データに基づき様々な処理を行っていく。 Further, as a unit for processing the two-dimensional real fluoroscopic image data, a distortion correction unit 4 that performs the above-described distortion correction on the plurality of secondary real fluoroscopic image data stored in the two-dimensional real fluoroscopic image data storage unit, and a distortion A density correction unit 5 that further performs density correction on the corrected two-dimensional actual fluoroscopic image data and a first edge enhancement unit 6 that performs edge enhancement processing from now on are provided. Various processes are performed based on the fluoroscopic image data.
これに対し、Ｘ線ＣＴ装置により得られた三次元画像データを処理する部としては、三次元画像データ格納部が格納した三次元画像データから診断対象となる撮影対象部位近傍の骨部を抽出し、三次元骨部データを作成する骨領域抽出・分割部７と、この作成された三次元骨部データに対し、回転や平行移動などを行う際に用いる移動パラメータを設定する移動パラメータ設定部８と、上述のキャリブレーションで決定した投影のパラメータを適用して、二次元仮想透視像データを作成する仮想透視像計算部９と、更にこれからエッジ強調処理を行う第二のエッジ強調部１０と、エッジ強調された二次元仮想透視像データとエッジ強調された二次現実透視像データとの間のマッチング評価を行うマッチング評価部１１と、マッチング評価部１１がマッチしていないと判断した場合はパラメータを更新するパラメータ更新部１２と、を有して構成されている。 On the other hand, as a unit for processing the three-dimensional image data obtained by the X-ray CT apparatus, a bone part in the vicinity of the imaging target part to be diagnosed is extracted from the three-dimensional image data stored in the three-dimensional image data storage unit. And a bone parameter extracting / splitting unit 7 for creating three-dimensional bone data, and a movement parameter setting unit for setting a movement parameter used when performing rotation or parallel movement on the created three-dimensional bone data. 8, a virtual perspective image calculation unit 9 that creates two-dimensional virtual perspective image data by applying the projection parameters determined by the above-described calibration, and a second edge enhancement unit 10 that performs edge enhancement processing from now on, A matching evaluation unit 11 that performs matching evaluation between the edge-enhanced two-dimensional virtual perspective image data and the edge-enhanced secondary reality perspective image data, and a matching evaluation unit 1 If is it is determined that no match is configured to have a parameter updating unit 12 for updating the parameter, the.
二次元実透視データ格納部３は、Ｘ線透視装置が撮影した二次元実透視データを格納するものであって、いわゆるハードディスク等の記録媒体の一領域に二次元実透視データが格納されることにより実現される。二次元実透視データは、先ほど説明したとおり、所定の角度方向から見た二次元実透視データの組を撮影したフレーム分だけ格納される。 The two-dimensional real fluoroscopic data storage unit 3 stores two-dimensional real fluoroscopic data captured by the X-ray fluoroscopic apparatus, and stores the two-dimensional real fluoroscopic data in a region of a recording medium such as a so-called hard disk. It is realized by. As described above, the two-dimensional actual fluoroscopic data is stored for the frames in which a set of two-dimensional actual fluoroscopic data viewed from a predetermined angle direction is captured.
歪み補正部４は、上記の二次元実透視データに対し、上述した歪み補正を行うための部である。ゆがみ補正部４は、画像処理装置における記録媒体に格納されたプログラムを実行させることにより実現することができる。 The distortion correction unit 4 is a unit for performing the above-described distortion correction on the above-described two-dimensional actual fluoroscopic data. The distortion correction unit 4 can be realized by executing a program stored in a recording medium in the image processing apparatus.
濃度補正部５は、後に行う二次元実透視データと二次元仮想透視データとの間のマッチングのため階調特性を統一するものである。具体的に説明すると、二次元実透視データはＸ線強度で画素の値が示される一方、二次元仮想透視データは吸収係数の積分で表されるため、後に正しい位置あわせを実現するためにはこれら二つの二次元透視データの階調特性を統一することが極めて望ましいため、濃度補正部５はこれを実現する。なお具体的な処理については、仮想透視像計算部９による処理の説明を経た上で行う。また濃度補正部５は、上記と同様、画像処理装置における記録媒体に格納されたプログラムを実行することにより実現することができる。 The density correction unit 5 unifies the gradation characteristics for matching between the two-dimensional real perspective data and the two-dimensional virtual perspective data to be performed later. Specifically, the 2D real fluoroscopy data shows the pixel values in terms of X-ray intensity, while the 2D virtual fluoroscopy data is represented by the integral of the absorption coefficient. Since it is highly desirable to unify the gradation characteristics of these two two-dimensional perspective data, the density correction unit 5 realizes this. Specific processing is performed after explanation of processing by the virtual perspective image calculation unit 9. Similarly to the above, the density correction unit 5 can be realized by executing a program stored in a recording medium in the image processing apparatus.
第一のエッジ強調部６は、二次元実透視像データと二次元仮想透視像データの不一致を緩和するために設けられる部であって、適切なエッジ強調処理を行う。二次元実透視像データは軟骨や筋肉、脂肪などの軟部組織も投影に寄与する一方、二次元仮想透視像データではそのような要素は存在しないため、不可避的に不一致が生ずる。ここでは適当なエッジ処理を行うことにより、骨部分の投影画像への寄与を際立たせ、不一致を緩和する。またこの部も、画像処理装置の記録媒体に格納されたプログラムを実行することにより実現することができる。 The first edge enhancement unit 6 is a unit provided to alleviate the mismatch between the two-dimensional real perspective image data and the two-dimensional virtual perspective image data, and performs appropriate edge enhancement processing. In the 2D real fluoroscopic image data, soft tissues such as cartilage, muscle, and fat also contribute to the projection, but in the 2D virtual fluoroscopic image data, such an element does not exist, so inevitably a mismatch occurs. Here, by performing appropriate edge processing, the contribution of the bone portion to the projected image is highlighted, and the mismatch is alleviated. This unit can also be realized by executing a program stored in a recording medium of the image processing apparatus.
三次元画像データ格納部２は、Ｘ線ＣＴ装置が撮影した三次元画像データを格納するものであって、いわゆるハードディスク等の記録媒体の一領域に三次元画像データが格納されることにより実現される。三次元画像データはｘ、ｙ、ｚの３軸を基準とした位置のデータと、その位置のデータにおけるＸ線の吸収係数に対応した値を、必要な座標の数だけ有して構成されており、後の各データ処理はこれら値に基づいて行われる。 The 3D image data storage unit 2 stores 3D image data captured by an X-ray CT apparatus, and is realized by storing 3D image data in an area of a recording medium such as a so-called hard disk. The The three-dimensional image data is composed of position data with reference to the three axes x, y, and z, and a value corresponding to the X-ray absorption coefficient in the position data for the required number of coordinates. Each subsequent data processing is performed based on these values.
骨領域抽出・分割部７は、三次元画像データのうち、被験者の撮影対象部位近傍の骨などの構成要素を抽出・分割し、三次元骨部データを作成するための部であり、例えばこのような機能を奏するプログラムを実行することによって実現することができる。 The bone region extracting / dividing unit 7 is a unit for extracting and dividing a component such as a bone in the vicinity of a subject to be imaged from the three-dimensional image data to create three-dimensional bone data. This can be realized by executing a program having such functions.
骨領域抽出・分割部７が骨領域を抽出・分割する方法は、三次元画像データから被験者の骨などの構成要素を抽出・分割できる限りにおいて特段限定されるわけではないが、例えば、一般的な領域拡張法などを好適に用いることができる。一般的な領域拡張法とは、適当な開始点を抽出したい構成要素の領域の一点として選択し、更にその開始点と隣接している画素に着目し、その隣接している画素の値が所定の画素の範囲にあるか否かを判定し、範囲内にある場合は抽出対象領域として選択し、範囲内にない場合は抽出対象外の領域として選択する。そしてこれら処理を抽出対象領域がなくなるまで拡張させ、領域を特定していく方法である。 The method by which the bone region extraction / division unit 7 extracts and divides the bone region is not particularly limited as long as it can extract and divide the constituent elements such as the bone of the subject from the three-dimensional image data. An appropriate region expansion method or the like can be preferably used. In general area expansion, an appropriate starting point is selected as one point of the component area to be extracted, and attention is paid to the pixel adjacent to the starting point, and the value of the adjacent pixel is predetermined. If it is within the range, it is selected as an extraction target region, and if it is not within the range, it is selected as a region not to be extracted. Then, these processes are expanded until the extraction target area is exhausted, and the area is specified.
移動パラメータ設定部８は、骨領域抽出・分割部７が抽出・分割した三次元骨部データに対し回転・平行移動を加えて位置や方向を推定するためのものであって、具体的には、この三次元骨部データに対し、回転や平行移動などを行う際に用いる移動パラメータを決定する。移動パラメータとしては、例えば、回転及び平行移動それぞれ３自由度ずつ合計６自由度ある。 The movement parameter setting unit 8 is for estimating the position and direction by applying rotation / translation to the three-dimensional bone data extracted / divided by the bone region extraction / division unit 7. Then, a movement parameter used when performing rotation, parallel movement, or the like on the three-dimensional bone data is determined. As the movement parameter, for example, there are 6 degrees of freedom in total of 3 degrees of freedom each of rotation and translation.
図７に移動パラメータ設定部８の処理のイメージ図を、図８に移動パラメータ設定部８における機能ブロック図を示す。 FIG. 7 shows an image diagram of processing of the movement parameter setting unit 8, and FIG. 8 shows a functional block diagram of the movement parameter setting unit 8.
図７（Ａ）、図８が示すように、移動パラメータ設定部８はまず、骨領域抽出・分割部７が作成した三次元骨データを画像表示装置が接続される表示装置に表示させる三次元骨データ表示部８１と、この三次元骨データ表示部８１が表示する三次元骨部データに対し所定の軸を設定するための第一の骨軸設定部８２と、を有している。 As shown in FIGS. 7A and 8, the movement parameter setting unit 8 first displays the three-dimensional bone data created by the bone region extraction / division unit 7 on the display device to which the image display device is connected. A bone data display unit 81 and a first bone axis setting unit 82 for setting a predetermined axis for the 3D bone data displayed by the 3D bone data display unit 81 are provided.
第一の骨軸設定部８２の具体例として膝の大腿骨を用いた場合の例を示す。図７（Ａ）は大腿骨の三次元骨部データを示すものである。まず画像処理装置のユーザーは、この三次元骨部データを表示装置で確認した後、大腿骨の特徴的な軸を二つ決定する。特徴的な軸を決定するのは、後述の二次元実透視像データの組に対し、この特徴的な軸に近い軸を設定しやすくするためである。例えば大腿骨の場合、図７（Ａ）のｚ方向に示す第一の骨軸は容易に設定でき、それに概ね垂直な方向にある第二の骨軸も、大腿骨に特徴的な内側顆、外側顆と呼ばれる二つの特徴的な突起部分を結ぶことによって比較的容易に設定することができる。なおｚ方向に示す第一の骨軸の定め方としては、三次元骨部データを複数のｘｙ平面にスライスし、その複数のｘｙ平面における骨部データ領域の重心を定め、これらに対し最も適切な直線を求めることで定めることができる。 As a specific example of the first bone axis setting unit 82, an example in which a femur of a knee is used is shown. FIG. 7A shows three-dimensional bone data of the femur. First, the user of the image processing apparatus confirms the three-dimensional bone data on the display device, and then determines two characteristic axes of the femur. The reason why the characteristic axis is determined is to make it easy to set an axis close to this characteristic axis for a set of two-dimensional real fluoroscopic image data described later. For example, in the case of the femur, the first bone axis shown in the z direction in FIG. 7A can be easily set, and the second bone axis in a direction substantially perpendicular thereto is also a medial condyle characteristic of the femur, It can be set relatively easily by connecting two characteristic protrusions called lateral condyles. The first bone axis shown in the z direction is determined by slicing three-dimensional bone data into a plurality of xy planes, determining the centroids of the bone data areas in the plurality of xy planes, and most appropriate for these. It can be determined by obtaining a straight line.
またパラメータ設定部８は、図７（Ｂ）、図８が示すように、大腿骨の任意の時間における二次元実透視像データの組を表示装置に表示させる二次元実透視像データ表示部８３と、この二次元実透視像データ表示部８３が表示する二次元実透視像データの組それぞれに対し所定の軸を設定するための第二の骨軸設定部８４と、を有している。本画像処理装置のユーザーは、表示装置に表示される二次元実透視像データの組を確認し、そのそれぞれに対し上述の三次元骨データに対して設定した骨軸に相当すると考えられる二軸を二次元実透視像データにおいて決定する。この場合、上記選んだｚ軸方向に示す第一の骨軸、内側顆、外側顆と呼ばれる二つの特徴的な突起部分を結ぶ第二の骨軸に概ね一致するよう入力を行うことが好ましい。なお、二次元実透過像データの組は任意の時間における二次元実透視像データの組を表示させることができるが、連続的に変化する二次元実透視像データに対して近時のパラメータを使用することを考慮し、また時間的に並んだデータの処理の容易性の観点から、移動パラメータを最初に定める場合は、最初のフレームにおける二次元実透視像データの組を表示させておくことが望ましい。 Further, as shown in FIGS. 7B and 8, the parameter setting unit 8 is a two-dimensional real fluoroscopic image data display unit 83 that displays a set of two-dimensional real fluoroscopic image data at an arbitrary time of the femur on a display device. And a second bone axis setting unit 84 for setting a predetermined axis for each set of two-dimensional real fluoroscopic image data displayed by the two-dimensional real fluoroscopic image data display unit 83. The user of this image processing apparatus confirms a set of two-dimensional real fluoroscopic image data displayed on the display device, and each of the two axes is considered to correspond to the bone axis set for the above-described three-dimensional bone data. Is determined in the two-dimensional real fluoroscopic image data. In this case, it is preferable that the input is performed so as to substantially coincide with the second bone axis connecting two characteristic protrusions called the first bone axis, the medial condyle, and the lateral condyle shown in the selected z-axis direction. Note that a set of two-dimensional real fluoroscopic image data can be displayed as a set of two-dimensional real fluoroscopic image data at an arbitrary time. In consideration of the use, and from the viewpoint of the ease of processing of time-aligned data, when moving parameters are initially determined, a set of 2D real fluoroscopic image data in the first frame should be displayed. Is desirable.
その後、パラメータ設定部８におけるパラメータ計算部８５が、上記第一の骨軸設定部８２と第二の骨軸設定部８３とが設定したそれぞれの骨軸に基づき、それらが最も近似するよう計算し、三次元骨データにおける骨の初期の位置、方向を定める移動パラメータを設定する。なお、最も近づくように行う計算については種々採用することができるが、計算の容易性の観点からは最小二乗法が好適である。 Thereafter, the parameter calculation unit 85 in the parameter setting unit 8 calculates based on the respective bone axes set by the first bone axis setting unit 82 and the second bone axis setting unit 83 so as to approximate them. Then, a movement parameter for determining the initial position and direction of the bone in the three-dimensional bone data is set. Note that various calculations can be employed for the calculation performed closest to each other, but the least square method is preferable from the viewpoint of ease of calculation.
また２フレーム目以降の三次元骨データ、二次元実透視像データの組に関しては、最初のフレームにおいて既に定めた移動パラメータを初期値として用いることが極めて有用である。これは、短時間で行われるＸ線透視装置の撮影においては、撮影対象領域近傍は動いているものの十分に小さいと考えられるため、大きく外れることは無く、前フレームにおける移動パラメータを初期値として用いることで最適化する処理の負担を十分に軽減できるためである。なお、ここにおける時間間隔としては装置等の諸要件により可変であるが、動きを十分に小さくし前のフレームにおける移動パラメータを有用に使う範囲として、概ね１／２秒以下であることが望ましく、より望ましくは１／１０秒以下、更に望ましくは１／３０秒以下である。また、本パラメータ設定部も上述の各部と同様、記録媒体に格納してなるプログラムを実行することにより実現できる。 In addition, regarding a set of 3D bone data and 2D real fluoroscopic image data in the second and subsequent frames, it is extremely useful to use the movement parameters already determined in the first frame as initial values. In X-ray fluoroscopic imaging performed in a short time, it is considered that the area near the imaging target area is moving but sufficiently small, so that it does not deviate greatly, and the movement parameter in the previous frame is used as the initial value. This is because the processing load to be optimized can be sufficiently reduced. Note that the time interval here is variable depending on various requirements of the device and the like, but as a range in which the movement parameter in the previous frame is effectively reduced and the movement parameter in the previous frame is useful, it is preferably approximately ½ second or less. More preferably, it is 1/10 second or less, and further desirably 1/30 second or less. Also, the parameter setting unit can be realized by executing a program stored in a recording medium, like the above-described units.
仮想透視像計算部９は、キャリブレーションで決定した撮影のジオメトリーのパラメータを用いて、二次元仮想透視像データを作成する。より具体的には、上記パラメータ設定部にて求めた移動パラメータを用いて三次元骨データの方向や位置を定めるとともに、仮想のＸ線源の位置を定め、その仮想のＸ線源から投影を求め、その仮想Ｘ線からキャリブレーションで決定した撮影のジオメトリーを用いて二次元仮想透視像データを作成するのである。 The virtual perspective image calculation unit 9 creates two-dimensional virtual perspective image data using the imaging geometry parameters determined by the calibration. More specifically, the direction and position of the three-dimensional bone data are determined using the movement parameters obtained by the parameter setting unit, the position of the virtual X-ray source is determined, and projection is performed from the virtual X-ray source. Then, two-dimensional virtual perspective image data is created using the imaging geometry determined by calibration from the virtual X-ray.
濃度補正部５の濃度補正は、上述のとおり、二次元実透視データと二次元仮想透視像データとの間の階調特性を統一するためのものである。図９は具体的な濃度補正部５の処理を説明する図である。 The density correction of the density correction unit 5 is for unifying the gradation characteristics between the two-dimensional actual perspective data and the two-dimensional virtual perspective image data as described above. FIG. 9 is a diagram for explaining specific processing of the density correction unit 5.
ここでは二次元実透視像データを以下の式でモデル化処理する。
ここでIfluは二次元実透視像データの各画素における画素値を、Iflu’は階調特性を変更した後の二次元実透視像データの各画素における画素値を、Ａ，Ｂは定数項の未知パラメータを、I0は二次元実透視像データの画素値のうち最大の画素値をそれぞれ示す。 Here, I flu is a pixel value in each pixel of the two-dimensional real fluoroscopic image data, I flu 'is a pixel value in each pixel of the two-dimensional real fluoroscopic image data after changing the gradation characteristics, and A and B are constants. The unknown parameter of the term, I 0 indicates the maximum pixel value among the pixel values of the two-dimensional real fluoroscopic image data.
ここで未知パラメータは、二次元実透視像データと二次元仮想透視像データとが類似の画素値分布になるように，対応する画素値の差分の絶対値と、画像の標準偏差の和を評価関数とし、評価値が最小となるようにフレーム毎に計算される。 Here, the unknown parameter evaluates the sum of the absolute value of the difference between the corresponding pixel values and the standard deviation of the image so that the two-dimensional real perspective image data and the two-dimensional virtual perspective image data have similar pixel value distributions. A function is calculated for each frame so that the evaluation value is minimized.
第二のエッジ強調部１０は、第一のエッジ強調部６とほぼ同じ構成を採用することができる。本実施形態では、第一のエッジ強調部と第二のエッジ強調部とを異なる構成としているが、同一の構成とすることも可能である。即ち、共通のエッジ強調部とし、入力される画像データが二次元実透視像データに由来するデータである場合、三次元画像データに由来するデータである場合の双方に対応可能なエッジ共通部とすることが可能である。（例えば図１０参照）。 The second edge enhancement unit 10 can employ substantially the same configuration as the first edge enhancement unit 6. In the present embodiment, the first edge enhancement unit and the second edge enhancement unit have different configurations. However, the same configuration may be used. That is, as a common edge emphasis unit, when the input image data is data derived from two-dimensional real fluoroscopic image data, an edge common unit that can handle both cases where the data is derived from three-dimensional image data, Is possible. (See, for example, FIG. 10).
マッチング評価部１１は、上記各部において加工された二次元実透視像データと、三次元画像データを用いて各部が作成した二次元仮想透視像データとのマッチングを行う部であって、双方の画像のマッチング処理を行うことができる限りにおいて特段に制限はないが、具体的には、相関を用いた評価を行うことが好適である。即ちマッチング評価部１１は、二次元実透視像データと二次元か層透視像データとの間で求めた相関の値が前回のマッチング処理における相関の値と所定の範囲内にあるか否かに基づいてマッチング評価を行うことが望ましい態様である。例えば、この相関の値が前回の相関の値と所望の範囲内にあればマッチングしたと判断し、先ほど定めた三次元骨部データの位置や方向の移動パラメータを結果格納部１３に格納するとともに次のフレームの処理へ移り、この相関の値が前回の相関の値と所望の範囲内にない場合は、移動パラメータ更新部１２にその結果を送信し、再度二次元仮想透視像の作成を行わせるのである。なお先ほどの相関を用いた評価の場合は、相関の値が最大化されているか否かで判断される。 The matching evaluation unit 11 is a unit that performs matching between the two-dimensional real fluoroscopic image data processed in each unit and the two-dimensional virtual fluoroscopic image data created by each unit using the three-dimensional image data. As long as the matching process can be performed, there is no particular limitation. Specifically, it is preferable to perform evaluation using correlation. That is, the matching evaluation unit 11 determines whether the correlation value obtained between the two-dimensional actual perspective image data and the two-dimensional or layer perspective image data is within a predetermined range with the correlation value in the previous matching process. It is a desirable mode to perform matching evaluation based on this. For example, if this correlation value is within a desired range with the previous correlation value, it is determined that the matching has been performed, and the movement parameters of the position and direction of the three-dimensional bone data determined earlier are stored in the result storage unit 13. If the correlation value is not within the desired range with the previous correlation value, the result is transmitted to the movement parameter update unit 12 to create a two-dimensional virtual perspective image again. To make it happen. In the case of the evaluation using the correlation, the determination is made based on whether the correlation value is maximized.
パラメータ更新部１２は、上記マッチング評価部１１がマッチングしていないと判断した場合、この回転・平行移動の移動パラメータを変更し、改めて仮想透視像計算部９に二次元仮想透視像データを作成させるための部である。即ちここで移動パラメータを変更した後は、仮想透視像計算部9、第二のエッジ強調部１０、マッチング評価部１１において順次処理が繰り返され、再びマッチング評価部１１により評価されることとなる。なお、上述したマッチング評価部１１が勾配相関を評価指標として用いた場合は、パラメータの更新手法としてＰｏｗｅｌｌの方法を用いることが好適である。 When the parameter updating unit 12 determines that the matching evaluation unit 11 does not match, the parameter updating unit 12 changes the rotation / translation movement parameter, and causes the virtual perspective image calculation unit 9 to generate two-dimensional virtual perspective image data again. It is a part for. That is, after the movement parameter is changed here, the virtual perspective image calculation unit 9, the second edge enhancement unit 10, and the matching evaluation unit 11 sequentially repeat the processing, and the matching evaluation unit 11 evaluates again. When the above-described matching evaluation unit 11 uses gradient correlation as an evaluation index, it is preferable to use the Powell method as a parameter update method.
マッチングにおいてマッチングしたと判断された場合は、上述のとおり位置や方向の移動パラメータを記録するとともに次のフレームの処理へ移り、同様に各フレームにおいて作業を行うこととなる。またこれも上述したが、次のフレームにおいては、十分に時間が短いと判断できパラメータの変動があまり多くないと考えることができるため、パラメータ設定部８はこの移動パラメータを初期パラメータとして処理を行っていくことが極めて望ましい。 When it is determined that matching has been performed in the matching, the movement parameters of the position and direction are recorded as described above, and the process proceeds to the next frame, and similarly, the work is performed in each frame. Also, as described above, in the next frame, it can be determined that the time is sufficiently short and it can be considered that there is not much change in the parameter. Therefore, the parameter setting unit 8 performs processing using this movement parameter as an initial parameter. It is highly desirable to continue.
以上、本実施形態に係る画像処理装置により、高精度にかつ高速に被験者の測定対象部位近傍における三次元位置を推定できる画像処理装置及びそれに用いられるプログラムを提供することができる。特に本実施形態では、パラメータ設定部を設けて複数軸を入力させ、これらの間の相関を評価し調整しておくことにより、二次元実透視像データと三次元画像データとのマッチングにおける負担を少なくすることができ、極めて高速に測定対象部位近傍の三次元位置を推定できるようになる。さらに、この方法で定めたパラメータは次のフレームにおける画像処理においても使用でき、より高速化に寄与することができる。 As described above, the image processing apparatus according to the present embodiment can provide an image processing apparatus capable of estimating a three-dimensional position in the vicinity of a measurement target region of a subject with high accuracy and high speed, and a program used therefor. In particular, in this embodiment, by providing a parameter setting unit and inputting a plurality of axes, and evaluating and adjusting the correlation between them, the burden of matching between the two-dimensional actual fluoroscopic image data and the three-dimensional image data is reduced. Therefore, the three-dimensional position in the vicinity of the measurement target part can be estimated extremely quickly. Furthermore, the parameters determined by this method can be used in image processing in the next frame, which can contribute to higher speed.
１…画像処理装置、２…三次元画像データ格納部、３…二次元実透視像データ格納部、４…ゆがみ補正部、５…濃度補正部、６…第一のエッジ強調部、７…骨領域抽出・分割部、８…移動パラメータ設定部、９…仮想透視像計算部、１０…第二のエッジ強調部、１１…マッチング評価部、１２…移動パラメータ更新部、１３…結果格納部
DESCRIPTION OF SYMBOLS 1 ... Image processing apparatus, 2 ... Three-dimensional image data storage part, 3 ... Two-dimensional real fluoroscopy image data storage part, 4 ... Distortion correction part, 5 ... Density correction part, 6 ... First edge emphasis part, 7 ... Bone Region extraction / division unit, 8 ... movement parameter setting unit, 9 ... virtual perspective image calculation unit, 10 ... second edge enhancement unit, 11 ... matching evaluation unit, 12 ... movement parameter update unit, 13 ... result storage unit
Claims (8)
該二次元実透視像データに対し補正を行う補正部、
三次元画像データを格納する三次元画像データ格納部、
該三次元画像データに基づいて三次元骨部データを作成する骨領域抽出・分割部、
該三次元骨部データに対して移動パラメータを設定する移動パラメータ設定部、
前記三次元骨部データ及び前記設定した移動パラメータに基づいて二次元仮想透視像データを作成する仮想透視像計算部、
前記二次元実透視像データと前記二次元仮想透視像データとのマッチングを行うマッチング評価部、を有し、
前記移動パラメータ設定部は、三次元骨部データを表示装置に表示する三次元骨部データ表示部、該三次元骨部データに対して骨軸を設定する第一の骨軸設定部、二次元実透視像データを表示装置に表示する二次元実透視像データ表示部、該二次元実透視像データに対して骨軸を設定する第二の骨軸設定部、前記第一及び第二の骨軸設定部が設定した骨軸に基づいて移動パラメータを設定する移動パラメータ計算部、を有する画像処理装置。 2D real fluoroscopy data storage unit for storing 2D real fluoroscopic image data,
A correction unit configured to correct the two-dimensional real fluoroscopic image data;
3D image data storage unit for storing 3D image data,
A bone region extracting / dividing unit that creates three-dimensional bone data based on the three-dimensional image data;
A movement parameter setting unit for setting a movement parameter for the three-dimensional bone data;
A virtual perspective image calculation unit for creating two-dimensional virtual perspective image data based on the three-dimensional bone data and the set movement parameter;
Matching evaluation unit that performs matching between the two-dimensional actual fluoroscopic image data the two-dimensional virtual fluoroscopic image data, have a,
The movement parameter setting unit includes: a three-dimensional bone data display unit that displays three-dimensional bone data on a display device; a first bone axis setting unit that sets a bone axis for the three-dimensional bone data; A two-dimensional real fluoroscopic image data display unit for displaying real fluoroscopic image data on a display device, a second bone axis setting unit for setting a bone axis for the two-dimensional real fluoroscopic image data, and the first and second bones An image processing apparatus comprising : a movement parameter calculation unit that sets a movement parameter based on a bone axis set by an axis setting unit .
前記第二の骨軸設定部で設定される骨軸も２本であることを特徴とする請求項１記載の画像処理装置。 The bone axes set by the first bone axis setting unit are two,
The image processing apparatus according to claim 1, wherein two bone axes are set by the second bone axis setting unit.
二次元実透視像データを格納する手段、
該二次元実透視像データに対し補正を行う手段、
三次元画像データを格納する手段、
該三次元画像データに基づいて三次元骨部データを作成する手段、
該三次元骨部データに対して移動パラメータを設定する手段、
前記三次元骨部データ及び前記設定した移動パラメータに基づいて二次元仮想透視像データを作成する手段、
前記二次元実透視像データと前記二次元仮想透視像データとのマッチングを行う手段、として機能させ、更に、
前記移動パラメータを設定する手段は、三次元骨部データを表示装置に表示する手段、該三次元骨部データに対して骨軸を設定する第一の設定手段、二次元実透視像データを表示装置に表示する手段、該二次元実透視像データに対して骨軸を設定する第二の設定手段、前記第一及び第二の設定手段が設定した骨軸に基づいて移動パラメータを設定する手段、としても機能させるためのプログラム。 On the computer,
Means for storing two-dimensional real perspective image data;
Means for correcting the two-dimensional real fluoroscopic image data;
Means for storing three-dimensional image data;
Means for creating three-dimensional bone data based on the three-dimensional image data;
Means for setting movement parameters for the three-dimensional bone data;
Means for creating two-dimensional virtual perspective image data based on the three-dimensional bone data and the set movement parameter;
Functioning as a means for matching the two-dimensional real perspective image data and the two-dimensional virtual perspective image data ;
The means for setting the movement parameter is a means for displaying three-dimensional bone data on a display device, a first setting means for setting a bone axis for the three-dimensional bone data, and displaying two-dimensional real fluoroscopic image data. Means for displaying on the apparatus, second setting means for setting a bone axis for the two-dimensional real fluoroscopic image data, means for setting a movement parameter based on the bone axis set by the first and second setting means , A program to make it work as well .
前記第二の設定手段で設定される骨軸も２本であることを特徴とする請求項５記載のプログラム。 The bone axes set by the first setting means are two,
6. The program according to claim 5, wherein the number of bone axes set by the second setting means is two.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005029797A JP4512824B2 (en) | 2005-02-04 | 2005-02-04 | Image processing apparatus and program used therefor |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2005029797A JP4512824B2 (en) | 2005-02-04 | 2005-02-04 | Image processing apparatus and program used therefor |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2006212294A JP2006212294A (en) | 2006-08-17 |
| JP4512824B2 true JP4512824B2 (en) | 2010-07-28 |
Family
ID=36975974
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2005029797A Active JP4512824B2 (en) | 2005-02-04 | 2005-02-04 | Image processing apparatus and program used therefor |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4512824B2 (en) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1892668B1 (en) * | 2006-08-22 | 2012-10-03 | BrainLAB AG | Registration of imaging data |
| JP4976880B2 (en) * | 2007-02-21 | 2012-07-18 | 株式会社東芝 | X-ray apparatus and X-ray image creation method |
| CN105844586A (en) * | 2007-12-18 | 2016-08-10 | 皇家飞利浦电子股份有限公司 | Features-based 2d/3d image registration |
| US8483465B2 (en) | 2008-04-08 | 2013-07-09 | Yamaguchi University | X-ray image processing method and X-ray image processing system using open curve fourier descriptors |
| JP5110005B2 (en) * | 2009-02-23 | 2012-12-26 | 株式会社島津製作所 | Correction position information acquisition method, positional deviation correction method, image processing apparatus, and radiation imaging apparatus |
| WO2010150783A1 (en) * | 2009-06-25 | 2010-12-29 | 株式会社 日立メディコ | Medical imaging apparatus |
| JP5642444B2 (en) * | 2010-07-15 | 2014-12-17 | 三菱重工業株式会社 | Radiotherapy apparatus operating method and radiotherapy apparatus control apparatus |
| JP7309903B2 (en) * | 2019-03-29 | 2023-07-18 | ホウメディカ・オステオニクス・コーポレイション | Premorbid Characterization of Anatomical Objects Using Statistical Shape Modeling (SSM) |
-
2005
- 2005-02-04 JP JP2005029797A patent/JP4512824B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2006212294A (en) | 2006-08-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7071479B2 (en) | Ultra-wideband positioning for wireless ultrasound tracking and communication | |
| US11275249B2 (en) | Augmented visualization during surgery | |
| JP4512824B2 (en) | Image processing apparatus and program used therefor | |
| JP6363575B2 (en) | Image alignment apparatus and method, and program | |
| JP5866346B2 (en) | A method to determine joint bone deformity using motion patterns | |
| JP2003144454A (en) | Joint operation support information computing method, joint operation support information computing program, and joint operation support information computing system | |
| CN111494009A (en) | Image registration method and device for surgical navigation and surgical navigation system | |
| US10078906B2 (en) | Device and method for image registration, and non-transitory recording medium | |
| Muhit et al. | Image-assisted non-invasive and dynamic biomechanical analysis of human joints | |
| ES2959430T3 (en) | Deformation correction | |
| CN109523625B (en) | Ligament length quantification method | |
| KR101988531B1 (en) | Navigation system for liver disease using augmented reality technology and method for organ image display | |
| JP6943884B2 (en) | Hybrid X-ray / camera intervention motion compensation | |
| Avşar et al. | Automatic 3D modeling and simulation of bone-fixator system in a novel graphical user interface | |
| WO2022229816A1 (en) | 3d reconstruction of anatomical images | |
| JP7172086B2 (en) | Surgery simulation device and surgery simulation program | |
| JP4572294B2 (en) | Image processing program and image processing method | |
| CN110428483B (en) | Image processing method and computing device | |
| US20240185509A1 (en) | 3d reconstruction of anatomical images | |
| KR102367095B1 (en) | A method for preparing 3d bone model reflecting 2d image of target bone and a 3d bone model prepared thereby | |
| TWI786667B (en) | Method and device for generating three-dimensional image data of human body skeletal joints | |
| Goodsitt | Patient-specific technology for in vivo assessment of 3-D spinal motion | |
| Avşar et al. | Informatics in Medicine Unlocked | |
| Aranova et al. | Biomechanical analysis and visualization tool of human morphological and motion data | |
| Akter | Multimodal Medical Image Registration Algorithms for the Kinematic Analysis of Knee Joints |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070326 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20091208 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100204 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100413 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |