JP4495926B2 - X線立体再構成処理装置、x線撮影装置、x線立体再構成処理方法及びx線立体撮影補助具 - Google Patents
X線立体再構成処理装置、x線撮影装置、x線立体再構成処理方法及びx線立体撮影補助具 Download PDFInfo
- Publication number
- JP4495926B2 JP4495926B2 JP2003189673A JP2003189673A JP4495926B2 JP 4495926 B2 JP4495926 B2 JP 4495926B2 JP 2003189673 A JP2003189673 A JP 2003189673A JP 2003189673 A JP2003189673 A JP 2003189673A JP 4495926 B2 JP4495926 B2 JP 4495926B2
- Authority
- JP
- Japan
- Prior art keywords
- ray
- marker
- image
- image area
- markers
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003384 imaging method Methods 0.000 title claims description 85
- 238000012545 processing Methods 0.000 title claims description 71
- 238000003672 processing method Methods 0.000 title claims description 13
- 239000003550 marker Substances 0.000 claims description 122
- 238000010521 absorption reaction Methods 0.000 claims description 19
- 238000000605 extraction Methods 0.000 claims description 19
- 239000007787 solid Substances 0.000 claims description 8
- 238000012937 correction Methods 0.000 claims description 4
- 239000000284 extract Substances 0.000 claims description 2
- 238000000034 method Methods 0.000 description 88
- 230000008569 process Effects 0.000 description 49
- 239000000758 substrate Substances 0.000 description 21
- 239000000463 material Substances 0.000 description 19
- 239000013598 vector Substances 0.000 description 17
- 239000011159 matrix material Substances 0.000 description 15
- 238000002595 magnetic resonance imaging Methods 0.000 description 13
- 238000004364 calculation method Methods 0.000 description 12
- 238000013170 computed tomography imaging Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 11
- 230000007246 mechanism Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 10
- 238000005259 measurement Methods 0.000 description 10
- 238000001514 detection method Methods 0.000 description 9
- 238000001356 surgical procedure Methods 0.000 description 9
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 5
- 229910052782 aluminium Inorganic materials 0.000 description 5
- 210000004204 blood vessel Anatomy 0.000 description 4
- 210000000988 bone and bone Anatomy 0.000 description 3
- 210000004556 brain Anatomy 0.000 description 3
- 210000004720 cerebrum Anatomy 0.000 description 3
- 239000000470 constituent Substances 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 239000000126 substance Substances 0.000 description 3
- 210000001519 tissue Anatomy 0.000 description 3
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 2
- XEEYBQQBJWHFJM-UHFFFAOYSA-N Iron Chemical compound [Fe] XEEYBQQBJWHFJM-UHFFFAOYSA-N 0.000 description 2
- 239000011358 absorbing material Substances 0.000 description 2
- 238000002583 angiography Methods 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 229910052802 copper Inorganic materials 0.000 description 2
- 239000010949 copper Substances 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 229910001220 stainless steel Inorganic materials 0.000 description 2
- 239000010935 stainless steel Substances 0.000 description 2
- 239000004925 Acrylic resin Substances 0.000 description 1
- 229920000178 Acrylic resin Polymers 0.000 description 1
- 208000004434 Calcinosis Diseases 0.000 description 1
- 229920000049 Carbon (fiber) Polymers 0.000 description 1
- 238000012952 Resampling Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 239000004917 carbon fiber Substances 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000002490 cerebral effect Effects 0.000 description 1
- 238000002591 computed tomography Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000003795 desorption Methods 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 229910052742 iron Inorganic materials 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- VNWKTOKETHGBQD-UHFFFAOYSA-N methane Chemical compound C VNWKTOKETHGBQD-UHFFFAOYSA-N 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000035699 permeability Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/58—Testing, adjusting or calibrating thereof
- A61B6/582—Calibration
- A61B6/583—Calibration using calibration phantoms
- A61B6/584—Calibration using calibration phantoms determining position of components of the apparatus or device using images of the phantom
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Engineering & Computer Science (AREA)
- Radiology & Medical Imaging (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Optics & Photonics (AREA)
- Pathology (AREA)
- Physics & Mathematics (AREA)
- High Energy & Nuclear Physics (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Description
【発明の属する技術分野】
本発明は、撮影方向の異なる複数のX線画像から複数断面の断層画像(立体画像データ又はボリュームデータともいう)を再構成するX線立体再構成処理装置、X線撮影装置、X線立体再構成処理方法、及びX線立体撮影補助具に関する。
【0002】
【従来の技術】
いくつかの方向から撮影したX線画像を使って複数断面の断層画像、つまり立体像(ボリュームデータ)を作成する技術として、DT(Digital Tomosynthesis)がある。このDTでは複数の方向からX線画像を撮影し、それらX線画像を使い演算処理によって断層画像を再構成する。X線源とX線検出器の間にX線吸収物質が存在しないとき、X線検出器のある素子に強度S0のX線が照射されるとする。このS0は実際に被検体を置かずにX線を曝射してX線画像を撮影することにより計測することができる。
【0003】
X線源とX線検出器の間にX線吸収物質が存在すれば、X線検出器に入射するX線の強度Sは、吸収率μの物質中を通る投影経路の長さLに応じて、S=S0e−μLの様に減衰する。吸収率が不均一であれば、
【数1】
となる。ここで、∫dsはX線源からX線検出器までの投影経路に沿った積分であり、μ(r(s))は投影経路上各点での吸収率である。このSは実際に被検体をX線源とX線検出器の間に配置して撮影することにより計測することができる。本提案書では被検体を撮影したX線画像をSi(u)、被検体を置かずに撮影したX線画像をSi 0(u)のように記す。i=1,2,..,Nは撮影方向を表す番号であり全部でNプロジェクションとする。u=(u1,u2)TはX線検出器上の2次元座標である。
【0004】
DTにおける典型的な断層画像の再構成処理は次のようなものである。まず、各プロジェクションおよびX線検出器上の各位置においてgi(u)=−1n(Si(u)/Si 0(u))を算出する。このように算出したgi(u)はX線吸収率μを投影経路に沿って積分したものとなる。具体的にはgi(u)は次に様にあらわされる。
【0005】
【数2】
【0006】
ここで、ri sはi番目のプロジェクションにおけるX線源の位置、ri d(u)はX線検出器上の点uのi番目のプロジェクションにおける位置である。プロジェクション毎にX線検出器の位置が変わるので、ri d(u)は、プロジェクション毎にかわることに注意が必要である。この積分方程式を逆に解いてgi(u)からμ(r)の画像を作成することが再構成処理である。ri d(u)をX線検出器平面上の基底ベクトルui 1とui 2を用いて
【数3】
の様に表されるとすると、任意の位置rはu,v,sを用いて、
【数4】
と表される。上式はX線検出器座標uからボリューム座標rへの座標系の変換ととらえることができる。投影演算Pi(r)はこの逆にX線検出器上の座標uを求める演算であり、
【数5】
と表すことができる。
【0007】
バックプロジェクションによる再構成処理は位置rの画素値y(r)を
【数6】
により計算する処理である。上式を計算機によりデジタル処理で計算することにより、一回のスキャンにより得られたN枚の撮影画像から、複数の断面の断層画像(ボリュームデータ)を作成することができる。
【0008】
他の類似の技術にRA(rotation angiography)がある。RAにはCアームを用いたX線撮影システムを用い、通常は動脈造影を行いながらCアームを少なくとも180度回転させてX線画像を撮影する。これら複数のX線画像を用いて再構成処理を行い、立体画像を作成する方法である。本方法には再構成処理にはX線管球およびX線検出器の軌道を計測するキャリブレーション処理が必要である。被検者での撮影の際は、キャリブレーション時と同じスキャン動作をさせて撮影する。このときの軌道はキャリブレーション時とほぼ同じであることを期待し、再構成の際はキャリブレーションで計測した軌道データを用いて再構成を行う。
【0009】
上記DTなどの再構成処理にはX線管球とX線検出器の正確な位置が必要であるが、通常、スキャン時には機械的なブレが存在するため、分解能が低下してしまうという問題がある。
【0010】
また、撮影したい領域の近傍に手術器具などX線吸収率の高い構造物が存在すると、再構成した画像に大きなアーチファクトが重畳する。
【0011】
【発明が解決しようとする課題】
本発明の目的は、X線画像の再構成処理における分解能の低下を抑制することにある。
【0012】
【課題を解決するための手段】
本発明のX線立体再構成処理装置は、X線管球及びX線検出器により撮影された、被検体の像と共に、前記被検体近傍に設置された周囲に比較してX線吸収率の高い又は低い複数のマーカーの像を含む複数のX線画像を記憶する手段と、前記X線画像各々から閾値処理により前記マーカーの像領域を抽出する抽出手段と、前記抽出されたマーカーの像領域の位置に基づいて、前記閾値処理では抽出不能のマーカーの像領域の位置を推定する推定手段と、前記抽出されたマーカーと前記推定されたマーカーの像領域内の画素値を、任意の値に置き換える手段と、前記抽出されたマーカーと前記推定されたマーカーの像領域の位置から、前記X線管球の位置及び前記X線検出器の位置を前記X線画像ごとに計算する手段と、前記X線管球の位置及び前記X線検出器の位置に基づいて、前記マーカーの像領域内の画素値を任意の値に置き換えたX線画像から複数の断層画像を再構成する手段とを具備する。
【0013】
【発明の実施の形態】
本実施形態には、複数の角度から撮影したX線画像から複数断面の断層画像、つまり立体画像(ボリュームデータ)を再構成するX線立体再構成処理装置、そのX線再構成処理機能を有するX線撮影装置、そのX線立体再構成処理方法、そのX線再構成処理に利用する撮影補助具という様々な局面が含まれる。本実施形態により提供される新規な再構成処理により、高分解能化を実現し得る。この高分解能化は、各画像の撮影時のX線管球及びX線検出器の位置を高精度に特定することにより達成され、さらにその為に本実施形態ではX線立体撮影補助具を使用する。そのX線立体撮影補助具には既定位置にマーカーが形成されており、X線画像により同定できるマーカーの位置関係によりX線管球及びX線検出器の位置を高精度に特定することができるものである。しかし、X線画像にマーカーの像が残存した状態では、X線画像から再構成した立体像にはアーチファクトが生じてしまう。X線管球及びX線検出器の位置を高精度に特定するためにはマーカーの像の有るX線画像が必要とされ、その一方で、アーチファクトのない立体像の再構成には、マーカーの像のないX線画像が必要とされる。しかし、両画像を別時刻に撮影することは、スキャン機構の機械的精度に依存して、X線管球及びX線検出器の位置誤差が発生してしまう。本実施形態では、マーカーの像を除去する画像処理方法を提供することにより、X線立体撮影補助具と被検体との同時撮影を可能にしている。さらにこの除去技術を応用して、撮影したX線画像に写りこんだ視野周辺の人工的な高吸収構造物(脳外科手術の際の頭部固定フレームなど)を除去することにより、アーチファクトの低減を促進している。
【0014】
本実施形態の典型的な処理手順の概要としては、
(1)X線に写るマーカーを備えるX線立体撮影補助具を被検体の撮影対象部位に被せ、被検体と一緒に複数の角度(例えば100種類)からX線撮影を繰り返す、
(2)X線画像上のマーカー像と、不要に写りこんだ高吸収率の高い手術器具等の像を自動認識する、
(3)マーカー像の位置から、撮影時のX線検出器とX線管球の位置を算出する、
(4)認識した手術器具とマーカーの像領域をそれらの周囲の画素値で埋め戻す(マスキング)、
(5)X線画像にフィルタ処理を施した後、算出したX線管球/X線検出器位置に基づいて、位置補正処理を行なった後、バックプロジェクションを行ないボリュームデータを再構成する、
(6)ボリュームデータから任意断面の断層像を生成する、
という流れである。
【0015】
以下本実施形態を詳細に説明する。
図1に示すように、本実施形態に係るX線撮影装置は、X線管球27がX線平面検出器29とともに、アーム支持機構33により移動及び回転自在に支持されるアーム31に取り付けられている。アーム31の自由な動きにより、X線管球27及びX線平面検出器29により任意の位置及び角度で、寝台の天板37上の被検体を撮影することができる。立体撮影制御装置41は、角度計測器35により計測されたアーム31の角度を監視しながらX線管球27とX線検出器29がそれぞれ任意の軌道を描くようにアーム支持機構33を制御するとともに、その軌道上の複数の位置でX線撮影が繰り返されるようにX線発生装置39を制御してX線を発生させる。繰り返されるX線撮影によりX線検出器29で生じた複数のX線画像のデータに基づいてX線立体再構成処理装置43により立体像データが再構成される。
【0016】
図2に示すように、X線立体再構成処理装置43は、制御部1を中心として、データ/制御バス23に、制御部1、インタフェース3、画像記憶部5、対数演算部7、マーカー同定部9、位置計算部11、マスク生成部13、埋め戻し部15、再構成部17、画像処理部19、表示部21が接続されてなる。画像記憶部5には、X線検出器29から出力され、そして対数演算部7で対数演算にかけられた複数のX線画像のデータが記憶される。複数のX線画像は相互に、撮影時におけるX線検出器29の位置、X線検出器29の位置、X線検出器29の方向の少なくとも一つが相違する。なお、X線画像には、被検体の像と共に、撮影時に被検体に装着されたX線立体撮影補助具の複数のマーカーの像が含まれる。マーカー同定部9は、しきい値処理によりX線画像ごとにマーカーの像領域を抽出する機能と共に、抽出したマーカーの像領域の位置から、しきい値処理により抽出不能なマーカーの像領域をX線立体撮影補助具内のマーカーの既定の位置関係に基づいて特定する機能を備えている。マーカー同定部9の前者の機能は、マーカーの像領域と共に、マーカー以外のX線吸収率の高い例えば手術器具等の像領域を、マーカーの像領域と区別して抽出することを可能にしている。
【0017】
マスク生成部13は、同定されたマーカーの像領域及び抽出されたマーカー以外の手術器具等の像領域を埋め戻すために用いられるマスクをX線画像毎に生成する。マスクは、同定されたマーカーの像領域及び抽出されたマーカー以外の手術器具等の像領域と同一の輪郭を有し、マスク内の複数の画素の画素値には、任意の値、典型的には同定されたマーカーの像領域及び抽出されたマーカー以外の手術器具等の像領域の周辺の画素の画素値の近似値、ここでは周辺の画素の画素値から計算された値が適用される。同定されたマーカーの像領域及び抽出されたマーカー以外の手術器具等の像領域の画素値を、マスクの対応する画素の画素値に置き換えることにより、同定されたマーカーの像領域及び抽出されたマーカー以外の手術器具等の像領域が、周辺にほぼ同化する。このような周辺に同化させる処理をここでは埋め戻し処理と称する。この処理は埋め戻し部15により実行される。
【0018】
位置計算部11は、同定された複数のマーカーの像領域の位置関係から、X線管球27の位置(X線焦点位置)、X線検出器29の位置(X線検出面中心の位置)、X線検出器29の方向(X線検出面に垂直な方向)をX線画像毎に計算する。再構成部17は、位置計算部11でX線画像毎に計算されたX線検出器29の位置、X線検出器29の位置、X線検出器29の方向に基づいて、X線検出器29の位置、X線検出器29の位置、X線検出器29の方向の少なくとも一つが相違する複数のX線画像から立体像のデータ(ボリュームデータ)を再構成する。画像処理部19は、再構成されたボリュームデータから、表示のための2次元画像、例えば任意断面の断層画像を生成する。生成された断層画像等は表示部21のディスプレイに表示される。
【0019】
図3(a)、図3(b)に示すように、X線立体撮影補助具45は、比較的高いX線透過性と、可視光に対する比較的高い透明性とを有する材料、例えばアクリル樹脂で形成された被検体の少なくとも一部分を収容するコ字形のカバー47を有している。カバー47の一側面は、カバー47と異なるX線吸収率、実際にはカバー47より高いX線吸収率を有する材料、例えばアルミで形成された第1の基板54で形成される。第1の基板54には、第1の基板54よりも高いX線吸収率を有する材料、例えば鉛で形成された複数のマーカー(第1のマーカー)51が縦横に規則的に貼り付けられている。アルミ製の第1の基板54の厚さは0.5mmないし2mm、鉛製の第1のマーカー51は0.5mmないし2mmの直径を有する。第1の基板54は、アルミ板に代えて、ステンレススチール又は銅など他の材料性であっても良い。また、第1のマーカー51は、鉛製でなくても、鉄又は銅、ステンレススチールなど他の材料性であっても良い。第1のマーカー51の形状は、典型的には円板又は球であるが、四角形、錐形等他の形状であっても良い。
【0020】
カバー47の反対側の側面は、第1の基板54と同じ材料であって、同じ厚さの第2の基板49で形成される。第2の基板49には、複数の穴53が第2のマーカーとして縦横に規則的に開けられている。第2のマーカー53は、第1のマーカー51と同じ0.5mmないし2mmの直径を有する。第2のマーカー53は、典型的には第1のマーカー51と同じ形状であるが、相違する形状であっても良い。
【0021】
この箱状のX線立体撮影補助具45が有する主な機能は、X線画像上で特定可能なマーカーを被検体の近傍に設置することにあるが、それと共に撮影中の術野を保護するX線フィルタとしての役割もかねているためその目的のために好ましい材料で製作すれば良い。X線立体撮影補助具45において最も重要なことの一つには、これらの第1,第2のマーカー51、53のそれぞれの取り付け位置が正確であることである。全ての第1,第2のマーカー51、53の3次元的な位置が知られていることが必要である。便宜上、これらの座標はX線立体撮影補助具45の中心に原点を取ってあらわすと良い。撮影したX線画像には第1マーカー51は低輝度(黒)、第2マーカー53は高輝度(白)として相互に区別可能でしかも生体陰影とは明らかに輝度が相違する陰影として映る。
【0022】
これらマーカー51,53はX線画像上で明らかに異なった陰影を持つため、後述の位置合わせ処理において、撮影した画像からX線検出器側のマーカー、例えば第1マーカー51とX線管球側のマーカー、例えば第2マーカー53とを区別して抽出することが容易になり、両者を誤認することにより起こる大きな位置合わせ誤差が発生しなくなり、位置合わせ精度を向上させ、その結果、再構成画像(再構成画像)の解像度を向上することができるという効果がある。また、アルミ製の基板54,49はX線フィルタの役割を果たし被検体に入射する高エネルギーのX線を低減するため、患者の被曝を低減する効果がある。
【0023】
本実施形態の特徴の一つには、このX線立体撮影補助具45を被検体にかぶせた状態でX線画像を撮影し、そうして撮影したX線画像は、後述するX線管球の位置合わせ処理にも、また再構成処理にも用いることである。そのため、被検体に取り付けるための機構が必要になる。
【0024】
図4は脳外科の手術中に撮影する場合の例で、カバー47の内部にはその底部から支柱59を介して手術時の頭部固定用のU字形のフレーム55が配置される。支柱59はカバー47の底部にネジ63で固定され、その支柱59の上にフレーム55がネジ57で固定される。フレーム55の材料にはカーボンファイバーなどX線透過性の高い材料が選択される。
【0025】
この術中撮影用のX線立体撮影補助具45は主にX線管球27の位置、X線検出器29の位置及びX線検出器29の方向を計算する処理のためのマーカー51,53を被検体に対して固定的な位置に設置するための機構であるが、手術用フレーム55を取り付ける機構が備えられているため、単に被検体にかぶせるだけでは避けられない撮影中の被検体とマーカー51,53の位置ずれをほとんどなくすことが可能になり、撮影中のマーカー51,53の位置ずれによる再構成画像の解像度の劣化を最小に抑えることができるという効果を奏することができるとともに、被検体が覆われているために撮影のための作業を実施する際に不注意や何らかのに事故により術野を損傷することを防止できるという重要な効果がある。カバーは術野の損傷を防止することが目的であるから、密閉容器である必要はなく、柱状の部材を組み合わせて構成されたものであってもその効果は十分に得ることができる。また、容易に取り外しが可能であるため、撮影時以外は取り外すことにより、術者の作業の障害になることが無いという特徴がある。さらに、一旦とりはずした後に再度取り付けても取り付け位置をほとんど同じにすることができるため、立体撮影により得られた再構成画像は複数回の撮影においても被検体がほとんど同じ位置に再構成されるため、手術による被検体の変化を正確に比較することが可能になり、術前術後の治療効果を正確に判断できるようになるという特徴がある。このように、X線立体撮影補助具45は術中撮影の際に重要な機能を複数の併せ持つものとなっている
なお、本X線立体撮影補助具45はX線立体撮影の際に用いるものであるが、術中CT(X線コンピュータ断層撮影)、術中MRI(磁気共鳴映像化)の撮影の際にも本X線立体撮影補助具45の術野保護の機能および位置合わせマーカー51,53の機能は有用である。CT又はMRIの撮影の際は、アルミ製の基板49,54をカバー47から取り外し、その代わりに図5に例示するように、CT又はMRI用のマーカー77を取り付ける。カバー47には基板49,54を取り付けるためのフック65,67が構成され、基板49,54をフック65,67に配置してネジ73,75で締めることで基板49,54をカバー47に一体化することができる。また、ネジ73,75を外すことで、基板49,54をカバー47から容易に取り外すことができる。これら基板49,54と同形及び同寸法の基板81に支柱83を介してCT又はMRI用のマーカー77が支持されている。カバー47に対して基板49,54をCT又はMRI用の基板81に容易に取り替えることが可能である。このように、脱着機構により、CT又はMRIの撮影の際には、CT/MRIの撮影に障害になる基板49,54等の構造物を取り外し、代わりにCT又はMRI用のマーカー77を基板81とともに再現性良く取り付けることができるため、X線立体撮影で撮影した画像と、CT/MRIで撮影した画像とを高精度に位置合わせすることが可能になる。そのため、術前に一般のCT/MRIで撮影した画像や手術直前に撮影したCT/MRIの画像により術野を含む広い範囲の構造と、術中にX線立体撮影で撮影した術野(患部)の画像を高い位置精度で重ね合わせることにより、刻々と変化する術野およびその周辺の状況を正しく判断することが可能になるという効果がある。
【0026】
図6には、本実施形態の処理手順を示している。まず、天板37上に載置された被検体のここでは頭部にX線立体撮影補助具45を装着する(S1)。そしてスキャン軌道、撮影枚数、管電圧、管電流等の撮影条件設定後に、スキャン、つまり被検体に対してX線管球27及びX線検出器29をスキャン軌道に沿って連続的又は断続的に移動しながら、複数の位置で撮影が繰り返される(S2)。図7(a)はループスキャン軌道を示し、図7(b)はコプラナースキャン軌道を示している。撮影枚数としては典型的には約100枚である。このとき、各撮影時のX線管球27のおよその位置、X線検出器29のおよその位置及びX線検出器29のおよその方向は角度計測器35等の出力により計測されている。しかし、これらはあくまでも設計上の値またはX線管球27等を回転させるためのアーム支持機構33のモータの回転を計測した結果に基づいて計測した値であり、アーム31の振動等の不測の要因により実際の位置とはずれが存在する。そこで、撮影時には被検体の周囲に位置計測用のマーカー51,53を被検体に対して固定した位置に配置し、これらが各X線画像上でどのように撮影されるかによって、X線管球27の位置、X線検出器29の位置及びX線検出器29の方向の正確な値を求める処理を行う。
【0027】
上記S1において被検体の術野(例えば頭部)を覆うようにX線立体撮影補助具45を設置し、X線画像の撮影を行うことにより次の(a)乃至(d)の情報が得られている。(a)のX線画像に対してノイズ除去や画像の血管の補正など必要な処理があればこれ以前で実施しておく。
(a)X線画像Si(u)とそのときの撮影条件(管電流、管電圧など)
(b)X線管球の位置ri S
(c)X線検出器の面上に定められた原点の位置はri d(0,0)
(d)X線検出器の向き(X線検出器平面上の基底ベクトルui 1,ui 2)
S2において撮影された複数のX線画像のデータは、対数演算部7を経由して画像記憶部5に記憶される。対数演算は、X線の減衰はパス長に対して指数関数的に変化するので、それを線積分値に変換するための通常の処理であり、次の式に従って計算される。
【0028】
【数7】
【0029】
Si 0(u)は被検体、基板49,54、マーカー51が存在しない状態で撮影したX線画像である。これは今回の撮影以前の適当な時期に同じ撮影条件であらかじめ撮影し、画像記憶部5に保管しておいたものである。
【0030】
対数演算された各X線画像から、マーカー51,53の像領域がマーカー同定部9により抽出される(S3)。図8(a)はマーカー51,53とともに撮影した被検体の対数演算されたX線画像を示している。マーカー同定部9の抽出機能は、まず、各X線画像に対してハイパスフィルタ処理を実施し、次にヒステリシススレッショルドを用いてマーカー51,53の像領域の候補を抽出する。ヒステリシススレッショルドは2つのスレッショルドTu、Tlを用いてTl以上の画素値を持つ領域の各々の連結領域のうちTu以上の画素値をひとつでも持つ領域を抽出する処理である。第1マーカー51の像領域と第2マーカー53の像領域は、たがいに異なる輝度に撮影されているので、別の閾値を適用して抽出することで、容易に区別することができる。次に、各連結領域について、円形度や面積によって、第1マーカー51の像領域と第2マーカー53の像領域としてふさわしい領域のみを選別する。この処理も第1マーカー51の像領域と第2マーカー53の像領域に対して異なる基準で選別する。このように抽出した第1マーカー51の像領域と第2マーカー53の像領域を図8(b)に示している。
【0031】
次に、位置計算部11により、抽出された複数のマーカー51,53の像領域の平均の位置が算出される(S6)。マーカー51,53の位置は例えば画像の中央を原点とした座標系で表される。以上のマーカー抽出処理により、(e)第1マーカー51の座標ui b,k((k=1..Ni b))、第2マーカー53の座標ui w,k((k=1..Ni w))が得られる。このマーカー51,53の像領域の位置に基づいて、X線管球27の位置、X線検出器29の位置及びX線検出器29の方向が計算される。
【0032】
上述したように、第1マーカー51と第2マーカー53の取り付け位置は既知である。従って、投影演算をすることにより各マーカー51,53のX線検出器29上の位置、すなわち画像上の位置を推定することができる。例えば、第2マーカー53の取り付け位置をrw,k(k=1..Nw)とすると画像上の第2マーカー53の位置はPi(rw,k)であり、第1マーカー51の取り付け位置をrb,k(k=1..Nw)とすると画像上の第1マーカー位置はPi(rb,k)である。この投影演算にはX線管球27の位置ri s、X線検出器29の検出面上に定められた原点の位置ri d(0,0)、X線検出器29の検出面上の基底ベクトルui 1,ui 2に対する推定値r〜i s,ri d(0,0)、u〜i 1、u〜i 2が用いられる。これらが仮に正しい値だとすると、次の位置ずれ基準(位置ずれ指標値)は小さな値、ゼロに近似する。
【0033】
【数8】
【0034】
従ってこの位置ずれ基準cが最小になるように、r〜i s,ri d(0,0),u〜i 1,u〜i 2を決めれば、正しいX線管球27の位置、X線検出器29の位置が求められる。しかし、これらは多くの変数からなるため、少ない数のマーカー位置だけでは精度良く位置を求めることができない。そこで、r〜i s,ri d(0,0),u〜i 1,u〜i 2をより少ないパラメータにより表現して、そのパラメータを推定するのが良い。以下はこれらのパラメータの候補であり、以下のうち、少なくとも一つを選択してパラメータとするのが好ましい。各パラメータについては図9(a)、図9(b)に示されている。図9(a)はループスキャンの例、図9(b)は コプラナースキャンの例を示している。
【0035】
・スキャン中心座標(X線管球−X線検出器間の投影直線上の点でスキャン中動かないはずの点(不動点))
・X線管球27とX線検出器29との間の距離
・投影軸とX線立体撮影補助具45の角度関係を表す直交3軸に対する3つの角度
・X線検出器−スキャン中心間距離
・投影振り角度
・撮影間(画像間)のスキャン回転角度
・各撮影毎の追加の平行移動量とX線検出器角度補正量
上6つのパラメータはスキャン全体で1セットの量であるが、最後のパラメータは1撮影で1セットの量である。
【0036】
これらパラメータを変化させて位置ずれ基準cを最小にする処理は、既存の最適化アルゴリズムを用いれば良い。その様にして得られたパラメータから次の位置合わせ結果として、
・X線管球27の位置r〜i s
・X線検出器29の面上に定められた原点の位置r〜i d(0,0)
・X線検出器29の平面上の基底ベクトル(方向)u〜i 1,u〜i 2
が計算される。
【0037】
なお、X線管球27の位置およびX線検出器29の位置はX線立体撮影補助具45に定められた基準点を原点とした座標系(画像上の座標系に対して絶対座標系という)で表される。
【0038】
次に、マーカー51、53の像領域の埋め戻し処理(S4,S5)、つまりX線画像に写りこんでいるマーカー51,53の像領域を各X線画像から除去する処理について説明する。本実施形態の特徴の一つは、被検体の撮影と位置合わせマーカー51,53の撮影とを同時に行い得る点にある。そのためには必然的に、マーカー51,53が写りこんでいるX線画像を用いて被検体の再構成処理を行うことになる。しかし、これらX線画像上のマーカー51,53の像領域は再構成結果に重大なアーチファクトを生成する(図10(a)参照)。再構成画像中に黒い点(矢印)が散在するのが見られるが、それらはマーカー51,53の像領域の影響によるアーチファクトである。このようなアーチファクトは、骨の中の小穴や組織の溝構造、組織中の小病変と類似することがあり、読影上の大きな障害になる。図10(b)は後述するマーカー51,53の像領域の埋め戻し処理を適用したX線画像から再構成処理により生成した画像例であり、紛らわしいアーチファクトがなくなっている事がわかる。
【0039】
マーカー51,53の像領域の埋め戻し処理の最も簡単な方法は、上述の抽出処理にて抽出されたマーカー51,53の像領域を用いる方法である。抽出したマーカー51,53の像領域と同一形状及び同一サイズにマスク領域を設定し、マスク領域内の画素値をその周辺画素の画素値から生成し、その周辺画素の画素値から生成した値にマーカー51,53の像領域内の画素の画素値を置き換える、つまりマーカー51,53の像領域内の画素の画素値を周辺画素値から補間する。それによりマーカー51,53の像領域を除去する、つまりマーカー51,53の像領域をその周囲に実質的に同化させることができる。
【0040】
図11(a)、図11(b)は、補間による埋め戻し処理を説明する図である。図11(a)は抽出したマーカー51,53の像領域を模式的に表したものである。マーカー51,53の像領域に対してすぐ外側で隣接する画素の画素値とほぼ同じ画素値に、マーカー51,53の像領域内部の画素値を置き換えることによりマーカー51,53の像領域を周辺に対して実質的に同化させるが、なるべく領域の境界が目立たないようにしたいため、図11(b)の例では横方向に線形補間、つまり左右の画素の画素値を、埋め戻し対象画素からの距離に応じて加重加算処理して領域の境界が目立たなくなるようにしている(縦方向でも良い)。補間の方法としては、他に様々な方法が考えられる。一例として周囲の画素値を境界条件として領域内でラプラス方程式を解く方法がある。この方法では縦方向横方向に関係なく領域全体にわたって滑らかな画素値で埋めることが可能になる。また、マスク領域内を距離変換し、境界から最も遠い画素(中心画素)に周囲の画素の画素値の平均値を与え、領域内の他の画素においては周囲の画素の中心画素との間で距離を補間関数として画素値を補間する方法もある。本方法はラプラス方程式を解く方法と同様に滑らかな画素値で埋めることができ、ラプラス方程式の方法より高速に補間を行うことができる。
【0041】
なお、上記の方法ではマーカー51,53の像領域の抽出結果に基づいて埋め戻し処理を行っているので、骨等の影になる等の原因により、しきい値処理にて抽出不能のマーカー51,53の像領域は埋め戻すことができず、これらは小さなアーチファクトを生成するという問題がある。このような問題を改善するための方法を次に説明する。この方法では、X線立体撮影補助具45に対して複数のマーカー51,53は固定されているので、X線立体撮影補助具45の中心を原点とした絶対座標系上での全てのマーカー51,53の座標は既知であることを利用する。従って抽出されたマーカー51,53の像領域の位置から計算されたX線管球27の位置r〜i s、X線検出器29の原点ri d(0,0)、X線検出器29の検出面の基底ベクトルu〜i 1,u〜i 2に基づいて、その位置及び方向からX線立体撮影補助具45を撮影した場合の全てのマーカー51,53の像領域、つまり抽出されたマーカー51,53の像領域とともに、抽出不能であったマーカー51,53の像領域の位置を計算することができる。なお、本実施形態では、抽出処理と、X線管球27の位置、X線検出器29の位置及びX線検出器29の検出面の方向から計算する処理とを併用して、全てのマーカー51,53の像領域を特定することを、マーカー51,53の位置を同定すると称している。単に抽出処理の結果のみに基づいてマーカーの位置を同定する構成も可能であるが、抽出できないマーカーが存在すると、このマーカーを埋め戻すことができないため、高精度の抽出処理を用いる場合に好ましい構成である。
【0042】
さらに、画像上に写るマーカー51,53の像領域の大きさはほぼわかっているので、これより少し大きい領域(通常は円)をPi(rw,k)またはPi(rb,k)の位置に配置して、画像上のマーカーのマスク領域とする。以降の補間処理は、前述の処理と同様である。
【0043】
図12(a)、図12(b)、図12(c)は本方法の処理結果の一例である。図12(a)では、抽出されていないマーカー51、53の像領域が存在することがわかる。しかし、そのような抽出されなかったマーカー51、53の像領域を含めて全てのマーカー51,53に対して、対応する位置及び範囲にマスク領域が設定され(図12(b))、全てのマーカー51,53が埋め戻されている(図12(c))。このように本方法によれば、マーカー51,53の像領域として抽出不能であった他のマーカー51、53の像領域も埋め戻すことができ、マーカー51、53の像領域に起因するアーチファクトを全て除去することができるという効果がある。厳密にはマーカー51、53の像領域の埋め戻し処理は本来のX線画像を完全に再現する処理ではない。しかし、マーカー51、53の像領域の埋め戻しによる影響は再構成結果においては1/n(nはプロジェクション数(撮影枚数))に低減される。つまり、100枚のX線画像から再構成処理を行えば、アーチファクトの出現程度を、1/100に低減させることができる。従って実用上はほとんど影響が無いといえる。
【0044】
マーカー51,53が被検体とともに撮影されたX線画像からの再構成処理は臨床上大きな問題があり、位置合わせマーカー51,53と被検体の同時撮影は、マーカー51、53の像領域の埋め戻し処理を行うことにより、実質上はじめて可能になったといえる。被検体をマーカー51,53と別々に撮影する従来の方法では、機械的再現性の限界から撮影毎のX線検出器29及びX線管球27の構造的なぶれが存在し、解像度を向上させる上で限界が存在した。本実施形態では、マーカー51,53の像領域の埋め戻し処理によりマーカー51,53を被検体と同時に撮影することが可能になり、X線検出器29及びX線管球27の機械的位置再現性の問題が原理的に解決されている。その結果、再構成画像の解像度が大幅に向上し、微細な血管の描出、微小石灰化の描出、骨内部の微細構造の描出など新たな臨床上の価値を生む可能性が出てきた。図13には本実施形態を適用して得た脳血管のファントムのボリュームデータから画像処理部19で生成した最小値投影画像(MIP)の例を示している。この例では、0.5mmの模擬血管が立体的に描出されていることが分かる。
【0045】
上述したマーカー51,53の像領域の埋め戻し処理は、マーカー51,53以外の他の強コントラストを示す高吸収物質、例えば手術器具の像を埋め戻すことに応用され得る。術中の撮影に用いる場合は必要に応じて高吸収物質の埋め戻し処理を実施する。脳外科の術中においては、頭部を固定する手術用フレーム55や被検体へのアプローチ経路を確保するための脳べらなど、被検体の組織と比べてX線の透過性が著しく低い構造物が多数存在する。これら高吸収構造物が撮影したX線の視野内に存在すると、上述したマーカー51,53の像領域と同様に再構成画像に大きなアーチファクトを生じさせてしまう。これを避けるためには、高吸収物質が視野に入らないように撮影する必要がある。しかし、撮影したい被検体の対象部位の近傍に存在する脳べらなどをX線視野から除くためには、撮影時に一旦脳べらを外す以外に対処法が無い。しかし、これは術中のあるがままの状態を撮影したいという要求と矛盾する。本実施形態で説明する高吸収物質の埋め戻し処理は、この矛盾を解決するためのものである。
【0046】
高吸収物質の埋め戻し処理の最初のステップはX線画像から高吸収領域の像領域を抽出する処理である(図14(a)参照)。これには前述したマーカー51,53の像領域の抽出と同様にヒステリシススレッショルドを用いることができる。また、シード領域拡大処理SRG(seeded region growing)などのシードを用いる抽出方法を用いることもできる。この場合には、撮影したX線画像を表示してオペレータにより高吸収物質内のシード点(探索始点)を設定する必要がある。SRGでは、最終的な閾値は適応的に自動的に決められるためヒステリシススレッショルドより良好な抽出結果を得ることができる。抽出処理の際は撮影した複数のX線画像を厚み方向に重ね合わせて擬似的に3次元画像を作成し、3次元の抽出処理を適用するのが良い。この様にすればシード点は吸収物質が1個の場合は、撮影した複数のX線画像のなかから不要な高吸収物質が写っている画像を選び出しその画像だけでシードを指定すれば良いので操作の手数の増加を最小限にすることができる。シード点指定の追加の操作は原則的には望ましくないが、シード点を1回指定するだけであれば手数の増加はわずかであり、シードを全く用いない方法で抽出に失敗しその回復のための操作を行うよりもかえって手数が少なくなる場合もある。そのように抽出した領域に対して、領域を数ピクセル分太らせるダイレーション処理を適用する。
【0047】
次のステップは、抽出した領域に対する画素値の補間である。これには、マーカー51,53の像領域の埋め戻し処理と同様の処理を用いる。術野周辺に高吸収物質が存在する状況でX線立体撮影を行った場合、高吸収物質の埋め戻し処理を行うことにより、発生するアーチファクトを低減することができるため、前記の矛盾を解決し、術野を術中の状態そのままにして撮影することが可能になるという効果がある。全てのマーカー51,53の像領域の埋め戻し処理と高吸収物質の埋め戻し処理により、埋め戻し後のX線画像g^i(u)が得られる(図14(b)参照)。
【0048】
次に、S7において、同定したマーカー51,53の位置から計算されたX線管球27の位置、X線検出器29の位置及びX線検出器29の検出面の方向に基づいて、マーカー51,53の像領域及び高吸収物質の像領域が埋め戻された複数のX線画像から立体画像のデータ(多断面の断層画像のデータ又はボリュームデータとも称する)が再構成部17により再構成される。再構成処理に必要とされるデータは次の2つである。
(f)X線管球位置r〜i s、X線検出器の面上に定められた原点の位置r〜i d(0,0)、X線検出器平面上の基底ベクトルu〜i 1,u〜i 2
(g)埋め戻し後のX線対数画像g^i(u)
再構成処理としては従来法と同様のバックプロジェクション法を用いることができる。また、本実施形態では、後述する第1又は第2の再構成処理を採用してもよい。再構成処理の結果として、(h)再構成した結果の立体画像y(u)が得られる。この立体画像のデータから画像処理部19においてリサンプリング技術を用いた任意断層画像の作成や最小値投影処理(MIP)法を用いて表示部21に表示するための擬似的な立体画像(2次元画像)が生成される。
【0049】
第1の再構成処理としては、反復法による再構成処理である。この方法は、複数の方向から撮影した複数のX線画像からX線吸収率の3次元分布を再構成する手法のひとつである。二乗平均誤差が最小になる吸収率分布を二乗平均推定法に基づき再構成するため、フェルドカンプ(feldkamp)法などと異なり、任意のスキャン軌道で撮影した画像から再構成することが可能である。一般に不完全なスキャン軌道を用いた場合、解の一意性は保証されないが、本再構成処理方法では、解の中から二乗平均誤差が最小になる吸収率分布を選びだす。本再構成処理方法は、大次元となる測定方程式を反復法を用いて解くが、これを発展させた再構成処理方法では、単純にバックプロジェクションしたボリュームデータに3次元的なフィルタをかけるという手順を用いることで、反復なしに高速に再構成することができる。
【0050】
再構成結果のボクセルデータをベクトル形式でy、プロジェクション結果をベクトル形式でg、プロジェクション演算を行列形式でWyと表したとき、
プロジェクション過程は、
g=Wy+ε (1)
と書くことができる。εはX線画像に加わるノイズである。ここで、プロジェクション結果gの各成分は被検体の吸収率分布により減衰したX線量の割合を対数をとったものである。第1の再構成処理方法では、上記の計測方程式をもとに2乗平均推定により計測したgからyを推定する。
【0051】
当該第1の再構成処理方法について詳細に説明する。まず、ボクセルおよび投影データの1次元化処理がなされる。再構成結果のボクセルデータをベクトル形式でy、プロジェクション結果をベクトル形式でgを表したが、この表記法について説明する。
【0052】
再構成結果のボリュームの各ボクセルは3次元方向に格子状に並べられており、3つの添え字 i、j、kによって識別される。従って、これらのベクトルを一次元に並べるための並べ替えが必要になる。ここでは簡単にボクセルi、j、k (i=0..Ni−1、j=0..Nj−1、k=0..Nk−1)をi方向、j方向、k方向の順に並べる。すなわちl=i+Ni j + Ni Nj kのように並べる。ボクセルlの位置をr1としたとき、再構成結果のボクセルデータは
【数9】
と表せる。ベクトルyの次元はN=Ni Nj Nkとなる。
【0053】
投影データは2次元に並べられたX線検出器29の各検出素子の位置ip、jpとプロジェクション番号kpの3つの添え字よって識別される。ベクトルgはこれを一次元に並べたものである。投影データの添え字 ip、jp、kp (ip=0..Mi−1、jp=0..Mj−1、kp=0..Mk−1)をip方向、jp方向、kp方向の順に並べる。すなわちlp=ip+Mi jp + Mi Mj kpのように並べる。素子lpのX線検出器29の座標における位置をulPとすると、
【数10】
のように表せる。ベクトルgの次元はM=Mi Mj Mkとなる。WはM×N次元の大次元の行列となる。
【0054】
次に、反復式であるが、ノイズを無視すれば上記(1)式は、
g=Wy
のように表される。この式のWの左側にスケーリング行列S−1 g、右側にスケーリング行列S−1 yを乗じS−1 g=S−1 gWS−1 y(Sgy)のように表す。最小2乗、最小ノルム解は
【数11】
の解で与えられる。σnはX線画像の(対数)に加わる雑音の標準偏差(平均は0と仮定)。σyはボリュームデータの先見的な標準偏差である。これも平均は0と仮定しているので、σyはボリュームデータのRMSである。
【0055】
【数12】
となる。Sgは行列M次、SyはN次の正方行列である。Sgを対角行列とすると、S−1T gS−1 g=S−2 gであるから、
【数13】
が得られる。S2 yはWS−2 yの横方向の和が1となるように選ぶ。SgはS−2 gWの縦方向の和が1となるように選ぶ。すなわち、
【数14】
である。これらを用いた最終的な反復式は、
【数15】
である。
【0056】
測定ノイズεが平均0、共分散行列Rε=〈εεT〉の正規分布に従い、yがRy=〈yyT〉の正規分布に従うと仮定したとき、2乗平均誤差を最小にする解は、
【数16】
で与えられる。Rε=σ2 εI,Ry=σ2 yIの特殊な場合、解はy〜=(WTW+σ2 ε/σ2 y)−1WTgとなる。すなわち、γ2=σ2 ε/σ2 yとすると2乗平均誤差が最小になる解がえられることになる。
【0057】
次に、再構成処理アルゴリズムに関して説明するが、その処理手順を説明する前に、プロジェクションとバックプロジェクションを行なう2つの処理について説明する。まず、プロジェクション処理として、
g(n)←Wy(n−1)
と表記し、これはボリュームデータから重みwを用いてプロジェクションを行いX線画像を計算する処理である。バックプロジェクション処理は次式で表される。
【0058】
【数17】
【0059】
X線画像から重みwを用いてバックプロジェクションを行った結果の1/Npを、元のボリュームデータに加える処理である。
【0060】
第1の再構成処理は、上記2つの処理を用いて次のように実行される。
【0061】
【数18】
【0062】
次に、第2の再構成処理方法について説明する。この第2の再構成処理方法は、例えば2乗平均推定のフィルタにより実現され得る高速再構成処理である。2乗平均推定法によれば上記方程式(1)の解は、
【数19】
で与えられる。ここで、W−は推定行列、Ryはベクトルyの共分散行列、Rεはノイズεの共分散行列、gmeasは投影データの測定結果である。Ry、Rεが各々対角要素にσ2 y、σ2 εを持つ対角行列であるとすると、(3)の2つの式は、以下のように簡単化される。
【0063】
【数20】
【0064】
(4)式を用いると、処理手順は次のようになる。まず、投影データの測定結果gmeasに次のなるフィルタを施す。
【0065】
【数21】
【0066】
続いて、バックプロジェクションWTを実行する。(5)式を用いると、バックプロジェクション処理手順は次のようになる。まず、投影データの測定結果gmeasバックプロジェクションWTを実行し、続いて、バックプロジェクションで得られたボリュームデータに、次のなるフィルタを施す。
【0067】
【数22】
【0068】
どちらも、フィルタ係数は、適用するプロジェクションの画素毎、またはボリュームデータのボクセルごとに異なる。問題は、(4)式、(5)式どちらを用いてもフィルタの係数を正確に計算するためには多次元の連立一次方程式を解かなければならないことである。しかし、フィルタ係数は、隣接する画素またはボクセルでは大きく違わないことを利用すると、小数の点でのフィルタ係数を計算し、残りの点ではフィルタ係数を補間により求めることにより近似的にフィルタ係数を求めることが可能である。この際に必要となる連立一次方程式の次数は比較的小さくすることができる。
【0069】
(5)式を用いる場合を例にとると、Fyの第l行が第l番目のボクセルに施すフィルタの係数であるり、隣接するボクセルではフィルタ係数はボクセル位置分のシフトがあるのみで値自体は大きく異ならない。そこで、いくつかのボクセル位置に対応するフィルタ係数のみを求めておき、他のボクセル位置のフィルタ係数は補間によって近似的に求めることにする。各々の代表となるボクセル位置のフィルタの次元はMであるが、大きな値を持つ係数の数は限られるため、近似的には次数を大きく減らして計算することが可能である。近接するボクセルどうしの間の係数は大きな値を持つことを考えると、代表ボクセル位置を中心にi、j、kの各方向にRi、Rj、Rk個の範囲にあるR=Ri Rj Rk個のボクセルのみでフィルタ係数を算出すればよい。このように考えると、代表ボクセル位置でのフィルタ係数を算出するためには、代表ボクセルの周りのR個のボクセルのみを考えて (7)式を計算すればよく、連立一次方程式の次数をRと小さくできることがわかる。厳密には撮影ごとにスキャン軌道が異なる場合、フィルタ係数はわずかに異なるため、撮影ごとにフィルタ係数を計算し直すことが必要だが、スキャン軌道のぶれがわずかであればフィルタ係数の違いは大きくないため、あらかじめフィルタ係数を計算しておいて、撮影ごとの処理はバックプロジェクション演算とフィルタリング演算のみとすることが可能である。
【0070】
(4)式を用いる場合も同様であるが、フィルタ係数が代表ピクセルの近隣だけが大きな値となるだけでなく、他のプロジェクションの別の位置のフィルタ係数も大きな値となるため、次数を小さくした代表ボクセル位置での(6)式を導出するには複雑な計算が必要になる。また、測定ごとのスキャン軌道のがわずかであっても、そのぶれがX線検出器画素の大きさを超えてしまうとフィルタ係数が0以外となるピクセル位置が異なるため、フィルタ係数をあらかじめ算出しておくことができないというデメリットがある。そのため、第1の再構成処理方法では(5)式を用いる方法を採用している。
【0071】
ここで、小さい領域でのフィルタ係数の計算をE=WTWとしたときフィルタ係数はFy=(E+γI)−1とあらわされる。着目ボクセルi'、j'、k'の周囲Ri×Rj×Rkボクセルのみ大きな係数を持つとし、他の係数を0に近似した場合、次のように表せる。
【0072】
【数23】
【0073】
Pは着目ボクセルの近傍R個に対応する要素を先頭に並べ替えるための直交行列である。並べ替えの際、並べ替えて先頭に移動したボクセルの中央に着目ボクセルが配置されるようする。SはEの要素のうち、着目ボクセルの近傍と判断したR個の要素に関する行と列を抽出したR×R次元の行列である。
【0074】
【数24】
となるので、式(7)は小さな領域のみに絞って、次のように計算することができる。
【0075】
【数25】
【0076】
フィルタ係数はこの行列F'yの中央の1行であるので、着目点i'、j'、k'でのフィルタ係数fy(i'、j'、k')を計算するには、次の連立1次方程式を解けばよい。
【0077】
【数26】
【0078】
左辺のベクトルは中央の要素のみ1で残りのすべての要素が1となるベクトルである。
【0079】
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【0080】
例えば、上述の説明では、X線検出器29とX線管球27を電動で駆動することを前提としているが、近年開発されたX線平面X線検出器は従来のイメージインテンシファイア(I.I.)を用いたX線検出器に比べ軽量であるため、手動で軌道を描くことも可能と考えられる。手動での撮影は電動よりも操作が手軽であり、駆動装置も簡易化できるため装置もコンパクトで安価なものが実現する。しかし、従来のX線撮影装置で手動撮影しても、撮影の瞬間におけるX線管球27とX線検出器29の正確な位置を特定することができないため、立体画像を再構成することができないという問題がある。さらに、望む枚数だけ撮影することができない、手回ししながら連続撮影の開始・終了の操作が行いにくい、望んだ大きさの円を描くループスキャンができない、望む角度範囲だけ移動してのコプラナースキャンができないなど、装置として多くの不備が存在する。
【0081】
本変形例では、従来のX線撮影システムに小改造を施すだけで立体撮影を実現する方法を提供する。図15に示すように、本構成のうち、X線平面X線検出器29を用いた撮影装置(TV寝台システム)、操作卓、X線発生装置39、画像収集装置は立体撮影を行わない場合にも用いられる構成要素である。本例で特徴的なのは角度計測器35および立体撮影制御装置41にある。
【0082】
角度計測器35はX線検出器29の傾き角度を計測するセンサーである。これには既存の高精度デジタル水準器に用いられるセンサーが利用可能である。このセンサーで計測した角度は立体撮影制御装置41に入力される。立体撮影制御装置41は、あらかじめ選択されたスキャン条件(振り角度、撮影枚数)に従って画像収集を実行するほか、立体画像の再構成処理および再構成結果の表示を行う。
【0083】
まず、スキャン条件を設定した後、立体撮影制御装置41のスキャン開始ボタンを押す。この状態ではまだ、X線画像の撮影は開始されない。操作者は寝台システムのハンドルを操作し、一旦X線検出器29とX線管球27が取り付けられたアーム31及びその支持機構33を一定角度以上に傾ける。その後、角度を戻していくと、スキャン開始角度に至った時点でX線の曝射と画像収集を、X線立体再構成処理装置43又は図示しない画像収集装置に指示する。X線曝射と画像収集は画像収集装置にて実行され、撮影した画像は立体撮影制御装置41へ入力される。以降は、ハンドル28の操作に従って一定角度毎に画像が収集されていく。そうしてスキャン終了角度にいたると収集が停止する。その後は、上記実施形態に記載されているようにマーカー51,53の検出、位置合わせ、再構成処理が自動的に実行され、立体撮影制御装置41のモニタ上に再構成結果が表示される。
【0084】
本例によれば、通常のX線撮影システムに、角度計測装置35と立体撮影制御装置41との機能追加により、角度計測装置35で計測したガントリの回転角度に応じて撮影タイミングが立体撮影制御装置41により制御されるため、撮影の瞬間の角度を再構成処理に利用することが可能になり、それにより立体撮影が実現する。さらに、操作者はハンドル28を操作するだけで、あらかじめ設定した撮影条件に従って自動的に撮影が開始・終了されるため、手動撮影であるにもかかわらず、望みどおりの撮影枚数や収集角度範囲(振り角度)で撮影することができるという特徴がある。さらに、本構成は従来のX線撮影装置に角度計測装置と立体撮影制御装置を追加に設置することで実現できるため、普及しているX線撮影装置を用いて立体撮影ができ、立体撮影のための投資コストが小さくてすむという特徴がある。
【0085】
【発明の効果】
本発明によれば、X線画像の再構成処理における分解能の低下を抑制することができる。
【図面の簡単な説明】
【図1】 本発明の実施形態によるX線撮影装置の構成を示す図。
【図2】 図1のX線立体再構成処理装置のブロック図。
【図3】 本発明の実施形態によるX線立体撮影補助具の構成を示す図。
【図4】 図3のX線立体撮影補助具に装備される頭部固定機構の構造を示す図。
【図5】 図3のX線立体撮影補助具のCT又はMRIへの転用例を示す図。
【図6】 本実施形態の処理手順を示す図。
【図7】 図6のS2におけるスキャン軌道例を示す図。
【図8】 図6のS3におけるマーカーの像領域の抽出処理を補足するための中間調画像。
【図9】 図6のS6におけるX線管球当の位置計算の補足図。
【図10】 図6のS5における埋め戻し処理の効果を示すための中間調画像。
【図11】 図6のS5における埋め戻し処理の補足図。
【図12】 図6のS5におけるしきい値処理では抽出不能のマーカーの像領域の特定処理の補足図。
【図13】 図1の画像処理部でボリュームデータから生成されるMIPの中間調画像。
【図14】 本実施形態においてマーカーの像領域と共に埋め戻される高吸収物質(手術器具)の埋め戻し前後の中間調画像。
【図15】 本実施形態の変形例としての手動式X線撮影装置の構成を示す図。
【符号の説明】
1…制御部、3…インタフェース、5…画像記憶部、7…対数演算部、9…マーカー同定部、11…位置計算部、13…マスク生成部、15…埋め戻し部、17…再構成部、19…画像処理部、21…表示部、23…データ/制御バス、27…X線管球、29…X線平面検出器、31…アーム、33…アーム支持機構、35…角度計測器、37…寝台天板、39…X線発生装置、41…立体撮影制御装置、43…X線立体再構成処理装置。
Claims (8)
- X線管球及びX線検出器により撮影された、被検体の像と共に、前記被検体近傍に設置された周囲に比較してX線吸収率の高い又は低い複数のマーカーの像を含む複数のX線画像を記憶する手段と、
前記X線画像各々から閾値処理により前記マーカーの像領域を抽出する抽出手段と、
前記抽出されたマーカーの像領域の位置に基づいて、前記閾値処理では抽出不能のマーカーの像領域の位置を推定する推定手段と、
前記抽出されたマーカーと前記推定されたマーカーの像領域内の画素値を、任意の値に置き換える手段と、
前記抽出されたマーカーと前記推定されたマーカーの像領域の位置から、前記X線管球の位置及び前記X線検出器の位置を前記X線画像ごとに計算する手段と、
前記X線管球の位置及び前記X線検出器の位置に基づいて、前記マーカーの像領域内の画素値を任意の値に置き換えたX線画像から複数の断層画像を再構成する手段とを具備することを特徴とするX線立体再構成処理装置。 - 前記複数のマーカーは縦横に規則的に配列されることを特徴とする請求項1記載のX線立体再構成処理装置。
- 前記置き換える手段は、前記抽出されたマーカーと前記推定されたマーカーの像領域内の画素値を、前記抽出されたマーカーと前記推定されたマーカーの像領域の周囲の画素値から導出した値に置き換えることを特徴とする請求項1記載のX線立体再構成処理装置。
- 前記抽出手段は、前記抽出したマーカーの像領域とともに、前記マーカー以外のX線吸収率の高い像領域を同定し、前記置き換える手段は、前記抽出されたマーカーと前記推定されたマーカー以外の像領域内の画素値を、前記任意の値に置き換えることを特徴とする請求項1記載のX線立体再構成処理装置。
- 前記複数のマーカーにはX線吸収率、形状、大きさ、方向の少なくとも一つが相違する第1,第2のマーカーが含まれ、この第1、第2のマーカーは空間的に異なる領域に配置され、前記抽出手段は、前記第1のマーカーの像領域と前記第2のマーカーの像領域とを区別して抽出し、前記X線管球の位置及び前記X線検出器の位置を計算する手段は、前記第1のマーカーの像領域と前記第2のマーカーの像領域との位置関係に基づいて前記X線管球の位置及び前記X線検出器の位置を計算することを特徴とする請求項1記載のX線立体再構成処理装置。
- 前記X線管球の位置及び前記X線検出器の位置を計算する手段は、撮影不動点座標、前記X線管球と前記X線検出器との間の距離、前記X線管球から前記X線検出器に至る投影軸の前記被検体に対する角度、前記X線検出器と前記撮影不動点との間の距離、前記X線画像各々の撮影時の前記X線管球の角度の変化、前記X線画像各々の撮影時の前記X線管球及びX線器X線検出器の平行移動量とX線検出器角度補正量の少なくともひとつのパラメータにより前記X線管球の位置及び前記X線検出器の位置を表現し、前記X線管球の位置、前記X線検出器の位置及び前記マーカーの位置の間の位置ズレが最小化するように前記パラメータを決定することを特徴とする請求項1記載のX線立体再構成処理装置。
- 被検体にX線を照射するX線管球と、
前記被検体を透過したX線を検出するX線検出器と、
前記被検体の像と共に、マーカーの周囲に比較してX線吸収率の高い又は低い複数のマーカーの像を含む複数のX線画像各々から閾値処理により前記マーカーの像領域を抽出する手段と、
前記抽出されたマーカーの像領域の位置に基づいて、前記閾値処理では抽出不能のマーカーの像領域の位置を推定する推定手段と、
前記抽出されたマーカーと前記推定されたマーカーの像領域内の画素値を、任意の値に置き換える手段と、
前記抽出されたマーカーと前記推定されたマーカーの像領域の位置から、前記X線管球の位置及び前記X線検出器の位置を前記X線画像ごとに計算する手段と、
前記X線管球の位置及び前記X線検出器の位置に基づいて、前記マーカーの像領域内の画素値を任意の値に置き換えたX線画像から複数の断層画像を再構成する手段とを具備することを特徴とするX線撮影装置。 - X線管球及びX線検出器により撮影された、被検体の像と共に、前記被検体近傍に設置された生体に比較してX線吸収率の高い又は低い複数のマーカーの像を含む複数のX線画像各々から閾値処理により前記マーカーの像領域を抽出し、
前記抽出されたマーカーの像領域の位置に基づいて、前記閾値処理では抽出不能のマーカーの像領域の位置を推定し、
前記抽出されたマーカーと前記推定されたマーカーの像領域内の画素値を、任意の値に置き換え、
前記抽出されたマーカーと前記推定されたマーカーの像領域の位置から、前記X線管球の位置及び前記X線検出器の位置を前記X線画像ごとに計算し、
前記X線管球の位置及び前記X線検出器の位置に基づいて、前記マーカーの像領域内の画素値を任意の値に置き換えたX線画像から複数の断層画像を再構成することを特徴とするX線立体再構成処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003189673A JP4495926B2 (ja) | 2003-07-01 | 2003-07-01 | X線立体再構成処理装置、x線撮影装置、x線立体再構成処理方法及びx線立体撮影補助具 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003189673A JP4495926B2 (ja) | 2003-07-01 | 2003-07-01 | X線立体再構成処理装置、x線撮影装置、x線立体再構成処理方法及びx線立体撮影補助具 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005021345A JP2005021345A (ja) | 2005-01-27 |
JP4495926B2 true JP4495926B2 (ja) | 2010-07-07 |
Family
ID=34187811
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003189673A Expired - Fee Related JP4495926B2 (ja) | 2003-07-01 | 2003-07-01 | X線立体再構成処理装置、x線撮影装置、x線立体再構成処理方法及びx線立体撮影補助具 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4495926B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104602606A (zh) * | 2012-08-31 | 2015-05-06 | 株式会社岛津制作所 | 放射线断层图像生成装置、放射线断层摄影装置以及放射线断层图像生成方法 |
Families Citing this family (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8768026B2 (en) | 2003-11-26 | 2014-07-01 | Hologic, Inc. | X-ray imaging with x-ray markers that provide adjunct information but preserve image quality |
JP4612353B2 (ja) * | 2004-08-03 | 2011-01-12 | 株式会社東芝 | X線立体撮影装置 |
JP4795723B2 (ja) * | 2005-05-30 | 2011-10-19 | 株式会社東芝 | ディジタルx線断層撮影装置 |
DE102005050917A1 (de) * | 2005-10-24 | 2007-04-26 | Siemens Ag | Verfahren und Tomographiegerät zur Rekonstruktion einer tomographischen Darstellung eines Objektes |
US8311305B2 (en) * | 2006-10-18 | 2012-11-13 | Kabushiki Kaisha Toshiba | X-ray diagnostic apparatus, image processing apparatus, and method of calculating filter coefficients used for image formation processing in x-ray diagnostic apparatus and the like |
JP5283882B2 (ja) * | 2006-10-18 | 2013-09-04 | 株式会社東芝 | X線診断装置、画像処理装置及び画像再構成処理に用いられるフィルタ係数の算出プログラム |
US8000522B2 (en) * | 2007-02-02 | 2011-08-16 | General Electric Company | Method and system for three-dimensional imaging in a non-calibrated geometry |
CN101126725B (zh) | 2007-09-24 | 2010-12-15 | 舒嘉 | 采用x射线容积摄影实现图像重建的方法 |
JP4873178B2 (ja) * | 2007-10-19 | 2012-02-08 | 株式会社島津製作所 | 放射線撮像装置 |
JP5009744B2 (ja) * | 2007-10-29 | 2012-08-22 | 日立アロカメディカル株式会社 | 前腕用x線測定装置 |
JP5239585B2 (ja) * | 2008-07-28 | 2013-07-17 | 株式会社島津製作所 | X線撮像装置 |
EP2649940A1 (en) * | 2008-09-18 | 2013-10-16 | Konica Minolta Medical & Graphic, Inc. | Radiography system |
JP5451099B2 (ja) * | 2009-02-10 | 2014-03-26 | 富士フイルム株式会社 | 放射線撮影システム及び放射線源の焦点位置からの位置ずれ量の検出方法 |
JP5334657B2 (ja) * | 2009-04-14 | 2013-11-06 | 富士フイルム株式会社 | 放射線画像処理装置および方法ならびにプログラム |
US9826942B2 (en) | 2009-11-25 | 2017-11-28 | Dental Imaging Technologies Corporation | Correcting and reconstructing x-ray images using patient motion vectors extracted from marker positions in x-ray images |
US8363919B2 (en) * | 2009-11-25 | 2013-01-29 | Imaging Sciences International Llc | Marker identification and processing in x-ray images |
US9082182B2 (en) | 2009-11-25 | 2015-07-14 | Dental Imaging Technologies Corporation | Extracting patient motion vectors from marker positions in x-ray images |
US9082036B2 (en) | 2009-11-25 | 2015-07-14 | Dental Imaging Technologies Corporation | Method for accurate sub-pixel localization of markers on X-ray images |
US9082177B2 (en) | 2009-11-25 | 2015-07-14 | Dental Imaging Technologies Corporation | Method for tracking X-ray markers in serial CT projection images |
JP5600272B2 (ja) | 2010-07-16 | 2014-10-01 | 富士フイルム株式会社 | 放射線撮影装置および方法並びにプログラム |
JP6286140B2 (ja) * | 2013-05-28 | 2018-02-28 | 株式会社日立製作所 | 放射線画像解析装置、放射線治療システム、マーカ部分検出方法およびプログラム |
JP6414236B2 (ja) | 2017-01-12 | 2018-10-31 | オムロン株式会社 | 画像処理装置及び画像処理方法 |
JP7076965B2 (ja) * | 2017-08-07 | 2022-05-30 | キヤノンメディカルシステムズ株式会社 | X線診断装置、画像処理装置及び角度計測治具 |
JP6849090B2 (ja) * | 2017-09-26 | 2021-03-24 | 株式会社島津製作所 | 医用x線画像処理装置 |
JP6988732B2 (ja) * | 2018-08-02 | 2022-01-05 | 株式会社島津製作所 | 放射線画像処理装置および放射線画像処理方法 |
JP2020186913A (ja) * | 2019-05-09 | 2020-11-19 | 株式会社リガク | X線ct装置、及びct画像再構成方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10295680A (ja) * | 1997-04-25 | 1998-11-10 | Toshiba Corp | X線断層撮影装置 |
JP2000342580A (ja) * | 1999-04-30 | 2000-12-12 | Siemens Ag | カテーテルナビゲーション方法および装置 |
JP2002153454A (ja) * | 2000-11-20 | 2002-05-28 | Hitachi Medical Corp | X線ct装置 |
JP2003024321A (ja) * | 2001-03-13 | 2003-01-28 | Ge Medical Systems Global Technology Co Llc | 断層撮影法によって得た像から3次元モデルを再構成するための較正方法 |
-
2003
- 2003-07-01 JP JP2003189673A patent/JP4495926B2/ja not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10295680A (ja) * | 1997-04-25 | 1998-11-10 | Toshiba Corp | X線断層撮影装置 |
JP2000342580A (ja) * | 1999-04-30 | 2000-12-12 | Siemens Ag | カテーテルナビゲーション方法および装置 |
JP2002153454A (ja) * | 2000-11-20 | 2002-05-28 | Hitachi Medical Corp | X線ct装置 |
JP2003024321A (ja) * | 2001-03-13 | 2003-01-28 | Ge Medical Systems Global Technology Co Llc | 断層撮影法によって得た像から3次元モデルを再構成するための較正方法 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104602606A (zh) * | 2012-08-31 | 2015-05-06 | 株式会社岛津制作所 | 放射线断层图像生成装置、放射线断层摄影装置以及放射线断层图像生成方法 |
CN104602606B (zh) * | 2012-08-31 | 2017-06-23 | 株式会社岛津制作所 | 放射线断层图像生成装置以及放射线断层图像生成方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2005021345A (ja) | 2005-01-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4495926B2 (ja) | X線立体再構成処理装置、x線撮影装置、x線立体再構成処理方法及びx線立体撮影補助具 | |
JP4340334B2 (ja) | 対象と対象の3次元表現との間の変換を決定する方法及びその装置 | |
US7433507B2 (en) | Imaging chain for digital tomosynthesis on a flat panel detector | |
US7558439B2 (en) | Motion artifact correction of tomographical images | |
US6721590B2 (en) | Medical image processing apparatus | |
JP4859446B2 (ja) | 回転血管撮影のための血管撮影x線診断装置 | |
JP4965433B2 (ja) | トランケートされた投影と事前に取得した3次元ct画像を用いる円錐ビームct装置 | |
US8565856B2 (en) | Ultrasonic imager for motion measurement in multi-modality emission imaging | |
JP5209979B2 (ja) | 無較正の幾何学的構成における三次元撮像の方法及びシステム | |
JP4828920B2 (ja) | 3次元画像処理装置 | |
JP2011508620A (ja) | 特徴に基づいた2次元/3次元画像のレジストレーション | |
JP2009022754A (ja) | 放射線画像の位置揃えを補正する方法 | |
US6574500B2 (en) | Imaging methods and apparatus particularly useful for two and three-dimensional angiography | |
JP3987024B2 (ja) | 横方向のフィルタリング処理を用いたトモシンセシス画像を強調する方法及びシステム | |
JP5642444B2 (ja) | 放射線治療装置の作動方法および放射線治療装置制御装置 | |
WO2002050775A1 (en) | Three dimensional image reconstruction from single plane x-ray fluorograms | |
CN105326524B (zh) | 可减少图像中的伪影的医学成像方法和装置 | |
JP2005103263A (ja) | 断層撮影能力のある画像形成検査装置の作動方法およびx線コンピュータ断層撮影装置 | |
KR101783964B1 (ko) | 단층 촬영 장치 및 그에 따른 단층 영상 복원 방법 | |
JP4458309B2 (ja) | 三次元画像表示装置 | |
JP2006136740A (ja) | X線断層撮影装置 | |
WO2001057805A2 (en) | Image data processing method and apparatus | |
JP5016231B2 (ja) | 撮像の幾何学的パラメータを決定する方法及び装置 | |
JP7345292B2 (ja) | X線トモシンセシス装置、画像処理装置、および、プログラム | |
RU2789105C2 (ru) | Способ автокалибровки устройства для формирования изображений цифровой томографической реконструкции груди |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060623 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090916 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090929 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091118 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100316 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100412 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130416 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |