JP2003265462A - 関心領域抽出方法及び画像処理サーバ - Google Patents
関心領域抽出方法及び画像処理サーバInfo
- Publication number
- JP2003265462A JP2003265462A JP2002075330A JP2002075330A JP2003265462A JP 2003265462 A JP2003265462 A JP 2003265462A JP 2002075330 A JP2002075330 A JP 2002075330A JP 2002075330 A JP2002075330 A JP 2002075330A JP 2003265462 A JP2003265462 A JP 2003265462A
- Authority
- JP
- Japan
- Prior art keywords
- region
- image
- interest
- extraction
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 78
- 238000012545 processing Methods 0.000 title claims abstract description 73
- 238000000605 extraction Methods 0.000 claims description 81
- 238000003702 image correction Methods 0.000 claims description 8
- 230000002950 deficient Effects 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 claims description 2
- 239000000284 extract Substances 0.000 abstract description 9
- 238000010586 diagram Methods 0.000 description 20
- 210000000988 bone and bone Anatomy 0.000 description 16
- 210000000629 knee joint Anatomy 0.000 description 7
- 230000002452 interceptive effect Effects 0.000 description 4
- 238000013519 translation Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 3
- 238000002595 magnetic resonance imaging Methods 0.000 description 3
- 238000002591 computed tomography Methods 0.000 description 2
- 230000007812 deficiency Effects 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 238000001356 surgical procedure Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 102100022210 COX assembly mitochondrial protein 2 homolog Human genes 0.000 description 1
- 101000900446 Homo sapiens COX assembly mitochondrial protein 2 homolog Proteins 0.000 description 1
- 101100280298 Homo sapiens FAM162A gene Proteins 0.000 description 1
- 101100219325 Phaseolus vulgaris BA13 gene Proteins 0.000 description 1
- 102100023788 Protein FAM162A Human genes 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000000465 moulding Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 210000004872 soft tissue Anatomy 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000003325 tomography Methods 0.000 description 1
- 210000001835 viscera Anatomy 0.000 description 1
Landscapes
- Image Analysis (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Image Processing (AREA)
Abstract
抽出することのできる関心領域抽出方法を提供するこ
と。 【解決手段】 画像から関心領域を抽出する方法におい
て、第1に、コンピュータに入力した画像の特定の点と
この点に隣接する点の画素値の相関に基づき、順次領域
を拡大してゆく手法により領域抽出処理を行い、第2
に、前記処理により領域抽出された画像と、前記関心領
域の標準形状に関する知識データとを比較することで、
前記関心領域の位置と大きさを同定し、第3に、前記標
準形状と前記同定した位置と大きさに関するデータに基
づき前記領域抽出処理により抽出された画像を修正し、
抽出画像を得ることとした。
Description
心領域を高精度に抽出及び推定するのに好適な関心領域
抽出方法と、この方法を利用した画像処理サーバに関す
る。
像ならばX線撮像装置、例えば3次元画像ならばCT
(Computer Tomography)装置、MRI(Magnetic Reso
nance Imaging)装置、SPECT(Single Photon Emi
ssion Computed Tomography)装置、或いはPET(Pos
itron Emission Tomography)装置などの装置がある。
これらの装置によって撮像される画像は、画像中のある
点に関する濃度情報(画素の濃度情報)で表現される。
例えば医療用途では、これらの濃度情報から関心領域、
例えば臓器や骨に注目し、病変の有無などが診断され
る。また、医療用途に限らず、画像から関心領域を抽出
することは、画像の取り扱いの基本といえる。この目的
のため、図16に示すように、入力画像の画素の濃度情
報に基づいて関心領域を抽出して出力する抽出部200
を備えた画像処理装置が広く用いられている。
方法としては、従来、関心領域とその他の領域とを区別
する閾値を設定し、この閾値をもとに関心領域を抽出す
る閾値処理や、画像の濃淡分布形状に基づき物体の輪郭
形状を抽出するエッジ抽出処理などが広く用いられてき
た。
の方法では、本来の関心領域をはみ出したり、関心領域
全部を抽出できなかったり、輪郭線の連続性が保たれな
いなどの問題があった。また、特開平7−271997
号公報には、画像データから機能画像を作成して、これ
に基づきマスクパターンを生成してマスキング処理を行
う方法が記載されているが、この方法は、同じ部位に対
する時系列データを必要とするという問題がある。
は、事前に画像データを分水嶺形状に加工した上で、分
水嶺法によって関心領域を抽出する方法が記載されてい
る。この方法も一種の閾値処理とみなすことができる。
この分水嶺法によれば、抽出された領域の輪郭線の連続
性は保証されるが、抽出される輪郭形状は、画像データ
を分水嶺形状に加工する加工方法に依存するため、関心
領域の輪郭を正確に抽出することは保証されない。
形状を精度よく抽出することができなかった。特に、画
像の濃度差が小さい場合などの状況において、抽出され
る領域が本来の関心領域からはみ出したり、欠損したり
するなどの問題に対応できなかった。また、関心領域の
形状を精度よく抽出するには、多くのデータを必要とし
た。そこで、本発明は、入力した画像から関心領域の形
状を精度よく抽出することのできる関心領域抽出方法を
提供することを目的とする。併せて、ネットワークを介
して関心領域抽出方法を実行する画像処理サーバを提供
することを目的とする。
め、本発明の関心領域抽出方法では、第1に、コンピュ
ータに入力した画像の特定の点とこの点に隣接する点の
画素値の相関に基づき、順次領域を拡大してゆく手法に
より領域抽出処理を行い、第2に、前記処理により領域
抽出された画像と、前記関心領域の標準形状に関する知
識データとを比較することで、前記関心領域の位置と大
きさを同定し、第3に、前記標準形状と前記同定した位
置と大きさに関するデータに基づき前記領域抽出処理に
より抽出された画像を修正し、抽出画像を得ることを特
徴とする。
しくは、領域拡張法に基づく手法による。また、第2に
行う位置と大きさを同定する処理は、好ましくは、一般
化ハフ変換に基づく手法による。
画像処理サーバは、ネットワークを介して送信される画
像データを受信する受信装置と、受信した画像データに
対して、関心領域抽出方法を実行する関心領域抽出処理
装置と、抽出した画像データを、ネットワークを介して
送信する送信装置とを備える構成とした。
を用いて説明する。本実施形態では、CT装置やMRI
装置のような3次元撮像装置により得られた医療用3次
元画像から関心領域として骨を抽出する例を主に述べる
が、対象となる画像は医療用画像でなくとも、3次元画
像でなくともよい。また、対象となる画像が医療用画像
である場合についていえば、関心領域が骨でなくともよ
く、例えば臓器であってもよい。
の関心領域抽出方法が実施される関心領域抽出装置1の
概略ブロック構成図である。図2は、関心領域抽出装置
1における処理の流れを示すフローチャートである。図
1に示すように、関心領域抽出装置1は、領域抽出処理
を行う領域抽出部2、抽出対象物(関心領域)の位置と
大きさを同定する同定部3、知識データ7を記憶する記
憶部、同定部3により得られた位置と大きさの情報(幾
何データ)に基づき、領域抽出部2によって抽出された
関心領域の画像を修正する画像修正部4、操作者が操作
を行う操作部H、操作者用のモニタM、を含んで構成さ
れている。この関心領域抽出装置1は、図2のフローチ
ャートに示されるように、各部2,3,4での処理が終
了した時点で、モニタMを介してその結果をユーザ(関
心領域抽出装置1の操作者)に提示し、操作部Hを介し
て操作者の承認を受けることにより次の処理へ進むよう
に構成されている。
された画像(画像A)に対して、領域抽出、同定、修正
の各処理を施し、完全な抽出画像である画像Dを生成す
る。図7は、入力される画像Aの一例を示す図である。
この図7では、画像Aを人間の膝関節部のCT画像14
であるとし、関心領域を膝関節の骨領域5であるとす
る。この画像Aは、例えば512×512×512ピク
セル(画素)の3次元の画像データとして関心領域抽出
装置1(その領域抽出部2)に入力される。
は、まず、領域抽出部2によって関心領域である膝関節
の骨領域5が抽出される。領域抽出は、CT画像14の
特定の画素(点)とこの特定の画素(点)に隣接する画
素の画素値(=濃度値、CT値)の相関に基づき順次領
域を拡張してゆく方式(領域拡張法)により行う。ちな
みに、CT画像14は、該画像14を構成する各画素に
おける濃度値で表現されている。
手順を示すフローチャートである。領域拡張法では、隣
接する画素の濃度値を監視しながら、図3に示す手順で
関心領域を抽出する。なお、図4に特定の画素、隣接す
る画素などの関係を示すが、この実施形態では、特定の
画素に隣接する画素は6つある。図4に表現されている
4つ(平面方向の4つ)と、図4には表現されていない
2つ(奥行き方向の2つ)である。
域抽出部2が行う処理を説明する。まず、ステップS2
1で関心領域内に開始点(開始画素)を設定し、この開
始画素の濃度値をf0とする。なお、「関心領域内に開
始画素を設定」とは、図7でいえば、骨領域5に属する
任意の画素(関心領域と判定済みの画素)を選択するこ
とである。この選択は、例えば、関心領域抽出装置1を
操作している操作者の指示に従って、領域抽出部2が行
う。「開始点」は請求項の「画像の特定の点」に相当す
る。また、「開始画素の濃度値をf0とする」とは、変
数f0に開始画素の濃度値を代入することである。この
代入の処理は、開始画素の設定に同期して行われる。ち
なみに、f0は最初に設定した値のまま維持され、後記
するfnやfiのように隣接する画素が変わるごとに更
新されるものではない。
が、関心領域内であると判定済みの画素に隣接する画素
を判定画素として選択し、この判定画素の濃度値をfn
とする。さらに、ステップS22では、領域抽出部2
が、濃度値をfnとした判定画素に隣接する画素を選択
し、この画素の濃度値をfiとする。ちなみに、最初に
実行されるステップS22では、関心領域と判定済みの
画素は、濃度値をf0とした開始画素である。
とは、変数fnに判定画素の濃度値を代入することであ
る。また、「この画素の濃度値をfiとする」とは、変
数fiに判定画素に隣接する画素の濃度値を代入するこ
とである。ちなみに、図4から理解されるように、「判
定画素に隣接する画素」は5つ存在し得るが、ここでの
「判定画素に隣接する画素」は、「領域内であると判定
済みの画素」の反対側にある画素の1つだけである。換
言すると、「領域内であると判定済みの画素」、「判定
画素」、「判定画素に隣接する画素」の、都合3つの画
素は、直列している。
絶対値|fn−f0|の演算、fnとfiの差の絶対値
|fn−fi|の演算を行い、“|fn−f0|<a
and |fn−fi|<b”か否かを判断する。な
お、aは、同じ領域内では各画素の濃度差は所定範囲内
にあるという条件を示す閾値である。bは、隣接画素間
の濃度差は小さく所定範囲内にあるという条件を示す閾
値である。このa及びbは、経験的又は試験的に予め求
めることができる。
(真の場合)は、ステップS24において、判定画素は
関心領域内にあるとして、この画素が関心領域内である
ことを示すために当該画素の判定フラグに1を立て(0
→1)、結果を記憶装置に記憶する。一方、ステップS
23の条件を満たしていない場合(偽の場合)は、ステ
ップS25において、判定画素は関心領域外にあるとし
て、この画素が関心領域外であることを示すために当該
画素の判定フラグに2を立てる(0→2)。ちなみに、
判定フラグは、初期状態においては全て0である。
いが、関心領域内であると判定済みの画素の前後、左
右、上下の6方向全部に隣接する画素を判定画素として
ステップS22,S23,S24,S25を実行し、当
該判定画素が関心領域内であるか否かを判定する。ここ
で、重複した判定はムダな動作であるので、重複した判
定を行わないように領域抽出部2の処理はプログラムし
てある。具体的には、一度関心領域内か否かが判定され
た画素が、再度判定画素にならないように、判定フラグ
が未チェックを示す0であるものを判定画素の対象とす
る。
かを判定すべき判定画素の有無を判断し、判定画素とな
る画素が存在するときはステップS22に移行する。2
度目以降のステップS22では、関心領域内であるとス
テップS23で判定された画素をもとに、これに隣接す
る画素(かつ判定フラグが0のもの)を判定画素として
処理を行う。一方、ステップS26で次に関心領域内か
否かを判定すべき画素が存在しなくなった場合は、処理
を終了する。これにより、関心領域の抽出が最後まで行
われたことになる。以降、領域抽出部2を経た画像デー
タを、画像Bと称する。ちなみに、図3のフローチャー
トに示す記憶装置に記憶されるのが画像Bのデータであ
る。
は、ムダな動作がなく、関心領域の抽出を迅速に行うこ
とができる。なお、領域拡張法は、関心領域内と判定さ
れた画素に隣接する画素が関心領域内か否かの判定の対
象とする。換言すると、領域拡張法は、同一領域に属す
ると思われる連結領域を順次取り込みながら領域拡張を
行い、必要な領域全体を抽出する方法である。この方法
によれば、輪郭線が連続であることを保証された領域抽
出が可能である。
けを元に領域を抽出するため、濃度分解能の悪い画像の
場合、具体的には、CT画像14(図7参照)の関心領
域である骨領域5とそれ以外の部分の境界が判然としな
い場合、図5に示す画像Bにおけるような抽出もれ(欠
損)や、図6に示す画像Bにおけるような抽出あふれが
発生することがある。
者に画像Bを提示し、その結果について承認を受ける。
これは、例えば画像処理事業者や造形事業者などが顧客
に対して作業状況を提示する、或いは、画像処理ソフト
ウェアが該ソフトウェアの利用者に3次元ビューアや2
次元ビューアを介して表示する、などの場合が想定でき
る。本実施形態では、関心領域抽出方法を実行する関心
領域抽出装置1(画像処理ソフトウェアを実行する装
置)が、該関心領域抽出装置1の操作者にモニタM(3
次元ビューア)を介して画像を表示し、承認の判断を促
す。操作者は、承認の判断を行い、判断結果を、操作部
Hを介して入力する(図2のS2’)。
Bを不満に感じ、承認を与えなければ(非承認)、再び
領域抽出部2に戻り、処理をやり直す。この際は、上記
領域拡張法に対して、別のパラメータを与えて、すなわ
ちa及びbを更新して処理する。ここで、別のパラメー
タは、例えば操作者が設定(更新)することができる。
けた場合、つまり、図2のステップS2’において承認
の場合は、画像Bは同定部3へ送られる。同定部3で
は、画像Bと、関心領域である骨領域5の典型的(標準
的)形状6(図8参照)に関する知識データ7とを比較
することで、骨領域5の位置と大きさを同定する。本実
施形態では、一般化ハフ変換と呼ばれる手法を3次元に
拡張した方法で同定を行う。なお、2次元画像に対する
一般化ハフ変換については、財団法人画像情報教育振興
会「画像処理標準テキストブック(平成9年発行)」2
54ページから259ページまでに詳しく記載してあ
る。
レート(知識データ7に相当する)を用意し、これに
(等方的な)拡大、縮小及び回転変換を行うことによ
り、もとの画像中から抽出対象形状を探し出す手法であ
る。
いて説明する。本実施形態では、関心領域として膝関節
の骨領域5を抽出するから、知識データ7として、膝関
節の典型的形状6を示した3次元画像を定義する。知識
データ7は、典型的形状6の輪郭面8の画素の座標値
(x,y,z)と、その法線方向の向き(θ,φ)から
算出される5次元情報である。
z)から、画像の原点9を見る極座標(r,α,β)を
定義するとき、(θ,φ,r,α,β)の集合が本実施
形態で用いる知識データ7となる。図9に、一例として
球に対応する知識データ7の一部を示す(球の場合を例
にとって例示)。知識データ7を用いると、画像の原点
9の位置は、次のように表現される。
変換を(この順番に)受けると、原点9の位置は、次の
ように変わる。
軸、v軸、w軸方向への拡大率、(Θ,Φ)は回転角、
(Δu,Δv,Δw)は、並進の向きと大きさを表す。
いま、簡単のため、拡大及び縮小は等方的に行われると
考えれば、S=Su=Sv=Swとなり、結局、知識デ
ータ7で定義された形状は、次なる6次元空間の一点に
写像される。
点は、知識データ7で定義された典型的形状6(図8参
照)が、処理対象の画像B(図5及び図6参照)の中の
どの位置にどの大きさで存在するかを特定するものであ
る。以上の手続きが3次元に拡張した一般化ハフ変換で
ある。
対象の画像Bから、輪郭面10の座標(Δu,Δv,Δ
w)とその法線方向11(Λ,Σ)からなる5次元空間
座標(Δu,Δv,Δw,Λ,Σ)を算出し、この座標
と式(あ)とから座標(い)を算出することで、画像B
中における、知識データ7で定義される形状の位置と大
きさが、一つの自由度を残して同定できる。ここで、Λ
及びΣは、次のとおりである。
と画像Bとの間の関係を求める。 (a)処理対象画像Bの輪郭面10を検出する。検出と
同時に、法線方向11も検出する。 (b)写像先となる6次元空間(S,Θ,Φ,U,V,
W)の各格子点で、(a)項で求めた輪郭面10とその
法線11に対し、知識データ7を用いて上述の式(あ)
を満たす可能性のあるすべての点に1を加算する。 (c)6次元空間の各格子点で、最大値をもつ格子点の
座標値が、求める形状の位置と大きさを表す(以降、該
位置と大きさの情報(S,Θ,Φ,U,V,W)を幾何
データ12と称する)。
中のどこにあるのかが、幾何データ12として求まる。
図10に、典型的形状6と画像B(画像A由来)、及
び、幾何データ12との関係を概念的に表した図を示
す。すなわち、図10は、左側に示される典型的形状6
を、中央に示される幾何データ12のパラメータで、並
進、回転、拡大・縮小などを施すと、図10の右側に示
される骨領域5の辺りに位置することを示している(関
心領域の位置と大きさを同定)。
関心領域抽出装置1の操作者に該幾何データ12を提示
し、その結果について承認を求める(図2のステップS
3’)。換言すると、関心領域抽出装置1に起動してい
る画像処理ソフトウェアが該装置1のモニタMに幾何デ
ータ12を表示し、操作部Hを介しての操作者の承認・
非承認の指示を待つ。この処理についても、前記の通
り、例えば画像処理事業者や造形事業者などが顧客に対
して作業状況を提示する、などの場合が想定できる。
認を与えなければ、再び領域抽出部2が行う処理(図1
及び図2参照)に戻るか、或いは、操作者が典型的形状
6を定義する知識データ7を別のものに取り替えた上
で、再び同定部3の処理をやりなおす。なお、操作者は
幾何データ12を見れば最終結果の出来不出来をほぼ判
断できるが、幾何データ12を基に生成した画像Cと、
画像Bなどとを比較できるように操作者に提示する様に
してもよい。操作者の承認の判断が容易になるからであ
る。
を受けた場合は、処理は画像修正部4へ進む(図2のス
テップS4)。画像修正部4では、幾何データ12が示
す位置と大きさに、知識データ7で定義されている典型
的形状6を配置した新しい2値画像(0,1で示される
画像)を生成する(図11参照)。なお、図11は、典
型的形状を幾何データに従って配置しなおす処理を概念
的に示した図である。以降、この2値画像を画像Cと称
する。ちなみに、図11は、左側に示される典型的形状
6に、ハフ変換で得られた幾何データ12に従って並
進、拡大・縮小、回転などの処理を行って配置しなおす
と、右側に示される画像Cのようになることを示してい
る。
ある骨領域5に対して、抽出もれ(欠損)を含む画像で
あった場合には、例えば図5に示す画像Bと図11の右
図に示す画像Cとの間で画素値の論理和をとることによ
り、欠損部形状を、典型的形状6で補間した像が得られ
る。また、図12に示すように、画像Bが抽出あふれを
含む画像であった場合には、例えば図6に示す画像Bと
図11の右図に示す画像Cとの間で差分演算を行うこと
により、あふれ領域の候補(抽出あふれ候補)13が得
られる。そこで、画像B(その骨領域5)から候補13
を削除するか否かについて、対話的処理により決定し、
あふれ部分を削除すればよい。もちろん、対話的処理な
しに、あふれ領域を削除するようにしてもよい。また、
あふれ領域の候補13のように、欠損部の候補を操作者
に提示して(モニタMに表示して)、対話的処理により
欠損部分の補間を行うようにしてもよい。なお、画像B
(画像A由来)と画像C(典型画像由来)とを用いて生
成される新たな画像を、以降、画像Dと称する。
装置1は、操作者に画像Dを提示し、その結果について
3度目の承認を求める(図2のステップS4’参照)。
この処理についても、前記と同様に、例えば画像処理事
業者や造形事業者などが顧客に対して作業状況を提示す
る、などの場合が想定できる。
満に感じ、承認を与えなければ、再び領域抽出部2に戻
るか、或いは操作者が典型的形状6を定義する知識デー
タ7を別のものに取り替えた上で、再び同定部3に戻る
か、或いは、画像修正部4、すなわち、欠損部補間のた
めの論理和演算や、あふれ領域抽出のための差分演算を
やり直し、新たな画像Dを生成する。最終的に操作者が
画像Dの結果を承認した時点で、関心領域抽出処理装置
1が行う各処理は完了する(完全な抽出画像の完成)。
置1によれば、三次元に拡張された一般化ハフ変換を用
いて画像の同定及び修正を行うので、入力した画像から
欠損やはみ出しのない完全な関心領域の抽出を精度良く
行うことができる。もちろん、輪郭線の連続性も保たれ
る。また、関心領域抽出装置1との対話形式で、操作者
に納得のいく完全な抽出画像を得ることができる。つま
り、関心領域に関する知識データ7に基づき、必要に応
じて欠損部の補間、及び抽出あふれ部の削除が可能であ
る。また、抽出画像を得るのに、時系列データを必要と
しない。つまり、抽出画像を得るために、多くの画像デ
ータを必要としない。
方法を実施するに際して、画像修正部4での処理(S
4)が終了した時点で操作者に承認を得るようにし(S
4’)、図2に示されるフローチャートのごとく各処理
が終了する度の承認を省くこととしてもよい。もちろん
図13は一例であり、任意の段階で承認を得るようにし
てもよい。或いは、全ての承認を省くこととしてもよ
い。
実施形態〕以上の説明では、関心領域抽出装置1(図1
参照)は、例えば医療機関に設置されていたりするもの
であるが、該装置1は、医療機関の外部に存在してもよ
い。以下、関心領域抽出装置1が医療機関の外部に存在
する実施形態を、図14及び図15を参照して説明す
る。図14は、ネットワークを介して画像データなどを
送受する実施形態を示す図である。図15は、図14の
動作を説明するために引用したシーケンス図である。
号ASPは画像処理事業者、符号MOは造形事業者を示
している。医療機関MDには撮像装置が設置され、画像
処理事業者ASPの事務所には画像処理サーバSVが設
置され、造形事業者MOの事務所に立体造形装置が設置
される。この図14は、(1)医療機関MDが画像デー
タを画像処理サーバSVに送信し、(2)画像処理サー
バSVが画像処理(関心領域抽出)して造形データを生
成し、これを下請けの造形事業者MOに送信し、(3)
造形事業者MOが立体造形装置を使って造形物を作り、
これを医療機関MDに配送することを示している。な
お、図14において、医療機関MDは複数存在する。ま
た、造形事業者MOは少なくとも1つは存在する。
域抽出装置1と、ネットワークを介しての通信を行うた
めのルータなどから構成されている。そして、画像処理
サーバSVは、ネットワークを介して送信される画像デ
ータを受信する機能、受信した画像データを処理して造
形データ(完全な抽出画像)を生成する機能、生成した
造形データを、ネットワークを介して送信する機能を有
する。なお、造形データは関心領域抽出装置1の機能に
より生成されるが、この関心領域抽出装置1の機能は既
に説明したとおりであるので、重複した説明を省略す
る。
としてのパーソナルコンピュータ(以下「パソコン」と
称する)が設置され、撮像装置が撮影したCT画像14
(図7参照)などの画像データをネットワーク経由で画
像処理サーバSVに送信するようになっている。
上の端末としてのパソコンが設置され、画像処理サーバ
SVが画像データを処理して生成した造形データを受信
するようになっている。なお、受信した造形データは立
体造形装置に転送され、該装置で造形物(3次元の模
型)が作成される。立体造形装置は、周知のものを使用
することができる。ちなみに、造形物は、例えば手術の
シミュレーションを始めとして、幅広い用途に使用され
る。
ワークを介して画像データなどを送受する実施形態の動
作を説明する。まず、医療機関MDはCT装置などの撮
像装置で手術部位の断層写真を撮影する。断層写真は画
像データ(図1の画像A)として、医療機関MDのパソ
コンからネットワークを介して画像処理事業者ASPの
画像処理サーバSVに送信される。画像処理サーバSV
は、ネットワークを介して送信される画像データを受信
する(S51)。なお、画像データのフォーマットを次
の表1に例示する。この例での画像データは画像処理事
業者ASPに対する造形物作成の注文情報の役割を有す
る(画像データに納入先、納期、数量などを付加しても
よい)。
は、関心領域(心臓)を既に説明したようにして抽出
し、造形データを生成する(S52、関心領域抽出)。
造形データは図1でいえば画像Dに相当する。なお、ス
テップS52で適宜医療機関MDと通信して確認しなが
ら(図2参照)、造形データを生成するようにしてもよ
い。造形データを生成すると、医療機関MDのパソコン
に生成した造形データを送信して承認を得る(S5
3)。ステップS54で判断して、承認が得られない場
合(NOK)は、ステップS52に戻って再度関心領域
の抽出を行う。なお、図2や図13に示されるフローチ
ャートのごとく、どの処理に戻るかは自由である(医療
機関MDの要望などに従うこととするのがよい)。承認
が得られた場合(OK)は、造形データを造形事業者M
Oのパソコンに送信する(S55)。前記したとおり、
造形所業者MOは、画像処理事業者ASPの下請けであ
る(換言すると、画像処理事業者ASPは、造形物の作
成をアウトソーシングしている)。なお、造形データの
フォーマットを次の表2に例示する。この例での造形デ
ータは、造形事業者MOに対する注文情報の役割を有す
る(造形データに納期、数量などを付加してもよい)。
者MOは、立体造形装置を使って3次元の模型(造形
物)を作成し(S56)、画像処理事業者ASPの名前
で医療機関MDに配送する(S57)。
MDから画像処理の料金、造形物作成の料金を得る。そ
の一方で、画像処理事業者ASPは、下請けの造形事業
者MOに造形物作成の料金を支払う。料金の収受は、電
子的な決済で行うことができる。
術のシミュレーションなどに必要な造形物を、専門の知
識をもった画像処理事業者ASP及び造形事業者MOか
ら得ることができる。また、画像処理サーバSVは、図
1などを参照して説明した関心領域抽出装置1により造
形データを生成するので、精度の良い造形物を作成する
ことが可能である。
データなどを送受する実施形態は、医療機関MDと画像
処理事業者ASPとの間でのみ実施される構成としても
よい。つまり、図14の造形データを最終納品データ
(関心領域抽出画像データ)として、画像処理サーバS
Vから医療機関MD(そのパソコン)に送信すること
で、取引が完結するようにしてもよい。この場合、画像
処理事業者ASPは、画像処理の料金を医療機関MDか
ら得ることができる。このような実施形態でも、画像処
理サーバSVは、図1などを参照して説明した関心領域
抽出装置1により造形データ(関心領域抽出画像デー
タ)を生成するので、医療機関MDは精度の良い関心領
域の抽出画像を得ることができる。
施形態に限定されることなく、幅広く変形実施すること
ができる。前記したとおり、処理対象の画像は2次元で
も3次元でもよい。また、骨ばかりでなく、内臓などの
柔組織の抽出画像の生成にも好適に利用できる。また、
本発明が医療用途に限定されることはない。また、関心
領域抽出方法は、どの場所で実施されてもよい。また、
画像処理事業者が立体造形装置を有してもよい。
画像と関心領域に関する知識データに基づき、関心領域
の形状を精度よく抽出することができる。また、ネット
ワークを介してのビジネスを展開することに活用でき
る。
が実施される関心領域抽出装置の概略ブロック構成図。
れを示すフローチャート。
すフローチャート。
す図。
す図。
ている。
にとって例示している。
及び幾何データの関係を概略的に示す図。
おす処理を概念的に示す図。
得るための差分演算の概念を示す図。
受する実施形態を示す図。
受する実施形態の動作を説明するために引用したシーケ
ンス図。
状) 7…知識データ 8…輪郭面(典型的形状の輪郭面) 9…原点(典型的形状の画像の原点) 10…輪郭面(画像Bの関心領域の輪郭面) 11…法線法方向ベクトル(画像Bの関心領域の輪郭面
における法線方向ベクトル) 12…幾何データ(関心領域の位置と大きさを表す幾何
データ) 13…候補(抽出あふれ候補、あふれ領域の候補) 14…CT画像(入力画像、画像A)
Claims (10)
- 【請求項1】 画像から関心領域を抽出する方法にお
いて、 第1に、コンピュータに入力した画像の特定の点とこの
点に隣接する点の画素値の相関に基づき、順次領域を拡
大してゆく手法により領域抽出処理を行い、 第2に、前記処理により領域抽出された画像と、前記関
心領域の標準形状に関する知識データとを比較すること
で、前記関心領域の位置と大きさを同定し、 第3に、前記標準形状と前記同定した位置と大きさに関
するデータに基づき前記領域抽出処理により抽出された
画像を修正し、抽出画像を得ること、を特徴とする関心
領域抽出方法。 - 【請求項2】 前記第1に行う領域抽出処理が、領域
拡張法に基づく手法であることを特徴とする請求項1に
記載の関心領域抽出方法。 - 【請求項3】 前記第2に行う領域の位置と大きさを
同定する処理が、一般化ハフ変換に基づく手法であるこ
とを特徴とする請求項1又は請求項2に記載の関心領域
抽出方法。 - 【請求項4】 前記第3に行う画像の修正処理が、前
記領域抽出処理により得られた画像の欠損部を補間する
処理であることを特徴とする請求項1ないし請求項3の
いずれか1項に記載の関心領域抽出方法。 - 【請求項5】 前記画像の欠損部を補間する処理が、
前記第1に行う領域抽出処理により得られた画像と、前
記第2に行う位置と大きさを同定する処理で得られたデ
ータに基づき生成された画像との画素ごとの論理和演算
であることを特徴とする請求項4に記載の関心領域抽出
方法。 - 【請求項6】 前記第3に行う画像の修正処理が、前
記領域抽出処理により得られた画像のあふれ領域を除去
する処理であることを特徴とする請求項1ないし請求項
3のいずれか1項に記載の関心領域抽出方法。 - 【請求項7】 前記画像のあふれ領域を除去する処理
が、前記第1に行う領域抽出処理により得られた画像
と、前記第2に行う位置と大きさとを同定する処理で得
られたデータに基づき生成された画像との画素ごとの差
分演算であることを特徴とする請求項6に記載の関心領
域抽出方法。 - 【請求項8】 前記第1に行う領域抽出の終了時点、
前記第2に行う位置と大きさの同定の終了時点、及び、
前記第3に行う画像修正の終了時点、のうち少なくとも
1つの時点において、ユーザに処理結果を提示して承認
を求めることにより後続の処理に進むことを特徴とする
請求項1ないし請求項7のいずれか1項に記載の関心領
域抽出方法。 - 【請求項9】 ネットワークを介して送信される画像
データを受信する受信装置と、 前記受信した画像データに対して、請求項1ないし請求
項8のいずれか1項に記載の関心領域抽出方法を実行す
る関心領域抽出処理装置と、 前記関心領域抽出装置が抽出した画像データを、ネット
ワークを介して送信する送信装置と、を備えることを特
徴とする画像処理サーバ。 - 【請求項10】 前記受信した画像データが医療機器に
より採取されたCT画像であり、 前記抽出した画像データが立体造形物を作成するために
使用される造形データであること、を特徴とする請求項
9に記載の画像処理サーバ。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002075330A JP3712234B2 (ja) | 2002-03-19 | 2002-03-19 | 関心領域抽出方法及び画像処理サーバ |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002075330A JP3712234B2 (ja) | 2002-03-19 | 2002-03-19 | 関心領域抽出方法及び画像処理サーバ |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003265462A true JP2003265462A (ja) | 2003-09-24 |
JP3712234B2 JP3712234B2 (ja) | 2005-11-02 |
Family
ID=29204433
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002075330A Expired - Fee Related JP3712234B2 (ja) | 2002-03-19 | 2002-03-19 | 関心領域抽出方法及び画像処理サーバ |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3712234B2 (ja) |
Cited By (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005296479A (ja) * | 2004-04-15 | 2005-10-27 | Hitachi Medical Corp | 特定領域抽出方法及び装置 |
JP2006068457A (ja) * | 2004-09-06 | 2006-03-16 | Toshiba Corp | X線ct装置、画像データ領域抽出システムおよび画像データ領域抽出プログラム |
JP2006149498A (ja) * | 2004-11-26 | 2006-06-15 | Chiba Univ | 画像処理プログラム及び画像処理方法 |
JP2007508094A (ja) * | 2003-10-17 | 2007-04-05 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | モデルベースの画像セグメンテーションのための手動ツール |
JP2007105195A (ja) * | 2005-10-13 | 2007-04-26 | Fujifilm Corp | 画像処理装置、画像処理方法およびそのプログラム |
JP2007164592A (ja) * | 2005-12-15 | 2007-06-28 | Konica Minolta Medical & Graphic Inc | モデリング装置、領域抽出装置およびプログラム |
CN100419781C (zh) * | 2005-10-05 | 2008-09-17 | 三菱电机株式会社 | 图像识别装置 |
JP4747175B2 (ja) * | 2004-09-22 | 2011-08-17 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 医用画像における器官の等角セグメント化方法及び装置 |
JP2012029966A (ja) * | 2010-08-02 | 2012-02-16 | Hitachi Information & Control Solutions Ltd | 画像解析方法、プログラムおよび画像解析装置 |
JP2012090747A (ja) * | 2010-10-27 | 2012-05-17 | Hitachi Medical Corp | 医用画像処理装置及び医用画像処理方法 |
JP2013005841A (ja) * | 2011-06-22 | 2013-01-10 | Hitachi Ltd | 画像処理フロー評価方法及び当該方法を実行する画像処理装置 |
KR101341576B1 (ko) * | 2012-11-20 | 2013-12-13 | 중앙대학교 산학협력단 | 등고선 기반 관심영역 결정방법 및 장치 |
WO2015126023A1 (ko) * | 2014-02-21 | 2015-08-27 | 전북대학교산학협력단 | 의료 영상에서 관심 부위 검출/선택 방법 및 이를 적용한 시스템 |
KR101576058B1 (ko) | 2014-03-26 | 2015-12-10 | 전북대학교산학협력단 | Mri/mra 영상 특성을 활용한 관심부위 선택방법 및 이를 적용한 시스템 |
JP2016036416A (ja) * | 2014-08-06 | 2016-03-22 | 株式会社東芝 | 医用画像処理装置 |
JP2017131427A (ja) * | 2016-01-28 | 2017-08-03 | 株式会社日立製作所 | X線画像診断装置及び骨密度計測方法 |
CN107831463A (zh) * | 2016-09-16 | 2018-03-23 | 通用电气公司 | 用于对物体成像的pet‑mri系统及其成像的方法及其表面线圈 |
JP2019511942A (ja) * | 2016-02-17 | 2019-05-09 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | 物理的な3d解剖学的構造モデルの製造 |
WO2020095343A1 (ja) * | 2018-11-05 | 2020-05-14 | 株式会社島津製作所 | X線撮像装置 |
JP2020131019A (ja) * | 2019-02-18 | 2020-08-31 | 国立大学法人旭川医科大学 | 画像処理装置、画像処理方法、およびプログラム |
CN114693707A (zh) * | 2020-12-31 | 2022-07-01 | 北京小米移动软件有限公司 | 物体轮廓模板获取方法、装置、设备及存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10275213A (ja) * | 1997-03-31 | 1998-10-13 | Fuji Photo Film Co Ltd | 放射線画像の照射野認識方法および装置、並びに黒化処理方法および装置 |
JPH11332858A (ja) * | 1998-05-22 | 1999-12-07 | Fuji Photo Film Co Ltd | 照射野外黒化処理装置 |
JP2000172829A (ja) * | 1998-12-07 | 2000-06-23 | Hitachi Ltd | 領域抽出手法 |
JP2001283191A (ja) * | 2000-01-25 | 2001-10-12 | Hitachi Medical Corp | 臓器の特定領域抽出表示方法及び装置 |
JP2003530177A (ja) * | 2000-04-07 | 2003-10-14 | カーネギー メロン ユニヴァーシティ | コンピューター支援による骨延長 |
-
2002
- 2002-03-19 JP JP2002075330A patent/JP3712234B2/ja not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10275213A (ja) * | 1997-03-31 | 1998-10-13 | Fuji Photo Film Co Ltd | 放射線画像の照射野認識方法および装置、並びに黒化処理方法および装置 |
JPH11332858A (ja) * | 1998-05-22 | 1999-12-07 | Fuji Photo Film Co Ltd | 照射野外黒化処理装置 |
JP2000172829A (ja) * | 1998-12-07 | 2000-06-23 | Hitachi Ltd | 領域抽出手法 |
JP2001283191A (ja) * | 2000-01-25 | 2001-10-12 | Hitachi Medical Corp | 臓器の特定領域抽出表示方法及び装置 |
JP2003530177A (ja) * | 2000-04-07 | 2003-10-14 | カーネギー メロン ユニヴァーシティ | コンピューター支援による骨延長 |
Cited By (34)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4758351B2 (ja) * | 2003-10-17 | 2011-08-24 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | モデルベースの画像セグメンテーションのための手動ツール |
JP2007508094A (ja) * | 2003-10-17 | 2007-04-05 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | モデルベースの画像セグメンテーションのための手動ツール |
JP4538260B2 (ja) * | 2004-04-15 | 2010-09-08 | 株式会社日立メディコ | 特定領域抽出方法及び装置 |
JP2005296479A (ja) * | 2004-04-15 | 2005-10-27 | Hitachi Medical Corp | 特定領域抽出方法及び装置 |
JP2006068457A (ja) * | 2004-09-06 | 2006-03-16 | Toshiba Corp | X線ct装置、画像データ領域抽出システムおよび画像データ領域抽出プログラム |
JP4747175B2 (ja) * | 2004-09-22 | 2011-08-17 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 医用画像における器官の等角セグメント化方法及び装置 |
JP4572294B2 (ja) * | 2004-11-26 | 2010-11-04 | 国立大学法人 千葉大学 | 画像処理プログラム及び画像処理方法 |
JP2006149498A (ja) * | 2004-11-26 | 2006-06-15 | Chiba Univ | 画像処理プログラム及び画像処理方法 |
CN100419781C (zh) * | 2005-10-05 | 2008-09-17 | 三菱电机株式会社 | 图像识别装置 |
JP4606991B2 (ja) * | 2005-10-13 | 2011-01-05 | 富士フイルム株式会社 | 画像処理装置、画像処理方法およびそのプログラム |
JP2007105195A (ja) * | 2005-10-13 | 2007-04-26 | Fujifilm Corp | 画像処理装置、画像処理方法およびそのプログラム |
JP2007164592A (ja) * | 2005-12-15 | 2007-06-28 | Konica Minolta Medical & Graphic Inc | モデリング装置、領域抽出装置およびプログラム |
JP4720478B2 (ja) * | 2005-12-15 | 2011-07-13 | コニカミノルタエムジー株式会社 | モデリング装置、領域抽出装置およびプログラム |
JP2012029966A (ja) * | 2010-08-02 | 2012-02-16 | Hitachi Information & Control Solutions Ltd | 画像解析方法、プログラムおよび画像解析装置 |
JP2012090747A (ja) * | 2010-10-27 | 2012-05-17 | Hitachi Medical Corp | 医用画像処理装置及び医用画像処理方法 |
JP2013005841A (ja) * | 2011-06-22 | 2013-01-10 | Hitachi Ltd | 画像処理フロー評価方法及び当該方法を実行する画像処理装置 |
KR101341576B1 (ko) * | 2012-11-20 | 2013-12-13 | 중앙대학교 산학협력단 | 등고선 기반 관심영역 결정방법 및 장치 |
WO2015126023A1 (ko) * | 2014-02-21 | 2015-08-27 | 전북대학교산학협력단 | 의료 영상에서 관심 부위 검출/선택 방법 및 이를 적용한 시스템 |
KR101576058B1 (ko) | 2014-03-26 | 2015-12-10 | 전북대학교산학협력단 | Mri/mra 영상 특성을 활용한 관심부위 선택방법 및 이를 적용한 시스템 |
JP2016036416A (ja) * | 2014-08-06 | 2016-03-22 | 株式会社東芝 | 医用画像処理装置 |
JP2017131427A (ja) * | 2016-01-28 | 2017-08-03 | 株式会社日立製作所 | X線画像診断装置及び骨密度計測方法 |
JP2022176214A (ja) * | 2016-02-17 | 2022-11-25 | コーニンクレッカ フィリップス エヌ ヴェ | 物理的な3d解剖学的構造モデルの製造 |
JP2019511942A (ja) * | 2016-02-17 | 2019-05-09 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | 物理的な3d解剖学的構造モデルの製造 |
JP7450680B2 (ja) | 2016-02-17 | 2024-03-15 | コーニンクレッカ フィリップス エヌ ヴェ | 物理的な3d解剖学的構造モデルの製造 |
JP7446059B2 (ja) | 2016-02-17 | 2024-03-08 | コーニンクレッカ フィリップス エヌ ヴェ | 物理的な3d解剖学的構造モデルの製造 |
US11607316B2 (en) | 2016-02-17 | 2023-03-21 | Koninklijke Philips N.V. | Physical 3D anatomical structure model fabrication |
CN107831463A (zh) * | 2016-09-16 | 2018-03-23 | 通用电气公司 | 用于对物体成像的pet‑mri系统及其成像的方法及其表面线圈 |
JP7188450B2 (ja) | 2018-11-05 | 2022-12-13 | 株式会社島津製作所 | X線撮像装置 |
JPWO2020095343A1 (ja) * | 2018-11-05 | 2021-09-24 | 株式会社島津製作所 | X線撮像装置 |
WO2020095343A1 (ja) * | 2018-11-05 | 2020-05-14 | 株式会社島津製作所 | X線撮像装置 |
JP7382059B2 (ja) | 2019-02-18 | 2023-11-16 | 国立大学法人旭川医科大学 | 画像処理装置、画像処理方法、およびプログラム |
JP2020131019A (ja) * | 2019-02-18 | 2020-08-31 | 国立大学法人旭川医科大学 | 画像処理装置、画像処理方法、およびプログラム |
CN114693707A (zh) * | 2020-12-31 | 2022-07-01 | 北京小米移动软件有限公司 | 物体轮廓模板获取方法、装置、设备及存储介质 |
CN114693707B (zh) * | 2020-12-31 | 2023-09-26 | 北京小米移动软件有限公司 | 物体轮廓模板获取方法、装置、设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
JP3712234B2 (ja) | 2005-11-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2003265462A (ja) | 関心領域抽出方法及び画像処理サーバ | |
US8121362B2 (en) | Registration of medical images using learned-based matching functions | |
JP6355766B2 (ja) | 医用イメージングのための骨セグメンテーションにおけるユーザ誘導される形状モーフィング | |
JP4584575B2 (ja) | 3d画像に表示される3dサーフェイスとインタラクトする画像処理方法 | |
EP2916738B1 (en) | Lung, lobe, and fissure imaging systems and methods | |
JP4152648B2 (ja) | 対象物に含まれる三次元画像をセグメント化する方法 | |
US20120002850A1 (en) | Region data editing apparatus, region data editing method, and recording medium | |
RU2711140C2 (ru) | Редактирование медицинских изображений | |
JP2008510499A (ja) | 解剖学的可視化/測定システム | |
JP6918528B2 (ja) | 医用画像処理装置及び医用画像処理プログラム | |
EP1695287A1 (en) | Elastic image registration | |
JP5399225B2 (ja) | 画像処理装置および方法並びにプログラム | |
US7620229B2 (en) | Method and apparatus for aiding image interpretation and computer-readable recording medium storing program therefor | |
WO2010106532A1 (en) | System and method for performing computerized simulations for image-guided procedures using a patient specific model | |
JP2002150303A (ja) | デジタルラジオグラフィにおける脊椎軸及び脊椎境界の自動検出 | |
EP2116977A2 (en) | Method for editing 3D image segmentation maps | |
JP5566299B2 (ja) | 医用画像処理装置、及び医用画像処理方法 | |
EP2186058B1 (en) | Anatomically constrained image registration | |
JP2007282945A (ja) | 画像処理装置 | |
JP2016147026A (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP2005169118A (ja) | 断層画像データのセグメント化方法および画像処理システム | |
JP2007159643A (ja) | 画像処理装置および方法 | |
Kurazume et al. | 3D reconstruction of a femoral shape using a parametric model and two 2D fluoroscopic images | |
EP4156096A1 (en) | Method, device and system for automated processing of medical images to output alerts for detected dissimilarities | |
JP3989896B2 (ja) | 医用画像処理装置、関心領域抽出方法、ならびに、プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050727 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050810 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050812 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080826 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090826 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100826 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100826 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110826 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120826 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130826 Year of fee payment: 8 |
|
LAPS | Cancellation because of no payment of annual fees |