JP2005004438A - 画像処理方法、画像処理装置、プログラム及びコンピュータ記録媒体 - Google Patents
画像処理方法、画像処理装置、プログラム及びコンピュータ記録媒体 Download PDFInfo
- Publication number
- JP2005004438A JP2005004438A JP2003166522A JP2003166522A JP2005004438A JP 2005004438 A JP2005004438 A JP 2005004438A JP 2003166522 A JP2003166522 A JP 2003166522A JP 2003166522 A JP2003166522 A JP 2003166522A JP 2005004438 A JP2005004438 A JP 2005004438A
- Authority
- JP
- Japan
- Prior art keywords
- frequency
- conversion
- coefficient
- frequency component
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims description 11
- 238000006243 chemical reaction Methods 0.000 claims abstract description 172
- 238000012545 processing Methods 0.000 claims abstract description 99
- 238000000034 method Methods 0.000 claims description 52
- 230000008569 process Effects 0.000 claims description 35
- 238000000354 decomposition reaction Methods 0.000 claims description 34
- 230000009466 transformation Effects 0.000 claims description 15
- 238000002360 preparation method Methods 0.000 claims description 12
- 238000003384 imaging method Methods 0.000 claims description 8
- 230000001131 transforming effect Effects 0.000 claims description 4
- 230000000694 effects Effects 0.000 description 23
- 238000010586 diagram Methods 0.000 description 18
- 230000004044 response Effects 0.000 description 16
- 238000007781 pre-processing Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 7
- 230000001186 cumulative effect Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 238000007906 compression Methods 0.000 description 4
- 230000006835 compression Effects 0.000 description 3
- 230000003247 decreasing effect Effects 0.000 description 3
- 210000000056 organ Anatomy 0.000 description 3
- 238000007796 conventional method Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 230000003187 abdominal effect Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 210000000038 chest Anatomy 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 210000004072 lung Anatomy 0.000 description 1
- 210000001370 mediastinum Anatomy 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
【解決手段】周波数成分分解手段が原画像を複数の周波数帯域毎の周波数係数に変換し、周波数成分変換手段が周波数成分分解手段で算出された周波数係数を周波数係数が属する周波数帯域で定まる周波数係数変換曲線で変換し、復元手段が周波数成分変換手段で変換された周波数係数を逆変換し、調製手段が復元手段で逆変換することにより得られた復元画像の画素値の幅を所定の画素値の幅に調整するものである。
【選択図】 図1
Description
【発明の属する技術分野】
本発明は、複数の周波数帯域毎の周波数処理機能を有する画像処理装置及び方法に関し、特に周波数帯域毎の周波数係数を変更するとともに画素値の幅が調整できる画像処理装置及び方法に関する。
【0002】
【従来の技術】
近年のデジタル技術の進歩により放射線画像をデジタル画像信号に変換し、該デジタル画像信号に対して周波数処理などの画像処理を施した後に諧調変換処理を行いCRT等に表示、あるいはプリンタにフィルムとして出力することが行われている。
【0003】
このような周波数処理としては画像を複数の周波数帯域に分解し、各周波数帯域に対応する画像成分を変更して復元することにより周波数処理を行う方法が知られている(例えば、特許文献1参照)。
【0004】
しかし、従来の周波数処理では処理後画像の画素値の幅を調整する技術的な思想がなかったものである。このため、処理後画像の画素値幅が広がることで、諧調変換などの処理後に表示媒体へ画像を表示した場合に、被写体の一部が表示されない問題があった。特に、低周波成分に及ぶ周波数処理では原画像と処理後画像の画素値の幅が異なる傾向が強くなるものである。
【0005】
また、CRT表示あるいはフィルム出力に適した画像にするためにダイナミックレンジ圧縮処理を行うことがある。
【0006】
この様なダイナミックレンジ圧縮処理を行う方法としては処理後の画素値SD、オリジナル画素値(入力画素値)Sorg、オリジナル画像(入力画像)をマスクサイズM×M画素で移動平均をとった時の平均画素値SUS、単調減少関数f(X)をもって、
SD=Sorg+f(SUS) (2)
SUS=ΣSorg/M2 (3)
なる式(2)、(3)式で表わされるものであり、低周波画像の画素値でDth以下の濃度値を圧縮するものである(例えば、特許文献2参照)。
【0007】
従来のダイナミックレンジを調整する方法では、ダイナミックレンジを調整する思想は開示されているのだが、ダイナミックレンジを変更した画素値範囲で周波数成分の比率を変更して周波数処理効果を得ようとする技術的思想は開示されていなかった。このため、ダイナミックレンジを調整された範囲での周波数成分の比率を調整することができない問題があった。また、従来のダイナミックレンジを調整する方法は低周波成分の諧調変換と捉えることができ、高周波成分を調整する技術的思想が開示されていないものである。従って、従来のダイナミックレンジ圧縮処理では高周波成分の調整自体が行えない問題があった。
【0008】
【特許文献1】
米国特許第580721号明細書
【特許文献2】
特許第2663189号明細書
【0009】
【発明が解決しようとする課題】
本発明は上記のような課題を解決するためになされたもので、周波数帯毎の係数を変更する処理とともみ画素値の幅の調整をすることができる画像処理方法、画像処理装置を得ることを目的とする。
【0010】
【課題を解決するための手段】
本願の第一の発明に係る画像処理装置は、周波数成分分解手段が原画像を複数の周波数帯域毎の周波数係数に変換し、周波数成分変換手段が周波数成分分解手段で算出された周波数係数を周波数係数が属する周波数帯域で定まる周波数係数変換曲線で変換し、復元手段が周波数成分変換手段で変換された周波数係数を逆変換し、調製手段が復元手段で逆変換することにより得られた復元画像の画素値の幅を所定の画素値の幅に調整するものである。
【0011】
本願の第二の発明に係る画像処理装置は、諧調変換手段が原画像を諧調変換曲線で諧調変換し、周波数成分分解手段が諧調変換された原画像を複数の周波数帯域毎の周波数係数に変換し、周波数成分変換手段が周波数成分分解手段で算出された周波数係数を、諧調変換曲線の傾きに依存して変更するとともに周波数帯域毎に異なる周波数変換曲線で変換し、復元手段が周波数成分変換手段で変換された周波数係数を逆変換するものである。
【0012】
本願の第三の発明に係る画像処理方法は、周波数成分分解工程が原画像を複数の周波数帯域毎の周波数係数に変換し、周波数成分変換工程が周波数成分分解工程で算出された周波数係数を周波数係数が属する周波数帯域で定まる周波数係数変換曲線で変換し、復元工程が周波数成分変換工程で変換された周波数係数を逆変換し、該復元工程で逆変換することにより得られた復元画像の画素値の幅を所定の画素値の幅に調整するものである。
【0013】
本願の第四の発明に係る画像処理装置は、諧調変換工程が原画像を諧調変換曲線で諧調変換し、周波数成分分解工程が諧調変換された原画像を複数の周波数帯域毎の周波数係数に変換し、周波数成分変換工程が周波数成分分解工程で算出された周波数係数を、諧調変換曲線の傾きに依存して変更するとともに周波数帯域毎に異なる周波数変換曲線で変換し、復元工程が周波数成分変換工程で変換された周波数係数を逆変換するものである。
【0014】
本発明の更なる目的又はその他の特徴は、以下添付図面を参照して説明される好ましい実施例によって明らかにされるであろう。
【0015】
【発明の実施の形態】
実施の形態1.
図1は、この発明の実施の形態1によるX線撮影装置100を示す。すなわち、X線撮影装置100は、撮影された画像の周波数帯域毎の処理を行う機能を有するX線の撮影装置であり、前処理回路106、cpu108、メインメモリ109、操作パネル110、画像表示器111、画像処理回路112を備えており、CPUバス107を介して互いにデータ授受されるようになされている。
【0016】
また、X線撮影装置100は、前処理回路106に接続されたデータ収集回路105と、データ収集回路105に接続された2次元X線センサ104及びX線発生回路101とを備えており、これらの各回路はCPUバス107にも接続されている。図2はこの発明の実施の形態1によるX線撮影装置110の処理の流れを示すフローチャートである。図3は操作パネル120の一例であり、各部位に対応するボタンを指示することにより撮影部位に対応した撮影が行われる。
【0017】
上述の様なX線撮影装置110において、まず、メインメモリ109は、CPU108での処理に必要な各種のデータなどが記憶されるものであると共に、CPU108の作業用としてのワークメモリを含む。
【0018】
CPU108は、メインメモリ109を用いて、操作パネル110からの操作にしたがった装置全体の動作制御等を行う。これによりX線撮影装置100は、以下のように動作する。
【0019】
先ず、X線発生回路101は、被検査体103に対してX線ビーム102を放射する。
【0020】
X線発生回路101から放射されたX線ビーム102は、被検査体103を減衰しながら透過して、2次元X線センサ104に到達し、2次元X線センサ104によりX線画像として出力される。ここでは、2次元X線センサ104から出力されるX線画像を、例えば人体画像等とする。
【0021】
データ収集回路105は、2次元X線センサ104から出力されたX線画像を電気信号に変換して前処理回路106に供給する。前処理回路106は、データ収集回路105からの信号( X線画像信号)に対して、オフセット補正処理やゲイン補正処理等の前処理を行う。この前処理回路106で前処理が行われたX線画像信号は原画像として、CPU108の制御により、CPUバス107を介して、メインメモリ109、画像処理回路112に転送される。
【0022】
112は画像処理回路の構成を示すブロック図であり、112において、113は原画像に対して離散ウェーブレット変換(以後DWT変換)を施し、各周波数帯域の周波数係数(ウェーブレット変換係数)を得る周波数成分分解回路であり、114は周波数成分分解回路113で得られた各周波数帯域に対応する周波数係数を変換する係数変換回路であり、115は係数変換回路115で変換された周波数係数に基づき逆離散ウェーブレット変換(以後逆DWT)を行なう復元回路であり、116は復元回路115で復元された画像の画素値幅を調整する調整回路である。
【0023】
図4(a)は周波数成分分解回路113の構成例を示す図であり、図4(b)は2次元の変換処理により得られる2レベルの変換係数群の構成例を示し、図4(c)は復元回路116の構成例を示す図である。図5は各レベルにおける周波数係数変換曲線の一例を示しており、横軸が入力係数で縦軸が出力係数を示している。図において501の範囲が周波数処理に直接関係する係数の範囲を示しており、それ以外の範囲がエッジ成分等に対応している。特に501の範囲の係数を係数変換曲線502で変更することで周波数処理効果を得るとともに、係数変換曲線503の傾きを1に保つことでオーバーシュートなどのアーティファクトの発生を防ぐものである。
【0024】
図6は、係数変換回路114での係数変換のレスポンス特性であり、図において横軸が周波数であり縦軸がレスポンス特性を示す。ここでレスポンス特性とは周波数処理前の画像における特定周波数の振幅と、周波数処理後の画像における特定周波数の振幅の比を示す。例えば周波数2.0(lp/mm)でのレスポンス特性が1.5であれば周波数処理の効果として画像中の周波数2.0(lp/mm)の波の振幅が1.5倍になったことを示す。つまり鮮鋭化の処理効果が得られることを意味する。
【0025】
図7は、調整回路116の処理の流れを説明するフローチャートである。図8は調整回路116での画素値の幅を調整する方法を説明するための図であり、図において横軸が画素値を示し、縦軸が画素値の出現頻度を示す。また、図8において800が処理前の画像における画素値の分布を、801が復元画像の分布を示し、802,803,804がそれぞれ原画像での累積ヒストグラムでの下位10%点、ヒストグラムでのピーク位置、累積ヒストグラムでの上位10%点の画素値位置を示す。また、805,806,807がそれぞれ復元画像での下位10%点、ピーク位置、上位10%点の画素値位置を示す。
【0026】
尚、レスポンス特性とは特定周波数の振幅の処理前後での比率を示す。
【0027】
図2の処理の流れに従い、実施の形態1.について以下に説明する。
【0028】
前処理回路106で前処理された原画像及び操作パネル110で指示した部位の情報はCPUバス107を介して画像処理回路112に転送される(s200)。画像処理回路112では、はじめに周波数成分分解回路113で2次元の離散ウェーブレット変換処理を行い、周波数係数を計算して出力するものである。メインメモリ109に記憶された画像データは、周波数成分分解回路113により順次読み出されて変換処理が行われ、再びメインメモリ109に書きこまれる。本実施の形態における周波数成分変換回路113において、入力された画像信号は遅延素子およびダウンサンプラの組み合わせにより、偶数アドレスおよび奇数アドレスの信号に分離され、2つのフィルタpおよびuによりフィルタ処理が施される。図4(a)sおよびdは、各々1次元の画像信号に対して1レベルの分解を行った際のローパス係数およびハイパス係数を表しており、次式により計算されるものとする。
ただし、x(n)は変換対象となる画像信号である。
【0029】
以上の処理により、画像信号に対する1次元の離散ウェーブレット変換処理が行われる。2次元の離散ウェーブレット変換は、1次元の変換を画像の水平・垂直方向に対して順次行うものであり、その詳細は公知であるのでここでは説明を省略する。図4(b)は2次元の変換処理により得られる2レベルの周波数係数群の構成例であり、画像信号は異なる周波数帯域の周波数係数HH1,HL1,LH1,...,LLに分解される(s201)。図4(b)においてHH1,HL1,LH1,...,LL等(以下サブバンドと呼ぶ)が周波数帯域毎の周波数係数を示す。図4(b)の構成例では2レベルまでの周波数係数までしかしめされていないが、実際には5レベル程度までの分解処理を行うものである。ここで、各レベルの係数は特定の周波数帯域を代表する値となっており、各レベルの係数の値を係数変換回路114で変更して、復元回路115で復元すると、変更したレベルに対応する周波数成分の値が変更されるものである。
【0030】
次に、周波数成分分解回路113で分解して算出された周波数係数に対して、係数変換回路114は周波数帯域毎(各レベル毎)に異なる係数変換曲線を用いて係数変換を行うことで、周波数成分の比率を変更する処理を行う(s202)。この場合、低周波帯に対応するレベルの係数の変換率を高周波帯に対応するレベルの周波数係数よりも上げる事で、例えば図6に示す様に、高周波成分よりも低周波成分の比率が高くなるように変換するものである。つまり、処理後画像の高周波に対する波の振幅よりも、低周波に対する波の振幅の増幅する割合が大きくなることを意味する。この効果は各レベルの係数変換曲線の形状を変更することで得られるものであり、係数変換後の値が、変換前の値より大きくなることでそのレベルに対応する周波数帯域のレスポンス特性の値が大きくなるものである。ここで、周波数成分の比率を変更するとは、処理前画像と処理後画像で、特定周波数の波の振幅比が他の周波数帯域における波の振幅比と異なる事をいう。
【0031】
係数変換曲線は部位によりあらかじめ定まっているものであり、選択された部位に従い選択される。次に復元回路115は係数変換回路114で変換された係数に対して逆離散ウェーブレット変換を以下のように行う(s203)。メインメモリ109に記憶された変換された周波数係数は復元回路115により順次読み出されて変換処理が行われ、再びメインメモリ109に書きこまれる。本実施の形態における復元回路115による逆離散ウェーブレット変換処理の構成は図4(c)に示すものとする。入力された周波数係数はuおよびpの2つのフィルタ処理を施され、アップサンプリングされた後に重ね合わされて画像信号x‘が出力される。これらの処理は次式により行われる。
x’(2*n)=s’(n)−floor((d’(n−1)+d’(n))/4) (3)
x’(2*n+1)=d’(n)+floor((x’(2*n)+x’(2*n+2))/2) (4)
【0032】
以上の処理により、周波数係数に対する1次元の逆離散ウェーブレット変換処理が行われる。2次元の逆離散ウェーブレット変換は、1次元の逆変換を画像の水平・垂直方向に対して順次行うものであり、その詳細は公知であるのでここでは説明を省略する。周波数帯域毎の周波数係数の算出には、ラプラシアンピラミッド等を用いて分解することも可能であり、特にウェーブレット変換しか用いられないわけではない。しかし、ウェーブレット変換は周波数の分離特性に優れており、ウェーブレット変換を用いた場合には、周波数処理において周波数成分の比率を微細に調整できるなど、周波数処理のコントロールが容易となる効果があるものである。
【0033】
次に、調製回路116の処理の流れを図7に従い説明する。調製回路116は、あらかじめメインメモリ109に保存される原画像全体のヒストグラム及び累積ヒストグラムを作成し(s701)、ヒストグラムのピーク位置803及び累積ヒストグラムの下位10%点である802及び上位10%点である804を算出する(s702)。調製回路116は、同様に復元画像全体のヒストグラム及び累積ヒストグラムを作成し(s703)、ヒストグラムのピーク位置806及び累積ヒストグラムの下位10%点である805及び上位10%点である807を算出する(s704)。そして、調製回路116はピーク位置806がピーク位置803と一致し、804,802で示す画素値の幅と、805,807で示す画素値の幅が一致するように復元画像の諧調を変換する。具体的には、まずピーク位置が一致するように復元画像の画素値をシフトし、次に画像全体のダイナミックレンジを調製するものである。これらは通常のアフィン変換で処理が可能である。
【0034】
以上の様に実施の形態1.では、復元画像の画素値幅を、原画像の画素値幅と同様にすることにより、画像全体のダイナミックレンジを処理前と同様に保つ事ができる効果がある。さらに、復元処理後の画像の画素値幅を解析することにより精度よく原画像の画素値幅と一致できる効果がある。周波数成分の比率を変更できるため、撮影対象に適した周波数処理を行える効果がある。また、周波数成分の比率を変更できるため、低周波成分を多く含む、腫瘍、骨、血管などの構造物を、主として高周波成分からなるノイズなどより強く強調することができ診断能があがる効果がある。
【0035】
実施の形態2.
実施の形態2は、実施の形態1と係数変換回路114における係数変換の方法が異なるものであるため、実施の形態1と同様の処理の説明を省略し、係数変換回路114の係数変換方法を説明する。
【0036】
図9は横軸が原画像の画素値で、縦軸が各レベルの係数の変換率を示す。係数変換曲線で変換された係数をこの係数変換率でさらに変換するものである。例えば、901が1レベルの係数に対する変換率、902が3レベル、903が5レベルの変換率をそれぞれ示す。これは説明容易のため代表的に1,3,5レベルを選択的に説明したものであり、選択した部位により異なる。ここで、レベルが上がるほど、各係数はより低周波帯の成分に対応する。つまり、5レベルの係数を変更すると、1レベルの係数を変更した場合よりも低周波の波の振幅が変更されることになる。また、図10は、レスポンス特性の一例を示したものであり、横軸が周波数、縦軸がレスポンス特性を示す。つまり、レスポンス特性が例えば1の場合はその周波数における波の振幅は変更されず、例えば1.5の場合には振幅が1.5倍に成ることを示している。
【0037】
図10において1001は原画像の値が低画素値側のレスポンス特性であり、1002は1001より高画素値側の特性を示す。尚、本実施の形態2では係数の変換率の効果を明確にするため、実施の形態1で示した係数変換曲線の傾き(502)を1とした場合の結果について述べる。
【0038】
係数変換回路114では、例えばこの図9の係数変換率に従い周波数係数の係数変換を行う。各周波数係数は対応する原画像の特定範囲から計算されるため、係数の座標から対応する原画像の画素値の座標を求めることが可能であり、係数に対応する画素値を算出することが出来る。この算出した画素値から係数変換率がさだまるものである。尚、レベルが上がるに従い、1係数に対応する原画像の数(つまり、1周波数係数を算出するために用いる画素の数)は増加するが、係数の座標に対応する原画像の画素値の座標が複数対応する場合には、複数座標の中点に位置する座標の画素値をその係数に対応する画素値とする。このようにして各係数には原画像の画素値が割り当てられる。
【0039】
図9では、各レベル中で最も高い周波数帯域に対応する1レベルの係数を変更しないのに対し、1レベルより低周波側の周波数帯域に対応する3レベル、さらに低周波側の周波数帯域に対応する5レベルの係数の変換率を原画像の画素値が低下するに従い上げている。
【0040】
その結果、レスポンス特性は図10に示す様に、原画像の低画素値側では低周波成分の比率が上がるように変換される。この様なレスポンス特性が得られた場合には、例えば、胸部正面画像の様に高画素値領域である肺領域に対しては周波数処理がかからないものである。一方、低画素値領域であり、粒状性が悪くなり勝ちである腹部及び縦隔部に対しては低周波成分の波の振幅は大きくなるが、高周波成分の波の振幅は低周波成分の波の振幅と比較して大きくならないため、臓器などの構造物のコントラストは上がるが、ノイズに対応する成分は強調されないものである。これにより臓器など(有効情報)のコントラストは上がるが、ノイズ(不要情報)のコントラストは相対的に下がるものである。ここで、有効情報のコントラストの増加に対して、不要情報のコントラストが相対的に低下している場合を画質改善と呼ぶことにする。画質改善した画像は一般に観察しやすく診断等に適するものである。
【0041】
尚、図9では、画素値を横軸にとったが、横軸を2次元X線センサー104への到達X線量としてもよい。この場合には、画素値で表現する場合よりも、直接的にセンサーのノイズ特性などを反映できるものである。X線の到達線量は、2次元X線センサ104の出力値から直接換算できるものであり、例えば、2次元X線センサ104の出力値がX線到達線量と線形に比例する場合には、出力値そのものをX線到達線量とすることができる。尚、画質改善とは画像中の有効情報のコントラスト(例えば臓器)を上げ、ノイズなどの不要情報のコントラストを下げることをいい、有効情報のコントラストの増加に対して、不要情報のコントラストが相対的に低下している場合をいう。
【0042】
以上の様に実施の形態2.では、画素値又は到達X線量に応じて周波数成分の比率を変更することが出来る効果がある。さらに、係数変換曲線との総合作用により、係数変換曲線での周波数成分の比率の変更に加え、画素値又は到達X線量に応じて周波数成分の比率を変更することが出来る効果がある。
【0043】
実施の形態3.
図11は実施の形態3の構成例を示す図であり、図において諧調変換回路1101が加えられた事及び係数変換回路114の処理が実施の形態1及び2と異なるものである。そこで、実施の形態3では、実施の形態1及び2と同様の処理の説明を省略し、係数変換回路114の係数変換方法及び諧調変換回路1101について説明する。図12は、諧調変換回路1101における諧調変換曲線を示し、図において横軸が画素値、縦軸が濃度値(又は輝度値)を示す。この諧調変換曲線により、復元回路115で復元された画像又は調製回路116でレンジの調製された画像の諧調変換が行われる。
【0044】
人の視覚は、フィルム上の濃度値やモニター条での輝度値に応じて異なるものである。従って、本実施の形態では、濃度値又は輝度値を周波数処理に反映させることを意図するものである。つまり、実施の形態2では図9に例示したように係数変換回路114では、画素値に応じて周波数係数の変換率を変えたものであるが、実施の形態3では、周波数係数を濃度値又は輝度値に依存して変更するものである。具体的には、図12の諧調変換曲線から濃度値と画素値の関係を求め、図8に示す関係から濃度値又は輝度値に依存する周波数特性を得られるようにするものである。言い換えると濃度値を画素値に割り当て、その画素値に対応するレスポンス特性を調製するものである。
【0045】
以上の様に実施の形態3.では、濃度値又は輝度値に応じて周波数成分の比率を変更することが出来る効果がある。これにより人の濃度値又は輝度値に対する視覚特性に応じて周波数処理を行える効果がある。
【0046】
実施の形態4.
実施の形態4.は、諧調変換変換曲線の傾きに応じて周波数係数の変換率を変更するとともに、撮影対象に応じて周波数成分の比率を変更する画像処理装置に関する。実施の形態4の構成は図11に示す実施の形態3の構成例と同様であり、係数変換回路114の係数変換の方法がことなるため、係数変換回路114での処理を中心に説明する。
【0047】
図13は画像処理回路112での処理の流れを示すフローチャートであり、図14は諧調変換回路1101でダイナミックレンジを変更するために用いる諧調変換曲線f( )の一例を示す図ある。
【0048】
図13の処理の流れに従い、実施の形態4.について以下に説明する。
【0049】
前処理回路106で前処理された原画像は、部位情報とともにCPUバス107を介して画像処理装置112に転送される(S1300)。画像処理装置112では、はじめに諧調変換回路1101が原画像Org(x,y)を諧調変換曲線f( )を用いてf(Org(x、y))に変換する(s1301)。こここで、x、yは原画像上の座標である。諧調変換曲線f( )としては例えば図14の様な曲線形を用い、実線1は傾き1の関数である。つまり、入力値と出力値を変更しない場合であり、ダイナミックレンジ圧縮の効果はない。次に破線1402の場合は低画素値側のダイナミックレンジを圧縮する関数形であり、破線1403は低画素値側のダイナミックレンジを拡大する関数形である。同様に破線1404は高画素値側のダイナミックレンジを拡大するものであり、破線1405は高画素値側のダイナミックレンジを圧縮する関数形である。また、実施する場合には、これらの曲線形は微分連続に構成する方が好ましい。微分不連続点で擬輪郭が生じることがあるからである。
【0050】
次に周波数成分分解回路(離散ウェーブレット変換回路)113は諧調変換後の画像f(Org(x、y))に対して2次元の離散ウェーブレット変換処理を行い、周波数係数を計算して出力するものである(s1302)。これにより、画像信号に対する離散ウェーブレット変換処理が行われる。
【0051】
そして、係数変換回路114では(5)式に従いサブバンド毎の周波数係数hn(x、y)を変換する(s1303)。ここで、変換後の周波数係数をh2n(x、y)とし、nはサブバンドのカテゴリ、つまり各レベルを示す。αn(Org(x,y))は、nレベルでの係数変換率を示し、原画像Org(x,y)の値により異なるものである。係数変換率αn()は、撮影対象に応じて定めることにより、周波数成分の比率を撮影対象に応じて自在に定めことが可能である。また、定めた値を初期値とするものである。
【0052】
【0053】
この処理により、原画像の周波数係数に対して諧調変換処理によりf’(x、y)倍となった諧調変換処理後の画像における周波数係数の値を、原画像の周波数係数とほぼ同一の値とすることができる。ここでもっとも最下層の低周波成分であるLLサブバンドの周波数係数は変更しない。これにより、全体のダイナミックレンジは変更されるが高周波成分に対応する周波数係数はほぼ原画像の周波数係数と同一の値を保つ効果がある。αn(Org(x,y))の値は、諧調変換曲線f( )の傾きが1である領域は1として、それ以外の領域で1以外の値をとるように調製することにより、ダイナミックレンジを変更した領域での周波数成分の比率も同時に調製できる効果がある。つまり、係数変換率αn( )の値を変更することにより周波数成分の比率も自在に調製できるものである。
【0054】
そして、復元回路115は係数変換回路114で変換された周波数係数に対し逆離散ウェーブレット変換を行う(s1304)。
【0055】
以上の様に実施の形態4.では画像のダイナミックレンジを変更し、同時に周波数成分を調製できる効果がある。これにより、ダイナミックレンジを変更するとともに撮影対象に応じた周波数処理が可能となる。また、周波数処理を行う前に諧調変換処理を行うため、周波数処理による画素値の変動を受けないため、精度よく原画像の画素値の値に従いダイナミックレンジを変更できる効果がある。
【0056】
実施の形態5.
実施の形態5.は、諧調変換変換曲線の傾きに応じて周波数係数の変換率を変更するとともに、周波数成分の比率も変更する画像処理装置に関する。実施の形態5の構成は図11に示す実施の形態3の構成例と同様であり、係数変換回路114の係数変換の方法がことなるため、係数変換回路114での処理を中心に説明する。実施の形態4との相違は、諧調変換処理の前に、周波数係数の調製を行う事が異なる。
【0057】
図15は画像処理回路112での処理の流れを示すフローチャートであり、図14は諧調変換回路1001でダイナミックレンジを変更するために用いる諧調変換曲線f( )の一例を示す図ある。
【0058】
図15の処理の流れに従い、実施の形態5.について以下に説明する。
【0059】
前処理回路106で前処理された原画像及び部情報がCPUバス107を介して画像処理装置112に転送される(S1500)。画像処理装置112では、はじめに周波数成分分解回路(離散ウェーブレット変換回路)113が原画像Org(x、y)に対して2次元の離散ウェーブレット変換処理を行い、周波数係数(変換係数)を計算して出力するものである(s1501)。これにより、画像信号に対する離散ウェーブレット変換処理が行われる。そして、係数変換回路114では(6)式に従いサブバンド毎の周波数係数hn(x、y)を変換する(s1502)。ここで、変換後の周波数係数をh2n(x、y)とし、nはサブバンドのカテゴリ、つまり各レベルを示す。αn(Org(x,y))は、nレベルでの係数変換率を示し、原画像Org(x,y)の値により異なるものである。係数変換率αn( )は、周波数成分の調製にあわせて自在に定め、定めた値を初期値とするものである。また、係数変換率αn( )は、撮影対象に応じて定めえるものでもある。
【0060】
【0061】
この処理により、原画像の周波数係数に対して、あらかじめ、周波数係数の値を変更しておくことにより、後段の諧調変換処理での振幅への影響を抑えるものである。
【0062】
ここでもっとも最下層の低周波成分であるLLサブバンドの周波数係数は変更しない。これにより、後段の諧調変換処理により全体のダイナミックレンジは変更されるが高周波成分に対応する周波数係数はほぼ原画像の周波数係数と同一の値を保つ効果がある。αn(Org(x,y))の値は、諧調変換曲線f( )の傾きが1である領域は1として、それ以外の領域で1以外の値をとるように調製することにより、ダイナミックレンジを変更した領域での周波数成分の比率も同時に調製できる効果がある。つまり、係数変換率αn( )の値を変更することにより周波数成分の比率も自在に調製でき、撮影対象に応じて変更することもできる。
【0063】
そして、復元回路115は係数変換回路114で変換された周波数係数に対し逆離散ウェーブレット変換を行う(s1503)。諧調変換回路1101は復元回路115での復元画像に対して諧調変換曲線f( )を用いて諧調変換処理を行う(s1504)。
【0064】
以上の様に実施の形態5.では原画像に対しして係数分解処理を行い、係数の調製を行うので、諧調変換処理による影響を係数分解処理に対して受けず、係数の調製処理の制度が上がる効果がある。また、画像のダイナミックレンジを変更し、同時に周波数成分を調製できる効果がある。これにより、ダイナミックレンジを変更するとともに被写体に応じた周波数処理が可能となる。
【0065】
【発明の効果】
以上詳述したように、本発明によれば、画素値の幅の調整と同時に周波数成分の比率を調整することができる効果がある。
【図面の簡単な説明】
【図1】この発明の実施の形態1による画像処理装置のブロック図である。
【図2】この発明の実施の形態1による画像処理装置の処理手順を示すフローチャートである。
【図3】操作パネルの一例を示す図である。
【図4】離散ウェーブレット変換およびその逆変換の説明図である。
【図5】周波数変換曲線の一例を示す図である。
【図6】レスポンス特性の一例を説明する図である。
【図7】調製回路の処理手順を示すフローチャートである。
【図8】画素値幅を説明する図である。
【図9】画素値に依存した係数の変換率の一例を説明する図である。
【図10】画素値毎のレスポンス特性の一例を示す図である。
【図11】この発明の実施の形態3による画像処理装置のブロック図である。
【図12】諧調変換曲線の一例を示す図である。
【図13】この発明の実施の形態4による画像処理装置の処理手順を示すフローチャートである。
【図14】ダイナミックレンジを変更する曲線の一例を示す図である。
【図15】この発明の実施の形態5による画像処理装置の処理手順を示すフローチャートである。
【符号の説明】
113 周波数成分変換回路
114 係数変換回路
115 復元回路
116 調製回路
1101 諧調変換回路
Claims (20)
- 原画像を複数の周波数帯域毎の周波数係数に変換する周波数成分分解手段と、該周波数成分分解手段で算出された周波数係数を該周波数係数が属する周波数帯域毎に定まる周波数係数変換曲線で変換する周波数成分変換手段と、該周波数成分変換手段で変換された周波数係数を逆変換する復元手段と、該復元手段で逆変換することにより得られた復元画像の画素値の幅を所定の画素値の幅に調整する調製手段とを備えることを特徴とする画像処理装置。
- 前期調整手段において、前記原画像の画素値の幅に基づいて前期復元画像の画素値の幅を調整することを特徴とする請求項1に記載の画像処理装置。
- 前期周波数成分変換手段において、前期周波数成分分解手段で算出された周波数係数を、該周波数係数に対応する原画像の画素値及び該周波数係数の属する周波数帯域ごとにより定まる周波数係数変換曲線で変換することを特徴とする請求項1又は2に記載の画像処理装置。
- 前期周波数成分変換手段において周波数成分分解手段で算出された周波数係数を、撮影対象に応じて周波数帯域毎に異なる周波数変換曲線で変換することを特徴とする請求項1又は2に記載の画像処理装置。
- 前記周波数成分変換手段において、前記周波数成分分解手段で算出された周波数係数を、該周波数係数に対応する濃度値及び該周波数係数の属する周波数帯域とにより定まる周波数係数変換曲線で変換することを特徴とする請求項1又は2に記載の画像処理装置。
- 原画像を諧調変換曲線で諧調変換する諧調変換手段と、諧調変換された原画像を複数の周波数帯域毎の周波数係数に変換する周波数成分分解手段と、該周波数成分分解手段で算出された周波数係数を、前期諧調変換曲線の傾きに依存して変更するとともに周波数帯域毎に異なる周波数変換曲線で変換する周波数成分変換手段と、該周波数成分変換手段で変換された周波数係数を逆変換する復元手段とを備えることを特徴とする画像処理装置。
- 原画像を複数の周波数帯域毎の周波数係数に変換する周波数成分分解手段と、該周波数成分分解手段で算出された周波数係数を、諧調変換曲線の傾きに依存して変更するとともに周波数帯域毎に異なる周波数変換曲線で変換する周波数成分変換手段と、該周波数成分変換手段で変換された周波数係数を逆変換する復元手段と、復元手段で復元された画像を前期諧調変換曲線で諧調変換する諧調変換手段とを備えることを特徴とする画像処理装置。
- 前記周波数成分変換手段において、前記周波数成分分解手段で算出された周波数係数を、諧調変換曲線の傾きに依存して変更するとともに周波数帯域毎に撮影対象により異なる周波数変換曲線で変換することを特徴とする請求項6又は7に記載の画像処理装置。
- 前記周波数成分変換手段はウエーブレット変換を用いて複数の周波数帯域毎の周波数係数に変換すること特徴とする請求項1乃至8に記載の画像処理装置。
- 原画像を複数の周波数帯域毎の周波数係数に変換する周波数成分分解工程と、該周波数成分分解工程で算出された周波数係数を該周波数係数が属する周波数帯域毎に定まる周波数係数変換曲線で変換する周波数成分変換工程と、該周波数成分変換工程で変換された周波数係数を逆変換する復元工程と、該復元工程で逆変換することにより得られた復元画像の画素値の幅を所定の画素値の幅に調整する調製工程とを備えることを特徴とする画像処理方法。
- 前期調整工程において、前期原画像の画素値の幅に基づいて前期復元画像の画素値の幅を調整することを特徴とする請求項10に記載の画像処理装置。
- 前期周波数成分変換工程において、前期周波数成分分解工程で算出された周波数係数を、該周波数係数に対応する原画像の画素値及び該周波数係数の属する周波数帯域とにより定まる周波数係数変換曲線で変換することを特徴とする請求項10又は11に記載の画像処理方法。
- 前期周波数成分変換工程において周波数成分分解工程で算出された周波数係数を、撮影対象に応じて周波数帯域毎に異なる周波数変換曲線で変換することを特徴とする請求項10又は11に記載の画像処理方法。
- 前記周波数成分変換工程において、前記周波数成分分解工程で算出された周波数係数を、該周波数係数に対応する濃度値及び該周波数係数の属する周波数帯域とにより定まる周波数係数変換曲線で変換することを特徴とする請求項10又は11に記載の画像処理方法。
- 原画像を諧調変換曲線で諧調変換する諧調変換工程と、諧調変換された原画像を複数の周波数帯域毎の周波数係数に変換する周波数成分分解工程と、該周波数成分分解工程で算出された周波数係数を、前期諧調変換曲線の傾きに依存して変更するとともに周波数帯域毎に異なる周波数変換曲線で変換する周波数成分変換工程と、該周波数成分変換工程で変換された周波数係数を逆変換する復元工程とを備えることを特徴とする画像処理方法。
- 原画像を複数の周波数帯域毎の周波数係数に変換する周波数成分分解工程と、該周波数成分分解工程で算出された周波数係数を、諧調変換曲線の傾きに依存して変更するとともに周波数帯域毎に異なる周波数変換曲線で変換する周波数成分変換工程と、該周波数成分変換工程で変換された周波数係数を逆変換する復元工程と、復元工程で復元された画像を前期諧調変換曲線で諧調変換する諧調変換工程とを備えることを特徴とする画像処理方法。
- 前記周波数成分変換工程において、前記周波数成分分解工程で算出された周波数係数を、諧調変換曲線の傾きに依存して変更するとともに周波数帯域毎に撮影対象により異なる周波数変換曲線で変換することを特徴とする請求項12又は13に記載の画像処理方法。
- 前記周波数成分変換工程はウエーブレット変換を用いて複数の周波数帯域毎の周波数係数に変換すること特徴とする請求項10乃至17に記載の画像処理装置。
- コンピュータに所定の方法を実行させるためのプログラムであって、前期所定の方法は請求項10乃至18のいずれかに記載の画像処理方法にける各工程を含むことを特徴とする。
- 請求項19に記載のプログラムを記憶していることを特徴とするコンピュータ可読記憶媒体。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003166522A JP3870173B2 (ja) | 2003-06-11 | 2003-06-11 | 画像処理方法、画像処理装置、プログラム及びコンピュータ記録媒体 |
US10/835,606 US20040252909A1 (en) | 2003-06-11 | 2004-04-28 | Image processing method, image processing apparatus, program, and computer storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003166522A JP3870173B2 (ja) | 2003-06-11 | 2003-06-11 | 画像処理方法、画像処理装置、プログラム及びコンピュータ記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005004438A true JP2005004438A (ja) | 2005-01-06 |
JP3870173B2 JP3870173B2 (ja) | 2007-01-17 |
Family
ID=33508912
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003166522A Expired - Fee Related JP3870173B2 (ja) | 2003-06-11 | 2003-06-11 | 画像処理方法、画像処理装置、プログラム及びコンピュータ記録媒体 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20040252909A1 (ja) |
JP (1) | JP3870173B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018166847A (ja) * | 2017-03-30 | 2018-11-01 | コニカミノルタ株式会社 | 画像処理装置及び放射線画像撮影システム |
JP2021065757A (ja) * | 2021-02-04 | 2021-04-30 | コニカミノルタ株式会社 | 画像処理装置、放射線画像撮影システム及び制御プログラム |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4821548B2 (ja) * | 2006-10-02 | 2011-11-24 | コニカミノルタホールディングス株式会社 | 画像処理装置、画像処理装置の制御方法、および画像処理装置の制御プログラム |
CN113673270B (zh) * | 2020-04-30 | 2024-01-26 | 北京达佳互联信息技术有限公司 | 一种图像处理方法、装置、电子设备及存储介质 |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2808773B2 (ja) * | 1990-01-09 | 1998-10-08 | 株式会社日立製作所 | 階調変換自動化装置 |
DE69214229T2 (de) * | 1991-08-14 | 1997-04-30 | Agfa Gevaert Nv | Verfahren und Vorrichtung zur Kontrastverbesserung von Bildern |
EP0766202B1 (en) * | 1995-09-29 | 2002-12-18 | Fuji Photo Film Co., Ltd. | Image processing method and apparatus |
US6343158B1 (en) * | 1996-12-18 | 2002-01-29 | Fujitsu Limited | Apparatus for converting gray levels of an image, a method thereof, a program storage device thereof, and an infrared camera |
US6069979A (en) * | 1997-02-25 | 2000-05-30 | Eastman Kodak Company | Method for compressing the dynamic range of digital projection radiographic images |
US5995644A (en) * | 1997-06-30 | 1999-11-30 | Siemens Corporate Research, Inc. | Robust and automatic adjustment of display window width and center for MR images |
US6285798B1 (en) * | 1998-07-06 | 2001-09-04 | Eastman Kodak Company | Automatic tone adjustment by contrast gain-control on edges |
DE60022237T2 (de) * | 1999-01-14 | 2006-07-06 | Fuji Photo Film Co., Ltd., Minami-Ashigara | Bidverarbeitungsverfahren und -System und Aufzeichnungsmedium zur Durchfürung des Verfahrens |
EP1339018B1 (en) * | 2000-11-30 | 2008-12-17 | Canon Kabushiki Kaisha | Image processing device, image processing method, recording medium and program |
US6459765B1 (en) * | 2000-12-28 | 2002-10-01 | Ge Medical Systems Global Technology Company, Llc | Automatic exposure control and optimization in digital x-ray radiography |
US7139416B2 (en) * | 2002-02-22 | 2006-11-21 | Agfa-Gevaert N.V. | Method for enhancing the contrast of an image |
US6937775B2 (en) * | 2002-05-15 | 2005-08-30 | Eastman Kodak Company | Method of enhancing the tone scale of a digital image to extend the linear response range without amplifying noise |
US7412105B2 (en) * | 2003-10-03 | 2008-08-12 | Adobe Systems Incorporated | Tone selective adjustment of images |
US7466868B2 (en) * | 2003-10-03 | 2008-12-16 | Adobe Systems Incorporated | Determining parameters for adjusting images |
US7071948B2 (en) * | 2003-10-21 | 2006-07-04 | Adobe Systems Incorporated | Adjusting images based on previous modifications |
-
2003
- 2003-06-11 JP JP2003166522A patent/JP3870173B2/ja not_active Expired - Fee Related
-
2004
- 2004-04-28 US US10/835,606 patent/US20040252909A1/en not_active Abandoned
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018166847A (ja) * | 2017-03-30 | 2018-11-01 | コニカミノルタ株式会社 | 画像処理装置及び放射線画像撮影システム |
JP2021065757A (ja) * | 2021-02-04 | 2021-04-30 | コニカミノルタ株式会社 | 画像処理装置、放射線画像撮影システム及び制御プログラム |
JP7226463B2 (ja) | 2021-02-04 | 2023-02-21 | コニカミノルタ株式会社 | 画像処理装置、放射線画像撮影システム及び制御プログラム |
JP7468603B2 (ja) | 2021-02-04 | 2024-04-16 | コニカミノルタ株式会社 | 画像処理装置 |
Also Published As
Publication number | Publication date |
---|---|
JP3870173B2 (ja) | 2007-01-17 |
US20040252909A1 (en) | 2004-12-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3833177B2 (ja) | 画像処理装置、画象処理方法、記憶媒体及びプログラム | |
US6813335B2 (en) | Image processing apparatus, image processing system, image processing method, program, and storage medium | |
US7248748B2 (en) | Image processing apparatus, image processing method, storage medium, and program | |
US7627169B2 (en) | Image processing apparatus and method | |
JP4598507B2 (ja) | 最小誤差時空間再帰フィルタを使用する画像ノイズ低減のためのシステム及び方法 | |
WO2015146011A1 (ja) | 放射線画像処理装置および方法並びにプログラム | |
JP2001057677A (ja) | 画像処理方法および装置並びに記録媒体 | |
JP2004242285A (ja) | ノイズ抑制処理方法および装置並びにプログラム | |
JP2000306089A (ja) | 画像処理方法および装置並びに記録媒体 | |
US7024036B2 (en) | Image processing apparatus, image processing method, storage medium, and program | |
JP2001167264A (ja) | 画像処理方法および装置並びに記録媒体 | |
JP3870173B2 (ja) | 画像処理方法、画像処理装置、プログラム及びコンピュータ記録媒体 | |
JP2003337942A (ja) | 画像処理装置 | |
JP4235622B2 (ja) | 画像処理装置、画像処理システム、画像処理方法、プログラム及び記憶媒体 | |
JP2001056856A (ja) | 画像処理方法および装置並びに記録媒体 | |
JP2001167261A (ja) | 画像処理方法および装置並びに記録媒体 | |
JP2004173078A (ja) | 画像処理装置 | |
JP2005012505A (ja) | 画像処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060602 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060606 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060807 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060926 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20061016 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091020 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101020 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101020 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111020 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111020 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121020 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131020 Year of fee payment: 7 |
|
LAPS | Cancellation because of no payment of annual fees |