JP2001109889A - 画像処理装置 - Google Patents
画像処理装置Info
- Publication number
- JP2001109889A JP2001109889A JP29194799A JP29194799A JP2001109889A JP 2001109889 A JP2001109889 A JP 2001109889A JP 29194799 A JP29194799 A JP 29194799A JP 29194799 A JP29194799 A JP 29194799A JP 2001109889 A JP2001109889 A JP 2001109889A
- Authority
- JP
- Japan
- Prior art keywords
- area
- sub
- scanning direction
- image processing
- processing apparatus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 claims description 37
- 238000009792 diffusion process Methods 0.000 claims description 30
- 238000004364 calculation method Methods 0.000 claims description 22
- 238000001914 filtration Methods 0.000 claims description 8
- 238000000926 separation method Methods 0.000 description 55
- 238000006243 chemical reaction Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 238000001514 detection method Methods 0.000 description 7
- 238000013139 quantization Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000002950 deficient Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 102100028780 AP-1 complex subunit sigma-2 Human genes 0.000 description 1
- 101000795655 Canis lupus familiaris Thymic stromal cotransporter homolog Proteins 0.000 description 1
- 101100055680 Homo sapiens AP1S2 gene Proteins 0.000 description 1
- 101100280298 Homo sapiens FAM162A gene Proteins 0.000 description 1
- 102100023788 Protein FAM162A Human genes 0.000 description 1
- 101100116390 Schizosaccharomyces pombe (strain 972 / ATCC 24843) ded1 gene Proteins 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/40—Picture signal circuits
- H04N1/40062—Discrimination between different image types, e.g. two-tone, continuous tone
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/40—Document-oriented image-based pattern recognition
- G06V30/41—Analysis of document content
- G06V30/413—Classification of content, e.g. text, photographs or tables
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10008—Still image; Photographic image from scanner, fax or copier
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Artificial Intelligence (AREA)
- Signal Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
度で、高速、簡易、安価に領域判定を行うことができる
画像処理装置を提供する。 【解決手段】 入力される画像データの注目画素の領域
判定に際し、該注目画素を含む複数の画素からなるメイ
ンマスク内に、主走査方向に2種類および副走査方向に
2種類の合計4種類のサブマスクを設け、主走査方向の
2種類のサブマスクの合計濃度の差と正規化された副走
査方向の2種類のサブマスクの合計濃度の差とを足し合
わせた値をしきい値と比較することで、エッジ領域か否
かが判定される。
Description
ナ、デジタル複写機、あるいはファクシミリ等におい
て、入力される画像データに対して注目画素の領域判定
(領域分離)を行い、各領域に応じた画像処理を行う画
像処理装置に関する。
平8−125857号公報に開示されるように、第1お
よび第2の特徴パラメータを求め、これらを神経回路網
を用いた判定回路に入力して注目画素の領域判定(領域
分離)を行っていた。ここで、神経回路網とは予め学習
されたものであり、非線型なものである。また、非線型
ということは、第1および第2の特徴パラメータの入力
をそれぞれ縦軸および横軸において座標変換し、その座
標上に分離状態を表すものが存在するというものであ
る。
離方式により領域分離を行う場合、かなり大きな座標を
記憶することが必要になる。この座標は、一般に、ルッ
クアップテーブルと呼ばれ、入力軸に応じて出力を変換
する働きのものを採用する。したがって、このようなル
ックアップテーブルは、データを記憶するためのメモリ
を使う。さらに、上記従来の構成では、かなり大きい容
量のメモリが必要になっていた。
ものであり、その目的は、大容量のメモリを必要とする
ことなく、高精度で、高速、簡易、安価に領域判定を行
うことができる画像処理装置を提供することにある。
置は、上記の課題を解決するために、入力される画像デ
ータの注目画素の領域判定に際し、該注目画素を含む複
数の画素からなるメイン画素グループ内に設けられる少
なくとも四種類のサブ画素グループのそれぞれについて
合計濃度を算出し、これら合計濃度に基づき領域判定を
行うことを特徴としている。
ループの合計濃度を算出し、これら合計濃度に基づき領
域判定を行うので、領域判定のために大容量のメモリを
必要としない。また、合計濃度の算出は、加算のみの処
理であるため、高精度で、高速、簡易、安価に領域判定
を行う画像処理装置を提供できる。
ッジ領域か否かが判定されることは好ましく、これによ
って、四種類のサブ画素グループの合計濃度に基づきエ
ッジ領域と非エッジ領域との二種類の領域に分離でき
る。なお、エッジ領域とは、濃度の濃淡差が大きい領域
を意味し、文字領域が含まれる。
互に異なる場合に、係数によって正規化されることは好
ましく、これによって、サブ画素グループの大きさが相
互に異なる場合でも高精度な領域分離を実現できる。さ
らに、これによって、副走査方向のライン数を小さく設
計することが可能になる。副走査方向の大きさはライン
メモリのライン数に影響するため、このように副走査方
向のライン数を小さく設計することで、安価な画像処理
装置を提供できる。
ン画素グループの端部またはその近傍に設けられること
は好ましく、例えば、四種類のサブ画素グループを、そ
れぞれメイン画素グループの上・下・左・右の端部また
はその近傍に設けることで、メイン画素グループの大き
さに対し大きい面積の情報を収集でき、領域分離精度を
向上できる。
計濃度が二組に分類され、各組の合計濃度の差を足し合
わせた値Sを算出し、その値Sに基づき領域判定を行う
ことは好ましく、これによって、合計濃度を算出する加
算器、各組の合計濃度の差を算出する減算器、および比
較器により領域判定できるため、高精度で、高速、簡
易、安価に領域判定を行う画像処理装置を提供できる。
方向の互いに隣接または一定間隔で配置される画素の濃
度差の合計である繁雑度と、副走査方向の互いに隣接ま
たは一定間隔で配置される画素の濃度差の合計である繁
雑度とをそれぞれ算出し、該算出結果に基づき更に領域
判定を行うことは好ましく、これによって、さらに領域
分離精度を向上できる。
かが判定された後、非エッジ領域と判定されたものに対
して主走査方向の前記繁雑度と副走査方向の前記繁雑度
との差を算出し、該算出結果に基づき再度エッジ領域か
否かが判定されることは好ましく、これによって、前記
の値Sによっては検出できなかったエッジ領域をさらに
検出することも可能になる。
非エッジ領域と判定されたものに対して主走査方向の前
記繁雑度と副走査方向の前記繁雑度との合計を算出し、
該算出結果に基づき網点領域か非エッジ領域かが判定さ
れることは好ましく、これによって、エッジ領域、非エ
ッジ領域、および網点領域の3領域に分離できる。
一画素おきに配置される画素の濃度差の合計である一
方、副走査方向の前記繁雑度は、互いに隣接する画素の
濃度差の合計であることは好ましく、これによって、入
力解像度や前記メイン画素グループの大きさ(マスクサ
イズ)に適した繁雑度の算出が可能になる。
度または合計濃度を算出し、該算出結果に基づきエッジ
領域か否かを判定する処理を含むことは好ましく、これ
によって、高濃度部でエッジ領域が検出されるのを防止
でき、特に中間調画像における高濃度の画像部分でフィ
ルタ処理を行ったときに境界線のような不具合な画像の
発生を防止できる。また、メイン画素グループ内の合計
濃度に基づき判定を行うことで、除算回路を設けなくて
もエッジ領域か否かを判定できる。
度を算出する場合に、合計濃度を画素数で除するのでは
なく、画素数に最も近い2の累乗で除することは好まし
く、これによって、ハード化する際、除算はビットシフ
トで可能になるため、除算回路を設けなくても平均濃度
に近い値を算出できる。
基づきエッジ領域か否かを判定する際に、エッジ領域と
の判定が予め定める回数続いた場合または予め定める頻
度で発生した場合に、エッジ領域か否かを判定するため
のしきい値を変化させることは好ましく、これによっ
て、エッジ領域の判定精度をさらに向上できる。
複数の判定処理を行うことは好ましく、例えば、領域判
定において優先順位を設け、その順位により領域が決定
されるようにすることによって、複雑なルックアップテ
ーブルや回路を要せず、しきい値との判定だけで領域分
離を行うことができる。
度または合計濃度の算出結果に基づく判定、前記の値S
に基づく判定、前記主走査方向および副走査方向の繁雑
度の差に基づく判定、次いで前記主走査方向および副走
査方向の繁雑度の合計に基づく判定の順番で判定処理を
行うことは好ましく、これによって、良好な領域分離結
果を得ることができる。
た領域に応じてフィルタ処理の係数を変更することは好
ましく、これによって高画質の画像処理装置を提供でき
る。
た領域に応じてガンマ補正テーブルを変更することは好
ましく、これによって高画質の画像処理装置を提供でき
る。
た領域に応じて誤差拡散パラメータを変更することは好
ましく、これによって高画質の画像処理装置を提供でき
る。
1〜図14に基づいて説明すれば、以下の通りである。
ように、入力濃度変換部2、領域分離部3、フィルタ処
理部4、変倍処理部5、ガンマ補正部6、および誤差拡
散処理部7を備えて構成されている。
CD(Charge Coupled Device) 部1から入力濃度変換部
2に画像データが入力される。入力濃度変換部2では、
入力された画像データが濃度データに変換され、濃度デ
ータに変換された画像データは、領域分離部3に送出さ
れる。
れた画像データに対して、サブマスクの合計濃度や繁雑
度などの各種の領域分離パラメータを算出し、その算出
結果に応じて画像データ内の注目画素の領域を決定す
る。決定された領域は、領域データとして、フィルタ処
理部4、ガンマ補正部6、および誤差拡散処理部7へそ
れぞれ送出される。
まフィルタ処理部4へ送出される。フィルタ処理部4で
は、後述のように、画像データの各領域に対し予め設定
されたフィルタ係数でフィルタ処理が行われ、フィルタ
処理が施された画像データは、変倍処理部5へ送出され
る。
に応じて変倍処理が行われる。変倍処理が行われた画像
データは、ガンマ補正部6へ送出される。ガンマ補正部
6では、後述のように、画像データの各領域に対し予め
用意されたガンマ補正テーブルにてガンマ変換処理が行
われる。ガンマ変換が行われた画像データは、誤差拡散
処理部7へ送出される。
像データの各領域に対し予め設定された誤差拡散パラメ
ータで誤差拡散処理が行われる。誤差拡散処理部7で処
理が行われた画像データは、外部装置8へ送出される。
外部装置8としては、例えば、記憶装置、プリンタ、パ
ソコンなどが挙げられる。
離処理について説明する。図2では、領域分離処理に用
いられるメインマスクとサブマスク(「サブマトリク
ス」ともいう。)との関係が示される。ここで、メイン
画素グループとしてのメインマスクは、i0〜i27で
ある。また、メインマスクの注目画素は、i10とす
る。一方、サブ画素グループとしてのサブマスクには、
以下の4種類のサブマスクが用意される。
ブマスクが用意される。主走査方向の第1のサブマスク
を、i0、i1、i2、i3、i4、i5、i6とし、
主走査方向の第2のサブマスクを、i21、i22、i
23、i24、i25、i26、i27とする。これら
主走査方向の第1および第2のサブマスクを一組とす
る。
二つのサブマスクが用意される。副走査方向の第1のサ
ブマスクを、i0、i7、i14、i21とし、副走査
方向の第2のサブマスクを、i6、i13、i20、i
27とする。これら副走査方向の第1および第2のサブ
マスクを別の一組とする。
および第2のサブマスク、並びに副走査方向の第1およ
び第2のサブマスクと、これら各サブマスクの呼び名と
が示される。
ように、メインマスクとサブマスクとが設定され、各サ
ブマスクの合計濃度が算出される。
合計濃度sum-m1とすると、 sum-m1=i0+i1+i2+i3+i4+i5+i6 である。同様に、サブマスクmask-m2 の合計濃度を、合
計濃度sum-m2とすると、 sum-m2=i21+i22+i23+i24+i25+i26+i27 である。
も同様に合計濃度が算出される。サブマスクmask-s1 の
合計濃度を、合計濃度sum-s1とすると、 sum-s1=i0+i7+i14+i21 である。同様に、サブマスクmask-s2 の合計濃度を、合
計濃度sum-s2とすると、 sum-s2=i6+i13+i20+i27 である。
類、2組の合計濃度が算出されると、次に、下記の式
で、各組の合計濃度差の和S、つまり、主走査方向の二
つのサブマスクの合計濃度差と副走査方向の二つのサブ
マスクの合計濃度差との和が算出される。
と副走査方向のサブマスクとの大きさ(画素数)が異な
るため、その正規化を行う係数である。この場合は、7
/4と設定される。
和Sは、予め設定されたしきい値と比較され、しきい値
よりも大きい場合はエッジ領域、そうでない場合は非エ
ッジ領域と判定される。下記の表2では、しきい値を
「150」に設定して、実際に本領域分離処理で領域を
判定した結果が示される。
算出することで、写真連続階調部と、10ポイント文字
部との領域分離が可能になる。なお、しきい値の範囲
は、特に限定されるものではない。
大きさ(画素数)が比較的小さいため、ラインメモリの
節約が可能になっている。さらに、本領域分離処理で
は、メインマスクに対するサブマスクの位置は、左右端
と上下端とに配置されている。サブマスクの位置は、メ
インマスクの大きさ、検出する画像、さらに入力解像度
に応じて、適宜変更すればよい。
形状(大きさ)が主走査方向と副走査方向とで異なるた
め、正規化係数を乗算しているが、形状が同じであれ
ば、正規化係数の乗算は必要ない。
雑度を用いた処理例について説明する。
Sとともに、メインマスク内の主走査方向の隣接する画
素の濃度差の合計と、副走査方向の隣接する画素の濃度
差の合計とを求める。ここでは、これらそれぞれの濃度
差の合計を繁雑度と呼ぶ。ただし、本領域分離処理で
は、主走査方向は、隣接する画素の濃度差の合計ではな
く、ひとつ飛ばしの画素同士の濃度差の合計とされてお
り、繁雑度は、このような互いに所定間隔で配置される
画素の濃度差の合計をも含む意味である。
スクに対する繁雑度の算出方法について説明する。主走
査方向の繁雑度の算出については、図3に示すように、
各矢印の先端部の画素と後端部の画素との濃度差を算出
し、矢印の数すべてにおけるこれら濃度差を合計する。
したがって、主走査方向では、合計で20か所の濃度差
の合計が算出される。なお、矢印の先端部の画素と後端
部の画素との濃度差は、絶対値とする。
4に示すように、各矢印の先端部の画素と後端部の画素
との濃度差を算出し、矢印の数すべてにおけるこれら濃
度差を合計する。したがって、副走査方向では、合計で
21か所の濃度差の合計が算出される。なお、矢印の先
端部の画素と後端部の画素との濃度差は、絶対値とす
る。
つ飛ばしの画素同士の濃度差を合計して主走査方向の繁
雑度を算出する一方、隣接する画素の濃度差を合計して
副走査方向の繁雑度を算出している。
を、繁雑度busy-mとし、副走査方向に算出された繁雑度
を、繁雑度busy-sとすると、これら繁雑度の差分値busy
-gapは、 busy-gap=|busy-m−busy-s| となる。
出された非エッジ領域に対し、上記繁雑度の合計の差分
値busy-gapが予め定めるしきい値(下記の例では、「1
20」)より大きい場合はエッジ領域と、そうでない場
合はそのまま非エッジ領域と判定される。これにより、
上記合計濃度差の和Sで検出されにくい部分において、
さらに差分値busy-gapにてエッジ領域を抽出することが
できる。
査方向の繁雑度との合計を、合計値busy-sumとすると、 busy-sum=busy-m+busy-s となる。
分値busy-gapによって検出された非エッジ領域に対し、
繁雑度の合計値busy-sumが予め定めるしきい値(下記の
例では、「180」)よりも大きい場合は網点領域に、
そうでない場合はそのまま非エッジ領域と判定される。
下記の表3では、実際に本領域分離処理で領域判定した
場合の網点領域の各特徴量およびその判定結果が示され
る。なお、各しきい値の範囲は、特に限定されるもので
はない。
印刷物の解像度が175線で白黒比が30%であること
を表している。上記のように、この網点領域は、合計濃
度差の和Sによる判定、および繁雑度の差分値busy-gap
による判定では非エッジ領域と判定されるが、繁雑度の
合計値busy-sumの特徴量の算出結果によって、網点領域
として判定することが可能になる。
インマスク内の平均濃度または合計濃度を用いた処理例
について説明する。図2に示されるメインマスク内の完
全平均濃度、簡易平均濃度、および合計濃度は、以下の
ように算出できる。
度、および合計濃度のいずれを用いてもよいが、それぞ
れ次のような特徴がある。
度を誤差なく算出するものであるが、除算の係数は「2
8」であるため簡易平均濃度に比べると高速にはでき
ず、さらに除算回路が必要になってしまう。
8/32」の誤差が発生するが、画像濃度を8bit 25
6階調とした場合、合計濃度算出で最大13bit になっ
た値は5bit シフトしてやればよいので、最終8bit の
比較器で領域判定が可能になる。
濃度を8bit 256階調とした場合、最大13bit の比
較器が必要になる。
度、簡易平均濃度、および合計濃度のいずれかを用いた
領域判定は、上述した合計濃度差の和S、繁雑度の差分
値busy-gap、および繁雑度の合計値busy-sumの各特徴量
算出の前に行う。また、これら完全平均濃度、簡易平均
濃度、および合計濃度のいずれかを用いた領域判定で
は、算出された濃度値が予め設定されているしきい値と
比較され、濃度値がしきい値以上の値の場合は非エッジ
領域と判定される。さらに、ここで決定された非エッジ
領域は、以後の領域判定によっても不変とする。これに
よって、高濃度部でエッジ領域が検出されるのを防止で
きる。
と、後述するその後のフィルタ処理において、高濃度部
および中間調領域で輪郭のようなエラーが発生する。こ
の不具合を防止するため、上記のように、まず完全平均
濃度、簡易平均濃度、および合計濃度のいずれかを用い
た領域判定を行い、高濃度部でのエッジ領域の出現を防
止する。
おいて、さらに上述した合計濃度差の和Sによるエッジ
判定結果に応じ、エッジ判定のしきい値の値を変更する
処理例について説明する。
ず、メインマスク内の簡易平均濃度が算出され(ステッ
プS1)、しきい値aveと比較される(ステップS
2)。簡易平均濃度がしきい値ave以上の場合は、写
真領域(非エッジ領域)と判定され、この判定結果は以
後の領域判定によっても不変である(ステップS3)。
場合は、上述したサブマスク(サブマトリクス)の合計
濃度差の和Sが算出され(ステップS4)、しきい値de
lta(delta =150)と比較される(ステップS
5)。合計濃度差の和Sがしきい値delta より大きい場
合は、文字領域(エッジ領域)と判定され、この判定結
果は以後の領域判定によっても不変である(ステップS
6)。また、ステップS6で文字領域と判定されると、
フィードバックカウントが「1」アップする。このフィ
ードバックカウントは、ステップS5で合計濃度差の和
Sがしきい値delta以下の場合に、しきい値fb1と比
較される(ステップS7)。しきい値fb1は、予め定
める履歴状態のなかで文字領域の発生頻度が高いか否か
を決定するためのしきい値であり、本領域分離処理で
は、予め定める履歴状態を前歴8画素、しきい値fb1
を「2」に設定している。
差の和Sによるエッジ判定結果が3画素以上あった場合
(即ち、フィードバックカウントがしきい値fb1より
大きい場合)に、前記エッジ判定しきい値delta の値を
予め定める量fb2(fb2=80)分だけ引下げ、こ
の引下げられたしきい値delta −fb2と、合計濃度差
の和Sとが比較される(ステップS8)。そして、合計
濃度差の和Sがしきい値delta −fb2より大きい場合
は、文字領域と判定され、この判定結果は以後の領域判
定によっても不変とする(ステップS9)。
応じてエッジ判定のしきい値の値を変更し、フィードバ
ック補正を行うことで、前歴状態に応じてエッジ判定精
度をアップさせることが可能になる。
しきい値fb1以下と判断された場合またはステップS
8で合計濃度差の和Sがしきい値delta −fb2以下と
判断された場合は、続いて繁雑度に基づく領域分離処理
が行われる。
との差分値busy-gap、および主走査方向の繁雑度と副走
査方向の繁雑度との合計値busy-sumが算出され(ステッ
プS10)た後、繁雑度の差分値busy-gapが予め定める
しきい値busy-g(busy-g=120)と比較される(ステ
ップS11)。
以上の場合は、文字領域(エッジ領域)と判定され、こ
の判定結果は以後の領域判定によっても不変である(ス
テップS12)。繁雑度の差分値busy-gapがしきい値bu
sy-gより小さい場合は、繁雑度の合計値busy-sumが予め
定めるしきい値busy-s(busy-s=180)と比較される
(ステップS13)。繁雑度の合計値busy-sumがしきい
値busy-s以上の場合は、網点領域と判定され(ステップ
S14)、繁雑度の合計値busy-sumがしきい値busy-sよ
り小さい場合は、写真領域と判定される(ステップS1
5)。
9、ステップS12、ステップS14、またはステップ
S15の段階で領域が確定すると、図5中のの段階に
戻り、再び上述した領域分離処理が次の画素に対して行
われる。
ンマスク内の平均濃度による判定、サブマスクの合計濃
度差の和Sによる判定、フィードバック補正による判
定、繁雑度の差分値busy-gapによる判定、および繁雑度
の合計値busy-sumによる判定、の順番で判定が行われ
る。各判定においては、上記各特徴量(領域分離パラメ
ータ)がそれぞれ各しきい値と比較され、領域が決定さ
れる。これによって、本領域分離処理では、大きなメモ
リを必要とせず、各しきい値との比較のみで、エッジ領
域、非エッジ領域、および網点領域の3種類の領域を検
出することが可能になる。
徴量による処理を順番に行うのではなく、各特徴量(平
均濃度、合計濃度差の和S、差分値busy-gap、合計値bu
sy-sum)を、いわゆるパイプライン処理でそれぞれ並列
に算出し並列に処理することで、さらに高速で簡易なハ
ード構成のシステムを提供できる。
ブロック化して示す図であり、ブロック21〜23の処
理がステップS1〜S3に対応し、ブロック24〜27
の処理がステップS4〜S9に対応し、ブロック28〜
32の処理がステップS10〜S15に対応している。
この場合、ブロック21〜23の処理、ブロック24〜
27の処理、およびブロック28〜32の処理が、並列
に処理される。
よって判定された各結果に対し、領域が設定されている
真理値表である。図7の表中、「領域設定」の欄におい
て、「0」は写真領域を表し、「1」は文字領域を表
し、「2」は網点領域を表している。また、図7の表
中、「写真」「文字1」「文字2」「網点」の欄は、そ
れぞれブロック23、ブロック26、ブロック30、ブ
ロック32に対応しており、それぞれブロック22、ブ
ロック25、ブロック29、ブロック31の判定結果が
yesの場合は「1」となり、noの場合は「0」とな
る。
結果に対し、図7の真理値表に示すように領域を決定す
れば、さらに高速で簡易なハード構成のシステムを提供
できる。
き、図1に示されるフィルタ処理部4において行われる
フィルタ処理について説明する。
設定されたフィルタ係数でフィルタ処理が行われる。図
8には、非エッジ領域のフィルタ係数、図9には、エッ
ジ領域のフィルタ係数、図10には、網点領域のフィル
タ係数が示される。なお、図8〜図10に示される各フ
ィルタ処理では、各格子内に記載されている値と画像濃
度との積和が、分母1、31、55でそれぞれ除算され
る。
クサイズは、上記領域分離処理で使用していたマスクサ
イズと同じ大きさである。実際、ハード構成する場合、
領域分離処理でマスクサイズ(特に副走査方向のライン
数)を小さく設計しても、フィルタ処理用のマスクが大
きいと、その大きい分だけラインメモリが必要になって
しまう。
強調レベルは、エッジ領域が一番高く、非エッジ領域が
一番低い設定となっている。このように、上記領域分離
処理の検出結果に基づき、各領域に応じてフィルタ係数
を変更してフィルタ処理を行うことで、より高画質の画
像処理を実現できる。
るフィルタ係数は、他の係数であっても差し支えない。
き、図1に示されるガンマ補正部6において行われるガ
ンマ変換処理について説明する。
意されたガンマ補正テーブルにてガンマ変換処理が行わ
れる。図11には、非エッジ領域のγ補正グラフが示さ
れる。入力軸は、フィルタ後画像データであり、この例
では、8bit256階調とし、出力も同様8bit2
56階調とする。
示される。入出力軸は、図11と同様であり、エッジ領
域と判定された場合のみ、図12のγ補正グラフを使用
して処理が行われる。また、図13には、網点領域のγ
補正グラフが示される。入出力軸は、図11と同様であ
り、網点領域と判定された場合のみ、図13のγ補正グ
ラフを使用して処理が行われる。
tatic RAM)やROMなどのメモリを使用し、入力8
bit、出力8bit256バイトの大きさのものを使
用し、入力軸はSRAMおよびROMのアドレスにデー
タを入力すれば、出力からγ変換後の画像データが出力
される。
と、エッジ領域のγ補正が一番立っている(換言すれ
ば、入力データに対し出力データが大きい)。このよう
にガンマ補正テーブルを設定すれば、エッジ領域がくっ
きり再現され、さらに濃度が低いエッジ領域も再現可能
となる。すなわち、上記領域分離処理の検出結果に基づ
き、各領域に応じて異なるガンマ補正テーブルにてガン
マ変換処理を行うことで、より高画質の画像処理を実現
できる。
き、図1に示される誤差拡散処理部7において行われる
誤差拡散処理について説明する。
果に応じて誤差拡散パラメータを切り替え、各領域に対
し予め設定された誤差拡散パラメータで誤差拡散処理が
行われる。
の例では、2値誤差拡散処理とする。誤差拡散は、擬似
中間調表現の一種で最近よく画像処理技術に採用されて
いる。図14に、注目画素と誤差拡散マスクとの関係を
示す。pが注目画素であり、a〜dまでが、誤差を振り
まく画素である。まず、注目画素のpの濃度をDp、誤
差量をEr、量子化しきい値(誤差拡散パラメータ)を
Thとした場合、 Dp< Th → 0に量子化される。 Er=Dp Dp≧ Th → 255に量子化される。 Er=Dp−255 ここで算出された誤差量Erは、図14の画素a〜d
に、ある係数分だけ振りまかれる。すなわち、画素a〜
dのそれぞれの係数をWa〜Wdとし、その合計が1と
なるよう設定する。画素aには、Er×Wa、画素bに
は、Er×Wb、画素cには、Er×Wc、画素dに
は、Er×Wdの誤差が算出され、それぞれ画素の現在
の濃度値に対し、足しこまれる。
を予め設定している画素に、ある所定の係数で誤差を配
分し、注目画素を量子化していく。量子化された画素は
0か255になっているので、0は0、255を1とす
ることで、2値誤差拡散が可能になる。
ように、上述した領域分離処理の結果に基づき、誤差拡
散パラメータとしての量子化しきい値Thを変更する。
値Thを他の領域よりも小さく設定することによって、
エッジ領域がくっきり再現される。すなわち、上記領域
分離処理の検出結果に基づき、各領域に応じて異なる誤
差拡散パラメータにて誤差拡散処理を行うことで、より
高画質の画像処理を実現できる。
として量子化しきい値Thを変更しているが、これに限
らず、他の誤差拡散パラメータを変更するようにしても
よい。
づき領域判定を行う例としては、上述の例に限らず、以
下のように領域判定を行うことも可能である。すなわ
ち、四種類のサブマスクの合計濃度をそれぞれsum1,sum
2,sum3,sum4 とすると、sum1〜sum4のなかで最大値およ
び最小値を求め、その結果をそれぞれmax とmin とす
る。このmax とmin との差、すなわち、max - min の算
出結果に応じて、領域判定を行うことが可能である。つ
まり、この領域判定によれば、max - min の算出結果が
予め定めるしきい値より大きい場合はエッジ領域と判定
し、そうでない場合は非エッジ領域と判定することがで
きる。
うに、入力される画像データの注目画素の領域判定に際
し、該注目画素を含む複数の画素からなるメイン画素グ
ループ内に設けられる少なくとも四種類のサブ画素グル
ープのそれぞれについて合計濃度を算出し、これら合計
濃度に基づき領域判定を行う構成である。
計濃度を算出し、これら合計濃度に基づき領域判定を行
うので、大容量のメモリを必要とすることなく領域判定
を行うことができるという効果を奏する。また、合計濃
度の算出は、加算のみの処理であるため、高精度で、高
速、簡易、安価に領域判定を行う画像処理装置を提供で
きるという効果を奏する。
ッジ領域か否かが判定される構成とすることによって、
四種類のサブ画素グループの合計濃度に基づきエッジ領
域と非エッジ領域との二種類の領域に分離できる。
互に異なる場合に、係数によって正規化される構成とす
ることによって、サブ画素グループの大きさが相互に異
なる場合でも高精度な領域分離を実現できる。さらに、
これによって、副走査方向のライン数を小さく設計する
ことが可能になり、安価な画像処理装置を提供できる。
ン画素グループの端部またはその近傍に設けられる構成
とすることによって、メイン画素グループの大きさに対
し大きい面積の情報を収集でき、領域分離精度を向上で
きる。
計濃度が二組に分類され、各組の合計濃度の差を足し合
わせた値Sを算出し、その値Sに基づき領域判定を行う
構成とすることによって、合計濃度を算出する加算器、
各組の合計濃度の差を算出する減算器、および比較器に
より領域判定できるため、高精度で、高速、簡易、安価
に領域判定を行う画像処理装置を提供できる。
方向の互いに隣接または一定間隔で配置される画素の濃
度差の合計である繁雑度と、副走査方向の互いに隣接ま
たは一定間隔で配置される画素の濃度差の合計である繁
雑度とをそれぞれ算出し、該算出結果に基づき更に領域
判定を行う構成とすることによって、さらに領域分離精
度を向上できる。
かが判定された後、非エッジ領域と判定されたものに対
して主走査方向の前記繁雑度と副走査方向の前記繁雑度
との差を算出し、該算出結果に基づき再度エッジ領域か
否かが判定される構成とすることによって、前記の値S
によっては検出できなかったエッジ領域をさらに検出す
ることも可能になる。
非エッジ領域と判定されたものに対して主走査方向の前
記繁雑度と副走査方向の前記繁雑度との合計を算出し、
該算出結果に基づき網点領域か非エッジ領域かが判定さ
れる構成とすることによって、エッジ領域、非エッジ領
域、および網点領域の3領域に分離できる。
一画素おきに配置される画素の濃度差の合計である一
方、副走査方向の前記繁雑度は、互いに隣接する画素の
濃度差の合計である構成とすることによって、入力解像
度や前記メイン画素グループの大きさ(マスクサイズ)
に適した繁雑度の算出が可能になる。
度または合計濃度を算出し、該算出結果に基づきエッジ
領域か否かを判定する処理を含む構成とすることによっ
て、高濃度部でエッジ領域が検出されるのを防止でき、
特に中間調画像における高濃度の画像部分でフィルタ処
理を行ったときに境界線のような不具合な画像の発生を
防止できる。また、メイン画素グループ内の合計濃度に
基づき判定を行うことで、除算回路を設けなくてもエッ
ジ領域か否かを判定できる。
度を算出する場合に、合計濃度を画素数で除するのでは
なく、画素数に最も近い2の累乗で除する構成とするこ
とによって、ハード化する際、除算はビットシフトで可
能になるため、除算回路を設けなくても平均濃度に近い
値を算出できる。
基づきエッジ領域か否かを判定する際に、エッジ領域と
の判定が予め定める回数続いた場合または予め定める頻
度で発生した場合に、エッジ領域か否かを判定するため
のしきい値を変化させる構成とすることによって、エッ
ジ領域の判定精度をさらに向上できる。
複数の判定処理を行う構成とすることによって、複雑な
ルックアップテーブルや回路を要せず、しきい値との判
定だけで領域分離を行うことができる。
度または合計濃度の算出結果に基づく判定、前記の値S
に基づく判定、前記主走査方向および副走査方向の繁雑
度の差に基づく判定、次いで前記主走査方向および副走
査方向の繁雑度の合計に基づく判定の順番で判定処理を
行う構成とすることによって、良好な領域分離結果を得
ることができる。
た領域に応じてフィルタ処理の係数を変更する構成とす
ることによって、高画質の画像処理装置を提供できる。
た領域に応じてガンマ補正テーブルを変更する構成とす
ることによって、高画質の画像処理装置を提供できる。
た領域に応じて誤差拡散パラメータを変更する構成とす
ることによって、高画質の画像処理装置を提供できる。
成およびその画像処理手順を示す図である。
メインマスクとサブマスクとを説明する図である。
主走査方向の繁雑度の算出方法を説明する図である。
副走査方向の繁雑度の算出方法を説明する図である。
説明するフローチャートである。
理をブロック化して示す図である。
し、領域が設定されている真理値表である。
非エッジ領域のフィルタ係数を説明する図である。
エッジ領域のフィルタ係数を説明する図である。
る網点領域のフィルタ係数を説明する図である。
非エッジ領域のγ補正グラフである。
エッジ領域のγ補正グラフである。
網点領域のγ補正グラフである。
る注目画素と誤差拡散マスクとの関係を説明する図であ
る。
Claims (17)
- 【請求項1】入力される画像データの注目画素の領域判
定に際し、該注目画素を含む複数の画素からなるメイン
画素グループ内に設けられる少なくとも四種類のサブ画
素グループのそれぞれについて合計濃度を算出し、これ
ら合計濃度に基づき領域判定を行うことを特徴とする画
像処理装置。 - 【請求項2】前記領域判定では、前記注目画素がエッジ
領域か否かが判定されることを特徴とする請求項1記載
の画像処理装置。 - 【請求項3】前記サブ画素グループの大きさが相互に異
なる場合に、係数によって正規化されることを特徴とす
る請求項1または2記載の画像処理装置。 - 【請求項4】前記サブ画素グループは、前記メイン画素
グループの端部またはその近傍に設けられることを特徴
とする請求項1〜3のいずれか1項に記載の画像処理装
置。 - 【請求項5】前記四種類のサブ画素グループの合計濃度
が二組に分類され、各組の合計濃度の差を足し合わせた
値Sを算出し、その値Sに基づき領域判定を行うことを
特徴とする請求項1〜4のいずれか1項に記載の画像処
理装置。 - 【請求項6】前記メイン画素グループ内の主走査方向の
互いに隣接または一定間隔で配置される画素の濃度差の
合計である繁雑度と、副走査方向の互いに隣接または一
定間隔で配置される画素の濃度差の合計である繁雑度と
をそれぞれ算出し、該算出結果に基づき更に領域判定を
行うことを特徴とする請求項5記載の画像処理装置。 - 【請求項7】前記の値Sに基づきエッジ領域か否かが判
定された後、非エッジ領域と判定されたものに対して主
走査方向の前記繁雑度と副走査方向の前記繁雑度との差
を算出し、該算出結果に基づき再度エッジ領域か否かが
判定されることを特徴とする請求項6記載の画像処理装
置。 - 【請求項8】エッジ領域か否かが判定された後、非エッ
ジ領域と判定されたものに対して主走査方向の前記繁雑
度と副走査方向の前記繁雑度との合計を算出し、該算出
結果に基づき網点領域か非エッジ領域かが判定されるこ
とを特徴とする請求項6または7記載の画像処理装置。 - 【請求項9】主走査方向の前記繁雑度は、互いに一画素
おきに配置される画素の濃度差の合計である一方、副走
査方向の前記繁雑度は、互いに隣接する画素の濃度差の
合計であることを特徴とする請求項6〜8のいずれか1
項に記載の画像処理装置。 - 【請求項10】前記メイン画素グループ内の平均濃度ま
たは合計濃度を算出し、該算出結果に基づきエッジ領域
か否かを判定する処理を含むことを特徴とする請求項1
〜9のいずれか1項に記載の画像処理装置。 - 【請求項11】前記メイン画素グループ内の平均濃度を
算出する場合に、合計濃度を画素数で除するのではな
く、画素数に最も近い2の累乗で除することを特徴とす
る請求項10記載の画像処理装置。 - 【請求項12】前記サブ画素グループの合計濃度に基づ
きエッジ領域か否かを判定する際に、エッジ領域との判
定が予め定める回数続いた場合または予め定める頻度で
発生した場合に、エッジ領域か否かを判定するためのし
きい値を変化させることを特徴とする請求項2〜11の
いずれか1項に記載の画像処理装置。 - 【請求項13】領域判定に際し、予め定める順番で複数
の判定処理を行うことを特徴とする請求項1〜12のい
ずれか1項に記載の画像処理装置。 - 【請求項14】前記メイン画素グループ内の平均濃度ま
たは合計濃度の算出結果に基づく判定、前記の値Sに基
づく判定、前記主走査方向および副走査方向の繁雑度の
差に基づく判定、次いで前記主走査方向および副走査方
向の繁雑度の合計に基づく判定の順番で判定処理を行う
ことを特徴とする請求項13記載の画像処理装置。 - 【請求項15】請求項1〜14のいずれか1項に記載の
領域判定処理によって判定された領域に応じてフィルタ
処理の係数を変更することを特徴とする画像処理装置。 - 【請求項16】請求項1〜14のいずれか1項に記載の
領域判定処理によって判定された領域に応じてガンマ補
正テーブルを変更することを特徴とする画像処理装置。 - 【請求項17】請求項1〜14のいずれか1項に記載の
領域判定処理によって判定された領域に応じて誤差拡散
パラメータを変更することを特徴とする画像処理装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP29194799A JP3625160B2 (ja) | 1999-10-14 | 1999-10-14 | 画像処理装置 |
US09/684,122 US6965696B1 (en) | 1999-10-14 | 2000-10-06 | Image processing device for image region discrimination |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP29194799A JP3625160B2 (ja) | 1999-10-14 | 1999-10-14 | 画像処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2001109889A true JP2001109889A (ja) | 2001-04-20 |
JP3625160B2 JP3625160B2 (ja) | 2005-03-02 |
Family
ID=17775529
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP29194799A Expired - Lifetime JP3625160B2 (ja) | 1999-10-14 | 1999-10-14 | 画像処理装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US6965696B1 (ja) |
JP (1) | JP3625160B2 (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006502498A (ja) * | 2001-09-20 | 2006-01-19 | パーデュー・リサーチ・ファウンデーション | 選択縦座標画像処理によってストレイフラックス効果を効率的に除去するための方法、プログラム、および装置 |
US7418132B2 (en) | 2003-07-01 | 2008-08-26 | Nikon Corporation | Signal processing apparatus, signal processing program and electronic camera |
JP2010246098A (ja) * | 2009-03-18 | 2010-10-28 | Ricoh Co Ltd | 画像形成装置、画像形成方法およびプログラム |
US7982782B2 (en) | 2003-07-01 | 2011-07-19 | Nikon Corporation | Signal processing device, signal processing program and electronic camera |
JP2017175600A (ja) * | 2016-03-18 | 2017-09-28 | 株式会社リコー | 画像処理装置、画像処理方法及びプログラム |
JP2020010151A (ja) * | 2018-07-06 | 2020-01-16 | 国立大学法人千葉大学 | 画像処理装置 |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5028324B2 (ja) * | 2008-04-18 | 2012-09-19 | キヤノン株式会社 | 画像処理装置およびその方法 |
US11715314B2 (en) * | 2020-07-07 | 2023-08-01 | Xerox Corporation | Performance improvement with object detection for software based image path |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA2060407C (en) * | 1991-03-22 | 1998-10-27 | Jack M. Sacks | Minimum difference processor |
JPH0550187A (ja) | 1991-08-21 | 1993-03-02 | Sumitomo Metal Ind Ltd | 複合金属材の連続鋳造方法 |
US5659402A (en) * | 1994-01-14 | 1997-08-19 | Mita Industrial Co., Ltd. | Image processing method and apparatus |
JP3207690B2 (ja) | 1994-10-27 | 2001-09-10 | シャープ株式会社 | 画像処理装置 |
JPH1084475A (ja) * | 1996-09-09 | 1998-03-31 | Sharp Corp | 画像領域判別方法および画像処理装置 |
US5982946A (en) * | 1996-09-20 | 1999-11-09 | Dainippon Screen Mfg. Co., Ltd. | Method of identifying defective pixels in digital images, and method of correcting the defective pixels, and apparatus and recording media therefor |
JPH10271326A (ja) | 1997-03-21 | 1998-10-09 | Sharp Corp | 画像処理装置 |
JP3585703B2 (ja) | 1997-06-27 | 2004-11-04 | シャープ株式会社 | 画像処理装置 |
JP3891654B2 (ja) | 1997-08-20 | 2007-03-14 | 株式会社東芝 | 画像形成装置 |
JP3512604B2 (ja) * | 1997-09-11 | 2004-03-31 | シャープ株式会社 | 画像処理装置、および、そのプログラムを記録した記録媒体 |
JPH1196372A (ja) | 1997-09-16 | 1999-04-09 | Omron Corp | 画像処理方法およびその装置、ならびに画像処理用の制御プログラムの記録媒体 |
JP3576808B2 (ja) * | 1998-05-20 | 2004-10-13 | シャープ株式会社 | 画像処理装置 |
JP3558893B2 (ja) * | 1998-10-08 | 2004-08-25 | シャープ株式会社 | 画像処理装置および画像処理方法 |
-
1999
- 1999-10-14 JP JP29194799A patent/JP3625160B2/ja not_active Expired - Lifetime
-
2000
- 2000-10-06 US US09/684,122 patent/US6965696B1/en not_active Expired - Fee Related
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006502498A (ja) * | 2001-09-20 | 2006-01-19 | パーデュー・リサーチ・ファウンデーション | 選択縦座標画像処理によってストレイフラックス効果を効率的に除去するための方法、プログラム、および装置 |
US7418132B2 (en) | 2003-07-01 | 2008-08-26 | Nikon Corporation | Signal processing apparatus, signal processing program and electronic camera |
US7982782B2 (en) | 2003-07-01 | 2011-07-19 | Nikon Corporation | Signal processing device, signal processing program and electronic camera |
US8274580B2 (en) | 2003-07-01 | 2012-09-25 | Nikon Corporation | Signal processing device, signal processing program and electronic camera |
JP2010246098A (ja) * | 2009-03-18 | 2010-10-28 | Ricoh Co Ltd | 画像形成装置、画像形成方法およびプログラム |
JP2017175600A (ja) * | 2016-03-18 | 2017-09-28 | 株式会社リコー | 画像処理装置、画像処理方法及びプログラム |
JP2020010151A (ja) * | 2018-07-06 | 2020-01-16 | 国立大学法人千葉大学 | 画像処理装置 |
JP7224616B2 (ja) | 2018-07-06 | 2023-02-20 | 国立大学法人千葉大学 | 画像処理装置 |
Also Published As
Publication number | Publication date |
---|---|
JP3625160B2 (ja) | 2005-03-02 |
US6965696B1 (en) | 2005-11-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4197346B2 (ja) | 画像処理装置、画像処理方法、画像形成装置、画像処理プログラムおよび記録媒体 | |
JP3585703B2 (ja) | 画像処理装置 | |
JPH05344340A (ja) | 階調変換処理方法および装置 | |
JPH0554756B2 (ja) | ||
JPH05268462A (ja) | 画像処理装置 | |
JPH07123248A (ja) | 画像処理方法及び装置 | |
JPH11239275A (ja) | 画像処理方法および装置 | |
JPH1056569A (ja) | 画像処理方法および装置 | |
JPH1185978A (ja) | 画像処理装置及び方法 | |
JP3700357B2 (ja) | 画像処理装置 | |
JP2001109889A (ja) | 画像処理装置 | |
JP3804906B2 (ja) | 線画像処理方法及び記録媒体 | |
JP3752805B2 (ja) | 画像処理装置 | |
JP3578878B2 (ja) | 画像処理装置 | |
JPH07170395A (ja) | 領域識別装置及び階調変換処理装置 | |
JP4522978B2 (ja) | 画像処理装置、画像処理方法、画像形成装置、画像処理プログラムおよび記録媒体 | |
JP4067538B2 (ja) | 画像処理方法、画像処理装置、画像形成装置、コンピュータプログラム、及び記録媒体 | |
JPH0877350A (ja) | 画像処理装置 | |
JP2003163807A (ja) | 階調変換処理装置 | |
JPH0730757A (ja) | 画像データ処理装置 | |
JP2006245938A (ja) | 画像処理装置 | |
JP2857906B2 (ja) | 中間調の2値化処理装置 | |
JP2860039B2 (ja) | 擬似中間調画像縮小装置 | |
JPH05160996A (ja) | 画像処理方法 | |
JPH11136510A (ja) | 画像処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040825 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040831 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041027 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20041124 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20041125 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 3625160 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071210 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081210 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091210 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091210 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101210 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101210 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111210 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111210 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121210 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121210 Year of fee payment: 8 |
|
EXPY | Cancellation because of completion of term |