JP2002094798A - 画像処理装置及びその方法 - Google Patents

画像処理装置及びその方法

Info

Publication number
JP2002094798A
JP2002094798A JP2000277206A JP2000277206A JP2002094798A JP 2002094798 A JP2002094798 A JP 2002094798A JP 2000277206 A JP2000277206 A JP 2000277206A JP 2000277206 A JP2000277206 A JP 2000277206A JP 2002094798 A JP2002094798 A JP 2002094798A
Authority
JP
Japan
Prior art keywords
image
color
unit
gamut
image signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2000277206A
Other languages
English (en)
Other versions
JP4280404B2 (ja
Inventor
Shinichi Kato
進一 加藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2000277206A priority Critical patent/JP4280404B2/ja
Priority to US09/945,801 priority patent/US7054032B2/en
Publication of JP2002094798A publication Critical patent/JP2002094798A/ja
Application granted granted Critical
Publication of JP4280404B2 publication Critical patent/JP4280404B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40Picture signal circuits
    • H04N1/409Edge or detail enhancement; Noise or error suppression
    • H04N1/4092Edge or detail enhancement
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/58Edge or detail enhancement; Noise or error suppression, e.g. colour misregistration correction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10008Still image; Photographic image from scanner, fax or copier
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20004Adaptive image processing
    • G06T2207/20012Locally adaptive
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20192Edge enhancement; Edge preservation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30176Document

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)
  • Color, Gradation (AREA)
  • Image Processing (AREA)

Abstract

(57)【要約】 【課題】 画像に応じたMTF補正を可能とする画像処
理装置を、低コストで提供することは困難であった。 【解決手段】 入力されたカラー画像信号に対する像域
判定信号及び色域判定信号に基づいて、領域毎に適切な
空間周波数特性を有するフィルタデータを選択して、空
間フィルタ処理を施す。これにより、像域及び色域に応
じた適切なフィルタが選択されるため、従来の構成に大
幅な変更を施すことなく、適切なMTF補正が可能とな
る。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、画像データに対し
てMTF補正を施す画像処理装置及びその方法に関す
る。
【0002】
【従来の技術】従来より、デジタルカラー複写機等の画
像処理装置においては、原稿に対してより忠実な出力画
像を得ることを目的としている。
【0003】そのためデジタルかラー複写機において
は、スキャナ部で読み取った原稿のデジタル入力画像デ
ータに対して、画像信号処理部において各種画像処理を
施し、該画像処理後のデジタル画像データをプリンタ部
において可視化することにより、原稿に忠実なコピー出
力を得ている。
【0004】上述した画像信号処理部における画像処理
によって、原稿から読み取った赤(R)、緑(G)、青
(B)の画像データが、色再現のためのシアン(C)、
マゼンタ(M)、イエロー(Y)、ブラック(K)に変
換され、プリンタ部においてはこのCMYKデータに基
づき、記録用紙上に画像を形成する。
【0005】画像信号処理部における各種画像処理の係
数としては、スキャナ部で読み取った原稿をプリンタ部
によるコピー出力において忠実に再現するための、理想
的な値に設定されている。
【0006】しかしながら、スキャナ部における読み取
り精度やプリンタ部における発色再現性、さらにはデー
タ処理系における諸要因等に起因して、多少なりとも発
生する画像ノイズによって画像劣化が生じてしまうた
め、これを補正する手段が必要となる。
【0007】特にフルカラー画像を再生する場合におい
ては、濃度平坦部におけるざらつきが目立つため、解像
度のみならず滑らかさについても配慮する必要がある。
しかしながら、解像度を強調すると濃度平坦部にざらつ
きが多く生じ、不自然な印象を与える画像となってしま
うし、逆に滑らかさを強調するとエッジ部や文字部がぼ
やけてしまい、解像度が極めて悪くなる。
【0008】そこで従来のカラー複写機においては、例
えば以下に示す方法によって、画像の解像度と滑らかさ
を両立させていた。
【0009】まず、原稿を読み取って得られたRGB3
色の画像データについて、エッジ量検出及び細線の太さ
判定等によって、エッジ/文字部と濃度平坦部を所定の
基準により判別する。そして、MTF補正(空間周波数
補正)部においてエッジ/文字部の画像データに対して
所定のエッジ強調処理を施し、濃度変化の少ない濃度平
坦部の画像データについては所定のスムージング処理を
施すことによって、エッジ/文字部については画像がよ
り鮮明に再現されるようにし、濃度平坦部については画
像をより滑らかにする。これにより、解像度と滑らかさ
を両立しながら、再現画像の画質劣化を抑制していた。
【0010】
【発明が解決しようとする課題】しかしながら、上記従
来のカラー複写機においては、その高機能化及び高画質
化に伴って、上述したようなエッジ強調処理及びスムー
ジング処理の単純な切り分けのみならず、処理対象とな
る画像データの種類や絵柄によって、例えばスムージン
グ処理の度合いを変化させることが望ましい。
【0011】例えば、特に乳幼児の写真画像において
は、その肌を写真中の他の箇所よりも滑らかに再現した
いというニーズがある。また、森林写真画像において
は、全体的に滑らかに再現したい場合であっても、葉の
重なった様子などがぼやけてしまうことは避けたいとい
うニーズがある。
【0012】そこで、これらのニーズを満たすために、
カラー複写機に対して画像の種類や絵柄を認識するため
の判定回路を付加することが考えられるが、その場合、
回路付加に伴うコスト増、判定演算処理によるコピース
ピードの低下等の問題が発生してしまう。
【0013】本発明は上記問題点を解決するためになさ
れたものであり、画像に応じたMTF補正を可能とする
画像処理装置を、低コストで提供することを目的とす
る。
【0014】
【課題を解決するための手段】上記目的を達成するため
の一手段として、本発明の画像処理装置は以下の構成を
備える。
【0015】即ち、カラー画像信号を入力する画像入力
手段と、前記カラー画像信号における領域特性を判定す
る像域分離手段と、前記カラー画像信号における色域特
性を判定する色域判定手段と、前記カラー画像信号に対
して、前記像域分離手段及び前記色域判定手段における
判定結果に基づいてMTF補正を施す補正手段と、前記
MTF補正が施されたカラー画像信号を可視化する画像
出力手段と、を有することを特徴とする。
【0016】
【発明の実施の形態】以下、本発明に係る一実施形態に
ついて、図面を参照して詳細に説明する。
【0017】尚、以下の実施形態においては、本発明を
複写機に適用する例について説明するが、本発明はこれ
に限るものではなく、他の種々の画像処理装置に適用で
きることは勿論である。
【0018】<第1実施形態> [装置概要]図1は、本実施形態が適用されるデジタル
カラー複写機の側断面図である。
【0019】図1に示すカラー複写機は、原稿画像を読
み取るイメージリーダ部101と、イメージリーダ部1
01で読み取った画像データを再現するプリンタ部10
2とに大きく分けられる。イメージリーダ部101は、
400dpi(dots/inch)の解像度で原稿を
読み取ってデジタル信号処理を行う。プリンタ部102
は、イメージリーダ部101によって読み取られた原稿
画像に対応した画像を、400dpiの解像度で記録用
紙上にフルカラーでプリント出力する。
【0020】ここで図1を参照して、本実施形態のカラ
ー複写機における動作の概要について説明する。
【0021】イメージリーダ部101において、100
は鏡面圧板であり、原稿台ガラス(以下、プラテン)1
03上の原稿104がランプ105で照射され、その反
射光がミラー106、107、108に導かれ、レンズ
109によって集光される。110は入射光を電気信号
に変換する3ラインセンサ(以下、CCD)であり、レ
ンズ109によって集光された光がCCD110上に像
を結ぶことによって、原稿画像を示すフルカラー情報が
レッド(R)、グリーン(G)、ブルー(B)成分とし
て信号処理部111に送られる。
【0022】尚、ランプ105及びミラー106を固定
しているキャリッジは速度vで、ミラー107,108
は速度1/2vで、CCD110の電気的走査(主走
査)方向に対して垂直方向に機械的に移動することによ
って、原稿全面を走査(副走査)することができる。
【0023】111は信号処理部であり、CCD110
より出力されたRGBの画像信号を電気的に処理し、マ
ゼンタ(M)、シアン(C)、イエロー(Y)、ブラッ
ク(Bk)の各成分に分解してプリンタ部102に送
る。
【0024】尚、イメージリーダ部101における1回
の原稿走査につき、M、C、Y、Bkのいずれか一成分
がプリンタ部102に送られ、計4回の原稿走査によっ
て、一回のプリントアウトが完成する。
【0025】プリンタ部102においては、イメージリ
ーダ部101より送られてくるM、C、Y、Bkの各画
像信号が、まずレーザドライバ112に入力される。レ
ーザドライバ112は、送られてきた画像信号に応じて
半導体レーザ113を変調駆動する。発振されたレーザ
光は、ポリゴンミラー114、f−θレンズ115、ミ
ラー116を介して感光ドラム117上を走査し、感光
ドラム117上に潜像を形成する。
【0026】118は回転現像器であり、マゼンタ現像
部119、シアン現像部120、イエロー現像部12
1、ブラック現像部122より構成され、これら4つの
現像部が交互に感光ドラム117に接することによっ
て、感光ドラム117上に形成された潜像を各色トナー
によって現像する。123は転写ドラムであり、用紙カ
セット124または125より供給される記録用紙を巻
き付け、感光ドラム117上に現像されたトナー像を該
記録用紙に転写する。この様にして、M、C、Y、Bk
の4色が1枚の記録用紙に順次転写された後に、該記録
用紙は定着ユニット126によってトナー像が定着され
た後に、機外に排出される。
【0027】以下、本実施形態のカラー複写機における
各構成について、詳細に説明する。
【0028】[イメージリーダ部101]以下、イメー
ジリーダ部101の詳細について説明する。従来の複写
機におけるリーダ部との違いを明確にするために、図2
Aに従来のイメージリーダ部の構成を示し、図2Bに本
実施形態のイメージリーダ部101の構成を示す。
【0029】まず、図2A,図2Bに共通する構成につ
いて説明する。201はそれぞれ、レッド(R)、グリ
ーン(G)、ブルー(B)の分光感度特性をもつCCD
(固体撮像素子)センサであり、図1に示した3ライン
センサ110に相当する。CCDセンサ201により読
み取られたアナログの画像データは、A/D変換部20
2に入力される。A/D変換部202は、上記各色の入
力信号をそれぞれ8ビット出力(0〜255)のデジタ
ル信号に変換して出力する。
【0030】A/D変換部202から出力されたデジタ
ル信号は、シェーディング補正部203に入力される。
シェーディング補正部203では、図1に示したランプ
105による原稿の照明ムラ等に起因する、読み取りデ
ータのばらつきを修正する。
【0031】シェーディング補正部203により補正さ
れたデジタルデータは、ライン間補正部204におい
て、ライン間データの補間処理が行われる。これはCC
Dセンサ201が、RGB画像データを読み取る3ライ
ンのCCDが所定の物理間隔をもって並んでいることに
起因する、R、G、B各色の読み取りタイミングのずれ
を補正するためである。
【0032】ライン間補正部204から出力されたデジ
タル信号は、入力信号補正部205に入力され、所定の
マスキング演算処理を実行する。これは、CCDセンサ
201の読み取り画素毎の色分解フィルタの分光特性が
理想的な特性ではなく、不要な透過特性を持っているの
を補正するためである。
【0033】像域分離部206では、入力画像データ内
の各画像領域に対して、その領域がエッジ/文字部であ
るのか、自然画像部(濃度平坦部)であるのかを判定
し、その判定信号を後述する各画像処理部に送信する。
【0034】ここで、像域分離部206における像域判
定方法の一例を説明する。
【0035】図3A,図3Bは、像域分離部206にお
ける判定方法の一例を説明するための図である。図3A
は、写真領域302と文字領域303が混在している原
稿画像301を示す。イメージリーダ部101は、この
原稿画像301をCCDセンサ201によって走査し、
画素ごとのカラーデジタル信号(R,G,B)として読
み取る。
【0036】読み取られたRGB信号は、画像の領域ご
との属性に依存する特徴を持っている。各領域において
CCDセンサ201が読み取る信号値(R,G,B)の
うち、G信号をCCDの並び方向にプロットすることに
よって、例えば図3Bに示すグラフが得られる。図3B
は、互いに異なる画像特徴を呈する2つのグラフを示し
ており、横軸はCCDならび方向の画素位置、縦軸は読
みとり信号値を示し、縦軸の上側にほど白に近い(明る
い)画素であることを表している。
【0037】図3Bに示す曲線312,313はそれぞ
れ図3Aに示す写真領域302、文字領域303をそれ
ぞれ読み取った場合に特徴的に現れる特性の一例を示す
ものである。曲線312に示されるように、写真領域3
02は読み取られる画像信号の位置による変化が比較的
ゆるやかであるため、近距離の画素値の差分322は比
較的小さな値となる。一方、曲線313に示されるよう
に、文字領域303は通常、白地上に黒文字が存在する
ため、読み取られる画像信号は白地部323から文字部
333にかけて急激に変化するような特性を呈する。
【0038】これら領域毎の特性を判定するためには、
原稿画像の読み取り信号から上述したような領域ごとの
特徴を検出すれば良い。そのためには、注目画素近傍で
の画像データの変化量あるいは変化量の一定区間内の積
算値、周辺画素の輝度値(白地か色付き背景かの判
定)、一定区間内の画像データの白から黒への変化の回
数等、周知の特徴抽出を用い、それに基づいた周知の属
性判別手法を用いることができる。
【0039】以下、図2A及び図2Bの説明に戻る。下
地処理部207では、入力信号補正部205から出力さ
れたRGBのデジタル信号について、該原稿中の最も明
るい色が白色となるように原稿の下地レベルを設定す
る。そして本実施形態のイメージリーダ部101におい
ては、以降の構成が従来のイメージリーダ部と異なる。
【0040】まず、図2Aに示す従来のイメージリーダ
部においては、下地処理部207から出力されたRGB
信号が出力信号補正部208に入力され、原稿とプリン
タ部102によるコピー出力との色味が合致するよう
に、該RGB信号に基づいてCMYK信号が算出され
る。この演算は、像域分離部206による判定結果を示
す判定信号に基づき、エッジ/文字部と自然画像部とで
異なる演算処理が行われる。算出されたシアン(C),
マゼンタ(M),イエロー(Y),ブラック(Bk)の
各信号は、各読み取り動作の度に、面順次に所定のビッ
ト長(例えば8ビット)で出力される。
【0041】出力信号補正部208から出力されたCM
YK信号は、空間フィルタ部209に入力され、空間周
波数のMTF補正を行う。このとき像域分離部206か
らの判定信号に基づき、原稿画像に適したエッジ強調及
びスムージング処理を施す。例えば、エッジ/文字部に
対してはエッジ強調処理を、自然画像部に対してはスム
ージング処理を施す。
【0042】一方、図2Bに示す本実施形態のイメージ
リーダ部101においては、下地処理部207から出力
されたRGB信号が出力信号補正&色判定部211に入
力される。そして、原稿とプリンタ部102によるコピ
ー出力との色味が合致するように、該RGB信号に基づ
いてCMYK信号が算出されるが、このとき、従来のイ
メージリーダ部における出力信号補正部208と同様
に、像域分離部206からの判定信号に基づいて、エッ
ジ/文字部と自然画像部とで互いに異なる演算処理を行
う。出力信号補正&色判定部211においては更に、入
力されたRGB信号値に基づいて特定の色部分を判定す
る色判定信号を算出し、色域別空間フィルタ部212に
出力する。色域別空間フィルタ部212においても空間
周波数のMTF補正を行うが、ここでは、像域分離部2
06からの判定信号と出力信号補正&色判定部211か
らの色判定信号に基づき、原稿画像に適したエッジ強調
及びスムージング処理を施すことを特徴とする。具体的
には、自然画像における特定の色部分に対してはスムー
ジング処理を施し、他の部分に対してはエッジ強調処理
を施す。
【0043】図2A及び図2Bのいずれにおいても、そ
れぞれ空間フィルタ部209及び図2Bに示す色域別空
間フィルタ部212から出力されたCMYK信号は濃度
変換部210に入力され、プリンタ部102の有する濃
度特性が補正される。尚、濃度変換部210は、不図示
のルックアップテーブルROMまたはRAMにより構成
される。
【0044】[出力信号補正部208]以下、本実施形
態におけるイメージリーダ部101の特徴をより明確に
するために、まず、図2Aに示す従来のイメージリーダ
部における出力信号補正部208について詳細に説明す
る。
【0045】図4は、出力信号補正部208の詳細構成
を示す図である。出力信号補正部208においては、入
力画像信号値から出力画像信号値への変換をテーブルメ
モリを用いた補間演算により行う。即ち、入力RGB信
号として各色8ビット、出力CMYK信号として各色8
ビットを割り当て、入力信号の上位ビットを色補正テー
ブルのアドレスとして用い、下位ビットを補間演算に用
いる。
【0046】以下、出力信号補正部208における動作
について詳細に説明する。
【0047】図4において、401は演算用のルックア
ップテーブル(以下LUT)を保持する演算用LUTメ
モリ部であり、入力画像信号値の上位nビットがアドレ
スとして入力され、後述する図5に示す単位立方体のア
ドレッシングを行う。402は三角柱判定回路であり、
入力画像信号値の残り下位ビット(8−nビット)によ
り、後述する図5に示すいずれの三角柱に補間点が含ま
れるかを判定する。403はLUT補間演算部であり、
演算用LUTメモリ部401及び3角柱判定回路402
におけるアドレス及び判定結果に基づいて、後述する計
算式(1)に示すLUT補間演算を行う。
【0048】404はLUTデータ記憶装置であり、演
算用LUTメモリ部401の像域分離部206から送信
されてくる像域判定信号(不図示)に対応したLUT格
子点データを含む、複数の格子点データを記憶保持して
いる。LUTデータ記憶装置404においては、像域判
定信号に基づく領域毎に、複数のLUT格子点データ中
から演算用LUTを選択し、演算用LUTメモリ部40
1のデータを該演算用LUTで書き換える。そして、L
UT補間演算部403によって、領域毎に演算が行われ
る。
【0049】以下、出力信号補正部208における補間
演算について詳細に説明する。図5に、本実施形態にお
ける補間方法の一例を示す。同図において三角柱501
〜506はそれぞれ、単位立方体500の分割方法の一
例を示すものである。即ち、上位ビットによってアドレ
ッシングされた補間対象の立方体500が、X=Y,Y
=Z,Z=Xの3面で分割されることにより、三角柱5
01〜506に6分割される。
【0050】以下に、三角柱501を例として、LUT
補間演算部403における補間演算式の一例を示す。
【0051】 Out(X,Y,Z) = Out(Xh,Yh,Zh)×(1−Xl) +Out(Xh+1,Y,Z)×(Xl−Yl) +Out(Xh+1,Yh+1,Z)×(Yl−Zl) +Out(Xh+1,Yh+1,Zh+1)×(Zl) ・・・式(1) ここで、Out(X,Y,Z)は入力(X,Y,Z)による出力
値、Xh,Yh,Zhは入力の上位ビット、Xl,Yl,Zl
は入力の下位ビットを示す。
【0052】単位立方体500内の三角柱501〜50
6のいずれに補間すべき点が含まれているかを、三角柱
判定回路402で下位ビットの大小関係により判定す
る。尚、下位ビットの大小関係と三角柱501〜506
の対応は、図5に示す通りである。そしてLUT補間演
算部403において、対象となる三角柱の4点として演
算用LUTメモリ部401に保持されている格子点値に
対して、上記式(1)に示した補間演算を施すことによっ
て補間出力値を求める。
【0053】[出力信号補正&色判定部211]以下、
本実施形態におけるイメージリーダ部101の特徴であ
る構成について詳細に説明する。
【0054】図6は、本実施形態における出力信号補正
&色判定部211の詳細構成を示す図である。出力信号
補正&色判定部211においては、上述した従来の出力
信号補正部208と同様に、入力画像信号値から出力画
像信号値への変換をテーブルメモリを用いた補間演算に
より行う。即ち、入力RGB信号として各色8ビット、
出力CMYK信号として各色8ビットを割り当て、入力
信号の上位ビットを色補正テーブルのアドレスとして用
い、下位ビットを補間演算に用いる。
【0055】以下、出力信号補正&色判定部211にお
ける動作について詳細に説明する。
【0056】図6において、601は図4に示した演算
用LUTメモリ部401に対して、更に色判定送信部を
付加したものであり、入力画像信号値の上位nビットが
アドレスとして入力された後、図5に示した単位立方体
500のアドレッシング値を色判定信号として、その後
の画像処理部に送信する。尚、図6に示すその他の構成
は上述した図4と同様であるため、説明を省略する。
【0057】以下、演算用LUTメモリ・色判定信号送
信部601について詳細に説明する。
【0058】図7A及び図7Bは、演算用LUTメモリ
・色判定信号送信部601における動作を説明するため
の図である。図7Aにおいて、701はLUTデータ記
憶装置404に記憶されている演算用LUTデータの一
例を示しており、この場合、RGB各色が8点に分割さ
れているため、LUTデータは83(=512)個の格
子点から構成されている。702,703はそれぞれ、
演算用LUTデータ701におけるG=0,G=36の
ブロックを拡大したものである。
【0059】この場合、RGB各色が8点に分割されて
いるため、図5に示す単位立方体500が73(=34
3)個作成される。各単位立方体500には各々番号が
付加されており、例えば入力画像信号がR=40,G=
20,B=20である場合には、図7Bに示すように、
単位立方体番号2が付された単位立方体500にアドレ
スされる。
【0060】演算用LULTメモリ・色判定信号送信部
601においては、該画素に対する単位立方体番号であ
る「2」を、色判定信号として色域別空間フィルタ部2
12に出力する。
【0061】[色域別空間フィルタ部212]以下、本
実施形態における色域別空間フィルタ部212について
詳細に説明するが、本実施形態における特徴を明確にす
るために、まず、図2Aに示した従来の空間フィルタ部
209の構成を図8Aに示し、説明する。
【0062】図8Aにおいて、801は空間フィルタ処
理部であり、前段の出力信号補正部208から送られて
くる画像信号に対して空間フィルタ処理、即ちMTF補
正を施す。802は像域別フィルタ選択装置であり、像
域分離部206から送信されてくる像域判定信号に基づ
き、該判定信号に対応する空間フィルタデータをフィル
タデータ記憶装置803より選択し、空間フィルタ処理
部801に渡す。
【0063】例えば、像域判定信号が文字部を示す領域
の画像データに関しては、図9の901に示すような空
間周波数特性を有するフィルタ処理を行うことにより、
エッジの効いたシャープな文字を出力することができ
る。一方、像域判定信号が自然画像部を示す領域の画像
データに関しては、図9の902に示すような空間周波
数特性を有するフィルタ処理を行うことにより、階調再
現の滑らかな自然画像を出力することができる。
【0064】図8Bは、本実施形態における色域別空間
フィルタ部212の詳細構成を示すブロック図である。
図8Bにおいて、上述した図8Aと同様の構成につては
同一番号を付し、説明を省略する。
【0065】804は色域別フィルタ選択装置であり、
出力信号補正&色判定部211からの色判定信号、即ち
図7Bを参照して説明した単位立方体番号を受け、それ
に対応する空間フィルタデータをフィルタデータ記憶装
置803より選択する。
【0066】805はフィルタ選択装置であり、像域別
フィルタ選択装置802、色域別フィルタ選択装置80
4から構成され、この2つの選択装置によってフィルタ
データ記憶装置803から選択されたフィルタデータを
空間フィルタ処理部801に渡す。即ち、像域別フィル
タ選択装置802、色域別フィルタ選択装置804の両
方によって選択されるフィルタデータを出力することに
より、入力画像データにおける像域のみならず、色域を
も考慮したフィルタデータを選択することができる。
【0067】図8Bに示すフィルタデータ記憶装置80
3においては、出力信号補正&色判定部211からの色
判定信号、即ち単位立方体番号ごとにフィルタデータを
用意しておけば良い。しかしながら図7Bにおいて説明
したように、RGB各色を8点に分割した場合には34
3個ものフィルタデータが必要となるため、これを全て
記憶保持しておくことは現実的ではない。そこで例え
ば、全ての単位立方体を適当なグループに分類すること
が有効である。
【0068】一例として、図7Aに示した演算用LUT
701を、その左側に位置する高濃度グループ、中央あ
たりに位置する中濃度グループ、右側に位置する低濃度
グループ、及び肌色近傍のグループ、の4つ程度に分類
し、フィルタデータ記憶装置803に各グループに対応
したフィルタデータを記憶させておけば良い。
【0069】このように複数の濃度グループに分類した
場合、例えば像域分離部206で自然画像部と判定され
た領域の画像データに対し、出力信号補正&色判定部2
11による色判定信号に基づいて以下のようなフィルタ
処理を施せばよい。即ち、色判定信号により高濃度グル
ープとされた領域について、図9の902に示すような
特性を有するフィルタ処理を施すとすると、中濃度グル
ープの領域については高濃度グループよりも若干弱い、
図9の903に示すような特性を有するフィルタ処理を
施し、低濃度グループについては更に弱い、図9の90
4に示すような特性を有するフィルタ処理を施す。そし
て肌色グループに関しては、図9の905に示すような
高周波数を落とした特性を有するフィルタ処理を行う。
【0070】尚、文字部に関しても、自然画像部と同様
に濃度グループ毎に異なるフィルタ処理を施すことは言
うまでもない。
【0071】以上説明したように本実施形態によれば、
エッジ部や文字部の画像データに対して所定のエッジ強
調処理を施してより鮮明に画像が再現するようにし、濃
度変化の少ない濃度平坦部の画像データについては所定
のスムージング処理を施して画像をより滑らかにする
等、像域に応じて処理を切り換えるのみならず、画像デ
ータの種類や絵柄に応じてエッジ強調処理やスムージン
グ処理の度合いを変化させることにより、画像データの
種類や絵柄に応じた最適なMTF補正を施すことができ
る。
【0072】即ち、入力画像データの濃度グループ毎に
異なる空間周波数特性のフィルタ処理を施すことによ
り、像域のみならず、色味の違いをも考慮した最適なM
TF補正を施すことができる。
【0073】また、上記処理を実現する本実施形態の画
像処理装置は、従来の画像処理装置の構成に対して大幅
な付加構成を備える必要がないため、安価に実現され
る。
【0074】尚、本実施形態の出力信号補正&色判定部
211においてはRGB信号を入力してCMYK信号を
出力する例について説明したが、本発明はこのように入
力を輝度信号、出力を濃度信号とする例に限定されるも
のではなく、例えばLab均等色空間における信号を入
力してCMY信号を出力したり、また、入出力共にRG
B信号とする等、入出力共に任意の形式の信号とするこ
とが可能である。
【0075】また、本実施形態においては、像域判定信
号及び色判定信号に基づく各画像処理パラメータの切り
替えを、出力信号補正&色判定部211における出力信
号補正処理、及び色域別空間フィルタ部212における
空間フィルタ処理において行う例について説明したが、
濃度変換部等の他の画像処理部においても同様に、判定
に基づく処理パラメータの切り替えを行っても良い。
【0076】また、図2Bに示した像域分離部206及
び出力信号補正&色判定部211における色判定処理部
を、他の位置に備えることも可能である。
【0077】また本実施形態においては、像域分離部2
06における像域判定を自然画像部分と文字部に関して
行う例について説明したが、網点画像領域や地図領域
等、像域判定の種類を増やしても良い。
【0078】<第2実施形態>第1実施形態において
は、像域分離手段及び色域判定手段における判定結果に
基づいて画像に対して画素ごとにMTF補正を施す補正
手段を説明したが、第2実施形態においては、画像をい
くつかの像域ブロック分け、ブロック単位でMTF補正
を施す構成について説明する。
【0079】図2Bの入力信号補正部205を通った画
像データは、図示しないブロックラインバッファによ
り、画像をタイル状に分割され(タイルの大きさをMx
Nとする)、このタイルMxN画素毎に,像域分離部2
06の結果を受け、その属性が決定される。
【0080】また、ここでは詳細は記載しないが、画像
圧縮を持つ構成とした場合には、カラー情報の符号化で
ある、離散コサイン変換符号化(JPEG)、属性フラグデ
ータ情報の符号化であるランレングス符号化に分けて符
号化を行う必要があるため、このM、Nは離散コサイン
変換符号化のためのウィンドウサイズの倍数である必要
がある。例えば、JPEG圧縮方式では圧縮のためのウ
ィンドウサイズは8x8画素であるので例えばM=N=
32とすると32x32画素タイルの中をさらに16個
の8x8画素に分割して8x8画素単位でJPEG圧縮
を行う。以後、M=N=32として説明するが、もちろ
んその値に限定されるわけではない。
【0081】以降、各画像処理部では、32x32画素
のタイル画像毎に所定の画像処理を行う。このときに用
いる画像処理係数を後述する方法でタイルごとに切り替
えて設定できるようになっている。切り替え信号は像域
判定、色判定によって入力される。
【0082】属性判定データは、各画素毎につけられる
ものであるが、第2実施形態のように,MxN画素タイ
ル内の属性に関しては、ブロックタイル内は一定とする
ので、タイル内の属性判定データを解析してタイルを代
表する属性を決定する必要がある。
【0083】図10は、領域属性に応じた画像処理係数
の設定処理を説明するための図である。1001は、写
真領域と文字領域が混在している原稿画像の例であり、
ページ全体の構成を示している。1002は、この原稿
画像1001に対して生成された属性判定データであ
り、ここでは文字領域のみが抽出されているところを示
している。
【0084】1003は、原稿画像1001の全体をM
xN画素(ここでは32x32画素)のタイル状に分割
していた様子(タイル分割画像)を示す図である。各3
2x32画素領域ごとに画像処理係数を設定できるよう
になっている。
【0085】1004は、属性判定データ1002を参
照して、タイル分割画像1003を文字属性が存在する
タイルと存在しないタイルとに分割した例である。図中
ハッチングで示したタイルが、文字を含まないタイルと
して識別されたことになる。
【0086】ここで、タイル中に文字が含まれるか否か
の判定を行うわけであるが、32x32画素のタイル内
に1画素でも文字属性フラグが含まれていたら文字を含
む、と判定することもできるが、あるいは文字属性を持
つ属性フラグデータの画素数をタイル内でカウントし所
定のしきい値を越えた場合だけ文字を含むタイルであ
る、という判定をすることもできる。
【0087】1004のように識別されたら、ここでは
文字を含むタイルと含まないタイルの個数をカウント
し、画像全体に対する文字を含むタイルと含まないタイ
ルの割合を算出する。
【0088】1004に示す例では、文字を含むタイル
が全130タイル中42タイルであり32%となる。逆
に文字を含まないタイルは、68%となる。この割合に
応じて、文字を含むタイルに適応する画像処理係数およ
び、文字を含まないタイルに適応する画像処理係数を各
画像処理部から選択し、画像データに対して画像処理を
施す。つまり、入力される画像データに応じて、さらに
は画像中の文字領域、写真領域毎の占める割合に応じ
て、その都度、自動的に画像処理係数を可変させ、処理
を行う。
【0089】
【他の実施形態】なお、本発明は、複数の機器(例えば
ホストコンピュータ、インタフェイス機器、リーダ、プ
リンタなど)から構成されるシステムに適用しても、一
つの機器からなる装置(例えば、複写機、ファクシミリ
装置など)に適用してもよい。
【0090】また、本発明の目的は、前述した実施形態
の機能を実現するソフトウェアのプログラムコードを記
録した記憶媒体(または記録媒体)を、システムあるい
は装置に供給し、そのシステムあるいは装置のコンピュ
ータ(またはCPUやMPU)が記憶媒体に格納されたプログ
ラムコードを読み出し実行することによっても、達成さ
れることは言うまでもない。この場合、記憶媒体から読
み出されたプログラムコード自体が前述した実施形態の
機能を実現することになり、そのプログラムコードを記
憶した記憶媒体は本発明を構成することになる。また、
コンピュータが読み出したプログラムコードを実行する
ことにより、前述した実施形態の機能が実現されるだけ
でなく、そのプログラムコードの指示に基づき、コンピ
ュータ上で稼働しているオペレーティングシステム(OS)
などが実際の処理の一部または全部を行い、その処理に
よって前述した実施形態の機能が実現される場合も含ま
れることは言うまでもない。
【0091】さらに、記憶媒体から読み出されたプログ
ラムコードが、コンピュータに挿入された機能拡張カー
ドやコンピュータに接続された機能拡張ユニットに備わ
るメモリに書込まれた後、そのプログラムコードの指示
に基づき、その機能拡張カードや機能拡張ユニットに備
わるCPUなどが実際の処理の一部または全部を行い、そ
の処理によって前述した実施形態の機能が実現される場
合も含まれることは言うまでもない。
【0092】
【発明の効果】以上説明した様に本発明によれば、画像
に応じたMTF補正を可能とする画像処理装置を、低コ
ストで提供することができる。
【図面の簡単な説明】
【図1】本発明に係る一実施形態のカラー複写機構成を
示す側断面図である。
【図2A】従来のイメージリーダ部の構成を示す図であ
る。
【図2B】本実施形態のイメージリーダ部101の構成
を示す図である。
【図3A】写真領域と文字領域が混在している原稿画像
の一例を示す図である。
【図3B】写真領域と文字領域における読み取り特性の
一例を示す図である。
【図4】出力信号補正部208の詳細構成を示すブロッ
ク図である。
【図5】出力信号補正部208における補間方法の一例
を示す図である。
【図6】出力信号補正&色判定部211の詳細構成を示
すブロック図である。
【図7A】演算用LUTデータの一例を示す図である。
【図7B】色判定信号の一例を示す図である。
【図8A】空間フィルタ部209の詳細構成を示すブロ
ック図である。
【図8B】色域別空間フィルタ部212の詳細構成を示
すブロック図である。
【図9】本実施形態における空間フィルタ例を示す図で
ある。
【図10】第2実施形態における、領域属性に応じた画
像処理係数の設定処理を説明するための図である。
【符号の説明】
205 入力信号補正部 206 像域分離部 207 下地処理部 210 濃度変換部 211 出力信号補正&色判定部 212 色域別空間フィルタ部 801 空間フィルタ処理部 802 像域別フィルタ選択装置 803 フィルタデータ記憶装置 804 色域別フィルタ選択装置
───────────────────────────────────────────────────── フロントページの続き Fターム(参考) 2C262 AA24 AA26 AB13 AC02 BB41 DA03 DA13 EA07 EA08 5B057 BA02 CA01 CA08 CA12 CA16 CB01 CB08 CB12 CB16 CC01 CE06 CE16 5C077 MP01 MP05 MP06 MP08 PP02 PP03 PP27 PP28 PP32 PP33 PP37 PP43 PP49 PP68 PQ08 PQ23 RR19 RR21 TT06 5C079 HB01 HB03 HB12 JA23 LA02 LA03 LA06 LA15 LB02 LB12 MA04 NA03 NA06 PA03

Claims (11)

    【特許請求の範囲】
  1. 【請求項1】 カラー画像信号を入力する画像入力手段
    と、 前記カラー画像信号における領域特性を判定する像域分
    離手段と、 前記カラー画像信号における色域特性を判定する色域判
    定手段と、 前記カラー画像信号に対して、前記像域分離手段及び前
    記色域判定手段における判定結果に基づいてMTF補正
    を施す補正手段と、 前記MTF補正が施されたカラー画像信号を可視化する
    画像出力手段と、を有することを特徴とする画像処理装
    置。
  2. 【請求項2】 前記補正手段は、前記カラー画像信号に
    対して像域及び色域毎に異なるMTF補正を施すことを
    特徴とする請求項1記載の画像処理装置。
  3. 【請求項3】 前記補正手段は、前記カラー画像信号に
    対して像域及び色域毎に異なる周波数特性を有する空間
    フィルタ処理を施すことを特徴とする請求項2記載の画
    像処理装置。
  4. 【請求項4】 前記像域分離手段は、前記カラー画像信
    号の各画素を自然画像領域及び文字領域のいずれかに分
    類することを特徴とする請求項1記載の画像処理装置。
  5. 【請求項5】 前記像域分離手段は、前記カラー画像信
    号の各画素を写真画像領域、網点画像領域、黒文字領
    域、色文字領域のいずれかに分類することを特徴とする
    請求項4記載の画像処理装置。
  6. 【請求項6】 前記色域判定手段は、前記カラー画像信
    号の各画素を、所定の色域グループに分類することを特
    徴とする請求項1記載の画像処理装置。
  7. 【請求項7】 前記画像入力手段は、原稿画像を読み取
    ることによって前記カラー画像信号を入力することを特
    徴とする請求項1記載の画像処理装置。
  8. 【請求項8】 前記画像出力手段は、前記MTF補正が
    施されたカラー画像信号に基づく可視像を記録媒体上に
    形成することを特徴とする請求項1記載の画像処理装
    置。
  9. 【請求項9】 カラー画像信号を入力する画像入力工程
    と、 前記カラー画像信号における領域特性を判定する像域分
    離工程と、 前記カラー画像信号における色域特性を判定する色域判
    定工程と、 前記カラー画像信号に対して、前記像域分離工程及び前
    記色域判定工程における判定結果に基づいてMTF補正
    を施す補正工程と、 前記MTF補正が施されたカラー画像信号を可視化する
    画像出力工程と、を有することを特徴とする画像処理方
    法。
  10. 【請求項10】 コンピュータによって実行可能な画像
    処理プログラムが記録された記録媒体であって、該プロ
    グラムは少なくとも、 カラー画像信号を入力する画像入力工程のコードと、 前記カラー画像信号における領域特性を判定する像域分
    離工程のコードと、 前記カラー画像信号における色域特性を判定する色域判
    定工程のコードと、 前記カラー画像信号に対して、前記像域分離工程及び前
    記色域判定工程における判定結果に基づいてMTF補正
    を施す補正工程のコードと、 前記MTF補正が施されたカラー画像信号を可視化する
    画像出力工程のコードと、を有することを特徴とする記
    録媒体。
  11. 【請求項11】 画像信号を入力する画像入力手段と、 前記画像信号における領域特性を判定し、像域毎にブロ
    ック分割する像域ブロック手段と、 全ブロックに占める像域毎のブロック割合に応じて、ブ
    ロック毎にMTF補正を施す補正手段と、 前記MTF補正が施された画像信号を可視化する画像出
    力手段と、を有することを特徴とする画像処理装置。
JP2000277206A 2000-09-12 2000-09-12 画像処理装置及びその方法 Expired - Fee Related JP4280404B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2000277206A JP4280404B2 (ja) 2000-09-12 2000-09-12 画像処理装置及びその方法
US09/945,801 US7054032B2 (en) 2000-09-12 2001-09-05 Image processing apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000277206A JP4280404B2 (ja) 2000-09-12 2000-09-12 画像処理装置及びその方法

Publications (2)

Publication Number Publication Date
JP2002094798A true JP2002094798A (ja) 2002-03-29
JP4280404B2 JP4280404B2 (ja) 2009-06-17

Family

ID=18762569

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000277206A Expired - Fee Related JP4280404B2 (ja) 2000-09-12 2000-09-12 画像処理装置及びその方法

Country Status (2)

Country Link
US (1) US7054032B2 (ja)
JP (1) JP4280404B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7333562B2 (en) 2002-06-28 2008-02-19 Nec Corporation Nonlinear distortion compensating circuit

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6728003B1 (en) * 2000-04-04 2004-04-27 Eastman Kodak Company Method of compensating for MTF in a digital image channel
US6961477B2 (en) * 2001-07-12 2005-11-01 Canon Kabushiki Kaisha Image-based selection of gamut mapping
US7545976B2 (en) * 2002-05-01 2009-06-09 Hewlett-Packard Development Company, L.P. Method and apparatus for associating image enhancement with color
US7477781B1 (en) * 2002-10-10 2009-01-13 Dalsa Corporation Method and apparatus for adaptive pixel correction of multi-color matrix
US7609425B2 (en) * 2003-01-31 2009-10-27 Canon Kabushiki Kaisha Image data processing apparatus, method, storage medium and program
US7688337B2 (en) * 2004-05-21 2010-03-30 Broadcom Corporation System and method for reducing image scaling complexity with flexible scaling factors
JP4566774B2 (ja) * 2005-02-16 2010-10-20 キヤノン株式会社 通信装置及びその制御方法
US9143657B2 (en) * 2006-01-24 2015-09-22 Sharp Laboratories Of America, Inc. Color enhancement technique using skin color detection
JP2008148055A (ja) * 2006-12-11 2008-06-26 Sony Corp 画像処理装置、画像処理方法、表示装置、および投射型表示装置
US8050496B2 (en) * 2007-01-09 2011-11-01 Sharp Laboratories Of America, Inc. Color gamut mapping/enhancement technique using skin color detection
JP5512522B2 (ja) * 2007-09-28 2014-06-04 オセ−テクノロジーズ・ベー・ヴエー Mtfの適応可能な補正のための方法、装置、およびコンピュータプログラム
JP5073773B2 (ja) * 2010-04-08 2012-11-14 シャープ株式会社 画像処理装置、画像形成装置、画像処理方法及びプログラム
JP6020123B2 (ja) 2012-12-17 2016-11-02 富士通株式会社 画像処理装置、画像処理方法及びプログラム
CN104995658B (zh) 2013-02-18 2017-09-05 日本电气株式会社 图像处理方法,图像处理设备和记录介质
US10429271B2 (en) * 2016-07-01 2019-10-01 Microsoft Technology Licensing, Llc Camera testing using reverse projection

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3200931B2 (ja) * 1992-03-23 2001-08-20 ミノルタ株式会社 網点画像の領域判別回路
JPH09238261A (ja) * 1996-02-28 1997-09-09 Minolta Co Ltd 画像形成装置
US5809216A (en) * 1996-12-31 1998-09-15 Eastman Kodak Comapny Method and apparatus for multiple address recording with brightness and exposure time control

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7333562B2 (en) 2002-06-28 2008-02-19 Nec Corporation Nonlinear distortion compensating circuit

Also Published As

Publication number Publication date
US7054032B2 (en) 2006-05-30
JP4280404B2 (ja) 2009-06-17
US20020031257A1 (en) 2002-03-14

Similar Documents

Publication Publication Date Title
US8270046B2 (en) Image processor and image processing method for extracting removal color and color around removal color in an image prior to image color/monochrome determination
JP4280404B2 (ja) 画像処理装置及びその方法
JP2001358929A (ja) 画像処理装置、画像処理方法、記憶媒体及び画像処理システム
US5844688A (en) Image processing system for converting a color processing command into a control signal using an external controller
JPH07101917B2 (ja) 領域制御装置
JPH05137000A (ja) 画像読取装置
JPH11136532A (ja) カラー画像形成装置及びその制御方法
JP3599367B2 (ja) 画像処理装置およびその方法
JP4497684B2 (ja) 画像処理装置及びその方法
JP2004350240A (ja) 画像処理装置及び画像処理方法
JP4659789B2 (ja) 画像処理装置、画像処理方法、プログラム及び記録媒体
JP3190050B2 (ja) カラー画像処理方法
JP2002262035A (ja) 画像読取装置
JPH10224648A (ja) 画像処理装置及び方法
JP3554012B2 (ja) 画像処理装置及び画像処理方法
JP3079630B2 (ja) 画像処理装置
JP2001320593A (ja) 画像処理装置およびそれを備えた画像形成装置ならびに画像処理方法
JP2007128328A (ja) 画像処理装置
JPH11127353A (ja) 画像処理装置及び画像処理方法
JP2000134491A (ja) 画像処理装置及びその制御方法及び記憶媒体
JPH0951425A (ja) 画像処理装置及び方法
JP2001160902A (ja) 画像処理装置およびその方法
JP2000134476A (ja) 画像処理装置及びその制御方法及び記憶媒体
JP2001157059A (ja) 画像形成装置および方法
JPH1127518A (ja) 画像処理装置及び画像処理方法

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20061225

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070109

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070308

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20070827

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071016

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20071106

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20071130

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090316

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120319

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130319

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140319

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees