JP2007013551A - 画像処理装置および画像処理方法 - Google Patents

画像処理装置および画像処理方法 Download PDF

Info

Publication number
JP2007013551A
JP2007013551A JP2005191540A JP2005191540A JP2007013551A JP 2007013551 A JP2007013551 A JP 2007013551A JP 2005191540 A JP2005191540 A JP 2005191540A JP 2005191540 A JP2005191540 A JP 2005191540A JP 2007013551 A JP2007013551 A JP 2007013551A
Authority
JP
Japan
Prior art keywords
attribute information
image
image processing
generating
rule
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005191540A
Other languages
English (en)
Other versions
JP4498233B2 (ja
JP2007013551A5 (ja
Inventor
Ritsuko Otake
律子 大竹
Shinichi Kato
進一 加藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2005191540A priority Critical patent/JP4498233B2/ja
Priority to US11/426,676 priority patent/US7751082B2/en
Publication of JP2007013551A publication Critical patent/JP2007013551A/ja
Publication of JP2007013551A5 publication Critical patent/JP2007013551A5/ja
Application granted granted Critical
Publication of JP4498233B2 publication Critical patent/JP4498233B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03GELECTROGRAPHY; ELECTROPHOTOGRAPHY; MAGNETOGRAPHY
    • G03G15/00Apparatus for electrographic processes using a charge pattern
    • G03G15/01Apparatus for electrographic processes using a charge pattern for producing multicoloured copies
    • G03G15/0105Details of unit
    • G03G15/011Details of unit for exposing
    • G03G15/0115Details of unit for exposing and forming a half-tone image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K15/00Arrangements for producing a permanent visual presentation of the output data, e.g. computer output printers
    • G06K15/02Arrangements for producing a permanent visual presentation of the output data, e.g. computer output printers using printers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K15/00Arrangements for producing a permanent visual presentation of the output data, e.g. computer output printers
    • G06K15/02Arrangements for producing a permanent visual presentation of the output data, e.g. computer output printers using printers
    • G06K15/18Conditioning data for presenting it to the physical printing elements
    • G06K15/1848Generation of the printable image
    • G06K15/1852Generation of the printable image involving combining data of different types
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40Picture signal circuits
    • H04N1/40062Discrimination between different image types, e.g. two-tone, continuous tone

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Record Information Processing For Printing (AREA)

Abstract

【課題】ラスター画像データに対して実施する像域分離処理結果から生成される属性情報と、PDLファイルから生成される属性情報を有効に活用し、より高画質な画像を得る。
【解決手段】描画コマンドに基づき画像および該画像を構成する画素に対する第1の属性情報を生成する第1の生成手段と、前記生成手段により生成された画像に像域分離処理を施し、該画像を構成する画素に対する第2の属性情報を生成する第2の生成手段と、前記生成された第1の属性情報および第2の属性情報に基づいて、前記画像を構成する画素に対する第3の属性情報を生成する属性情報生成手段とを有し、前記属性情報生成手段は、同一の前記第1の属性情報により表される画像のオブジェクト内の画素に対して、前記第1の属性情報と前記第2の属性情報との組み合わせに基づいて、前記第3の属性情報を生成する。
【選択図】図1

Description

本発明は画像処理装置および画像処理方法に関し、例えば、属性情報を利用し、高画質な画像を得るための画像処理に関する。
近年、ホストコンピュータ等で作成されたページ記述言語(以下PDL)ファイルを受信して画像形成を行う、カラープリンタ、デジタルカラー複合機等の画像処理装置が開発されている。
この画像処理装置はPDLファイルを受信し解釈することで、ラスター画像データと、画像属性を表す属性情報を生成する。画像属性は例えば画素毎に文字/線画領域、図形領域、自然画領域に分類される。この属性情報を利用することで、画像処理装置で出力するための画像処理をより効果的に実現する方法が多く開示されている。例えば、特許文献1では、それぞれの画像要素を示すオブジェクト情報を生成し、それぞれの画像要素の持つ特性に最適な画像処理を施すことにより高画質な画像形成を実施するための方法が開示されている。
一方、コピー機のように、原稿を読み取ってデジタル画像データを生成し、画像処理を施してプリントする画像処理装置がある。この画像処理装置においては、デジタル画像データの画素毎またはブロック単位毎に画像属性を判定し、その結果に応じて各属性に最適な画像処理を施すことにより高画質のコピー出力物を得る方法が一般に知られている。例えば、特許文献2では、原稿を読み取って生成した画像データを解析して文字領域と濃淡画像領域との少なくとも2領域を分離判定し、それぞれの領域に対して第1、第2の画像処理を選択的に施す方法が開示されている。ここで第1、第2の画像処理は、文字領域と濃淡画像領域を選択的に所望レベルに平滑化または鮮鋭化する方法のほか、色補正、下色除去などの色変換処理、モザイク画像化、ミラー画像化等編集処理である場合も含まれる。また、この画像処理に使用するパラメータをマニュアル設定するための構成も有している。
また、上述した画像属性を判定する技術(像域分離処理)を応用してPDLファイルを更に高画質に画像処理し出力する技術も実用化されている。例えば、特許文献3では、PDLファイルを解釈して生成したラスター画像の各画素に対して、像域分離処理を施し、その結果とPDLファイルを解釈して生成した属性情報とを画素毎に参照し、各画素の処理方法を決定する方法が開示されている。さらに、例えば、特許文献4では、像域分離処理の誤判定に起因する画質低下を防ぐために像域分離処理時の信号を制限する手法が開示されている。
特開平06−320802号公報 特開平04−160981号公報 特開2000−134468号公報 特開2000−255110号公報
上述したPDLファイルから生成される属性情報は、文字/線画、図形、自然画像などオブジェクト毎の切り分けが正確である。しかしながら、その属性情報は、ファイルを生成するときに使用するアプリケーションに依存しており、アプリケーションの種類、バージョンによって一貫性の無い情報になる場合がある。
一方、像域分離処理は、その画像処理システムにおいて一貫性のある判定が可能で更にその画像処理システムに最適な分類が可能である。しかしながら、画素単位での処理となるために誤判定の可能性がある。それにより、例えば自然画像の一部に文字用の画像処理を施した画素が現れて画質を低下させることがある。
また、これら双方の情報を利用した技術においても、像域分離処理で誤判定が起きた場合に、同一オブジェクト内で画像処理方法を完全に一致させることができないため、出力画像に不連続な階調再現、不自然な境界等の問題が現れる危険性をなお有している。
本発明は以上に鑑みてなされたもので、ラスター画像データに対して実施する像域分離処理結果から生成される属性情報と、PDLファイルから生成される属性情報を有効に活用し、より高画質な画像を得るための画像処理方法および装置を提供することを目的とする。
上述した課題を解決するために、本発明は、描画コマンドに基づき画像および該画像を構成する画素に対する第1の属性情報を生成する第1の生成手段と、
前記生成手段により生成された画像に像域分離処理を施し、該画像を構成する画素に対する第2の属性情報を生成する第2の生成手段と、
前記生成された第1の属性情報および第2の属性情報に基づいて、前記画像を構成する画素に対する第3の属性情報を生成する属性情報生成手段とを有し、
前記属性情報生成手段は、同一の前記第1の属性情報により表される画像のオブジェクト内の画素に対して、前記第1の属性情報と前記第2の属性情報との組み合わせに基づいて、前記第3の属性情報を生成することを特徴とする。
本発明によると、ラスター画像データに対して実施する像域分離処理結果から生成される属性情報と、PDLファイルから生成される属性情報を有効に活用し、より高画質な画像を得ることが可能性になる。
以下、図面を参照して本発明にかかる一実施例の画像処理を詳細に説明する。
以下では、本発明をPDLファイルの出力が可能な電子写真方式のカラープリンタを有するMFP(Multi Function Printer)に適用する場合を説明する。しかしながら、本発明はこれに限られるものではなく、その主旨を逸脱しない範囲で、任意のレーザービームプリンタ、インクジェットプリンタ等、他の方式の画像処理装置にも適用可能である。
[第1の実施例]
図22は、MFPの構成例を示すブロック図である。
図22において、CPU 2201は、RAM 2203をワークメモリとして、システムバス2210を介してMFP全体を制御し、ROM 2202に格納されたプログラムやデータに基づき後述する各種処理を行う。
ROM 2202は、システム起動プログラム、プリンタエンジンの制御を行うプログラム、文字データや文字コード情報などを記憶する。RAM 2203は、ダウンロードにより追加登録されるフォントデータを記憶したり、様々な処理ごとにプログラムやデータがロードされる。また、RAM 2203は、外部から受信した画像データのデータ記憶領域としても利用される。ハードディスクなどの記憶部(HD) 2204は、データのスプール、プログラムや各情報ファイル、画像データ、属性信号などを記憶し、CPU 2201の作業領域にも利用される。
例えば液晶パネルなどで構成される表示部2205は、MFPの設定状態や現在のMFP内部の処理、エラー状態などを表示する。キー、ボタン、タッチパネルなどで構成される操作部2206は、ユーザによるMFPの設定、設定変更、リセットなどに使用される。表示部2205および操作部2206により、後述するように、出力時の処理モードを選択する操作画面などの表示も可能である。
エンジンインタフェイス(I/F) 2207は、プリンタエンジンとの間で制御コマンド、ステータスなどを送受信するインタフェイスである。ネットワークインタフェイス(I/F) 2208は、MFPをローカルエリアネットワーク(LAN)などに接続するインタフェイスである。外部インタフェイス(I/F) 2209は、例えばUSB(Universal Serial Bus)やIEEE1394などのシリアルバスインタフェイスで、例えばホストコンピュータとの間でデータの送受信を行う。
[描画コマンドの処理]
図1は画像処理システムの構成を示す図である。図1を用いて、ホストコンピュータ120から受信した描画コマンドを解釈して生成したラスター画像を紙面に印刷する処理について説明する。ラスター画像は、ビットマップ画像を例にして説明する。
図1において121はホストコンピュータ120上で動作するアプリケーションである。アプリケーション121を用いることで、ページレイアウト文書やワードプロセッサ文書、グラフィック文書などを作成する。アプリケーション121で作成されたデジタル文書データはプリンタドライバ122に送信され、デジタル文書に基づいた描画コマンドが生成される。ここで生成される描画コマンドは一般にPDL(Page Description Language:ページ記述言語)と呼ばれるページ画像データを作成するためのプリンタ記述言語が用いられる。描画コマンドには通常、テキスト、グラフィック、イメージ等のデータの描画命令が含まれている。
上記生成された描画コマンドは、ネットワーク等で接続された画像処理装置100に伝送される。画像処理装置100は、PDL解析部101、描画オブジェクト生成部102、ラスタライズ処理部103、データ記憶部104、属性処理部200、画像処理部106から構成される。
ホストコンピュータ120から伝送された描画コマンドは、まずPDL解析部101に入力される。PDL解析部101は入力された描画コマンドを元に解析処理を行う。PDL解析部101で解析されたデータは描画オブジェクト生成部102に入力される。描画オブジェクト生成部102は解析されたデータを元に、ラスタライズ処理部103で処理可能な描画オブジェクトを生成する。生成された描画オブジェクトはラスタライズ処理部103に入力される。ラスタライズ処理部103はラスタライズ処理を行い、ビットマップ画像107を生成する。生成されたビットマップ画像107は、データ記憶部104に記憶される。また、ラスタライズ処理部103は、描画コマンドに従って、生成されたビットマップ画像107に対し、各画素がどのような画像特性に属するのかを示す属性情報108を生成する。生成された属性情報108はデータ記憶部104に記憶される。
ここで属性情報108とは、それぞれの画像特性に応じて分類したものである。例えば、文字データもしくはその画像特性を持ったデータからなるテキスト属性、ビットマップデータもしくはその画像特性を持ったデータからなるイメージ属性、ドローデータもしくはその画像特性を持ったデータからなるグラフィック属性といった属性情報がある。
その後、ビットマップ画像107と属性情報108は属性処理部200に入力される。属性処理部200は属性情報の再合成処理を行う。この属性情報の再合成処理については詳細を後述する。
データ記憶部104にて生成されたビットマップ画像107は画像処理部106に入力される。画像処理部106は、ビットマップ画像107に対して色変換処理や疑似中間調処理等の画像処理を行い、処理された画像を画像出力装置110に出力可能な画像フォーマットに変換する。
変換された画像フォーマットが例えば、シアン(C)、マゼンタ(M)、イエロー(Y)、ブラック(K)の4色の記録剤に対応する画像データであり、ラスタライズ処理部103において生成されるビットマップ画像107がレッド(R)、グリーン(G)、ブルー(B)色空間画像データである場合、画像処理部106において、RGB色空間画像データをルックアップテーブル等によってCMYK色空間画像データに変換する変換処理が行われる。また一般に限られた階調数での出力能力を持つ画像出力装置110において安定した中間調表現を得るために画像処理部106で疑似中間調処理を行う。さらにまた画像処理部106ではより好ましい出力画像を得るために空間フィルタ処理によりエッジ部のシャープネス処理やスムージング処理を実施する。
画像処理部106による前述の画像処理は、属性処理部200で生成された各画素に対する属性情報に従って、それぞれの属性の画像特性に適した設定で処理を行う。
例えば、RGB色空間画像データからCMYK色空間画像データへの色変換処理を行う際に利用するルックアップテーブルを切り替えることにより、テキスト属性に対してはUCR(Under Color Removal:下色除去)量を多く設定することで黒単色の文字部の再現性を高め、イメージ属性に対しては色の再現性や階調性を重視した色変換処理を行う。また、属性ごとに異なるマトリクスを用いたスクリーン処理を施すことで、イメージ属性である自然画像に対しては階調性を優先する低線数スクリーンを、テキスト属性である文字、グラフィック属性であるラインには解像度を優先する高線数スクリーンを適用する。
これら処理を施した画像データは予め定められた画像フォーマットに変換された後、画像出力装置110に入力され出力処理が行われることで、ホストコンピュータからの描画コマンドを画像データとして紙面に印刷する。
図2は図1の属性処理部200の構成を示している。像域分離処理部300は、データ記憶部104内に保存されたビットマップ画像107に対して画素毎の画像特性を判定する。この判定処理の詳細は後述する。像域分離処理部300の出力と、データ記憶部104内に保存された属性情報108が属性情報再合成部400に入力される。再合成部400は、像域分離処理部300の出力と属性情報108とに基づいて新たな属性情報が生成する。生成された新たな属性情報は、その後の画像処理部106に入力される。属性情報処理部400の処理についても詳細を後述する。
[像域分離処理]
図3は、図2の像域分離処理部300の構成を示した図である。図3に示す像域分離処理部300は、ビットマップ画像からエッジを検出するエッジ検出部310と中間調領域あるいは網点領域と、他の領域とを区別する太さ判別部320と、出力信号MAPを生成するためのルックアップテーブル(以下、LUT)330とを含む。
<エッジ検出部310>
まず、エッジ検出部310に入力された画像信号R、G、Bから輝度算出部311により輝度信号Y(Y=0.25R+0.5G+0.25B)を算出する。次に輝度信号YはエッジMIN方向検出回路312において図4に示すFIFO501、502により各1ラインずつ遅延した3ライン分に拡張され、周知のラプラシアンフィルタ503〜506にかけられる。これらフィルタは、縦、右上がり斜め、横、右下がり斜めの4方向にそれぞれ対応する。これらのフィルタの出力は、対応する方向についてエッジが強く形成されていれば大きな値となる。これら4つのフィルタ出力値であるエッジ量の絶対値のうち、値が最小となるフィルタに対応する方向を求めその方向をエッジMIN方向とする。
次に、エッジMIN方向スムージング部313で、エッジMIN方向検出部312で求めたエッジのMIN方向に対してスムージング処理を施す。この処理により、エッジ成分の最も大きい方向のみを保存し、その他の方向を平滑化することができる。すなわち、複数の方向に対してエッジ成分が大きい網点成分は、エッジ成分が平滑化されてその特徴は減少する一方で、一方向にのみエッジ成分が存在する文字/細線は、その特徴が保存されるという効果がある。必要に応じてこの処理を繰り返すことで、線成分と網点成分の分離がより一層効果的に行われ、網点中に存在する文字成分も検知することが可能である。その後、エッジ検出部314により、既定エッジ量の絶対値以下のものは除去され、既定エッジ量の絶対値以上のもののみが“1”として出力される。更に、上記エッジ検出部314の出力信号を7×7、5×5、3×3のブロックサイズで膨張した信号と、膨張なし及びエッジなしの5つのコードで表したものがエッジ検出回路310の出力信号“EDGE”である。ここで、信号の膨張とは、ブロック内全ての画素の信号値をOR演算することをいう。すなわち、注目画素自身が“1”であれば「膨張なし(1×1)」であり、「膨張なし」でなく3×3で膨張した場合に“1”となれば「3×3」、3×3でなく5×5で膨張した場合に“1”となれば「5×5」、5×5でなく7×7で膨張した場合に“1”となれば「7×7」、7×7でも“1”にならなければ「エッジなし」となる。信号“EDGE”は、このように「膨張なし」「3×3」「5×5」「7×7」「エッジなし」の5つの値をエンコードして表している。なお、エッジなしとは、後述するところの「内部」に相当する意味である。
<太さ判定部320>
太さ判定部320に画像信号R、G、Bが入力されると、最小値検出部321で画像信号R、G、Bの最小値であるMINRGBを求める。次に平均値検出部322にMINRGBを入力し、注目画素近傍5画素×5画素のMINRGBの平均値AVE5と、近傍3画素×3画素のMINRGBの平均値AVE3を求める。次に、文字/中間調検出部323にAVE5とAVE3が入力される。この文字/中間調検出部323では、画素毎に注目画素の濃度、および注目画素とその近傍の平均濃度との変化量を検出することによって、注目画素が文字または中間調領域の一部であるかどうかの判別を行う。AVE3に適当なオフセット値OFST1を加算したものとAVE5とを比較し、AVE3に適当なオフセット値OFST1を加算したものの値のほうが小さい場合は、注目画素近傍に濃度変化が存在すなわち文字のエッジ部が存在する場合に相当し文字/中間調検出部323の出力BINGRAはHIGHとなる。またAVE3に適当なオフセット値OFST1を加算したものと適当なリミット値LIM1とを比較し、AVE3に適当なオフセット値OFST1を加算したものの値のほうが小さい場合は、注目画素付近がある値以上の濃度を持っている場合に相当しこのときも文字/中間調検出部323の出力BINGRAはHIGHとなる。
次に、網点領域検出部330において網点領域を検出する。図5に網点領域検出部330の構成を示す。まず、最小値検出回路321にて検出されたMINRGBに適当なオフセット値OFST2を加え、コンパレータ331においてAVE5と比較する。また、コンパレータ332において、MINRGBと適当なリミット値LIM2とを比較する。そして、それぞれの出力値がOR回路333に入力され、MINRGB+OFST2<AVE5またはMINRGB+OFST2<LIM2の時に、出力信号BINAMIがHIGHになる。次に、BINAMI信号を用いて、エッジ方向検出部334で、画素毎のエッジの方向を求める。図6に、エッジ方向検出部でのエッジ方向検出のルールを示す。注目画素近傍の8画素が、図6における(a)〜(d)の条件を満たす場合に、エッジ方向信号DIRAMIの0ビット0〜3ビットがそれぞれHIGHになる。
さらに、次の対向エッジ検出回路335において、注目画素を囲む5画素×5画素の領域内で、互いに対向するエッジを検出する。図7に示す、注目画素のDIRAMI信号をA33とした座標系において、対向エッジ検出のルールを以下に示す。
(1)A11,A21,A31,A41,A51,A22,A32,A42,A33のいずれかのビット0がHIGH、かつ、A33,A24,A34,A44,A15,A25,A35,A45,A55のいずれかのビット1がHIGH
(2)A11,A21,A31,A41,A51,A22,A32,A42,A33のいずれかのビット1がHIGH、かつ、A33,A24,A34,A44,A15,A25,A35,A45,A55のいずれかのビット0がHIGH
(3)A11,A12,A13,A14,A15,A22,A23,A24,A33のいずれかのビット2がHIGH、かつ、A33,A42,A43,A44,A51,A52,A53,A54,A55のいずれかのビット3がHIGH
(4)A11,A12,A13,A14,A15,A22,A23,A24,A33のいずれかのビット3がHIGH、かつ、A33,A42,A43,A44,A51,A52,A53,A54,A55のついずれかのビット2がHIGH
上記(1)〜(4)のうち、いずれかの条件を満たした時、EAAMIをHIGHにする。すなわち、対向エッジ検出部335において対向エッジが検出された場合には、対向エッジ信号EAAMIがHIGHになる。
次に膨張部336において、EAAMI信号に対して、3画素×4画素の膨張処理を行い、注目画素の近傍3画素×4画素にEAAMIがHIGHの画素があれば、注目画素のEAAMI信号をHIGHに置き換える。さらに、収縮部337と膨張部338を用いて、5画素×5画素の領域で孤立した検出結果を除去し、出力信号EBAMIを得る。ここで、収縮部は、入力された全ての信号がHIGHの時のみHIGHを出力する処理を行う。
次に、カウント部339において、膨張部338の出力信号EBAMIがHIGHである画素の個数を、適当な大きさを持つウインドウ内で数える。本実施形態では、注目画素を含む5画素×68画素の領域を参照する。ウインドウの形を図8に示す。図8において、ウインドウ内のサンプル点は、主走査方向に4画素おきに9点、副走査方向に5ライン分の合計45点である。1つの注目画素に対して、このウインドウが主走査方向に4画素ずつ移動することにより、ウインドウは(1)〜(9)の9つ用意されたことになる。即ち、注目画素を中心として5画素×68画素の領域を参照したことになる。そして、それぞれのウインドウにおいてEBAMIをカウントして、EBAMIがHIGHの個数が適当なしきい値を越えた場合に、網点領域信号AMIをHIGH出力にする。
すなわち、網点領域信号AMIは、対向するエッジに挟まれた孤立していない画素が、おおむね均等に分布している領域に含まれる画素を示す信号となる。
以上、網点領域検出部330の処理により、前記BINGRA信号では孤立点の集合として検出された網点画像を、領域信号として検出する。
上記の処理により検出された文字/中間調領域信号BINGRAと網点領域信号AMIは、OR回路324においてOR演算され、入力画像の2値化信号PICTが生成される。
次に、エリアサイズ判定回路340にPICT信号を入力し、2値化信号のエリアサイズを判定する。
図9に、エリアサイズ判定部340を示す。この回路は、複数の収縮回路341と膨張回路342のペアが存在し、それぞれ参照する領域のサイズが異なっている。PICT信号は収縮回路の大きさに合わせてライン遅延された後に、まず収縮回路341に入力される。本実施形態では、23画素×23画素の大きさから縦横2画素ずつ順次広げて35画素×35画素まで7種類の収縮回路を用意している。収縮回路341から出力された信号は、ライン遅延された後に膨張回路342に入力される。本実施例では、図9に示す収縮回路の出力に対応して、27画素×27画素から39画素×39画素まで7種類の膨張回路を用意し、それぞれの膨張回路からの出力信号PICT_FHを得る。
この出力信号PICT_FHは、注目画素が文字の一部である場合には、その文字の太さによってPICT_FHの出力が定まる。この様子を図10で示す。例えば、PICT信号が幅26画素を持つ帯状に存在する場合、27×27より大きいサイズの収縮を行うと出力は全て0になり、25×25より小さいサイズの収縮を行うと、中央に幅2画素が帯状に残る。その後にそれぞれのサイズに応じた膨張、この場合には29×29の膨張を行うと、幅30画素の帯状の出力信号PICT_FH(1)が得られる。そこで、これらの出力PICT_FH(0)〜(7)をエンコーダ343に入力することにより、注目画素が属する画像領域信号ZONE_Pが求まる。
エンコーダ343のエンコードルールを図11に示す。この処理によって、広い領域においてPICT信号がHIGHである写真画像などの中間調領域や網点画像は領域7(最大値)として定義され、エリアサイズが最大値よりも小さい(細い)文字や線画像は、その大きさ(太さ)に応じた多値の画像領域に定義される。本実施形態では、ZONE_P信号を3ビットとし、文字の太さを8段階で表す。最も細い文字を0とし、最も太い文字(文字以外の領域も含む)を7とする。
図12はZONE補正部344を説明するための図である。ここで、複数のFIFO345によりライン遅延されたZONE_P信号は、平均値算出部346に入力され、10画素×10画素の平均値が算出される。ZONE_P信号は、太いほど値が大きく、細いほど信号値が小さくなっているため、この平均値算出部346の出力が、そのまま補正ZONE信号となる。ここで、補正に用いるためのブロックサイズは、文字の太さを判定するためのブロックサイズの大きさに応じて定めることが望ましい。この補正ZONE信号を用いて、それ以後の処理を行うことで、急激に文字/線の太さが変化する部分においても、太さの判定は滑らかに変化し、黒文字処理の変化による画像品位の低下が改善される。
LUT330では、エッジ検出部310の出力信号EDGEおよび太さ判定部320の出力信号ZONEとから、入力されたビットマップ画像の各画素がどの属性に属するかを示す、像域分離結果信号“MAP”を出力する。この処理は図13に示すテーブルに従って実施する。図13の例ではMAPは文字、文字内部、写真の3種類に分類しているが、これに限るものではない。
<属性情報再合成処理>
図14、図15は、図2の属性情報再合成部400が、PDLから生成された属性情報と像域分離処理部300からの出力値から属性情報の集計を行う処理を説明するための例を示している。図23は、属性情報再合成部400が属性情報の集計を行う処理を示すフローチャートで、CPU2201が実行する処理である。図14は画像の同一オブジェクト内のPDL属性情報と像域分離結果の例を示している。まず、属性情報再合成部400は、PDL属性情報と像域分離結果の双方の情報を参照し、その組み合わせに従って図15に示す12個のカウンタを用いてカウントする(S2301)。図14において、例えば、この範囲左上の画素の場合、PDL属性情報がテキスト、像域分離結果が文字であるため図15のカウンタcnt00をインクリメントする。同様にこの範囲右下の画素の場合は、PDL属性情報がテキスト、像域分離結果が写真であるのでカウンタcnt32をインクリメントする。このようにしてカウンタcnt00〜cnt32により各画素の属性情報を集計する(S2302)。この処理は画像内全画素に関して行っても良いし、既定サンプリング周期により離散的に画素を選択して行う構成にしても構わない。
図16はこの後の画像処理内容をA、B、Cの3種類に分類する、即ち3種類の最終属性情報を割り当てるためのルールの一例を表している。この図のルールに従って上記集計処理結果であるカウンタ値から最終属性情報求めると、以下の結果が得られる(S2303)。
PDL属性がテキストの画素の最終属性情報:
MAX(cnt00〜cnt02)=cnt00のとき A
MAX(cnt00〜cnt02)=cnt01のとき A
MAX(cnt00〜cnt02)=cnt02のとき B
PDL属性がラインの画素の最終属性情報:
MAX(cnt10〜cnt12)=cnt10のとき A
MAX(cnt10〜cnt12)=cnt11のとき B
MAX(cnt10〜cnt12)=cnt12のとき B
PDL属性がグラフィックの画素の最終属性情報:
MAX(cnt20〜cnt22)=cnt20のとき A
MAX(cnt20〜cnt22)=cnt21のとき B
MAX(cnt20〜cnt22)=cnt22のとき C
PDL属性がイメージの画素の最終属性情報:
MAX(cnt30〜cnt32)=cnt30のとき B
MAX(cnt30〜cnt32)=cnt31のとき C
MAX(cnt30〜cnt32)=cnt32のとき C
以上の処理により、画像処理部106に入力するための最終的な属性情報を決定する。
上の例では最終的な属性情報をA、B、Cに分類している。画像処理部106では例えばこの情報を用いて以下のような画像処理の切り替えを行う。
RGB色空間画像データからCMYK色空間画像データへの色変換処理を行う際に利用するルックアップテーブルでは、A属性に対しては黒単色の文字部を高画質に再現するためにUCR量を多く設定したテーブルを適用する。B属性に対してはUCR量をA属性よりも少なく設定し、高濃度部の色再現性を高める。C属性は色再現性を優先したテーブルの適用により、自然画像を高画質に再現する。
空間フィルタ処理では、A属性はエッジをシャープに再現させるために最もエッジ強調効果の高いフィルタを適用する。C属性はモアレを防止するためのスムージング効果を考慮したフィルタを適用し、B属性はこれらの中間の特性を持つフィルタを適用する。
擬似中間調処理に関しては、A属性に対してはエッジの再現性に優れる誤差拡散処理を適用し、B属性に対しては解像度を優先し階調安定性も高い高線数スクリーン処理を適用する。C属性に対しては、階調安定性が最も高い低線数スクリーン処理を適用することにより、自然画像を滑らかな階調で再現する。
[第2の実施例]
データ記憶部104に生成されるPDL属性情報は、アプリケーション121の種類やバージョンによって異なる場合がある。例えばPC上では同様に扱えるオブジェクトに対し、あるアプリケーションからのPDL属性情報がテキストであり、他のアプリケーションからのPDL属性情報はグラフィックである等の不整合がしばしば起きる。それら不整合の傾向が予め判明している場合、画像処理部200および画像出力装置110に最も適した最終属性情報割り当てルールを適用することが望ましい。そこで第2の実施例では、第1の実施例で述べた図16のA、B、Cの3種類に分類するためのルールを複数用意しておき、既定のアプリケーションによって作成されたPDLデータを受信したときに最終属性情報割り当てルールを自動的に切り替える方法を示す。図17はルールを(a)〜(c)の3通り用意した例である。
PDLデータを受信するとまずPDL解析部101で元となったアプリケーション121の種類を判定する。この判定結果は属性処理部200に入力され、属性情報再合成部400で第1の実施例に示した属性情報の再合成を行う際の最終属性情報割り当てルールを切り替えるために使用される。図18は最終属性情報割り当てルールを切り替えるためのテーブルである。受信したPDLデータがアプリケーションAからのデータであれば、図17で適用するルールは(b)に決定される。図18に登録されていないアプリケーションからのデータの場合はデフォルトに設定されている(a)が適用される。
このようにして、受信データの元となるアプリケーションに従って自動的に最終属性情報割り当てルールを切り替えることにより、アプリケーション間のPDL属性情報に関し、既知の不整合を除去することができる。
[第3の実施例]
第3の実施例では、ユーザが上記のPDL属性情報と像域分離結果の重みを設定するための操作手段を設ける場合について説明する。
図19は属性情報再合成処理時のPDL属性情報と像域分離結果のどちらを優先させるかを設定するための操作画面例である。ユーザはインジケータを操作することによってPDL属性情報と像域分離結果の重みを設定する。
図20は最終属性情報割り当てルール5通りを示している。ここで(a)はPDL属性情報のみを使用する場合のルールであり、図19のインジケータが最も左に設定されたときに適用される。同様に(e)は像域分離結果のみを使用する場合のルールであり、図19のインジケータが最も右に設定されたときに適用される。(b)〜(d)はインジケータが中間位置に設定されたときに適用されるルールであり、(b)、(c)、(d)の順に像域判定結果の重みが高くなる。
ここでは第1の実施例1および第2の実施例と同様に最終属性情報は3種類に分類しているが、分類数はこれに限るものではなく、また、(a)〜(d)で異なる分類を多数用い、それぞれに対応する画像処理係数、画像処理方法をより詳細に設定する方法を取ることも可能である。例えば(a)でA属性に分類された場合の空間フィルタ処理で用いるフィルタのゲインを500%に設定するのに対し、(b)でのA属性については、400%に設定するなどの応用も可能である。
[第4の実施例]
以上の実施例において、画質を問わずに高速でプリント出力をする必要がある場合などのために、像域分離処理を実施しない設定をするための操作手段を設ける。図21は像域分離処理実施の有効/無効を指示するための操作画面例である。ユーザは“実施する”または“実施しない”のどちらか一方のみを選択することが可能であり、第1〜第3の実施例の処理を有効にする場合には“実施する”を選択する。逆に1〜第3の実施例の処理を無効にする場合には“実施しない”を選択することにより、像域分離処理はスキップされ、従来のPDL属性情報のみに従った画像処理が実施される。
[その他の実施例]
(その他)
本発明は上記実施例を実現する為の装置及び方法のみに限定されるものではなく、上記システム又は装置内のコンピュータ(CPUあるいはMPU)に、上記実施形態を実現する為のソフトウエアのプログラムを供給し、このプログラムに従って上記システムあるいは装置のコンピュータが上記各種デバイスを動作させることにより上記実施例を実現してもよい。
また、この様なプログラムを格納する記憶媒体としては、例えばフロッピー(登録商標)ディスク、ハードディスク、光ディスク、光磁気ディスク、CD−ROM、磁気テープ、不揮発性のメモリカード、ROM等を用いることができる。
上記コンピュータが、供給されたプログラムのみに従って各種デバイスを制御することにより、上記実施の形態の機能が実現される場合だけではなく、上記プログラムがコンピュータ上で稼働しているOS(オペレーティングシステム)、あるいは他のアプリケーションソフト等と共同して上記実施の形態が実現されてもよい。
更に、この供給されたプログラムが、コンピュータの機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに格納された後、そのプログラムの指示に基づいてその機能拡張ボードや機能格納ユニットに備わるCPU等が実際の処理の一部又は全部を行い、その処理によって上記実施例が実現されてもよい。
本実施例を適用するのに好適な画像処理システム構成を示す図である。 属性処理部200の構成を示す図である。 像域分離処理部300の構成を示す図である。 エッジMIN方向検出部312で用いるラプラシアンフィルタを示す図である。 網点領域検出部330の構成を示す図である。 エッジ方向検出部334でエッジ方向検出ルールを示す図である。 互いに対向するエッジを検出するためのマトリクスを示す図である。 ウィンドウ形状の説明図である。 エリアサイズ判定部340のブロック図である。 文字太さを判定する手順の説明図である。 エンコーダ343のエンコードルールを示す図である。 ZONE補正部344のブロック図である。 像域分離結果信号MAP出力ルールを示す図である。 PDL属性情報と像域分離結果の例を示す図である。 カウンタを示す図である。 最終属性情報割り当てルールの例を示す図である。 実施例2に好適な最終属性情報割り当てルールの例を示す図である。 最終属性情報割り当てルール適用テーブルを示す図である。 実施例3に好適な属性調整のための操作画面例を示す図である。 実施例3に好適な最終属性情報割り当てルールの例を示す図である。 実施例4に好適な像域分離処理設定のための操作画面例を示す図である。 MFPの構成例を示すブロック図である。 属性情報の集計を行う処理を示すフローチャートである。

Claims (16)

  1. 描画コマンドに基づき画像および該画像を構成する画素に対する第1の属性情報を生成する第1の生成手段と、
    前記生成手段により生成された画像に像域分離処理を施し、該画像を構成する画素に対する第2の属性情報を生成する第2の生成手段と、
    前記生成された第1の属性情報および第2の属性情報に基づいて、前記画像を構成する画素に対する第3の属性情報を生成する属性情報生成手段とを有し、
    前記属性情報生成手段は、同一の前記第1の属性情報により表される画像のオブジェクト内の画素に対して、前記第1の属性情報と前記第2の属性情報との組み合わせに基づいて、前記第3の属性情報を生成することを特徴とする画像処理装置。
  2. 前記属性情報生成手段は、前記第1の属性情報と前記第2の属性情報の組み合わせから前記第3の属性情報を割り当てるルールに従って前記第3の属性情報を生成することを特徴とする請求項1の画像処理装置。
  3. 前記属性情報生成手段は、前記画像のオブジェクト内において、最も多い、前記第1の属性情報と前記第2の属性情報との組み合わせに基づいて、前記第3の属性情報を生成することを特徴とする請求項1の画像処理装置。
  4. 前記属性生成手段は、前記オブジェクト内の画素に対して、同一の前記第3の属性情報を生成することを特徴とする請求項1記載の画像処理装置。
  5. さらに、前記描画コマンドを発生したアプリケーション情報を取得するためのアプリケーション情報取得手段と、前記第3の属性情報を割り当てる複数種のルールを保持する保持手段と、前記取得したアプリケーション情報に基づいて、複数種のルールより用いるルールを選択する選択手段とを有することを特徴とする請求項2記載の画像処理装置。
  6. さらに、前記第1の属性情報と前記第2の属性情報に対する優先度を決定する決定手段と、前記第3の属性情報を割り当てる複数種のルールを保持する保持手段と、前記決定された優先度に基づいて、複数種のルールより用いるルールを選択する選択手段とを有することを特徴とする請求項2記載の画像処理装置。
  7. さらに、前記第3の属性情報に基づいて画像処理を行う画像処理手段とを有することを特徴とする請求項1記載の画像処理装置。
  8. 描画コマンドに基づき画像および該画像を構成する画素に対する第1の属性情報を生成する第1の生成工程と、
    前記生成工程により生成された画像に像域分離処理を施し、該画像を構成する画素に対する第2の属性情報を生成する第2の生成工程と、
    前記生成された第1の属性情報および第2の属性情報に基づいて、前記画像を構成する画素に対する第3の属性情報を生成する属性情報生成工程とを有し、
    前記属性情報生成工程は、同一の前記第1の属性情報により表される画像のオブジェクト内の画素に対して、前記第1の属性情報と前記第2の属性情報との組み合わせに基づいて、前記第3の属性情報を生成することを特徴とする画像処理方法。
  9. 前記属性情報生成工程は、前記第1の属性情報と前記第2の属性情報の組み合わせから前記第3の属性情報を割り当てるルールに従って前記第3の属性情報を生成することを特徴とする請求項8の画像処理方法。
  10. 前記属性情報生成工程は、前記画像のオブジェクト内において、最も多い、前記第1の属性情報と前記第2の属性情報との組み合わせに基づいて、前記第3の属性情報を生成することを特徴とする請求項8の画像処理方法。
  11. 前記属性生成工程は、前記オブジェクト内の画素に対して、同一の前記第3の属性情報を生成することを特徴とする請求項8記載の画像処理方法。
  12. さらに、前記描画コマンドを発生したアプリケーション情報を取得するためのアプリケーション情報取得工程と、前記第3の属性情報を割り当てる複数種のルールを保持する保持工程と、前記取得したアプリケーション情報に基づいて、複数種のルールより用いるルールを選択する選択工程とを有することを特徴とする請求項9記載の画像処理方法。
  13. さらに、前記第1の属性情報と前記第2の属性情報に対する優先度を決定する決定工程と、前記第3の属性情報を割り当てる複数種のルールを保持する保持工程と、前記決定された優先度に基づいて、複数種のルールより用いるルールを選択する選択工程とを有することを特徴とする請求項2記載の画像処理方法。
  14. さらに、前記第3の属性情報に基づいて画像処理を行う画像処理工程とを有することを特徴とする請求項8記載の画像処理方法。
  15. 画像処理装置を制御して、請求項8から請求項14の何れかに記載された画像処理を実現することを特徴とするプログラム。
  16. 請求項15に記載されたプログラムが記載されたことを特徴とする記録媒体。
JP2005191540A 2005-06-30 2005-06-30 画像処理装置および画像処理方法 Expired - Fee Related JP4498233B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2005191540A JP4498233B2 (ja) 2005-06-30 2005-06-30 画像処理装置および画像処理方法
US11/426,676 US7751082B2 (en) 2005-06-30 2006-06-27 Image processing apparatus and image processing method for generating attribute information of an image based on image separating processing

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005191540A JP4498233B2 (ja) 2005-06-30 2005-06-30 画像処理装置および画像処理方法

Publications (3)

Publication Number Publication Date
JP2007013551A true JP2007013551A (ja) 2007-01-18
JP2007013551A5 JP2007013551A5 (ja) 2008-08-07
JP4498233B2 JP4498233B2 (ja) 2010-07-07

Family

ID=37588904

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005191540A Expired - Fee Related JP4498233B2 (ja) 2005-06-30 2005-06-30 画像処理装置および画像処理方法

Country Status (2)

Country Link
US (1) US7751082B2 (ja)
JP (1) JP4498233B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012257202A (ja) * 2011-05-13 2012-12-27 Canon Inc 画像処理装置及びその処理方法

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2005218598A1 (en) * 2004-03-02 2005-09-15 Dow Agrosciences Llc Insecticidal toxin complex fusion proteins
US7446914B2 (en) * 2005-03-16 2008-11-04 Kabushiki Kaisha Toshiba Image processing apparatus
JP4270266B2 (ja) * 2006-11-29 2009-05-27 コニカミノルタビジネステクノロジーズ株式会社 画像形成装置、線幅制御方法、および線幅制御プログラム
JP4834603B2 (ja) * 2007-05-09 2011-12-14 京セラミタ株式会社 画像処理装置、画像形成装置
US20090244559A1 (en) * 2008-03-25 2009-10-01 Kabushiki Kaisha Toshiba Image rasterizing apparatus and image rasterizing method
JP5073773B2 (ja) * 2010-04-08 2012-11-14 シャープ株式会社 画像処理装置、画像形成装置、画像処理方法及びプログラム
JP5854982B2 (ja) * 2012-12-27 2016-02-09 京セラドキュメントソリューションズ株式会社 画像処理装置
JP5854983B2 (ja) * 2012-12-27 2016-02-09 京セラドキュメントソリューションズ株式会社 画像処理装置
JP6221402B2 (ja) * 2013-06-24 2017-11-01 株式会社リコー 画像処理装置、画像処理方法及びプログラム
JP6486082B2 (ja) * 2014-11-27 2019-03-20 キヤノン株式会社 画像処理装置及び画像処理方法、プログラム
US11113580B2 (en) * 2019-12-30 2021-09-07 Industrial Technology Research Institute Image classification system and method

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001358929A (ja) * 2000-06-15 2001-12-26 Canon Inc 画像処理装置、画像処理方法、記憶媒体及び画像処理システム
JP2003051943A (ja) * 2001-08-06 2003-02-21 Seiko Epson Corp 最適スクリーンによる印刷を可能にする電子印刷装置及びその画像処理装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000134468A (ja) 1998-10-26 2000-05-12 Canon Inc 画像形成装置及び方法
US7456982B2 (en) * 2002-07-01 2008-11-25 Xerox Corporation Segmentation method and system for multiple raster content (MRC) representation of documents
JP2006044169A (ja) * 2004-08-06 2006-02-16 Canon Inc 印刷装置、及びその制御方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001358929A (ja) * 2000-06-15 2001-12-26 Canon Inc 画像処理装置、画像処理方法、記憶媒体及び画像処理システム
JP2003051943A (ja) * 2001-08-06 2003-02-21 Seiko Epson Corp 最適スクリーンによる印刷を可能にする電子印刷装置及びその画像処理装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012257202A (ja) * 2011-05-13 2012-12-27 Canon Inc 画像処理装置及びその処理方法

Also Published As

Publication number Publication date
US20070002065A1 (en) 2007-01-04
US7751082B2 (en) 2010-07-06
JP4498233B2 (ja) 2010-07-07

Similar Documents

Publication Publication Date Title
JP4498233B2 (ja) 画像処理装置および画像処理方法
US7903872B2 (en) Image-processing apparatus and method, computer program, and storage medium
CN106303150B (zh) 图像处理装置及图像处理装置的控制方法
US20110299772A1 (en) Image processing system for processing a digital image and image processing method of processing a digital image
JP2010093684A (ja) 画像処理装置
JP2008271045A (ja) 画像形成装置、画像形成方法及びプログラム
JP2009154365A (ja) 画像処理装置、画像処理方法、画像処理プログラム及び記録媒体
JP7367159B2 (ja) 画像処理装置、画像処理方法、および、プログラム
JP2009272667A (ja) 画像処理装置、画像処理システム、およびプログラム
JP5095667B2 (ja) 出力指示装置、画像形成システム、出力指示方法、制御プログラムおよびその記録媒体
US11356578B2 (en) Apparatus and control method for enhancement based on achromatic signal value replacing pixel color information
JP2008067029A (ja) 画像処理装置およびプログラム
US9218552B2 (en) Image processing apparatus and image processing method
JP2008147937A (ja) 画像処理装置および画像処理方法
US20100079818A1 (en) Image forming apparatus to improve image quality and image quality improvement method
JP6736299B2 (ja) 印刷装置、印刷方法、および、プログラム
JP7391619B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP7510611B2 (ja) 画像形成装置
JP4228804B2 (ja) 画像処理装置、画像形成装置、画像処理方法、そのプログラム及びそのプログラムを記録した記録媒体
US12041213B2 (en) Image processing apparatus in which full color document images are printed in monochrome, image processing method, and storage medium
JP5090969B2 (ja) 画像処理装置
US10986250B1 (en) System and method to detect and adjust image background
JP5122507B2 (ja) 画像処理装置、画像形成装置、画像処理方法、プログラム、記録媒体
JP2024088570A (ja) 画像処理装置、画像処理方法およびプログラム
JP2020135360A (ja) 画像処理装置、画像処理方法、及びプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080625

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080625

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20091112

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091208

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100119

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20100201

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100323

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100413

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130423

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130423

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140423

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees