JP2008228106A - 画像処理装置、画像処理方法、プログラム、記録媒体および画像形成装置 - Google Patents

画像処理装置、画像処理方法、プログラム、記録媒体および画像形成装置 Download PDF

Info

Publication number
JP2008228106A
JP2008228106A JP2007065831A JP2007065831A JP2008228106A JP 2008228106 A JP2008228106 A JP 2008228106A JP 2007065831 A JP2007065831 A JP 2007065831A JP 2007065831 A JP2007065831 A JP 2007065831A JP 2008228106 A JP2008228106 A JP 2008228106A
Authority
JP
Japan
Prior art keywords
value
threshold
matrix
output
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007065831A
Other languages
English (en)
Other versions
JP4775909B2 (ja
Inventor
Hirohisa Inamoto
浩久 稲本
Hiroshi Ishii
博 石井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2007065831A priority Critical patent/JP4775909B2/ja
Publication of JP2008228106A publication Critical patent/JP2008228106A/ja
Application granted granted Critical
Publication of JP4775909B2 publication Critical patent/JP4775909B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Color, Gradation (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

【課題】濃度毎に粒状度に関して最適な処理を行いつつ、ある濃度域において発生する違和感を抑制する。
【解決手段】閾値マトリクス決定手段104は、低濃度域において分散型のドット配置となる閾値マトリクスを選択し、高濃度域において周期的なドット配置となる閾値マトリクスを選択し、さらに、分散型のドット配置となる濃度域と周期的なドット配置となる濃度域の間で、両者の中間的なドット配置となる閾値マトリクスを選択する。
【選択図】図2

Description

本発明は、濃度に応じた最適な中間調処理を行う画像処理装置、画像処理方法、プログラム、記録媒体および画像形成装置に関し、例えば、電子写真方式を用いたプリンタやコピー機に好適な技術に関する。
多値の入力画像を、少値もしくは二値での出力能力のみを持つ装置で出力する場合や、データ量を削減する目的とする場合には、入力画像の多値数より少ない値の出力画像に変換する中間調処理技術が用いられ、様々な手法が存在している。その中でも代表的な中間調処理技術として、ディザ法と誤差拡散法がある。
ディザ法は所定の閾値マトリクスと入力画像データとを比較し、各画素で閾値を超えていればドット出力するという手法である。この手法を用いると周期的なドット配置を容易に実現でき、一様な画像を粒状性良く出力することが可能である。しかし、ドットの出力しやすい領域が閾値マトリクスのパターンに依存するため、文字等の形が崩れることがあり、鮮鋭性には劣る。更に低濃度部でディザ法のような周期的な処理を行う際、出力可能なドットの大きさ(若しくは濃度)が小さくないと、ドットパターンの現れる周期が長くなってしまう。人間の視覚は低周波のパターン、つまり周期の長いパターンを認識し易く、逆に高周波のパターンを認識し難い仕組みとなっているため、ドットパターンの現れる周期が低周波となると、ドットパターンが目立つことになり画質が劣化する。そのため低濃度部を処理するには周期的な処理は不適であるといえる。
誤差拡散法は、入力画素データの各階調値が所定の閾値を超えていればドットを出力し、超えていなければ、該階調値を誤差として周囲に分散させる処理である。誤差拡散法を用いると階調値が保存され、ディザ法に比べると色の再現性に若干優れる。また、閾値マトリクスを用いないため、ドットの出力しやすさが一様で文字の形は崩れ難く鮮鋭性に優れる。一方、誤差拡散法のような処理を行うと、出力されるドット配置は非周期的であるため、領域によってはドットの偏りが生じ、粒状性が損なわれることになる。
そこで、粒状性に優れたディザ法と、鮮鋭性に優れた誤差拡散法を組み合わせた技術が考案されている。以下、この組み合わせた技術を、誤差補償型中間調処理と呼ぶことにする。この誤差補償型中間調処理では、多値の入力画像を誤差拡散法による量子化処理によって量子化する。一方、その量子化閾値はディザ処理における閾値と同様、画素位置に応じた値を用いるものである。
この誤差補償型中間調処理と誤差拡散処理とを、画像の特徴に応じて切り替えることで両手法の利点を生かした中間調処理結果を得る技術として、特許文献1がある。該手法では低濃度領域では誤差拡散のような非周期的な処理を行い、一方、中高濃度領域では、ディザのような周期的な処理を行う。前述したとおり、周期性が画質劣化の原因となる低濃度部では非周期的な処理を行うことで、ドット配置のパターンが目立つという現象を抑制することができ、一方、高濃度部では周期的な処理を行うことによって、非周期的な処理に比べて粒状度の高い画像を得ることができる。
特開2001−346041号公報 特開平11−331588号公報
しかし、低濃度部と高濃度部とで両者を切り替えることによって、その境界では違和感が生ずる。これを示した図が図17(a)である。図17(a)は濃度値が近いパッチ画像をそれぞれ誤差拡散法とディザ法によって処理したものである。なお、図17(b)は全面誤差拡散処理、図17(c)は全面ディザ処理を行ったものであり、明らかに、後者二つに比べて前者では切り替わり部で違和感が生ずることがわかる。
本発明は上記問題点に鑑みてなされたものであり、
本発明の目的は、濃度毎に粒状度に関して最適な処理を行いつつ、ある濃度域において発生する違和感を抑制する画像処理装置、画像処理方法、プログラム、記録媒体および画像形成装置を提供することにある。
本発明は、入力する画像情報の注目画素位置周辺の誤差値に所定の重みを付けて入力値に加算し、修正入力値を算出する修正入力値算出手段と、複数の閾値マトリクスから注目画素の入力値、もしくは、注目画素周辺の入力値に基づいて適用する閾値マトリクスを決定する閾値マトリクス決定手段と、前記決定した閾値マトリクスと、前記注目画素位置とに基づいて適用する閾値を決定する閾値決定手段と、前記修正入力値算出手段が算出した注目画素位置の修正入力値に対して、前記決定した閾値に基づいて出力階調値を決定する出力階調値決定手段と、前記出力階調値決定手段が決定した出力階調値と前記修正入力値との差分を前記誤差値として算出し、算出された前記誤差値を前記修正入力値算出手段に送信する誤差値算出手段と、を備えた画像処理装置であって、前記複数の閾値マトリクスは各閾値マトリクスが用いられる入力階調値において平均量子化誤差が概ね一定の値となるものであることを最も主要な特徴とする。
請求項1:本発明の手法により、濃度毎に粒状度に関して最適な処理を行いつつ、ある濃度域に於いて発生する違和感を抑制できるため画質が向上する。更に閾値マトリクスを複数持ち、それらを切り替えることで、濃度に応じた最適な中間調処理を達成できるので、回路構成が簡素になるためコストが抑制される。
請求項2、3:低濃度部で分散型のドット配置になるよう処理を行うことで、処理後の画像の粒状性が向上し、画質が向上する。
請求項4、5:高濃度部で周期的なドット配置になるよう処理を行うことで、処理後の画像の粒状性と鮮鋭性を両立させることができ、画質が向上する。また、周期的且つドット集中型の閾値マトリクスが一意に決まる。
請求項6:中間濃度領域で分散型なドット配置と周期的なドット配置を混在させることで、両者の切り替わりにより生ずる違和感を抑制することができ、画質が向上する。
請求項7:閾値マトリクスの一部を全面で概ね同一とすることで、閾値マトリクスを保持するメモリ量を削減でき、製造コストの低減が可能となる。
請求項8、9:周期的且つ、平均量子化誤差が概ね0である閾値マトリクスが一意に定まるため、周期的な閾値マトリクスを一つにすることで最適な閾値マトリクスを選択でき、画質の向上に繋がる。
請求項10:所定サイズ以下の孤立ドットの発生を抑制することにより、ドットを安定して出力することが可能となり、画質が向上する。
請求項11:閾値マトリクスの大きさを全面一定にすることで、閾値マトリクスの選択を単純にできる。
請求項12:平均量子化誤差を概ね0にすると、入力階調値が最低、若しくは最高値であった場合にも、全階調で概ね一定の平均量子化誤差を達成でき、平均量子化誤差の変化によるデフェクトが発生しないため画質の向上に繋がる。
以下、発明の実施の形態について図面により詳細に説明する。実施例では、入力画像を8bit、つまり256階調として、また、階調値255を黒、階調値0を白として説明する。
本発明を電子写真方式のプリンタに適用した例を挙げて説明する。図1は、一般的なレーザプリンタを示す。PCのアプリケーションにより作成した画像は、ドライバによってビットマップデータ(以下画像データ)に変換される。更に画像データはプリンタが出力できるように中間調処理を施される。中間調処理後の画像データはさらに、以下の所定処理が施される。レーザプリンタ内部では以下のようにして画像が作成される。まず、光源1はシアンの画像データに応じて光を発する。感光体2では光電効果により静電気が生ずる。静電気を帯びた感光体2に対し、リボルバー8を回してシアンの現像ユニット3から電荷を帯びたトナーを供給し像を作る。同様にMYKの像を作ることにより、感光体2上にはCMYKの像が作られる。最後に感光体2に搬送ベルト7によって搬送されてくる静電気を帯びた紙を密着させることにより紙の上に像が作成され、定着することにより出力画像が得られる。
以下、本実施例の中間調処理について説明する。図2は、本発明の中間調処理の構成を示す。画像入力手段101は、例えばカラー複写機などにおいて、スキャナで読みとった画像データを、濃度補正処理、周波数補正処理を行い、CMYK各版毎の画像に変換した画像を入力して、入力階調値を画素毎に順次後段の処理に送る。閾値マトリクス決定手段104は、画像入力手段101の出力に応じて、当該画素に最適な閾値マトリクスを決定する。閾値決定手段105は、閾値マトリクス決定手段104の出力および画像入力手段101の出力に応じて閾値を決定する。一方、画像入力手段101の出力は修正入力値算出手段102へと送られる。ここで後述する量子化誤差との重み付け和が採られ、出力階調値決定手段106へと送られる。出力階調値決定手段106は前記閾値決定手段105の出力した閾値と、修正入力値算出手段102の出力した修正入力値との大小関係を比較し、出力階調値を決定する。さらに誤差値算出手段103では、前記修正入力値から、出力階調値決定手段106の出力である出力階調値を減じた値を量子化誤差として修正入力値算出手段102へと送る。
図3(a)は、修正入力値算出手段102の構成を示す。修正入力値算出手段102は、画像入力手段101からの出力に対し、加算器204で補正値を加算して出力する。補正値は以下のようにして算出される。誤差値算出手段103より得られた信号を、誤差の位置情報とともに保持している誤差バッファ201から誤差を読み出し、記憶手段202に保持される所定の誤差マトリクス(実施例では図3(b)の誤差マトリクスを用いるものとする)の対応する値との積を誤差マトリクス全てに対して算出し、その和を以って補正値とする。なお、図3(b)において×印で示した位置が注目画素を意味する。例えば、注目画素の1ライン真上の画素の量子化誤差値が32であった場合、誤差マトリクス中のその画素に対応する値は4/32であるから、その画素から注目画素に関与する量子化誤差は両者の積である4となる。このようにして、1つの注目画素に対して2ライン上の7画素、1ライン上の7画素、同一ラインの3画素の計17画素における量子化誤差を誤差バッファ201から読み出し、誤差マトリクスと積和演算を行うことで注目画素に関与する誤差和を算出して補正値とする。なお、図3(b)の誤差マトリクスは全ての要素を加算したとき1となるように設計している。これは、発生した量子化誤差を過不足なく周囲の画素で用いるためである。
ここで用いた誤差マトリクスは図3(b)であるが、図3(c)に示すような誤差マトリクスを利用しても良い。図3(c)の誤差マトリクスは図3(b)のマトリクス中の各値を32倍したものである。例えば、注目画素の1ライン真上の画素において量子化誤差が32であった場合、誤差マトリクス中のその画素に対応する値は4であるから、その画素から注目画素に関与する量子化誤差は両者の積である128とする。このようにして、1つの注目画素に対して2ライン上の7画素、1ライン上の7画素、同一ラインの3画素の計17画素における量子化誤差を誤差バッファ201から読み出し、誤差マトリクスと演算を行うことで注目画素に関与する誤差和を算出する。その後、前記誤差和を32で除する。このような方法をとることにより、高速なシフト演算や整数演算で注目画素に関与する誤差和を算出することが可能となり、低コストに回路を構成できる。
閾値マトリクス決定手段104は、注目画素の階調値に応じて閾値マトリクスを切り替える。図4は、閾値マトリクス決定手段104の構成を示す。閾値マトリクス1〜5はそれぞれ記憶手段に保存されており、セレクタ301において、画像入力手段101からの出力、即ち、当該画素の階調値に応じて最適な閾値マトリクスを選択する。この切り替えは、図5(a)に示すように、入力階調値に応じて行う。また、それぞれの閾値マトリクスは図5(b)に示すように設定されているものとする。ここで説明した各閾値マトリクスを切り替えることによる効果は後に詳述する。
閾値決定手段105では以下のようにして閾値を決定する。まず、注目画素に対応する閾値マトリクス上の位置を算出する。即ち、出力画像に閾値マトリクスをタイル状に繰り返し敷き詰めたとき、注目画素が閾値マトリクス中のどの位置に相当するかにより決定する。ここで、本実施例では、閾値マトリクスのサイズを入力データの条件に依存せず、常に一定にしておくものとする。具体的な閾値マトリクス上での位置算出方法は以下の通りである。閾値マトリクスのサイズが横w画素、縦h画素である場合、出力画像座標で横X、縦Yの注目画素に対しては、閾値マトリクス座標で横軸(X mod w)、縦軸(Y mod h)に示す位置の閾値を用いる。ここで、modは剰余演算子であり、(X mod w)はXをwで割った時の余りを示す。例えば本実施例での閾値マトリクスはw=h=4であるため、出力画像座標で(X、Y)=(9、6)の画素に対しては、閾値マトリクス座標で(x、y)=(1、2)の位置の閾値を用いることとなる。この場合、出力階調値85、170、255に相当するドットを出すか否かを決定するための閾値(A)、閾値(B)、閾値(C)は、例えば閾値マトリクス5における、それぞれ閾値マトリクス(A)、閾値マトリクス(B)、閾値マトリクス(C)の当該位置の値から、176、192、207となる。このように閾値マトリクスのサイズを常に一定にしておくことで、前記閾値マトリクス上での位置を算出するために必要な計算が単純化し、コスト削減に繋がる。
出力階調値決定手段106では、図6に示す処理フローに従い、閾値決定手段105で決定した閾値と、修正入力値算出手段102から出力された修正入力値との大小関係を比較して、出力階調値を決定する。以下、図6を用いて、出力階調値決定手段106が出力階調値を決定する方法について以下に示す。
修正入力値算出手段102から出力された修正入力値と、閾値決定手段105で決定された閾値Cとの大小関係を比較する(ステップS1)。修正入力値の方が閾値(C)より大きければ255を出力階調値とする(ステップS2)。修正入力値の方が閾値(C)より大きくない場合は、修正入力値と、閾値決定手段105で決定された閾値Bとの大小関係を比較する(ステップS3)。修正入力値の方が閾値(B)より大きければ170を出力階調値とする。(ステップS4)。修正入力値の方が閾値(B)より大きくない場合は、修正入力値と、閾値決定手段105で決定された閾値Aとの大小関係を比較する(ステップS5)。修正入力値の方が閾値(A)より大きければ85を出力階調値とする(ステップS6)。修正入力値の方が閾値(A)より大きくない場合は、0を出力階調値とする(ステップS7)。
各閾値マトリクスについて詳述する。図5(b)の閾値マトリクス5は、図3(b)の誤差拡散マトリクスを用いた場合に、図3(d)に示す順序で網点が成長し、孤立した階調値170未満のドットが出ないよう、かつ、平均量子化誤差が0に近くなるよう設計したものである。孤立したドットとは、そのドットの上下左右に階調値0以外のドットが隣接しないドットのことを意味する。ただし、その画素の階調値が0である場合は孤立したドットとは呼ばない。一般に電子写真方式のプリンタでは孤立した低濃度のドットは濃度を安定して再現することが難しい。そのため、本実施例では孤立した階調値170未満の孤立したドットの出現を抑制することで安定した濃度再現を狙っている。
次に、平均量子化誤差について詳述する。平均量子化誤差とは、各画素位置で発生している量子化誤差、すなわち修正入力値から出力階調値を減じた値を平均した値のことである。本実施例ではこの平均量子化誤差が概ね一定になるように、閾値マトリクスを設計している。概ね一定にする理由に関して、図7を用いて説明する。図7の実線は平均量子化誤差を示している。図7のように、階調値が殆ど変わらないにもかかわらず平均量子化誤差が大きく異なる二領域、領域Aおよび領域Bが存在していたとする。領域Aでは平均量子化誤差が小さいため、領域Bに処理が移っても、なかなか所定の誤差に達せず、その結果、領域Bにおいて、白抜けが生じる。更にドットの密になる領域も発生するため、粒状性が悪化する。逆に平均量子化誤差が高いところから低いところへ処理が移ると、移った直後の領域でドットが集中的に発生してしまう。このように、領域毎で平均量子化誤差に極端な差が存在すると、ドットの粗密が発生し粒状性が悪化するため、平均量子化誤差は概ね一定であることが望ましい。
更に、本実施例では平均量子化誤差が概ね0になるように設計されている。これは、領域の入力階調値が0若しくは255である場合、その領域での平均量子化誤差は0になってしまうので、その他の入力階調値に対しても、平均量子化誤差が概ね0であることが望ましいからである。尚、このような閾値マトリクスを設計するために、以下の方法(特願2004−295189号)を用いた。
最初、画像形成装置に出力させたい出力ドットパターンの定常状態における各画素位置での修正入力値を算出する。ここで定常状態とは、一定の入力階調値であるベタ画像を中間調処理した結果、安定して同じパターンが繰り返し発生している状態を指す。定常状態における各画素位置での修正入力値から、与えた出力ドットパターンとなる閾値の範囲を求める。この手順を種々の出力ドットパターンに対して行い、それぞれのパターンで求めた閾値の範囲を絞り込む。
図8は、閾値マトリクスの設計手順を説明するフローチャートである。まず、画像形成装置に出力させたい出力ドットパターンを複数、あるいは多数準備する。ここで出力ドットパターンをN個準備したと仮定する。最初に、N個の出力ドットパターンの中から1つの出力ドットパターンを選択して(ステップS11)、選択された出力ドットパターンで定常状態をなしている時の各画素位置での修正入力値を算出する(ステップS12)。算出した修正入力値から、与えたドットパターンとなるための閾値の範囲を求める(ステップS13)。出力ドットパターンN個の全てについて、ステップS11〜13を終了したか否かを判定し(ステップS14)、終了していない場合(ステップS14のNo)はステップS11に戻り、終了した場合(ステップS14のYes)は終了する。ここで、各出力ドットパターンに対して求めた閾値の範囲を基にして、最終的な閾値の範囲を絞り込んで閾値を決定する。これらのステップについて、さらに詳細に説明する。
図9は、出力ドットパターンの組の一例を示す。図9に示された各出力ドットパターン1101〜1125を用いて、定常状態での各画素位置における修正入力値の算出方法を説明する。図9における各マトリクスのx方向を主走査方向、y方向を副走査方向とする。すなわち、各マトリクスの左から右方向へレーザを走査して画像処理するものである。
図9の各出力ドットパターンは、各画素の出力階調値が0、85、170、255のいずれかである4値出力のドットパターンを示している。例えば、図9の11番目の出力ドットパターン1111は、出力画像データの値の平均値が、(0×8+85×2+255×6)÷16=106.25であることから、階調値が106.25の大きなベタ画像を入力した場合、定常状態では出力ドットパターン1111で示す出力ドットパターンの繰り返しが出現することになる。ここで、上記平均値の算出は、マトリクス中の0の値が8つ、85の値が2つ、255の値が6つあり、その各値を加算した値に対してマトリクス数である16で除算したものが平均値である。
図10(a)は、出力ドットパターンにおける画素位置の表記方法を説明する図である。出力ドットパターンにおける画素位置(x、y)=(0、0)はp0、画素位置(x、y)=(1、0)はp1などと表す。ここで、p0の出力階調値をb0、p0で発生する誤差値をe0、p0での修正入力値をf0、入力階調値をdと表すと、(式1)が成り立つ。
Figure 2008228106
図10(b)は、出力ドットパターンを並べた図である。式1の意味は、例えばp0での修正入力値f0は、入力階調値と、図10(b)中で網掛けをした画素位置からの誤差値に重み付けした値とを、加算して求めることから、
f0=d+1/32×(0・e3+1・e0+1・e1+2・e2+1・e3+1・e0+0・e1+1・e7+1・e4+2・e5+4・e6+2・e7+1・e4+1・e5+2・e1+4・e2+8・e3)=d+1/32×(2・e0+3・e1+6・e2+9・e3+2・e4+3・e5+4・e6+3・e7)で表される。これは(式1)の第1行において確かめることができる。
また、p0での誤差値e0は、修正入力値と出力階調値との差分であるから、fn−bn=en(式2)よりfn=en+bn(ただし、0≦n≦7)の式が成り立ち、式1に代入することで(式3)が導かれる。
Figure 2008228106
(式3)からは、誤差値enや修正入力値fnにはそれぞれ無数の解が存在するので、一意に求めることができない。一意の解を得るためには、条件式を加える必要があるが、グラデーション画像に対する階調段差抑制を図るため、誤差の平均値を条件として与える。
ここでは誤差の平均値を0として与える。これは、誤差値の総和を0とした式4を、式3の中の行の一つと置き換えることと同等である。
0=e0+e1+e2+e3+e4+e5+e6+e7 (式4)
最上位の行を置き換えた例を、式5に示す。
Figure 2008228106
ここで、d、bnは定常状態の出力ドットパターンを与えることから、いずれも既知の定数となっているので、誤差値enが求まる。上記の場合は、最上位の行を置き換えたが、この理由は上述した無数の解が存在することから一意に求めるには、さらなる条件を加える必要があるからである。式3の中にある8つの行のうち、1つの行は意味をなしていない式であり、つまり、他の7行の式から求まる式であるからである。
図11は、図9の出力ドットパターンの組に対応する修正入力値の組を説明する図である。修正入力値1701〜1725は、誤差値enをもとに式1、もしくは式2から算出される。例えば、図9の出力ドットパターン1111を与えた場合は、図11の1711で示す修正入力値となる。
ここで、図9で与えた出力ドットパターンを得るためには、例えば、p0においては、図11の1701から1710に示す修正入力値に対しては出力階調値0、1711で示す修正入力値に対しては出力階調値85、1712で示す修正入力値に対しては出力階調値170、1713から1725で示す修正入力値に対しては出力階調値255を発生させる閾値である必要がある。そこで、p0で出力階調値85を出すか否かを決定する閾値Aは、1701から1710の修正入力値の最大値121.2以上で、1711から1725の修正入力値の最小値136.5より小さい必要がある。よって、121.2以上で、136.5より小さい数値のうち両者の中央値で小数点以下を切り捨てた値129を、p0における閾値Aとする。
同様に、出力階調値170を出すか否かを決定する閾値Bは、1701から1711の修正入力値の最大値136.5以上で、1712から1725の修正入力値の最小値151.8より小さい必要があることから144とする。同様に、出力階調値255を出すか否かを決定する閾値Cは、1701から1712の修正入力値の最大値151.8以上で、1713から1725の修正入力値の最小値167.0より小さい必要があることから、151.8と167.0の中央値で小数点以下を切り捨てた値の159とする。このようにして閾値A〜Cが求まる。
上記方法から明らかであるが、ここで得られる最適な閾値マトリクスは一意に決定されるものである。ここで、図5(b)の閾値マトリクス5における、閾値マトリクス(A)、閾値マトリクス(B)、閾値マトリクス(C)はそれぞれ、出力階調値85に相当するドット、170に相当するドット、255に相当するドットを出すか否かを決定する閾値を要素とするマトリクスであり、600dpiの出力解像度において約212線、45度の網点スクリーンを表現する4値出力用の閾値マトリクスである。すなわち、4種類の出力階調値、0と85と170と255との中から出力階調値を決定する。図5(b)の閾値マトリクス5を用いた場合は、低い階調値の入力画像、例えば階調値18のみで構成された入力画像に対しては、おおむね(x、y)=(1、1)、(3、3)に対応する画素位置でのみ階調値0もしくは170が出力され、その他の画素位置では階調値0のみが出力される。
ここでドットが分散して出やすいか、特定の位置に出やすいかを示す指標として自由度について述べる。閾値マトリクス内の画素数(本実施例では16)に対し、出力階調値が複数の値から選択される画素の数の割合を以て自由度と呼ぶ。閾値マトリクス5の場合、おおむね16画素あたり2画素で出力階調値が複数の値から選択され、他の14画素では特定の値、ここでは0で固定されていることから、閾値マトリクス5の自由度は2/16であると表現する。
次に、閾値マトリクス4について説明する。閾値マトリクス5と同様に、図5(b)の閾値マトリクス4における閾値マトリクス(A)、閾値マトリクス(B)、閾値マトリクス(C)はそれぞれ、出力階調値85に相当するドット、170に相当するドット、255に相当するドットを出すか否かを決定する閾値である。比較的階調値の低い入力画像に対して閾値マトリクス4を用いることで、出力画像はおおむね出力階調値0、170のいずれかで表現される。また、おおむね(x、y)=(1、0)、(0、1)、(1、1)、(3、2)、(2、3)、(3、3)に対応する画素位置では出力階調値は0もしくは170、それ以外の画素位置では出力階調値は0のみが出現する。すなわち、階調値が低い画像が入力された時に、閾値マトリクス4に基づく閾値を用いた場合に階調値170のドットが出る画素位置及びその周辺の画素位置で階調値170のドットが出ることとなる。おおむね16画素あたり6画素で出力階調値が複数の値から選択されるから、閾値マトリクス4の自由度は6/16と表現できる。
以上のように、閾値マトリクス5は自由度が非常に低いため、所定のスクリーンを作りやすい。一方、閾値マトリクス1〜3は自由度が非常に高いため(自由度16/16)ドットの分散性が高い。自由度が6/16になるような閾値マトリクス4を間に挟むことによって、スクリーンを作りやすい濃度域とドット分散性が高い濃度域とを滑らかに繋ぐことが可能になり、本発明の目的で述べたように、両者の境界によって生ずる違和感を軽減することができ、画質が向上する。
ここで、閾値マトリクス4を用いた場合と、閾値マトリクス5を用いた場合とを比較すると、閾値マトリクス4を用いた場合の方が、出力画像の階調値分布の自由度が高まり、階調値170のドットが分散して配置されやすい。なお、閾値マトリクス4を用いた場合、出力階調値が255となる可能性はある。しかし、そうなるためには、修正入力値算出手段102により算出される修正入力値、即ち拡散された誤差と当該画素値との和が255を超える必要があり、その確率は低い。注目画素の入力階調値が低い場合は、その確率は低い。また、閾値マトリクス4に基づく閾値を用いる場合、図6の処理フローから明らかなように、孤立した階調値170未満のドットは出現しない。
図6の処理フローで明らかにしたように、階調値が255になる閾値マトリクス(C)、170になる閾値マトリクス(B)、及び85になる閾値マトリクス(A)という順番で補正入力値と閾値マトリクスの各閾値とを比較するが、(A)と(B)の閾値マトリクスの各値が全く同じため、階調値170が出力されない画素では、階調値85が出力されることもない。つまり孤立した階調値170未満のドットは出現しない。
閾値マトリクス4は、閾値マトリクス5に基づく閾値を用いる領域との切り替え部での歪みを抑制したい場合は入力階調値22辺り、閾値マトリクス3に基づく閾値を用いる領域との切り替え部での歪みを抑制したい場合は入力階調値18辺りの階調値のみで構成される入力画像に対して平均量子化誤差が0に近くなるよう設計することが、平均量子化誤差を処理同士で大きく変化させないために好ましい。つまり、平均量子化誤差が大きく変化することで、その境界部に画質劣化すなわち歪みが生じるためである。
その理由は以下の通りである。ディザ閾値誤差拡散処理と誤差拡散処理とを、画像の特徴に応じて切り替えることで両手法の利点を生かしたハーフトーン処理結果を得る技術として、画像データがディザ法に適する画像近傍では閾値をディザマトリクスに類似する形で変動させることにより拡散誤差マトリクスのマトリクスサイズを小さくしマトリクスの要素を小さくし、その一方で、画像データが誤差拡散法に適する画像近傍では閾値を一定値になるように設定することにより拡散誤差マトリクスのマトリクスサイズを大きくしてマトリクスの要素を大きくする画像処理装置が提案されている(例えば特許文献2を参照)。この画像処理装置では、画像データがディザ法に適する画像近傍では閾値をディザマトリクスに類似する形で変動させて、拡散誤差マトリクスのマトリクスサイズを小さくし、マトリクスの要素を小さくすることで、ディザ法に近いハーフトーン処理を行っているが、ディザ法に適する領域と、誤差拡散法に適する領域との境界部で中間調処理を施す場合、境界部を境として処理方式を異ならせることによって、白抜けなどの画質劣化が生じる。この画質劣化は、後述するように平均量子化誤差が一定でないために生じるものである。
図12(a)は、従来のディザ閾値誤差拡散処理方式による画像状態を検査するために入力する原稿画像である。図12(b)〜(d)は、図12(a)に示された原稿画像を読み取って従来のディザ閾値誤差拡散処理方式により処理された文字領域の画像を示す図である。ここでは、画像中の文字領域内部においては閾値をディザマトリクスに類似する形で変動させ、かつ文字領域の境界部では閾値を一定にして2値化処理を施した。
図12(a)は、入力する原稿画像であり、背景は階調値0であり、文字の階調値は画像1が63、画像2が127、画像3が192である。階調値は0以上255以下の整数値をとり、値が大きいほど濃度が高い。使用したディザマトリクスは、平均量子化誤差が0となるよう設計したものである。
図12(b)、(c)、(d)は、文字領域の境界部で閾値をそれぞれ81、127、173として画像を処理した結果の画像を示している。後述するが、入力階調値が63の時は閾値81、入力階調値が127の時は閾値127、入力階調値が192の時は閾値173とすることで、平均量子化誤差は略0となる。
ここで、画像の全領域で平均量子化誤差が略一定値0となっている図12(b)の画像1、図12(c)の画像2、および図12(d)の画像3では、白抜けやぼけが表れていない、ノイズのほとんど発生しない画像となっている。
これらと比較して、文字の縁の部分で平均量子化誤差が略0となっていない場合、以下のような画質劣化が発生する。すなわち、図12(b)の画像2、3、図12(c)の画像3、に示すように文字の内側で白抜けが発生する。また、図12(c)の画像1、および図12(d)の画像1、2のように、文字に近い背景部でドットが打たれて文字がぼけるといった現象が発生する。
次に、閾値マトリクス1〜3について詳述する。図5(b)から明らかなように、閾値マトリクス1〜3は閾値(A)と閾値(B)が同じ値となっている。そのため、出力階調値が85となることはなく、出力階調値は170若しくは255が選択され、小さなドットが孤立して出力することはあり得ない。また、閾値(C)は一律255となっており、閾値マトリクス1〜3は注目画素が比較的低濃度の場合に選択されるため、修正入力値、即ち拡散された誤差と当該画素値との和が255を255を超える可能性が低いため、実際に255が出力される可能性は低い。また、各閾値マトリクスは一様であるため実質的に出力階調値が170である誤差拡散処理であるといえ、その出力ドット配置は非周期的な分散型になる。このように概ね一様の閾値マトリクスを用いると、閾値マトリクスとして保持するメモリ量を大幅に圧縮できるため、分散型のドット配置を発生させるという目的は達成しつつ、それに必要なメモリ量は最低限で済み、コスト削減に繋がる。
また、閾値マトリクス1〜3の閾値(A)(B)の値は、図13に基づいて決定する。後述するが、図13は平均量子化誤差が概ね0になるような閾値マトリクスを提示するため、図13を参考にした閾値マトリクスを用いると、前述した平均量子化誤差に関するデフェクトは発生しない。また、実施例では、図13に基づいて閾値マトリクスを3種類用意したが、より多くの閾値マトリクスを用意した方がより平均量子化誤差が0に近づき好適な結果が得られる。更に、閾値マトリクス1〜3に基づく閾値に対してブルーノイズなどを付加する構成であっても良い。
ところで、閾値マトリクス5に基づく閾値を用いる処理では、入力階調値が高い画像に対して所望の線数を持つ網点スクリーンを形成できるため粒状性に優れているが、入力階調値が低い画像では所望の線数を形成するために必要なドット数に足らずに粒状性が悪くなる。これは、後者は低周波成分を多く含む画像となり人間の目ではざらつきと映るためと考える。
さて、孤立した最小ドットが階調値170以上であり、600dpiの出力解像度において約212線、45度である網点スクリーンは、図14に示すとおり、16画素あたり2画素の階調値170、14画素の階調値0のドットで埋めつくされたものであり、このときの平均階調値は式6より21.25である。
{170×2+0×14}÷16=21.25(式6)
すなわち、平均階調値が21.25未満である入力画像に対してはこのスクリーンを作ることはできない。このような入力画像に対しては、ドットが均等に分散する処理を用いる方が結果としてざらつきが少なくなり粒状性が良いことが多い。
そこで、入力階調値が高い領域に対しては閾値マトリクス5に基づく閾値を用いて処理を行い、入力階調値が低い領域に対してはドットが分散する、例えば、閾値マトリクス1〜3に基づく閾値を用いて処理を行うことで、さまざまな入力階調値に対して粒状性に優れた画像を得られる。そして、両者の間の階調値である領域に対しては、中程度にドットが分散する閾値マトリクス4に基づく閾値を用いて処理を行う。ドットの分散が大きく異なる処理を切り替えた場合は、なだらかな階調変化を持つグラデーション画像などに対して処理切り替え部に歪みが発生しやすいが、中程度にドットが分散する閾値を間に用いることで、この歪みを低減することができる。
さらに、閾値マトリクス4に基づく閾値を用いる場合は、閾値マトリクス5に基づく閾値を用いた場合に、階調値170のドットが出る画素位置及びその周辺の画素位置でのみ階調値170のドットが出ることとなり、両者の間での処理切り替え部での歪みを低減することができる。どの入力階調値に対してどの閾値を用いるかは、それぞれの閾値で画像を出力して、ざらつきが少なく、処理切り替え部の歪みが目立たないよう決定する。また同時に、処理切り替え部の歪みが目立たないよう閾値マトリクス4を決定する。
次に、図15を用いて、閾値マトリクス1〜3の設計方法について説明する。まず、入力階調値dに対して閾値を求めるために、十分大きな入力階調値dのベタ画像を入力画像として用意する。ここでは、図15の901で示す1000dot四方の画像とする。次に、仮の閾値を与える。閾値Aと閾値Bは仮の値tとして、閾値Cの値は255で固定とする。次に、用意したベタ画像に対して仮の閾値を用いた中間調処理を行い、所定の範囲で発生している平均量子化誤差を求める。ここでは、図15の902で示す255dot四方の領域における平均量子化誤差を求める。仮の値tを0から255まで1刻みで変えて以上の作業を繰り返すことで、入力階調値dに対して平均量子化誤差が最も0に近い閾値を得る。さらに、入力階調値dを変えて以上の作業を繰り返すことで、図13に示す、入力階調値に対応する平均量子化誤差が最も0に近い閾値の関係を得る。図13の入力階調値と閾値との関係を示す曲線をなだらかに、かつ、式7の関係を満たすよう補正する。
t(d+1)≧t(d) (式7)
但し、dは入力階調値、t(d)は入力階調値dに対する閾値である。また、図5(b)に示す閾値マトリクス4の代わりに、閾値マトリクスの一部の値を変更した、図16の閾値マトリクス4’を用いる構成であっても良い。また、図5(b)に示す閾値マトリクス5の代わりに図16に示す閾値マトリクス5’を用いる構成であっても良い。即ち、閾値マトリクスの(x、y)=(1、0)、(0、1)、(1、1)、(3、2)、(2、3)、(3、3)を同じ値にする必要はなく、独立に設定することでそれぞれに対応する画素位置で階調値170のドットが発生する確率を制御できる。例えば、それぞれの画素位置でドットの発生する確率を同じくするよう閾値を設定することができる。また閾値マトリクス5を用いた際に最も階調値170のドットが出やすい(x、y)=(1、1)、(3、3)の画素位置でドットの発生する確率を高めることで、閾値マトリクス4および閾値マトリクス5を切り替える境界部での歪みを抑制することができる。
本実施例は、低濃度領域、高濃度領域に最適な閾値マトリクスに加えて、中濃度領域に最適な閾値マトリクスを用いる構成としたが、出力プリンタによっては、そもそも低濃度領域と高濃度領域とで歪みが目立たない場合もあるので、その場合は、中濃度領域に最適な閾値マトリクスを用いない構成とすれば、必要なメモリ量が削減でき、低コスト化につながる。
本発明が適用される一般的なレーザプリンタを示す。 本発明の中間調処理の構成を示す。 修正入力値算出手段の構成を示す。 閾値マトリクス決定手段の構成を示す。 入力階調値に応じて切り替える閾値マトリクスを示す。 出力階調値を決定する処理フローチャートである。 平均量子化誤差を説明する図である。 閾値マトリクスの設計手順を説明するフローチャートである。 出力ドットパターンの組の一例を示す。 出力ドットパターンにおける画素位置の表記方法を説明する図である。 図9の出力ドットパターンの組に対応する修正入力値の組を説明する図である。 平均量子化誤差を0にする理由を説明する図である。 平均量子化誤差が0に近い、入力階調値と閾値との対応関係を示す。 網点スクリーンの例を示す。 閾値マトリクス1〜3の設計方法を説明する図である。 閾値マトリクスの他の例を示す。 従来技術の課題を説明する図である。
符号の説明
101 画像入力部
102 修正入力値算出手段
103 誤差値算出手段
104 閾値マトリクス決定手段
105 閾値決定手段
106 出力階調値決定手段

Claims (16)

  1. 入力する画像情報の注目画素位置周辺の誤差値に所定の重みを付けて入力値に加算し、修正入力値を算出する修正入力値算出手段と、複数の閾値マトリクスから注目画素の入力値、もしくは、注目画素周辺の入力値に基づいて適用する閾値マトリクスを決定する閾値マトリクス決定手段と、前記決定した閾値マトリクスと、前記注目画素位置とに基づいて適用する閾値を決定する閾値決定手段と、前記修正入力値算出手段が算出した注目画素位置の修正入力値に対して、前記決定した閾値に基づいて出力階調値を決定する出力階調値決定手段と、前記出力階調値決定手段が決定した出力階調値と前記修正入力値との差分を前記誤差値として算出し、算出された前記誤差値を前記修正入力値算出手段に送信する誤差値算出手段とを備えた画像処理装置であって、前記複数の閾値マトリクスは、各閾値マトリクスが用いられる入力階調値において平均量子化誤差が概ね一定の値となるものであることを特徴とする画像処理装置。
  2. 前記閾値マトリクス決定手段は、低濃度域において分散型のドット配置となる閾値マトリクスを選択することを特徴とする請求項1記載の画像処理装置。
  3. 前記分散型のドット配置は、非周期的なドット配置であることを特徴とする請求項2記載の画像処理装置。
  4. 前記閾値マトリクス決定手段は、高濃度域において周期的なドット配置となる閾値マトリクスを選択することを特徴とする請求項1記載の画像処理装置。
  5. 前記周期的なドット配置は、集中型のドット配置であることを特徴とする請求項4記載の画像処理装置。
  6. 前記閾値マトリクス決定手段は、分散型のドット配置となる濃度域と周期的なドット配置となる濃度域の間で、両者の中間的なドット配置となる閾値マトリクスを選択することを特徴とする請求項1記載の画像処理装置。
  7. 前記閾値マトリクスのうち少なくとも一つは、全面で概ね同一であることを特徴とする請求項1記載の画像処理装置。
  8. 前記閾値マトリクスの内、周期的なドット配置を実現するための閾値マトリクスは一つで、残りは分散型のドット配置を実現するための閾値マトリクスであることを特徴とする請求項1記載の画像処理装置。
  9. 前記閾値マトリクスの内、周期的なドット配置を実現するための閾値マトリクスは一つで、残りは分散型のドット配置を実現するための閾値マトリクスと、両者の中間的なドット配置を実現するための閾値マトリクスであることを特徴とする請求項1記載の画像処理装置。
  10. 前記出力階調値決定手段は、所定サイズに満たないドットに対応する出力値を孤立して出現させないことを特徴とする請求項1記載の画像処理装置。
  11. 前記閾値マトリクスのサイズは少なくとも一方向に関して同一であることを特徴とする請求項1記載の画像処理装置。
  12. 前記平均量子化誤差は概ね0であることを特徴とする請求項1記載の画像処理装置。
  13. 入力する画像情報の注目画素位置周辺の誤差値に所定の重みを付けて入力値に加算し、修正入力値を算出する修正入力値算出工程と、複数の閾値マトリクスから注目画素の入力値、もしくは、注目画素周辺の入力値に基づいて適用する閾値マトリクスを決定する閾値マトリクス決定工程と、前記決定した閾値マトリクスと、前記注目画素位置とに基づいて適用する閾値を決定する閾値決定工程と、前記修正入力値算出工程が算出した注目画素位置の修正入力値に対して、前記決定した閾値に基づいて出力階調値を決定する出力階調値決定工程と、前記出力階調値決定工程が決定した出力階調値と前記修正入力値との差分を前記誤差値として算出し、算出された前記誤差値を前記修正入力値算出工程に送信する誤差値算出工程とを備えた画像処理方法であって、前記複数の閾値マトリクスは、各閾値マトリクスが用いられる入力階調値において平均量子化誤差が概ね一定の値となるものであることを特徴とする画像処理方法。
  14. 請求項13記載の画像処理方法をコンピュータに実現させるためのプログラム。
  15. 請求項13記載の画像処理方法をコンピュータに実現させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
  16. 請求項1乃至12のいずれか1項に記載の画像処理装置を具備したことを特徴とする画像形成装置。
JP2007065831A 2007-03-14 2007-03-14 画像処理装置、画像処理方法、プログラム、記録媒体および画像形成装置 Expired - Fee Related JP4775909B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007065831A JP4775909B2 (ja) 2007-03-14 2007-03-14 画像処理装置、画像処理方法、プログラム、記録媒体および画像形成装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007065831A JP4775909B2 (ja) 2007-03-14 2007-03-14 画像処理装置、画像処理方法、プログラム、記録媒体および画像形成装置

Publications (2)

Publication Number Publication Date
JP2008228106A true JP2008228106A (ja) 2008-09-25
JP4775909B2 JP4775909B2 (ja) 2011-09-21

Family

ID=39846148

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007065831A Expired - Fee Related JP4775909B2 (ja) 2007-03-14 2007-03-14 画像処理装置、画像処理方法、プログラム、記録媒体および画像形成装置

Country Status (1)

Country Link
JP (1) JP4775909B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013207677A (ja) * 2012-03-29 2013-10-07 Canon Inc 画像処理装置およびその制御方法
WO2014119429A1 (ja) * 2013-02-04 2014-08-07 富士フイルム株式会社 画像形成装置、方法及びプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10136205A (ja) * 1996-10-25 1998-05-22 Takahashi Sekkei Jimusho:Kk 画像処理装置
JPH11331588A (ja) * 1998-05-14 1999-11-30 Nec Corp 画像処理装置、画像処理方法および画像処理プログラムを記録した記録媒体
JP2001346041A (ja) * 2000-06-02 2001-12-14 Matsushita Electric Ind Co Ltd 画像処理方法及び装置
JP2006109263A (ja) * 2004-10-07 2006-04-20 Ricoh Co Ltd 画像処理装置、画像処理方法、その方法をコンピュータに実行させるプログラム、画像形成装置、およびコンピュータ読み取り可能な記録媒体
JP2006229752A (ja) * 2005-02-18 2006-08-31 Ricoh Co Ltd 画像処理装置、画像処理方法、その方法をコンピュータに実行させるプログラム、および記録媒体

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10136205A (ja) * 1996-10-25 1998-05-22 Takahashi Sekkei Jimusho:Kk 画像処理装置
JPH11331588A (ja) * 1998-05-14 1999-11-30 Nec Corp 画像処理装置、画像処理方法および画像処理プログラムを記録した記録媒体
JP2001346041A (ja) * 2000-06-02 2001-12-14 Matsushita Electric Ind Co Ltd 画像処理方法及び装置
JP2006109263A (ja) * 2004-10-07 2006-04-20 Ricoh Co Ltd 画像処理装置、画像処理方法、その方法をコンピュータに実行させるプログラム、画像形成装置、およびコンピュータ読み取り可能な記録媒体
JP2006229752A (ja) * 2005-02-18 2006-08-31 Ricoh Co Ltd 画像処理装置、画像処理方法、その方法をコンピュータに実行させるプログラム、および記録媒体

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013207677A (ja) * 2012-03-29 2013-10-07 Canon Inc 画像処理装置およびその制御方法
WO2014119429A1 (ja) * 2013-02-04 2014-08-07 富士フイルム株式会社 画像形成装置、方法及びプログラム
JP2014150509A (ja) * 2013-02-04 2014-08-21 Fujifilm Corp 画像形成装置、方法及びプログラム

Also Published As

Publication number Publication date
JP4775909B2 (ja) 2011-09-21

Similar Documents

Publication Publication Date Title
JP4634292B2 (ja) 画像処理装置、画像処理方法、その方法をコンピュータに実行させるプログラム
US7079289B2 (en) Rank-order error diffusion image processing
US8873101B2 (en) Image processing apparatus and image processing method
JP6639247B2 (ja) 画像処理装置及び画像処理方法、プログラム
EP1366618B1 (en) Error diffusion with partial dots method and system
EP0817466A2 (en) Edge enhanced error diffusion
JP4775909B2 (ja) 画像処理装置、画像処理方法、プログラム、記録媒体および画像形成装置
JP6355321B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP4479663B2 (ja) 固定セルによるハーフトーン処理を行う画像処理装置,画像処理方法,及び画像処理プログラム
JP4582046B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP2002185785A (ja) 画像処理方法及び装置、記録媒体
JP2004135317A (ja) カラー画像処理装置およびカラー画像処理方法
JP4861506B2 (ja) 画像処理装置およびその制御方法
JP4108517B2 (ja) ハーフトーン化処理方法及びハーフトーン化処理システム
JP2018043403A (ja) 画像処理装置、画像形成装置及びプログラム
JP2006014262A (ja) 画像処理装置及び画像処理方法
JP4522812B2 (ja) 画像処理装置、画像処理方法、その方法をコンピュータに実行させるプログラム、およびコンピュータ読み取り可能な記録媒体
JP4759531B2 (ja) 画像処理装置及び画像形成装置
JP4280473B2 (ja) 画像処理装置および方法
JP2011019185A (ja) 画像形成装置
JP4151965B2 (ja) カラー画像処理装置、および方法
JP2004236249A (ja) 誤差拡散処理装置、画像形成装置、誤差拡散処理方法及びコンピュータプログラム
JP4261564B2 (ja) 画像形成方法、画像処理装置及び記憶媒体
JP2010171813A (ja) 画像処理装置及びその制御方法
JP2018196151A (ja) 画像処理装置、画像形成装置、画像処理方法及びプログラム。

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20091201

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110328

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110406

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110526

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110622

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110623

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140708

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees