JP2007194904A - 固定セルによるハーフトーン処理を行う画像処理装置,画像処理方法,及び画像処理プログラム - Google Patents

固定セルによるハーフトーン処理を行う画像処理装置,画像処理方法,及び画像処理プログラム Download PDF

Info

Publication number
JP2007194904A
JP2007194904A JP2006011018A JP2006011018A JP2007194904A JP 2007194904 A JP2007194904 A JP 2007194904A JP 2006011018 A JP2006011018 A JP 2006011018A JP 2006011018 A JP2006011018 A JP 2006011018A JP 2007194904 A JP2007194904 A JP 2007194904A
Authority
JP
Japan
Prior art keywords
value
cell
output
input
pixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006011018A
Other languages
English (en)
Other versions
JP4479663B2 (ja
Inventor
Makoto Kobayashi
誠 小林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2006011018A priority Critical patent/JP4479663B2/ja
Publication of JP2007194904A publication Critical patent/JP2007194904A/ja
Application granted granted Critical
Publication of JP4479663B2 publication Critical patent/JP4479663B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

【課題】セル形状に起因するノイズの発生を抑えた出力画像を得ることができる画像処理装置等を提供する。
【解決手段】入力画像に対して複数の隣接画素からなるセルの単位でハーフトーン処理を行ってセル内に網点を形成する出力階調データを生成するハーフトーン処理の画像処理装置において,隣接セルで画素を共有してセルを点対称にしたスクリーンにし,セルの入力階調値から求めたセルの重心位置にスクリーンの網点中心が一致するようにして,網点形成用の出力階調値を求める。そして,出力階調値に共有画素の共有率を乗じた共有化出力階調値を,画像形成用の出力値とする。画素を共有化することでセルの形状を点対称にすることができ,わずかな階調値の分布を有する画像であれば,重心画素をセルの中心画素に維持でき網点位置の変動を抑えることができる。
【選択図】図4

Description

本発明は,固定セルによるハーフトーン処理を行う画像処理装置,画像処理方法,及び画像処理プログラムに関し,特に,点対称の固定セルによるハーフトーン処理を行う画像処理装置等に関する。
プリンタなどの画像形成装置は,画素の多階調値からなる入力階調データをハーフトーン処理して出力階調データを生成する画像処理装置を有する。この画像処理装置により生成された出力階調データにしたがって印刷エンジンが画像形成を行う。
ハーフトーン処理として,多値ディザ法と称されるドット集中型のディザ法による処理が知られている。多値ディザ法では,複数の画素からなるセル内に入力階調値に応じた面積のドット(網点)を形成する。そのために,画像処理装置は,セル内の複数画素の入力階調値を入力値とし網点を形成するための出力値をテーブルにした多値ディザテーブルをセル内の複数画素にマトリクス配置した、入力階調値を出力階調値に変換するための階調値変換マトリクスであるディザマトリクスをあらかじめ設けておき,入力階調値に対してディザマトリクスの対応する多値ディザテーブルを参照して出力階調値を生成する。または,別の画像処理装置は,入力階調値と比較される閾値テーブルをマトリクス状に構成しておき,入力階調値と対応する閾値とを比較し,入力階調値が閾値より大きいか否かにより網点を形成する出力値を生成する。
一般的な多値ディザ法では,複数の画素からなるセル内において,入力階調値が増大するにしたがってセルの中心から網点が成長する(網点サイズが増大する)ように、ディザマトリクスが構成されている。このように,セル内の固定された中心位置に網点を成長させると,入力画像の細線がドット欠けにより線が切れたり,入力画像のエッジ部に応じた位置に網点を成長できずにエッジ部の形状にジャギー(ギザギザ形状)が発生する。
そこで,上記の問題点を解決するために,本出願人は、セル内の各画素の階調値からセルの重心位置を求め,その重心位置に網点の中心を一致させるようにした多値ディザ法を先願発明で提案している。かかる多値ディザ法は,AAM法(Advanced Amplitude Modulation法)と称されている。
特願2004−137326号(出願前の確認時点で未公開)
特願2005−196256号(未公開)
しかしながら,上記のAAM法では,セル内の重心位置の画素に網点の中心を一致させている。そのため,セルの形状が非対称の場合は,セル内の階調値が均一であってもセルの重心位置が画素の中心と一致しないので,入力画像の分布がわずかに変化しただけで,重心位置の画素が移動し網点位置が変動する。この網点位置の変動が出力画像に不快なノイズとして出現してしまう。セルの形状は,スクリーン線数や解像度との関係から必ずしも点対称にできるとはかぎられず,非対称セルのハーフトーン処理を行う場合に上記のノイズを回避することが求められる。
そこで,本発明の目的は,上記課題を解決しセル形状に起因するノイズの発生を抑えた出力画像を得ることができる画像処理装置,画像処理方法,画像処理プログラムを提供することにある。
上記の目的を達成するために,本発明の第1の側面によれば,入力画像に対して複数の隣接画素からなるセルの単位でハーフトーン処理を行ってセル内に網点を形成する出力階調データを生成するハーフトーン処理の画像処理装置において,隣接セルで画素を共有してセルを点対称にしたスクリーンにし,セルの入力階調値から求めたセルの重心位置にスクリーンの網点中心が一致するようにして,網点形成用の出力階調値を求める。そして,出力階調値に共有画素の共有率を乗じた共有化出力階調値を,画像形成用の出力値とする。画素を共有化することでセルの形状を点対称にすることができ,わずかな階調値の分布を有する画像であれば,重心画素をセルの中心画素に維持でき網点位置の変動を抑えることができる。
すなわち,本発明の第1の側面によれば,入力画像に対して複数の隣接画素で構成されるセルの単位でハーフトーン処理を行う画像処理装置において,
点対称の複数の画素で構成された前記セルであって,隣接セルと少なくとも1つの共有画素を共有するセルに適用するように構成されたディザマトリクスを参照して,前記入力画像の入力階調データから前記セル内に網点を形成する出力階調データに変換するハーフトーン処理ユニットを有し,
前記ハーフトーン処理ユニットは,
前記セルを構成する画素の入力階調値とその合計値にしたがってセル内の重心位置を求める重心位置生成部と,
前記セル内の重心位置の画素を前記ディザマトリクスの網点中心画素に対応させるように前記ディザマトリクスを参照して,前記入力階調値に対応する出力階調値を前記出力階調データとして生成する階調値変換部とを有することを特徴とする。
上記の目的を達成するために,本発明の第2の側面によれば,入力画像に対して複数の隣接画素で構成されるセルの単位でハーフトーン処理を行う画像処理装置において,
点対称の複数の画素で構成された前記セルであって,隣接セルと少なくとも1つの共有画素を共有するセルに適用するように構成されたディザマトリクスを参照して,前記入力画像の入力階調データから前記セル内に網点を形成する出力階調データに変換するハーフトーン処理ユニットを有し,
前記ハーフトーン処理ユニットは,
前記セルを構成する画素の入力階調値とその合計値にしたがってセル内の重心位置を求める重心位置生成部と,
前記セル内の重心位置の画素を前記ディザマトリクスの網点中心画素に対応させるように前記ディザマトリクスを参照して,前記入力階調値に対応する出力階調値を生成し,当該出力階調値に,前記共有画素を共有するセル数に対応した共有率を乗じた共有化出力階調値を前記出力階調データとして生成する階調値変換部とを有することを特徴とする。
上記の第2の側面において,好ましい態様によれば,
前記ハーフトーン処理ユニットは,さらに,
前記セルを構成する画素の入力階調値の平均値を求める平均入力階調値生成部と,
前記平均入力階調値に対応して,当該セル内の複数の画素で出力すべき階調値の合計からなる理想出力合計値を生成する理想出力合計値生成部とを有し,
前記階調値変換部は,前記セル内の網点中心画素からその周囲の画素への順番で前記共有化出力階調値を繰り返して生成し,前記セル内の前記共有化出力階調値の合計が前記理想出力合計値に達するまで前記共有化出力階調値の生成を繰り返すことを特徴とする。
上記第1の側面または第2の側面によれば,セルを構成する複数画素が固定化され且つ点対称であるので,重心位置が中心画素からずれることが抑制され,不快なノイズの発生が抑制される。そして,セル内の重心位置に網点を発生させるので,細線やエッジ部での画質低下を抑制することができる。
以下,図面にしたがって本発明の実施の形態について説明する。但し,本発明の技術的範囲はこれらの実施の形態に限定されず,特許請求の範囲に記載された事項とその均等物まで及ぶものである。
図1は,本実施の形態における画像処理装置を有するシステム構成図である。このシステムは,画像データを生成するホストコンピュータ10と,その画像データから画像を形成して出力する画像形成装置20とを有する。
ホストコンピュータ10は,アプリケーション部11とラスタライズ部12とを有する。アプリケーション部11は,ワードプロセッサや図形生成ツールなどのアプリケーションプログラムをインストールすることにより構成され,文字データ,グラフィックデータ,イメージデータなどの画像形成すべき画像データを生成する。ラスタライズ部12は,例えばオペレーションシステムの特定の機能とプリンタドライバとにより構成され,アプリケーション部11が生成した画像データを画素に対応した複数ビットの階調値からなる入力画像データに変換して画像形成装置20に出力する。入力画像データがモノクロデータであれば,例えば8ビット,256階調値を有し,入力画像データがカラーデータであれば,RGBまたはCMYKそれぞれ8ビット,256階調値を有する。ラスタライズ部12が,画像形成装置20内の画像処理装置21内に設けられる場合もある。
画像形成装置20は,画像処理装置21と印刷エンジン22とを有する。画像処理装置21は,ハーフトーン処理部211とパルス幅変調部212とを有する。ハーフトーン処理部211は,ホストコンピュータ10から入力画像データを入力し,網点を形成する量子化データを有する出力画像データに変換する。パルス幅変調部212は,この出力画像データを画素に対応したレーザー駆動パルスに変換し,印刷エンジン22に出力する。
印刷エンジン22は,レーザードライバ221とレーザーダイオードやライン状発光素子222とを有し,前記レーザー駆動パルスに応じてレーザードライバがレーザーダイオードやライン状発光素子222を駆動し,感光体ドラムに出力画像データに対応する画像を形成し,印刷媒体に画像形成する。印刷エンジン22は,電子写真方式以外にインクジェット方式や熱転写方式であってもよい。
本実施の形態における画像処理装置21は,専用のハードウエア回路によって構成されることができる。または,ソフトウエアとそれを実行するプロセッサとの組合せによって構成されることもできる。
図2は,本実施の形態における画像処理装置21の構成図である。この例は,画像処理装置21がハーフトーン処理を行うプログラムを格納するROM25と,そのプログラムを実行するプロセッサ24と,一次記憶メモリ26と,ホストコンピュータから入力画像データを入力する入力インターフェース23とで構成される。パルス幅変調部もこのプログラムとプロセッサによって構成されることができ,または専用のハードウエア回路で構成されることもできる。
図3は,本実施の形態におけるスクリーン構造を示す図である。マトリクス状の入力画像PXに対して、適用されるスクリーンを構成する網点位置(ドットが示された画素)が規則的に設定され、そしてこの網点位置を中心に入力画像PXがセルに分割(図中、太線)される。
図3(A)では,マトリクス状の画素PXに対して,8画素からなるセル200が割り当てられている。そして,セル内の階調値が均一の場合は,各セル200の中心付近の画素(ドットが示された画素)がセル内に形成される網点の中心画素に対応する。しかし,各セル200の形状は画素210だけ右側に歪んでいるので点対称ではない。それに伴って,中心画素の位置はセルの完全な中心にはなっていない。このような非対称のセルを利用すると,入力階調の分布がわずかに変化しただけでセルの階調値による重心位置の画素がずれてしまう。したがって,重心位置の画素を網点の中心にすると,網点位置がずれることになり,不快なノイズとして認識されてしまう。
それに対して,図3(B)は図3(A)と同様のスクリーンを構成可能で、点対称のセルの例である。すなわち,左右に隣接するセル200が境界にある画素210を共有することで,実質的にセル200の形状を点対称にする。点対称のセルを利用すれば,入力階調が均一の時のセルの重心位置はセルの中心と完全に一致する(図中のドット)。したがって,入力階調の分布がわずかに変化しただけではセルの重心位置はセルの中心画素内に位置するので,網点の中心画素がシフトすることが抑制される。したがって,非対称セルを利用した時の網点位置がずれることによる不快なノイズの発生を抑制することができる。
図21は,多値ディザ法における非対称セルと点対称セルとを比較した画像例を示す図である。図21(A)はオリジナル画像であり階調値が微妙に変化している領域がある。これを非対称セルを利用して多値ディザ法でハーフトーン処理(二値化処理)すると,図21(B)のようにセル内の網点位置が変化してノイズとなって現れる。それに対して,点対称セルを利用してハーフトーン処理すると,図21(C)のようにノイズが解消される。
本実施の形態では,ハーフトーン処理部のスクリーンを図3(B)に示された点対称のセル構造に基づいて構成する。そして,点対称化に伴って必要となる共有画素の階調値の取り扱いを,共有画素を共有する隣接セルの数に対応する共有率に基づいて行う。
図4は,本実施の形態におけるスクリーン構造と共有率とを示す図である。前述したとおり,図4(A)に示した点対称のセル200では,共有画素210を左右の隣接セルが共有している。また,図4(B)には共有率の例が示されている。このスクリーン構造は,セルを対称化するために,各セルの中心画素から等距離にある画素210を隣接セルで共有する。共有画素210は必ずしも1個であるとは限られず,複数個を共有画素にしてもよい。また,上下の隣接セルが共有画素を共有してもよい。さらに,3個以上のセルで画素を共有化してもよい。スクリーンの設計上,最適なセル形状に対応できるように共有すべき画素の位置と個数,さらにセル数が決定される。
このように,共有画素210は左右のセル200で共有されているので,図中は擬似的に等分割されている。そして,共有画素を等分割するために,セル200を構成する複数の画素に対して,その画素がセルに属する割合(共有率または寄与率)を与える。図4(B)に共有率の例が示され,共有画素210には左右の2つのセルで共有されているので共有率0.5(共有するセル数が2であるので,共有率=1/2)が与えられ,それ以外の画素には共有率1.0(共有するセル数は1であるので,共有率1/1)が与えられる。共有率は共有画素210にのみ与えられても良いが,上記のように共有されない画素に共有率1.0を与えることで,全ての画素を区別することなく共有率により処理することができる。このように共有率を利用することで,共有画素を等分割したセルを有するスクリーンを設計することができる。
[ハーフトーン処理]
本実施の形態のハーフトーン処理の概略は以下の通りである。図4(B)に示された共有画素を含む点対称のセルの大きさに対応し、セル内の階調値に対応するサイズの網点を形成するディザマトリクスをあらかじめ設計しておき,ハーフトーン処理では,ディザマトリクスを参照して画素の入力階調値を網点を形成する出力階調値に変換する。ディザマトリクスは、各セルの中心画素(図4でドットで示す画素)をディザマトリックスの中心位置とし、ディザマトリクスは、この中心位置に網点が発生しやすいように構成されている。ただし,共有画素を含む、セルを構成する画素の入力階調値と座標及び入力階調値の合計値に基づいてセルの重心位置を求め,その重心位置の画素が網点中心画素(ディザマトリクスの中心位置)に対応するようにディザマトリクスの参照を行う。これにより,セル内の網点位置が重心位置に整合するので,細線や画像のエッジ部分の画質を向上させることができる。
さらに,ハーフトーン処理では,変換された出力階調値に共有率を乗じて共有化出力階調値を出力階調データとして出力する。つまり,複数の隣接セルにより共有されている共有画素には,共有率に応じた出力階調値を出力することで,共有画素が必要以上に高い階調値になることを防止する。また,ハーフトーン処理部では,セル内の共有化出力階調値の合計がセル内で出力すべき理想出力合計値を超えないようにする。なお,理想出力合計値は,共有率を考慮して求められる値であり,例えば入力階調値の平均値に対応して印刷エンジンのデバイス特性を補正するような出力値であり,あらかじめテーブルを作成しておき,それを参照することで平均入力値から求められる。
本実施の形態では,入力階調値から求める平均入力階調値や重心位置は,共有率に依存しない演算により求められる。これにより入力階調値に忠実な平均値や重心位置を得ることができる。また,ディザマトリクスを参照して変換する出力階調値には共有率を乗算して共有化出力階調値として出力する。これにより共有画素に過剰な出力階調値が与えられないようにする。
図5,6は,本実施の形態におけるハーフトーン処理のフローチャート図である。このフローチャートにしたがってハーフトーン処理を詳述する。その場合,図7〜図10の第1の入力階調を例にして処理を説明する。
[第1の入力階調値の例]
図7は,入力階調データの第1の例を示す図である。図7には,各画素の入力階調値が全て「40」の均一階調画像の例であり,画素マトリクス100に対して図4に示した9個の画素からなるセル200が対応付けられている。したがって,図7(B)に示されるとおり,ハーフトーン処理対象のセル200は,それぞれ入力階調値「40」を有する9個の画素で構成されている。
図5に示すように,図2の画像処理装置21を構成するプロセッサ24は,ハーフトーン処理プログラムをROM25から読み出して処理を開始する(S10)。
次に,画像処理装置21は,セル200内の9個の画素の入力階調値の合計を演算し,それをセルの画素数「9」で除して平均入力階調値を求める(S11)。図7の入力階調値の場合は,入力階調値の合計は「360」,平均入力階調値は360÷9個=40となる。
次に,画像処理装置21は,セル内の画素の入力階調値と,画素の位置座標と,上記合計入力階調値とから,セル200の入力階調値に依存した重心位置を演算する(S12)。重心位置は,以下の演算式により求められる。
Figure 2007194904
図8は,セル内における重心位置とセル内の処理順を示す図である。図8(A)に示すとおり,入力階調値が均一なセル200の場合,その重心110は,セル200の中心位置になる。したがって,重心110が属する画素もセル200の中心画素になる。
図5に示すように,画像処理装置21は,次に平均入力階調値「40」からセル内で出力すべき理想出力合計値を決定する(S13)。理想出力合計値とは,点対称のセル内で出力すべき出力階調値の合計値であり,共有画素の個数と共有率に依存した値である。つまり,図7の例では,平均入力階調値「40」にセルの画素数を乗じて,共有画素の個数と共有率を考慮した理想出力合計値「320」(=40×8画素)になる。
図22は,平均入力階調値と理想出力合計値との対応を示すテーブル例の図である。このテーブルには,横軸の平均入力階調値0〜255(8ビット,256階調)に対応して,縦軸の理想出力合計値0〜2040(=255×8)が設定されている。理想出力合計値の最大値が2040(=255×8)となっているのは,セル内の7個の画素が共有率1.0であり,2個の画素が共有率0.5であるので,画素の最大階調値255の8倍(7+2×0.5=8)にすべきだからである。
一点鎖線のテーブル300は,平均入力階調値に対して理想出力合計値がリニアな関係になっている。また,実線のテーブル310は,平均入力階調値に対応する理想出力合計値がノンリニアな関係になっていて,これは印刷エンジンのデバイス特性(階調データに対する出力濃度の特性)を補正するように設定されている。図22の例では,低い平均入力階調値の領域では理想出力合計値はより低く,高い平均入力階調値の領域では理想出力合計値はより高く設定されている。これ以外にも,デバイス特性に依存して異なる特性の変換テーブルが利用可能である。
画像処理装置21は,あらかじめ設定されている理想出力合計値テーブルを参照して,平均入力階調値に対応する理想出力合計値を決定する(S13)。図8(A)に示した理想出力合計値「320」は,図22の一点鎖線のテーブル300を参照して決定された値である。図22の実線のテーブル310を参照した場合は,「320」より小さい値になる。
次に,画像処理装置21は,ディザマトリクスを参照してセル内の各画素の入力階調値をそれに対応する出力階調値に変換する(S17)。そのために,セルの重心画素に近い順から処理できるように画素の処理順を決定する(S14)。すなわち,図8(B)に示すとおり,重心画素が処理順「1」に,その左右上下近傍画素が処理順「2,3,4,5」に,更にその周囲の画素が処理順「6,7,8,9」と決定される。また,本実施の形態では,ディザマトリクスを参照するに際して,セルの重心位置に網点の中心画素が位置するようにするために,セルの重心画素にディザマトリクスの中心をシフトする(S15)。
図9は,本実施の形態におけるディザマトリクスを示す図である。このディザマトリクスは,図9(A)のインデックスマトリクスと図9(B)多値ディザテーブルとで構成される。インテックスマトリクスは,セル内の各画素がどの多値ディザテーブルを参照すべきかを示すテーブル番号を有し,多値ディザテーブルは,入力階調値に対する出力階調値を対応付けた4種類のテーブル1,2,3,4を有する。テーブル1は入力階調値が低い領域で最高出力階調値になっているので,網点中心画素に対応付けられる。テーブル2,3,4は,順に入力階調値がより高くなるにしたがって最高出力階調値になるので,網点の周囲の画素に対応付けられる。
処理工程S15の処理では,セルの重心位置に網点の中心画素(テーブル1)が位置するようにディザマトリクスのインデックスマトリクスをシフトする。図7の例では,セルの重心位置がセルの中心にあるので,シフト量は上下共に0である。
図5,6の工程S17〜S25では,画像処理装置21がセルの各画素の入力階調値を網点を形成する出力階調値に変換し,共有率を乗算して共有化出力階調値を生成する。そのために,図8(B)の処理順にしたがって各画素を処理する。まず,処理対象画素の番号n=1が設定される(S16)。そして,n番目(1番目)の画素の入力階調値「40」に対応する出力階調値が図9の多値ディザテーブル1を参照して決定される(S17)。すなわち,出力階調値は最高階調値の「255」となる。そして,画像処理装置は,多値ディザテーブル1により変換した出力階調値に共有率「1.0」を乗算して共有化出力階調値を求める(S18)。
上記の処理S17,S18は,セル内の全ての画素に対して処理を終了するまで,処理順にしたがって繰り返される(S21,S24)。この処理を繰り返しながら,画像出力装置は,メモリ26内の出力バッファに共有化出力階調値を記憶する(S20)。ただし,セル内の共有化出力階調値の合計が理想出力合計値を超えない範囲で(S19のNO),上記処理S17,S18,S20が繰り返される。もし,超える場合は(S19のYES),理想出力合計値を超えないように処理中の画素の出力階調値が調整される(S25)。
図10は,図7の例における出力バッファ内の共有化出力階調値の例を示す図である。図10を参照しながら,図7の入力階調値の場合の上記工程S17〜S25について説明する。処理順番「1」の画素では,インデックスマトリクスに従う多値ディザテーブル1を参照して,入力階調値「40」が出力階調値「255」に変換され,共有率「1.0」を乗算した共有化出力階調値「255」が,図10(A)に示されるように出力バッファ120に書き込まれる。この時の共有化出力階調値の合計は「255」であり,理想出力合計値「320」を超えていないので,工程S19はNOとなる。
次に,n=n+1とされて(S24),所定順番「2」の画素について,多値ディザテーブル2を参照して,入力階調値「40」が出力階調値「16」に変換され,共有率「1.0」を乗算した共有化出力階調値「16」が,図10(B)に示されるように出力バッファ120に書き込まれる。この時の共有化出力階調値の合計は「271(=255+16)」であり,理想出力合計値「320」を超えていないので,工程S19はNOとなる。
同様に,処理順番「3」「4」「5」の画素について,多値ディザテーブル2を参照して,入力階調値「40」が出力階調値「16」に変換され,共有率「1.0」を乗算した共有化出力階調値「16」が,図10(C)に示されるように出力バッファ120に書き込まれる。この処理を終了した時点で,共有化出力階調値の合計は「319」となり理想出力合計値「320」を超えていない。そこで,処理順番「6」「7」「8」「9」の画素については,多値ディザテーブル3,4を参照すると,入力階調値「40」に対して出力階調値「0」になる。したがって,ディザテーブルを参照する階調値変換処理は終了する。
最後に,他のセルでの処理で共有画素に出力値が存在する場合は,その値が出力バッファに加算される(S22)。出力値は共有率を乗じた共有化出力階調値であるので,加算された共有画素の出力値は,最高階調値を超えることはない。
また,もし共有化出力階調値の合計が理想出力合計値「320」を超える場合は(S19のYES),合計が理想出力合計値を超えないようにその画素の共有化出力階調値を調整して出力する(S25)。
図10(C)に示される出力バッファ内の共有化出力階調値にしたがって網点を形成することで,重心位置の画素を中心とする網点が形成される。
[第2の入力階調値の例]
図11は,入力階調データの第2の例を示す図である。図11には,セル200の左端3つの画素の入力階調値が「40」でそれ以外の入力階調値「0」の不均一な階調画像の例であり,画素マトリクス100に対して9個の画素からなるセル200が対応付けられている。したがって,図11(B)に示されるとおり,ハーフトーン処理対象のセル200は,入力階調値「40」を有する3個の画素と入力階調値「0」を有する6個の画素とで構成されている。
図12は,図11に対する重心位置,処理順,インデックスマトリクスを示す図である。また,図13は,出力バッファに書き込まれる共有化出力階調値を示す図である。まず,図5,6の工程S11,S12で,入力階調値合計「120」,セル内の平均入力階調値「13(=120÷9)」,重心位置110が求められる。重心位置110は,図12(A)に示されるとおり中心画素より左側に1つずれた画素に位置している。また,工程S13により出力すべき理想出力合計値「100」が,図22のテーブルを参照して決定される。この理想出力合計値は,共有率が考慮されるので,入力階調値の合計「120」よりも小さくなっている。
そして,重心位置に基づいて,セル内のおける処理順が図12(B)に示すように決定される。処理順番「1」は重心画素から左に1つずれた画素になっている。それに伴って,処理S15によりディザマトリクスのインデックステーブルの網点中心が重心画素と一致するようにシフトされる。シフト量は図12(C)に示されるとおり,(−1,0)である。
そこで,処理S17〜S25が繰り返される。図13に示すとおり,処理順番「1」の画素の入力階調値「40」が多値ディザテーブル1を参照して,出力階調値「255」に変換され(S17),共有率「1.0」を乗算して共有化出力階調値「255」が決定される(S18)。しかし,すでに共有化出力階調値「255」は既に理想出力合計値「100」を超えているので(S19のYES),理想出力合計値を超えないように,共有化出力階調値は「100」に調整される(S25)。その結果,処理S17〜S25の処理が終了する。
[第3の入力階調値の例]
図14は,入力階調データの第3の例を示す図である。図14には,セル200の左端1つの画素の入力階調値が「40」でそれ以外の入力階調値「0」の不均一な階調画像の例であり,画素マトリクス100に対して9個の画素からなるセル200が対応付けられている。したがって,図14(B)に示されるとおり,ハーフトーン処理対象のセル200は,入力階調値「40」を有する1個の画素と入力階調値「0」を有する8個の画素とで構成されている。
図15は,図14に対する重心位置,処理順,インデックスマトリクスを示す図である。また,図16は,出力バッファに書き込まれる共有化出力階調値を示す図である。まず,図5,6の工程S11,S12で,入力階調値合計「40」,セル内の平均入力階調値「4(=40÷9)」,重心位置110が求められる。重心位置110は,図15(A)に示されるとおり中心画素より左側に2つずれた共有画素に位置している。また,工程S13により出力すべき理想出力合計値「28」が,図22のテーブルを参照して決定される。この理想出力合計値は,共有率が考慮されるので,入力階調値の合計「40」よりも小さくなっている。
そして,重心位置に基づいて,セル内のおける処理順が図15(B)に示すように決定される。処理順番「1」は共有画素になっている。それに伴って,処理S15によりディザマトリクスのインデックステーブルの網点中心(テーブル1)が重心画素と一致するようにシフトされる。シフト量は図15(C)に示されるとおり,(−2,0)である。
そこで,処理S17〜S25が繰り返される。図16に示すとおり,処理順番「1」の画素の入力階調値「40」が多値ディザテーブル1を参照して,出力階調値「255」に変換され(S17),共有率「0.5」を乗算して共有化出力階調値「127」が決定される(S18)。しかし,共有化出力階調値「127」は既に理想出力合計値「28」を超えているので(S19のYES),理想出力合計値を超えないように,共有化出力階調値は「28」に調整される(S25)。その結果,処理S17〜S25の処理が終了する。この場合,共有化出力階調値「127」も理想出力合計値「28」もいずれも,共有画素の数と共有率を考慮した値であるので,上記のような調整処理に矛盾はない。
図16(A)は,上記処理が終了した時点でのセル200Rの出力バッファ120R内の出力値が示されている。また,図16(B)は,左隣セル200Lの出力バッファ120Lの出力値である。左隣セル200Lの出力バッファ120Lの右端の共有画素210には図16(A)の左端共有画素210と同様に共有化出力階調値「28」が出力されている。そこで,その出力値が加算され(S22),図16(C)のようにセル200Rの出力バッファ120Rには左端の共有画素210に対して出力値「56」が書き込まれる。よって,この出力値「56」にしたがってこの共有画素の画像形成が印刷エンジンで行われる。
[第4の入力階調値例]
図17は,第4の入力階調データの例を示す図である。図17(A)の画素マトリクスの中央上部に高い階調値が集中していて,その領域の左右にセル200L,200Rが配置されている。この場合,入力階調値「244」の画素が最大階調値となり両隣のセル200L,200Rの共有画素に対応している。図17(B)は,入力階調値に共有率を乗じて平均値や重点位置の演算を行う例であり,図17(C)は,本実施の形態のように入力階調値には共有率を乗じることなく平均値や重点位置の演算を行う例である。
図17(B)では,共有画素210の入力階調値が共有率0.5を乗算された「122」に減らされている。それにともなって,セル200L,200Rの平均入力階調値は「44(=(60+170+122)÷8)」となる。一方,図17(C)では,共有画素210の入力階調値「244」が共有率0.5を乗算されることなく採用されている。それにより,セル200L,200Rの平均入力階調値は「53(=(60+170+244)÷9)」となる。つまり,両者の平均入力階調値が異なっている。本実施の形態のように入力階調値が共有画素に偏っている場合は,共有率を乗じることなく入力階調値から平均値を求めるのが好ましい。
図18は,第4の入力階調データ例に対する重心位置を示す図である。図18(A)は,図17(B)の入力階調値について求めた重心位置を示す図である。黒点が重心位置であり,共有画素210の入力階調値に共有率を乗じているため,重心位置が共有画素210より内側にシフトしている。つまり,図17(A)の入力階調データによれば共有画素210の位置が最も階調値が高いのでそこに重心位置が来るのが望ましいが,図18(A)ではそうはなっていない。
一方,図18(B)は,図17(C)の入力階調値について求めた重心位置を示す図である。この場合は,共有画素の入力階調値に共有率が乗じられていないので,その重心位置は共有画素210内に位置している。つまり,最も階調値が高い位置に重心位置がきているので好ましい結果である。
さらに,理想出力合計値は,図18(A)では平均値「44」に対する「352」となっているが,図18(B)では平均値「53」に対する「430」となっているので,より好ましい結果になっている。
以上のように,本実施の形態では,入力階調値には共有画素数とその共有率を考慮せずに平均値や重心位置の演算を行い,理想出力合計値や共有化出力階調値は共有画素数とその共有率を考慮して演算している。したがって,入力画像データにより忠実に平均値や重心位置の演算を行うことができ,また,共有率を考慮することで過度に出力階調値が高くなることを回避している。
[その他のシステム構成例]
図19は,他のシステム構成例を示す図である。この例では,ホストコンピュータ10内にハーフトーン処理部211が設けられ,画像形成装置20内の画像処理装置21にはパルス幅変調部212が設けられている。つまり,ホストコンピュータ10にインストールされたプリンタドライバをコンピュータが実行することにより,上記したハーフトーン処理を行う。したがって,この場合は,ホストコンピュータ10は共有化出力階調値のデータを画像データとして画像形成装置20に出力する。したがって,プリンタドライバがハーフトーン処理プログラムを有することになる。
図20は,他のシステム構成例を示す図である。この例では,ホストコンピュータ10が出力する入力画像データがRGBのカラーデータである。それにともなって,画像形成装置20内の画像処理装置21はRGBをCMYKに変換する色変換処理部213を有する。そして,CMYKの4プレーンの入力階調値がハーフトーン処理部211に供給される。ハーフトーン処理部211は,4プレーンの入力階調値それぞれに対して,上記した点対称セルによるハーフトーン処理を行って共有化出力階調値データを生成する。
[他の実施の形態例]
上記の実施の形態では,ディザマトリクスをインデックスマトリクスと複数の多値ディザテーブルにより構成したが,それ以外に,インデックスマトリクスと多値ディザテーブルとを合体したディザマトリクスにしてもよい。つまり,ディザマトリクスは,セルの9画素に対応してそれぞれ多値ディザテーブルを有する構成になる。
また,ディザマトリクスを閾値マトリクスとし,入力階調値と比較して比較結果に応じてその画素にドット(トナー画素)を形成するようにしても良い。
さらに,上記の実施の形態では,階調値変換を共有化出力階調値が理想出力合計値を超えない範囲で繰り返している。セル内の全ての画素について階調値変換をしても共有化出力階調値の合計が理想出力合計値に達しない場合は,最大階調に達していない画素の出力階調値を増加させて理想出力合計値に達するように調整しても良い。そのような調整をすることで,出力を入力階調値データに整合させることができる。
本実施の形態における画像処理装置を有するシステム構成図である。 本実施の形態における画像処理装置21の構成図である。 本実施の形態におけるスクリーン構造を示す図である。 本実施の形態におけるスクリーン構造と共有率とを示す図である。 本実施の形態におけるハーフトーン処理のフローチャート図である。 本実施の形態におけるハーフトーン処理のフローチャート図である。 入力階調データの第1の例を示す図である。 セル内における重心位置とセル内の処理順を示す図である。 本実施の形態におけるディザマトリクスを示す図である。 図7の例における出力バッファ内の共有化出力階調値の例を示す図である。 入力階調データの第2の例を示す図である。 図11に対する重心位置,処理順,インデックスマトリクスを示す図である。 出力バッファに書き込まれる共有化出力階調値を示す図である。 入力階調データの第3の例を示す図である。 図14に対する重心位置,処理順,インデックスマトリクスを示す図である。 出力バッファに書き込まれる共有化出力階調値を示す図である。 第4の入力階調データの例を示す図である。 第4の入力階調データ例に対する重心位置を示す図である。 他のシステム構成例を示す図である。 他のシステム構成例を示す図である。 多値ディザ法における非対称セルと点対称セルとを比較した画像例を示す図である。 平均入力階調値と理想出力合計値との対応を示すテーブル例の図である。
符号の説明
200:セル 210:共有画素

Claims (13)

  1. 入力画像に対して複数の隣接画素で構成されるセルの単位でハーフトーン処理を行う画像処理装置において,
    点対称の複数の画素で構成された前記セルであって,隣接セルと少なくとも1つの共有画素を共有するセルに適用するように構成されたディザマトリクスを参照して,前記入力画像の入力階調データから前記セル内に網点を形成する出力階調データに変換するハーフトーン処理ユニットを有し,
    前記ハーフトーン処理ユニットは,
    前記セルを構成する画素の入力階調値とその合計値にしたがってセル内の重心位置を求める重心位置生成部と,
    前記セル内の重心位置の画素を前記ディザマトリクスの網点中心画素に対応させるように前記ディザマトリクスを参照して,前記入力階調値に対応する出力階調値を生成し,当該出力階調値に,前記共有画素を共有するセル数に対応した共有率を乗じた共有化出力階調値を前記出力階調データとして生成する階調値変換部とを有することを特徴とする画像処理装置。
  2. 請求項1において,
    前記ハーフトーン処理ユニットは,さらに,
    前記セルを構成する画素の入力階調値の平均値を求める平均入力階調値生成部と,
    前記平均入力階調値に対応して,当該セル内の複数の画素で出力すべき階調値の合計からなる理想出力合計値を生成する理想出力合計値生成部とを有し,
    前記階調値変換部は,前記セル内の網点中心画素からその周囲の画素への順番で前記共有化出力階調値を繰り返して生成し,前記セル内の前記共有化出力階調値の合計が前記理想出力合計値に達するまで前記共有化出力階調値の生成を繰り返すことを特徴とする画像処理装置。
  3. 請求項2において,
    前記階調値変換部は,前記セル内の共有化出力階調値の合計が前記理想出力合計値を超えたときは,当該生成した共有化出力階調値を前記理想出力合計値を超えないような階調値に変更することを特徴とする画像処理装置。
  4. 請求項2において,
    前記理想出力合計値生成部は,前記セル内の画素の入力階調値から前記共有画素の数とその共有率に応じて求められる値を前記理想出力合計値とすることを特徴とする画像処理装置。
  5. 請求項1において,
    前記重心生成部は,前記セル内の共有画素の数とその共有率に依存せずに,前記セル内の複数の画素の入力階調値と位置情報とに応じて前記重心位置を求めることを特徴とする画像処理装置。
  6. 請求項2において,
    前記平均入力階調値生成部は,前記セル内の共有画素の数とその共有率に依存せずに,前記セル内の複数の画素の入力階調値と画素数とに応じて前記平均入力階調値を求めることを特徴とする画像処理装置。
  7. 請求項2において,
    前記理想出力合計値生成部は,前記出力画像データにより画像を形成する画像形成装置の出力特性を補正する理想出力合計値を,前記平均入力階調値に対応して有する理想出力合計値テーブルを有し,当該理想出力合計値テーブルを参照して前記平均入力階調値に対応する理想出力合計値を生成することを特徴とする画像処理装置。
  8. 請求項1において,
    前記ハーフトーン処理ユニットは,前記共有画素においては,当該共有画素を共有するセルに対するハーフトーン処理で生成された前記共有化出力階調値を累積して前記出力階調データとすることを特徴とする画像処理装置。
  9. 入力画像に対して複数の隣接画素で構成されるセルの単位でハーフトーン処理を行う画像処理方法において,
    点対称の複数の画素で構成された前記セルであって,隣接セルと少なくとも1つの共有画素を共有するセルに適用するように構成されたディザマトリクスを参照して,前記入力画像の入力階調データから前記セル内に網点を形成する出力階調データに変換するハーフトーン処理工程を有し,
    前記ハーフトーン処理工程は,
    前記セルを構成する画素の入力階調値とその合計値にしたがってセル内の重心位置を求める重心位置生成工程と,
    前記セル内の重心位置の画素を前記ディザマトリクスの網点中心画素に対応させるように前記ディザマトリクスを参照して,前記入力階調値に対応する出力階調値を生成し,当該出力階調値に,前記共有画素を共有するセル数に対応した共有率を乗じた共有化出力階調値を前記出力階調データとして生成する階調値変換工程とを有することを特徴とする画像処理方法。
  10. 請求項9において,
    前記ハーフトーン処理工程は,さらに,
    前記セルを構成する画素の入力階調値の平均値を求める平均入力階調値生成工程と,
    前記平均入力階調値に対応して,当該セル内の複数の画素で出力すべき階調値の合計からなる理想出力合計値を生成する理想出力合計値生成工程とを有し,
    前記階調値変換工程では,前記セル内の網点中心画素からその周囲の画素への順番で前記共有化出力階調値を繰り返して生成し,前記セル内の前記共有化出力階調値の合計が前記理想出力合計値に達するまで前記共有化出力階調値の生成を繰り返すことを特徴とする画像処理方法。
  11. 入力画像に対して複数の隣接画素で構成されるセルの単位でハーフトーン処理を行う画像処理プログラムにおいて,
    コンピュータを,
    点対称の複数の画素で構成された前記セルであって,隣接セルと少なくとも1つの共有画素を共有するセルに適用するように構成されたディザマトリクスを参照して,前記入力画像の入力階調データから前記セル内に網点を形成する出力階調データに変換するハーフトーン処理ユニットを有するよう構成するプログラムであって,
    前記ハーフトーン処理ユニットが,
    前記セルを構成する画素の入力階調値とその合計値にしたがってセル内の重心位置を求める重心位置生成部と,
    前記セル内の重心位置の画素を前記ディザマトリクスの網点中心画素に対応させるように前記ディザマトリクスを参照して,前記入力階調値に対応する出力階調値を生成し,当該出力階調値に,前記共有画素を共有するセル数に対応した共有率を乗じた共有化出力階調値を前記出力階調データとして生成する階調値変換部とを有するように構成する画像処理プログラム。
  12. 請求項11において,
    前記ハーフトーン処理ユニットが,さらに,
    前記セルを構成する画素の入力階調値の平均値を求める平均入力階調値生成部と,
    前記平均入力階調値に対応して,当該セル内の複数の画素で出力すべき階調値の合計からなる理想出力合計値を生成する理想出力合計値生成部とを有するように構成するプログラムであって,
    前記階調値変換部は,前記セル内の網点中心画素からその周囲の画素への順番で前記共有化出力階調値を繰り返して生成し,前記セル内の前記共有化出力階調値の合計が前記理想出力合計値に達するまで前記共有化出力階調値の生成を繰り返すことを特徴とする画像処理プログラム。
  13. 入力画像に対して複数の隣接画素で構成されるセルの単位でハーフトーン処理を行う画像処理装置において,
    点対称の複数の画素で構成された前記セルであって,隣接セルと少なくとも1つの共有画素を共有するセルに適用するように構成されたディザマトリクスを参照して,前記入力画像の入力階調データから前記セル内に網点を形成する出力階調データに変換するハーフトーン処理ユニットを有し,
    前記ハーフトーン処理ユニットは,
    前記セルを構成する画素の入力階調値とその合計値にしたがってセル内の重心位置を求める重心位置生成部と,
    前記セル内の重心位置の画素を前記ディザマトリクスの網点中心画素に対応させるように前記ディザマトリクスを参照して,前記入力階調値に対応する出力階調値を前記出力階調データとして生成する階調値変換部とを有することを特徴とする画像処理装置。
JP2006011018A 2006-01-19 2006-01-19 固定セルによるハーフトーン処理を行う画像処理装置,画像処理方法,及び画像処理プログラム Active JP4479663B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006011018A JP4479663B2 (ja) 2006-01-19 2006-01-19 固定セルによるハーフトーン処理を行う画像処理装置,画像処理方法,及び画像処理プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006011018A JP4479663B2 (ja) 2006-01-19 2006-01-19 固定セルによるハーフトーン処理を行う画像処理装置,画像処理方法,及び画像処理プログラム

Publications (2)

Publication Number Publication Date
JP2007194904A true JP2007194904A (ja) 2007-08-02
JP4479663B2 JP4479663B2 (ja) 2010-06-09

Family

ID=38450242

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006011018A Active JP4479663B2 (ja) 2006-01-19 2006-01-19 固定セルによるハーフトーン処理を行う画像処理装置,画像処理方法,及び画像処理プログラム

Country Status (1)

Country Link
JP (1) JP4479663B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8711436B2 (en) 2007-09-06 2014-04-29 Seiko Epson Corporation Tint block image generation program and tint block image generation device
US9147140B2 (en) 2013-03-22 2015-09-29 Canon Kabushiki Kaisha Image processing apparatus, method, and product for converting image data into fewer gradations based on total value of pixels in a group except for a detected pixel having a specific value
EP2958313A1 (en) 2014-06-18 2015-12-23 Canon Kabushiki Kaisha Image processing apparatus, image processing method and program
JP2020082694A (ja) * 2018-11-30 2020-06-04 キヤノン株式会社 ディザマトリクスの生成装置、生成方法、当該ディザマトリクスを用いた画像処理装置、画像処理方法、及びプログラム

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8711436B2 (en) 2007-09-06 2014-04-29 Seiko Epson Corporation Tint block image generation program and tint block image generation device
US9147140B2 (en) 2013-03-22 2015-09-29 Canon Kabushiki Kaisha Image processing apparatus, method, and product for converting image data into fewer gradations based on total value of pixels in a group except for a detected pixel having a specific value
CN109510918A (zh) * 2014-06-18 2019-03-22 佳能株式会社 图像处理装置及图像处理方法
CN105282392A (zh) * 2014-06-18 2016-01-27 佳能株式会社 图像处理装置及图像处理方法
JP2016021735A (ja) * 2014-06-18 2016-02-04 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
US9569706B2 (en) 2014-06-18 2017-02-14 Canon Kabushiki Kaisha Image processing apparatus, image processing method and program
EP2958313A1 (en) 2014-06-18 2015-12-23 Canon Kabushiki Kaisha Image processing apparatus, image processing method and program
US10534987B2 (en) 2014-06-18 2020-01-14 Canon Kabushiki Kaisha Image processing apparatus image processing method and program
US10650294B2 (en) 2014-06-18 2020-05-12 Canon Kabushiki Kaisha Image processing apparatus, image processing method and program
CN109510918B (zh) * 2014-06-18 2020-09-11 佳能株式会社 图像处理装置及图像处理方法
EP3709622A1 (en) 2014-06-18 2020-09-16 Canon Kabushiki Kaisha Image processing apparatus, image processing method and program
JP2020082694A (ja) * 2018-11-30 2020-06-04 キヤノン株式会社 ディザマトリクスの生成装置、生成方法、当該ディザマトリクスを用いた画像処理装置、画像処理方法、及びプログラム
JP7242272B2 (ja) 2018-11-30 2023-03-20 キヤノン株式会社 ディザマトリクスの生成装置、生成方法、当該ディザマトリクスを用いた画像処理装置、画像処理方法、及びプログラム

Also Published As

Publication number Publication date
JP4479663B2 (ja) 2010-06-09

Similar Documents

Publication Publication Date Title
JP4596473B2 (ja) ディザマトリクス作成方法、装置、画像形成装置、プログラムおよび記録媒体
JP2006191487A (ja) 閾値マトリクス生成方法、閾値マトリクス生成装置および記録媒体
JP2006129476A (ja) デュアルハーフトーンを用いるレーザプリント装置
JP2017130751A (ja) 画像処理装置及び画像処理方法、プログラム
JP2007060111A (ja) 階調処理装置および方法
JP4479663B2 (ja) 固定セルによるハーフトーン処理を行う画像処理装置,画像処理方法,及び画像処理プログラム
JP2004042325A (ja) プリンタ及びその画像処理装置
JP2007019608A (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
US20050046903A1 (en) Image processing device, image processing method and image processing program
JP4108517B2 (ja) ハーフトーン化処理方法及びハーフトーン化処理システム
JP2015104804A (ja) 画像処理装置、画像処理方法及びプログラム
JP3244081B2 (ja) 電子写真装置及び電子写真の画像処理方法
JP4492619B2 (ja) プリンタ及びその画像処理装置
JP4775909B2 (ja) 画像処理装置、画像処理方法、プログラム、記録媒体および画像形成装置
JP2004282344A (ja) 画像処理方法
JP2009135637A (ja) 画像処理装置、画像処理方法及びプログラム
JP4479665B2 (ja) ハーフトーン処理を行う画像処理装置,画像処理方法,及び画像処理プログラム
JP2007194688A (ja) 画像処理装置、画像処理方法、画像処理プログラムおよびそのプログラムを記録した記録媒体
JP4965378B2 (ja) 画像形成方法および画像形成システム
JP2005117642A (ja) ハーフトーン処理方法、画像処理装置、画像処理方法、及びプログラム
JP4020115B2 (ja) 電子写真の画像処理装置及びその方法
JP4251119B2 (ja) 画像処理装置およびプログラム
JP4337670B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP4218560B2 (ja) 画像処理装置およびプログラム
JP2005039413A (ja) 画像処理装置、画像処理方法、及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080723

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100217

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100223

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100308

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130326

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140326

Year of fee payment: 4

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350