JP2004007274A - Gradation conversion device and color conversion device - Google Patents

Gradation conversion device and color conversion device Download PDF

Info

Publication number
JP2004007274A
JP2004007274A JP2002160559A JP2002160559A JP2004007274A JP 2004007274 A JP2004007274 A JP 2004007274A JP 2002160559 A JP2002160559 A JP 2002160559A JP 2002160559 A JP2002160559 A JP 2002160559A JP 2004007274 A JP2004007274 A JP 2004007274A
Authority
JP
Japan
Prior art keywords
color
characteristic
conversion
pixel
principal component
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002160559A
Other languages
Japanese (ja)
Other versions
JP4077660B2 (en
Inventor
Nobuyuki Watanabe
渡辺 伸之
Yasuhiro Komiya
小宮 康宏
Takeshi Ioka
井岡 健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2002160559A priority Critical patent/JP4077660B2/en
Publication of JP2004007274A publication Critical patent/JP2004007274A/en
Application granted granted Critical
Publication of JP4077660B2 publication Critical patent/JP4077660B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide a gradation conversion device and a color conversion device capable of storing correction data with small memory capacity by reducing color conversion characteristic data for performing color matching of a plurality of printer heads and correction data for color correction of a projector, and more reducing correction data for gradation conversion processing such as γ correction especially. <P>SOLUTION: By performing compression of the gradation conversion characteristics or the color conversion characteristics of respective areas or respective pixels of an image output device such as a projector and a printer by a principal component analysis method, correction data for gradation conversion or color conversion can be stored with small memory capacity and gradation conversion or color conversion can be performed almost equivalently to the case of no compression. <P>COPYRIGHT: (C)2004,JPO

Description

【0001】
【発明の属する技術分野】
本発明は,デジタルカラー複写機,カラープリンタ、プロジェクタなどにおける階調または色信号を変換する階調変換装置及び色変換装置に関する。
【0002】
【従来の技術】
近年,カラー画像を扱うメディアは様々な形態で発達してきている。例えば、カラースキャナにより文字・画像を読み取り,コンピュータのディスプレイ上で編集・加工し,その結果をカラープリンタなどによりプリント出力するシステムが知られている。
【0003】
しかし,この場合,ディスプレイ上で再現される色とプリント出力される色とは色再現の方法や混色系(RGB,CMY)の違い,および色再現範囲(ガマット)の不一致により相互に異なる色となることもよく知られていることである。
【0004】
特に、プリンタなどの出力装置ではその印刷速度を上げるために複数のヘッドを並列で駆動する方式がとられており、これら複数のヘッドの出力特性を考慮して、複数の色変換特性(カラープロファイル)のデータを持つようにして、全てのヘッドでのカラーマッチングを採る方法が考えられる。
【0005】
また一方、複数のプロジェクタを用いた表示システムも開発されている。このシステムでは特開2000−253263号公報のようにプロジェクタの投影画像をそれぞれオーバーラップさせ、複数のプロジェクタの画像が繋がるように色補正を行っている。
【0006】
【発明が解決しようとする課題】
しかしながら,プリンタの場合に上述の複数のヘッドの数を多くすると、プリンタのスループット(効率)が向上する反面、大量の色変換特性(カラープロファイル)のデータを持つようにして、全てのヘッドでのカラーマッチングをとるようにしなければならなかった。このため、大量のメモリを搭載しなければならないという問題があった。
【0007】
特に、高速プリントを目標としたシステムではプリンタヘッドを図17のように副走査方向(用紙搬送方向)に複数並べて印刷するが、各ヘッドが位置ずれなく取り付けられていない場合には印字領域に色むらを生じてしまう。
【0008】
例えば、図17の例ではCMYK(シアン,マゼンタ,イエロー,黒)の4色の各ヘッドの並びが、C(シアン)ヘッドだけ異なることを示している。この場合に印字結果は図18のように、KMYヘッドの印字ドットは同じ位置に印字されるが、Cヘッドだけが異なる位置に印字されてしまう。つまり、図18ではヘッドの左側は一致しているが、ヘッドの右側に行くに従いずれが大きくなることを示しておりヘッド内で色むらが生じてしまう。
【0009】
通常、カラープリンタシステムでは色処理にカラープロファイルが利用されるが、これはヘッドがきちんと位置決めされ、印字されるドットが全て同じ位置に印字されることを前提に作成されている。なお、カラープロファイルは、それぞれのカラープリンタからどんな色が出力されるかという情報が書かれたものであり、オペレーティングシステム(OS)のカラーマネジメントシステム(CMS)という機能でカラープロファイルの設定が行えるようになっている。
【0010】
図18のような場合には、ヘッド印字幅内で各色の印字ドットの重なりが異なり、1ヘッドの印字幅の中でも印字ドット間で印字色の特性が異なることから、ヘッド内でカラープロファイルを切り替えるような処理が必要となる。例えば、ドットまたは微小領域毎にカラープロファイルを切り替えるとすれば、色むらもなくなり良好な印字が期待されるが、カラープロファイルのデータ量が莫大になる。
【0011】
カラープロファイルによる処理機能を実現するには、図19のようにCMYK変換マトリクスとγ補正部で構成したり、図20のようにCMYK変換テーブルのみで構成する場合がある。
【0012】
図19では、各ドットに対応したRGB入力データが、それぞれのドットに対応したカラープロファイル、つまりCMYK変換マトリックスにより、印字色のC、M、Y、Kに変換されてから、それぞれのドットに対応したγ補正が行われ、対応する印字ヘッドに出力され印字される。なお、各ドットの色特性の違いのほか、濃度特性も違う場合は、図19のγ補正が必要であるが、各ドットに濃度特性の違いがない場合は図20のようにRGB入力データがCMYK変換テーブルでCMYKデータに変換するだけの処理手順となる。
【0013】
一方、プロジェクタを用いた表示システムでは、図21のようにプロジェクタ単体でのRGBデータの色補正はマトリクス補正とRGB各色に対するγ補正により行われる。プロジェクタのγ特性はDLPプロジェクタ(DLPはDigital Light Processingの略)では画面内でほとんど均一であるが、LCDプロジェクタ(LCDはLiquid Crystal Displayの略)では画面内でのばらつきが10%あるためγ補正は画像内で適応的に行う必要があり、この場合にはγ補正部が莫大になる。
【0014】
また、特開2001−215642号公報に示すものは、図22のように複数のプロジェクタ10r,10sを利用して高精細表示を行うものであるが、スクリーン20上でのオーバーラップ部分の輝度上昇を抑えるために光量制限手段30として遮光板を利用している。この遮光板は光束を遮ることになるため、LCDプロジェクタの場合にはこの遮光部分(図22の領域A)で急激にγ特性が変化する。この変化に対応するには画素毎、または微小領域毎に補正するγ特性を変化させる必要があり、やはりγ補正演算が膨大となる。
【0015】
本発明は上記の状況に鑑み、複数のプリンタヘッドのカラーマッチングをとるための色変換特性のデータや、プロジェクタの色補正の際の補正データを少なくし、特にγ補正等の階調変換処理での補正データをより少なくし、これら補正データを少ないメモリ容量で保持できる階調変換装置及び色変換装置を提供することを目的とするものである。
【0016】
【課題を解決するための手段】
第1の発明は、画像信号の表示または印刷を行う出力装置の階調変換特性に合わせて、入力の画像信号に対して階調の変換を行う階調変換装置において、複数の領域または画素の階調変換特性に対して、複数の領域または画素における階調変換特性の平均特性と、平均特性と各々の領域または画素での階調変換特性の差分特性に対する適切な次数の主成分信号を記憶する手段と、各領域または画素に対応した主成分の係数を記憶する手段と、各々の領域または画素の画像入力信号に対して、前記主成分信号と前記主成分の係数との線形結合によって階調変換特性を表現する手段とを備えていることを特徴とする。
【0017】
なお、第1の発明の階調変換装置において、前述の平均特性と、主成分信号を量子化して記憶する場合に、各々の信号の寄与率によって、量子化のビット幅を変更する手段を備え、記憶させることが好ましい。
【0018】
第2の発明は、マルチバンドの入力のカラー画像信号に対して、CIE−XYZまたはL*a*b*等のデバイスインディペンデントな色空間に変換した後、出力装置の複数の領域または画素の色出力特性に合わせて、カラープロファイルの変換を行う色変換装置において、複数の領域または画素のカラープロファイル変換特性の平均特性と、平均特性と各々の領域または画素でのカラープロファイル変換特性の差分特性に対する適切な次数の主成分信号を記憶する手段と、各々の領域または画素に対応した主成分の係数を記憶する手段と、各々の領域または画素で出力すべきデバイスインディペンデントな色信号に対して、前記主成分信号と前記主成分の係数との線形結合によってカラープロファイル変換特性を表現する手段とを備えていることを特徴とする。
【0019】
なお、第2の発明の色変換装置において、前述の平均特性と、主成分信号を量子化して記憶する場合に、各々の信号の寄与率によって、量子化のビット幅を変更する手段を備え、記憶させることが好ましい。
【0020】
第3の発明は、画像信号の表示または印刷を行う出力装置の階調変換特性に合わせて、入力の画像信号に対して階調の変換を行う階調変換装置において、複数の領域または画素の階調変換特性に対して、複数の領域または画素における階調変換特性の平均特性と、平均特性と各々の領域または画素での階調変換特性の差分特性に対する適切な次数の主成分信号と、各領域または画素における主成分信号の係数を算出し、さらに主成分の係数空間において、係数の分布を元にクラスタリングを行い、標本となる係数または係数ベクトルを算出する手段と、前述の平均特性と、差分特性の主成分と標本となる係数または係数ベクトルから、標本となる階調変換特性の曲線を算出する手段と、前述のクラスタリングにより、各クラスタを構成する係数の集合と標本となる係数を対応させる手段と、領域または画素における主成分の係数と標本となる階調変換特性を結びつけるようなルックアップテーブルを作成する手段とを備え、前述の標本となる階調変換特性の曲線と、各領域または画素に対応するルックアップテーブルを記憶し階調変換を行うことを特徴とする。
【0021】
第4の発明は、マルチバンドの入力のカラー画像信号に対して、CIE−XYZまたはL*a*b*等のデバイスインディペンデントな色空間に変換した後、出力装置の複数の領域または画素の色出力特性に合わせて、カラープロファイルの変換を行う色変換装置において、出力装置の複数の領域または複数の画素の色出力特性に基づいて、作成したガマットマッピングの重複した領域のみを抽出し、その重複した領域に対して、複数の領域のカラープロファイル変換特性に対して、平均特性と各々の領域でのカラープロファイル変換特性の差分特性に対する適切な次数の主成分信号を算出する手段と、各領域または画素に対応した主成分の係数を記憶する手段と、前記出力装置の各々の領域または画素に対応したカラープロファイル変換特性を前記差分特性の主成分係数によって表現する手段とを備えていることを特徴とする。
【0022】
なお、第4の発明において、出力装置の複数の領域または複数の画素の色出力特性に基づいて、作成したガマットマッピングの重複した領域と、重複の無い領域を分割し、重複している領域に対して、主成分の係数として記憶し、重複の無い領域に関しては、個々のカラープロファイルの変換特性を記憶し、前記の出力装置の複数の領域または複数の画素に対応するカラープロファイル変換特性を、前記重複領域の主成分の係数と、前記非重複領域のカラープロファイル変換特性の合成により生成する手段を、さらに備えていることが好ましい。
【0023】
【発明の実施の形態】
発明の実施の形態について図面を参照して説明する。
〔第1の実施の形態〕
図1〜図5は本発明の第1の実施の形態の階調変換装置に係るものである。図1は階調変換装置の構成を示している。この実施の形態は、プロジェクタへの応用を例として示している。
【0024】
プロジェクタは画面内の各位置で階調変換特性(一般にγ特性と呼ぶ)が異なる。ここで各位置とは、具体的には画面を構成する複数の領域または画素を意味している。画面内の各位置でγ特性が異なるために、輝度を上げていくと面内に色むらが生じる。この色むらを解消するためには、プロジェクタ自身のもつγ特性をキャンセルするように、プロジェクタの画面内の各位置での入力信号に対して階調変換(逆γ補正演算)を行う。本実施形態は、この逆γ補正演算を少ないメモリ容量で行うようにしたものである。
【0025】
画像信号生成手段101で生成された入力の画像信号101に対して、第1のレベル変換手段102にて複数の領域または画素における逆γの平均特性のレベル変換を行う一方、第2のレベル変換手段103−1,103−2,…103−Nにて前出の平均特性と各々の領域または画素での逆γの差分特性の主成分によるレベル変換を行う。なお図1中の256Byte*Nは、データ容量を表しており、主成分を256個の1バイトの整数で表した場合に第N成分までで合計256byteのデータをN個記録する必要があることを示している。
【0026】
また一方、アドレス生成手段104にて生成された各領域または画素のアドレスに対して、各領域または画素の主成分の係数a1,a2,…aNを持たせたテーブル105をメモリ手段に記憶しておく。
【0027】
そして、第2のレベル変換手段103−1,103−2,…103−Nにて各々の領域または画素での逆γの差分特性の主成分でレベル変換した信号に対して、乗算器106−1,106−2,…106−Nでテーブル105に記憶された各領域または画素に対する主成分の係数a1,a2,…aNを乗算する。なお、上述のNは主成分の数である。
【0028】
乗算器106−1,106−2,…106−Nによる乗算結果は、加算器107において各主成分の和が取られ、さらにその加算結果と第1のレベル変換手段102からの平均特性との和を加算器108で取り、階調変換された信号値Sとして出力される。
【0029】
次に、上述の第1の実施形態での、第1のレベル変換手段における逆γの平均特性と第2のレベル変換手段における逆γの差分特性の主成分の各算出方法について説明する。換言すれば、複数の領域または画素の階調変換特性に対して、複数の領域または画素における階調変換特性の平均特性と、この平均特性と各々の領域または画素での階調変換特性の差分特性に対する適切な次数の主成分信号を求める。
【0030】
図2に示すように、予め、領域または画素ごとに測定して求めた階調変換特性(γ特性)をγa,γb,…とする。従来は、γ特性を離散的に求めて、その中間点に関しては、双1次補間等の方法で補完的に求めていた。この方法を用いるにしても、その格子点の数だけの曲線を記憶しておかなければならない。これに対して、本第1の実施形態では、まず全ての領域または画素のγ特性の平均の特性を算出し(図3(a)参照)、それぞれの領域a,b,…でのγ特性と平均の特性との差分特性の主成分分析を行う(図3(b)参照)。
【0031】
差分特性に関して、各領域あるいは画素を試行回数と見なし、共分散行列を求め、その行列に対して正規直交変換を行う。このようにして求めた主成分とそれぞれの差分特性を各々係数ベクトルと見なしそれらの内積を各領域または画素における主成分の係数a1,a2,…aNとする。
【0032】
差分の信号に対して主成分分析を行うのは、2つの効果がある。1つは、各γ特性に対して平均特性の寄与と主成分の寄与に分割できるために、それらの寄与率に応じて量子化のビット幅を変更できるためである。従って、平均特性と主成分信号を量子化して記憶する場合に、各々の信号の寄与率によって、量子化のビット幅を変更する手段を設け、メモリに記憶させることで記憶容量を少なくできる。例えば、輝度信号を256階調で表現する場合に、原信号に対しての第1主成分の寄与率が平均特性に対して10%程度である場合には、平均の特性を8bitで表し、第1主成分は5bitで良い、さらに高次の主成分では寄与率が下がるのでそれに応じて記憶手段としてのレジスタのビット幅を変更するようにすれば良い。もう1つは、直交変換の計算の工夫で、共分散行列から固有ベクトルを求めるに際して、仮にランク落ちがあったとしても誤差を解消することが出来るからである。
【0033】
このようにして、逆γの平均特性と逆γの差分特性の主成分を算出して記憶し、図4のように各領域または画素のγ特性はこれらの線形結合で表現する。各領域または画素に対しては各主成分の係数を求めるようにすればよい。記憶する主成分の次数に関しては、復元できるγ特性と実際の特性の誤差によって評価し、実用上問題にならない誤差になるまでの次数を採用する。
【0034】
第1の実施形態では、入力画像信号における各領域または画素のγ特性をキャンセルするような階調変換を行うために、実際にメモリ手段に記憶するのは、平均γ特性の逆変換特性と、差分信号の主成分の逆変換特性ということになる。これにより、補正に必要なメモリ容量が少なくて済むという利点を生ずる。
【0035】
図5は、図1の本実施の形態に対する変形例である。図5では、図1における第1のレベル変換手段102で画像信号に逆γの平均特性を乗算した信号を、加算器108に入力する一方、第2のレベル変換手段103−1’,103−2’,…103−N’に入力する構成としたことと、これに伴い、第2のレベル変換手段103−1’,103−2’,…103−N’を構成する主成分を記憶する各レジスタには、逆γの差分特性の主成分に平均のγ特性でレベル変換したものを記憶しておく構成としたことである。このような構成により、図1と同様な作用効果が得られる。なお図5中の(逆γの差分特性の主成分)*(平均のγ特性)は、それぞれの特性曲線がベクトル(数の配列)で表せたときの積を表している。この積はベクトルの要素毎に積を示している。すなわち逆γ特性のk番目の成分と平均のγ特性のk番目の値の積を出力特性のk番目の値とするものである。
【0036】
〔第2の実施の形態〕
図6〜図11は本発明の第2の実施の形態の色変換装置に係るものである。この実施の形態は、カラープリンタへの応用を例として示している。
【0037】
従来のカラープリンタのような出力装置では、複数のプリンタヘッドによるマルチヘッドを用いる場合に、各プリンタヘッドの色変換特性の差違をキャンセルする必要がある。図6(a)に示すように、デバイスインディペンデントなXYZ色空間で或る値を示す色Xi,Yi,Ziに対して、第1のプリンタヘッド(1)を制御する信号をC,M,Y,Kとする。第2の別のヘッド(2)では図6(b)に示すようにXi,Yi,Ziに対して制御信号をC’,M’,Y’,K’としなければならないとする。これらの発色を統一させようとすると各ヘッドごとに色変換を行うカラーマネージメントのテーブルを持っていなければならない。従って、カラープリンタは、図7に示すようにカラー信号生成手段121で生成されたカラー信号は分配器122にて複数の信号に分解され、各信号ごとの変換テーブル(1,2,…N)を通して各ヘッド(1,2,…N)に供給される構成とすることが必要があり、ヘッドの数が多くなるほど変換テーブルの数も多くなり大量のメモリを必要とする。なお、カラープロファイル変換の場合、3次元の引数(RGB)に対して4つの変数(CMYK)を与えるようなテーブルになっている。
【0038】
そこで、本第2の実施の形態では、前記第1の実施の形態で図2、図3を用いて説明した主成分分析の手法と同等に全てのヘッドのカラープロファイルの平均特性を求める。なお第2の実施の形態では、γ特性あわせるかわりに各プリントヘッドの色変換特性をあわせる。例えば、まず算術平均を用いてCMYKの各インク色ごとに各プリンタヘッドの領域または画素ごとの平均特性を求める。次に、それぞれのヘッドに対して平均のカラープロファイルの差分特性を求める。各ヘッドの差分特性に対して、主成分分析を行う。次に各ヘッドの差分特性と主成分の内積から主成分の係数を算出する。
【0039】
このようにして求めた平均のカラープロファイルと、差分特性の主成分を記憶する。採用する主成分の次数に関しては上述と同様に誤差を評価して行う。
【0040】
図8及び図9は、第2の実施形態の色変換装置の構成を示している。
図8はCMYKの1個の出力特性を示す構成である。図9ではこれらの特性をCMYKの各色に割り当てた構成になっている。図9では、カラー信号生成手段201からのカラー信号(XYZ)が供給されカラープロファイルの変換を行う色変換装置をCMYKの4つのバンド分で構成し(符号200−1〜200−4にて示す)、プリンタヘッドのCMYKの4つのインクヘッド(符号203−1〜203−4にて示す)を制御する構成となっている。
【0041】
図8において、各ヘッド(例えばヘッド203−1)に対して、上述の方法で求めた主成分の係数a1,a2,…aNをテーブル204としてメモリ手段に記憶する。この場合、CMYKの各信号に関して必要な主成分の次数分だけのテーブルを持っている。XYZカラー信号201に対して、差分特性に関する第1,第2,…第Nの主成分を有する変換手段202−1,202−2,…202−Nにより差分のカラー成分を求め、各ヘッドに割り当てられた相当する色の主成分の係数a1,a2,…aNを乗算器205−1,205−2,…205−Nにて乗ずる。そして、ヘッド個々の出力特性信号から差分特性の主成分に係数a1,a2,…aNを乗じた信号の和を加算器206にて求め、さらに加算器207でカラー信号生成手段201からの平均のカラープロファイルに加算して、色変換された信号値Sを得る。なお、通常プリンタヘッドではインク色としてCMYKを用いており加法・減法混色が成立しないので、カラー信号の全ての組み合わせに対してヘッドの各色の特性を持っていなければならない。
【0042】
マルチヘッドのプリンタでは、図10(a)〜(c)に示す手順で、測色の結果から複数のガマットマッピングのデータ圧縮を行う。これについて図10及び図11を参照して説明する。
【0043】
図10では、各プリンタヘッドに対して、図10(a)のような所定の制御信号によって例えばインクの吐出を制御して、その吐出結果を測色計によって図10(b)のようにXYZ色で測定する。この関係の逆変換を行い、図10(c)に示すようにXYZ色空間からインクの吐出量を求められるようなテーブルを作成する。これを複数のヘッドについて行うとガマット境界が一致しないという不具合が生じる。これによって、彩度または輝度がガマットマッピングの周辺になるにつれて表現できない色が出てくる。そこで、図11に示すように、ガマットマッピングの重複した領域のみを抽出し、その重複した領域に対して、複数の領域のカラープロファイル変換特性に対して、平均特性と各々の領域でのカラープロファイル変換特性の差分特性に対する適切な次数の主成分信号を算出することによって、出力装置の、各領域、あるいは各画素に対応したカラープロファイルを主成分の係数として記憶する。つまり、重複した領域については、主成分による圧縮が行われる。さらに、重複の無い領域に関しては、個々領域または画素に対するカラープロファイルの変換特性を非圧縮で記憶する。この様にして得られた、主成分の係数と非圧縮の色変換特性を合成して記憶させ、出力装置の複数領域または複数画素に対応するカラープロファイル変換特性とする。
【0044】
なお、本第2の実施形態では、ヘッド間で色が異なることを前提に説明をしたが、図17のような場合にはヘッド内でも色が異なることもあり、このような場合に対しても本実施形態が適用できることは当然である。
【0045】
以上述べた第1,第2の実施形態では、記憶するデータ容量が減少する利点を有しているが、乗算器を必要としており演算負荷は重いという欠点を有する。そこで、次の第3の実施形態では演算を非常に軽くする方式に関して説明する。
【0046】
〔第3の実施の形態〕
図12及び図13は本発明の第3の実施の形態の階調変換装置に係るものである。
【0047】
演算を軽くする方式としては、補正するγ特性を予め計算しておき、単に選択する方式とするものである。但し、「γ特性曲線の8ビットの入力信号に関して0〜255のレベルをN個に分割して、N次元の係数空間に展開してクラスタリングを行うことによって、所定の誤差以内に収まるような標本のγ特性曲線を求める方法」に比べて、図12に示すように、予め主成分分析を行って各サンプルの特徴曲線を主成分の係数空間によって展開する方法を用いれば、クラスタリングによる分離の効率が良い。このとき前述のように計算の精度を考慮して、平均特性と差分特性に分離してから、主成分分析を行うようにしても良い。
【0048】
まず、図12のように、主成分の係数空間でクラスタリングを行い主成分の係数の標本値を求め、この標本値から、標本となるγ特性曲線を求める。このときクラスタの大きさから誤差を評価し、実用上問題とならない程度の誤差に収まるようにクラスタリングを行う。
【0049】
図12の楕円は、そこに含まれる各点*は主成分の係数(1〜N)の値をもったN次元の値で、各点をクラスタ(楕円)で分類することによって、クラスタの代表値でそのクラスタに含まれる各点の特性を表す。すなわち、このようなクラスタリングを行わなかった場合、各点*の特性を記憶しなければならないが、クラスタリングを行うことによって各点*がどのクラスタに帰属しているかということだけを記憶しておけばよいので、メモリ容量の節約になる。各クラスタの代表値のことを「標本」と言っている。
【0050】
各クラスタを構成する係数の集合と標本となる係数が結びつけられているので、或る領域または画素における主成分の係数と標本となる階調変換特性を結びつけるようなルックアップテーブルが作成できる。
【0051】
そして、前述の標本となる階調変換特性の曲線と、各領域または画素に対応するルックアップテーブルとをそれぞれメモリ手段に記憶して、階調変換を行う。
【0052】
図13は上述した第3実施形態の階調変換装置の構成を示している。N個のγ特性を記憶したγ変換部401−1,…,4013−Nと、領域または画素における主成分の係数と標本となるγ特性を結びつけるテーブルを記憶したブロック対応γテーブル番号メモリ4003と、選択回路402とで構成されており、第1,第2実施形態のような演算回路は必要としない。第1〜第Nのγ変換部401−1,…,4013−Nに記憶されたγ特性は、上述のクラスタリングによって求めた標本のγ特性である。ブロック対応γテーブル番号メモリ4003に記憶するテーブルは、或る指定した領域または画素の主成分の係数とクラスタである標本のγ特性を対応させたルックアップテーブルになっている。このルックアップテーブルに基づき選択回路402でどのγ特性のカーブを用いるかが選択され、選択回路402から階調変換された信号値Sとして出力される。
【0053】
〔第4の実施の形態〕
図14〜図16は本発明の第4の実施の形態の色変換装置に係るものである。
【0054】
本第4の実施形態では、本発明をプリンタに応用する際のカラープロファイルの作成に関して説明する。図18に示したように、CMYKヘッドに位置ずれがある場合には最適にはヘッドのノズル毎にカラープロファイルを測定すべきであるが、処理工数が膨大になるため、所定エリア毎にプロファイルを測定するのが現実的である。
【0055】
図14に示すように例えばヘッド印字幅の1/5〜1/10程度の領域に対応したカラープロファイルを測定するのが処理工数的も有効である。そして、この図14のように各領域に対応してカラーパッチを印字する。パッチ数はプロファイルの作成方法にもよるがCMYKをそれぞれ8段階に分けるとすれば、8*8*8*8=4096パッチとなる。図14のハッチング部分が4096パッチあることを示している。なお、印字したパッチはをカメラや色度計等で撮影して、従来の方法を利用して各色の補正のための階調特性を算出する。
【0056】
また、変形例として図15のような単色のヘッドを複数並べたシステムに利用する場合について説明する。このシステムでは単一のヘッドより大きなエリアを印字できるため、高速なプリントができるというメリットを持つ。但し、ヘッドのつなぎめ付近では色変化が急激におきるため、図14で提案したカラープロファイル測定用のカラーパッチを図16のようにヘッドのつなぎ目付近でより細かくする。このようにカラープロファイル測定用パッチをヘッドのつなぎ目付近で細かくすることにより、パッチ数をあまり多くせずに高精度にカラープロファイルの測定が可能となる。なお、ヘッドが3つ以上繋がる場合等ではオーバーラップ部分の細かさはヘッドの位置ずれの大きさに応じて変化させるようにしてもよい。
【0057】
なお、印字したパッチの撮影に関しては特開2000−168109号公報のようなマルチスペクトルスキャナを利用してもよい。
【0058】
尚、以上述べた実施の形態では、デバイスインディペンデントな色空間としてCIE−XYZ表色系につき説明したが、本発明ではデバイスインディペンデントな色空間としてはCIE−L*a*b*表色系であっても良い。
【0059】
【発明の効果】
以上述べたように本発明によれば、プロジェクタやプリンタなどの出力装置の複数の領域または画素ごとの階調変換特性・色変換特性を、平均特性と差分特性の主成分との線形結合で近似的に表現することで、膨大な変換特性データを圧縮し、少ない記憶容量で出力装置の出力範囲の全体における輝度、色補正が行える。出力装置の低コスト化、小型化にもつながるものである。
【図面の簡単な説明】
【図1】本発明の第1の実施の形態の階調変換装置の構成を示すブロック図。
【図2】第1の実施形態での、第1のレベル変換手段における逆γの平均特性と第2のレベル変換手段における逆γの差分特性の主成分の各算出方法について説明するための図。
【図3】第1の実施形態での、第1のレベル変換手段における逆γの平均特性と第2のレベル変換手段における逆γの差分特性の主成分の各算出方法について説明するための図。
【図4】各領域または画素のγ特性をこれらの線形結合で表現するための図。
【図5】本発明の第1の実施の形態の変形例の階調変換装置の構成を示すブロック図。
【図6】複数のプリンタヘッドを有する従来のカラープリンタにおける、色変換の不具合を説明するための図。
【図7】複数のプリンタヘッドを有する従来のカラープリンタの構成を示すブロック図。
【図8】本発明の第2の実施形態の色変換装置の構成を示すブロック図(CMYKの1個の出力特性を示す構成)。
【図9】本発明の第2の実施形態の色変換装置の構成を示すブロック図(図8をCMYKの各色に割り当てた構成)。
【図10】マルチヘッドのカラープリンタにおける、測色の結果からのガマットマッピング(色域圧縮)を行う手順を説明する図。
【図11】マルチヘッドのカラープリンタにおける、測色の結果からのガマットマッピング(色域圧縮)を行う手順を説明する図。
【図12】本発明の第3の実施の形態の階調変換装置に係り、予め主成分分析を行って各サンプルの特徴曲線を主成分の係数空間によって展開する方法を説明する図。
【図13】本発明の第3の実施の形態の階調変換装置構成を示すブロック図。
【図14】カラープリンタにおいて、カラープロファイルを作成する際の、カラープロファイル測定用パッチを示す図。
【図15】単色のヘッドを複数並べたシステムを示す図。
【図16】図15のシステムを有するカラープリンタにおいて、カラープロファイルを作成する際の、カラープロファイル測定用のカラーパッチを示す図。
【図17】カラープリンタに使用されるマルチヘッドのうちのCヘッドが位置ずれして取り付けられている状態を示す図
【図18】図17の印字結果を示す図。
【図19】従来のカラープリンタにおける色変換装置を示すブロック図。
【図20】他の従来例の変換装置を示すブロック図。
【図21】プロジェクタ単体による従来の表示システムにおける色変換装置を示すブロック図。
【図22】複数のプロジェクタを用いた従来の表示システムにおいて階調補正を行う際の不具合を説明する図。
【符号の説明】
102 第1のレベル変換手段(γの平均特性のレベル変換)
103−1,103−2,…103−N 第2のレベル変換手段(平均特性と各々の領域または画素での逆γの差分特性の主成分によるレベル変換)
104 テーブル(各領域または画素の主成分の係数a1,a2,…aNを持ったテーブル)
106−1,106−2,…106−N 乗算器
[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a gradation conversion device and a color conversion device for converting a gradation or color signal in a digital color copying machine, a color printer, a projector, and the like.
[0002]
[Prior art]
In recent years, media handling color images have been developed in various forms. For example, a system is known in which characters and images are read by a color scanner, edited and processed on a computer display, and the result is printed out by a color printer or the like.
[0003]
However, in this case, the color reproduced on the display and the color printed out may differ from each other due to differences in color reproduction methods, color mixing systems (RGB, CMY), and inconsistencies in the color reproduction range (gamut). Is also well known.
[0004]
In particular, in an output device such as a printer, a method of driving a plurality of heads in parallel in order to increase the printing speed is employed. In consideration of the output characteristics of the plurality of heads, a plurality of color conversion characteristics (color profile ), A method of taking the color matching with all the heads is considered.
[0005]
On the other hand, a display system using a plurality of projectors has also been developed. In this system, as in Japanese Patent Application Laid-Open No. 2000-253263, the projected images of the projectors are overlapped with each other, and color correction is performed so that images of a plurality of projectors are connected.
[0006]
[Problems to be solved by the invention]
However, when the number of the plurality of heads is increased in the case of a printer, the throughput (efficiency) of the printer is improved, but a large amount of data of color conversion characteristics (color profile) is provided so that all of the heads are used. I had to do color matching. For this reason, there is a problem that a large amount of memory must be mounted.
[0007]
In particular, in a system aimed at high-speed printing, a plurality of printer heads are arranged in the sub-scanning direction (paper transport direction) as shown in FIG. 17 and printing is performed. It causes unevenness.
[0008]
For example, the example of FIG. 17 shows that the arrangement of the heads of the four colors CMYK (cyan, magenta, yellow, and black) is different only for the C (cyan) head. In this case, as shown in FIG. 18, the printing result of the KMY head is printed at the same position, but only the C head is printed at a different position. That is, FIG. 18 shows that the left side of the head coincides with the left side, but the color becomes larger as it goes to the right side of the head, and color unevenness occurs in the head.
[0009]
Normally, a color profile is used for color processing in a color printer system. This is based on the premise that the head is properly positioned and all dots to be printed are printed at the same position. The color profile contains information on what colors are output from the respective color printers. The color profile can be set by a function of a color management system (CMS) of an operating system (OS). It has become.
[0010]
In the case as shown in FIG. 18, the overlap of the print dots of each color is different within the print width of the head, and since the characteristics of the print colors are different between the print dots within the print width of one head, the color profile is switched within the head. Such processing is required. For example, if the color profile is switched for each dot or minute area, good printing is expected without color unevenness, but the data amount of the color profile becomes enormous.
[0011]
In order to realize a processing function using a color profile, a CMYK conversion matrix and a γ correction unit may be used as shown in FIG. 19, or a CMYK conversion table may be used only as shown in FIG.
[0012]
In FIG. 19, the RGB input data corresponding to each dot is converted into C, M, Y, and K of the printing color by a color profile corresponding to each dot, that is, a CMYK conversion matrix, and then is converted to each dot. Γ correction is performed and output to the corresponding print head for printing. When the density characteristics are different in addition to the difference in the color characteristics of each dot, the γ correction of FIG. 19 is necessary. However, when there is no difference in the density characteristics of each dot, the RGB input data is changed as shown in FIG. This is a processing procedure in which only CMYK data is converted by the CMYK conversion table.
[0013]
On the other hand, in a display system using a projector, as shown in FIG. 21, color correction of RGB data by a single projector is performed by matrix correction and γ correction for each color of RGB. The gamma characteristic of the projector is almost uniform in the screen in a DLP projector (DLP is an abbreviation for Digital Light Processing), but the variation in the screen is 10% in an LCD projector (LCD is an abbreviation for Liquid Crystal Display). Must be adaptively performed in the image, in which case the gamma correction unit becomes enormous.
[0014]
Japanese Unexamined Patent Application Publication No. 2001-215542 discloses a technique for performing high-definition display using a plurality of projectors 10r and 10s as shown in FIG. In order to suppress the light amount, a light shielding plate is used as the light amount limiting unit 30. Since the light-shielding plate blocks the light beam, in the case of an LCD projector, the γ characteristic changes abruptly in the light-shielded portion (region A in FIG. 22). In order to cope with this change, it is necessary to change the γ characteristic to be corrected for each pixel or for each minute area, and the γ correction calculation is also enormous.
[0015]
In view of the above situation, the present invention reduces data of color conversion characteristics for performing color matching of a plurality of printer heads and correction data at the time of color correction of a projector. It is an object of the present invention to provide a gradation conversion device and a color conversion device which can reduce the amount of correction data and store the correction data with a small memory capacity.
[0016]
[Means for Solving the Problems]
According to a first aspect of the present invention, there is provided a gradation conversion device for converting a gradation of an input image signal in accordance with a gradation conversion characteristic of an output device for displaying or printing an image signal. For the gradation conversion characteristics, an average characteristic of the gradation conversion characteristics in a plurality of regions or pixels, and a principal component signal of an appropriate order for the difference characteristic between the average characteristics and the gradation conversion characteristics in each region or pixel are stored. Means for storing the coefficients of the principal components corresponding to the respective regions or pixels, and performing a linear combination of the principal component signals and the coefficients of the principal components on the image input signals of the respective regions or pixels. Means for expressing tone conversion characteristics.
[0017]
In the gradation conversion apparatus according to the first aspect of the present invention, there is provided a means for changing the quantization bit width according to the contribution ratio of each signal when the average characteristic and the main component signal are quantized and stored. , Is preferably stored.
[0018]
According to a second aspect of the present invention, a multi-band input color image signal is converted into a device independent color space such as CIE-XYZ or L * a * b *, and then a plurality of regions or pixels of an output device are converted. In a color conversion device that converts a color profile in accordance with the color output characteristics of an image, an average characteristic of color profile conversion characteristics of a plurality of regions or pixels, and a difference between the average characteristic and a color profile conversion characteristic of each region or pixel. Means for storing a principal component signal of an order suitable for the characteristic, means for storing the coefficients of the principal components corresponding to each region or pixel, and device-dependent color signals to be output in each region or pixel. Means for expressing a color profile conversion characteristic by a linear combination of the principal component signal and the coefficient of the principal component. It is characterized in.
[0019]
In the color conversion device according to the second invention, when the above-described average characteristic and the main component signal are quantized and stored, the color conversion device includes means for changing a quantization bit width according to a contribution ratio of each signal. Preferably, it is stored.
[0020]
According to a third aspect of the present invention, there is provided a tone conversion device for converting a tone of an input image signal in accordance with a tone conversion characteristic of an output device for displaying or printing an image signal. With respect to the gradation conversion characteristics, an average characteristic of the gradation conversion characteristics in a plurality of regions or pixels, a principal component signal of an appropriate order with respect to the average characteristic and a difference characteristic of the gradation conversion characteristics in each region or pixel, Means for calculating the coefficient of the principal component signal in each region or pixel, further performing clustering based on the distribution of the coefficient in the coefficient space of the principal component, and calculating a sample coefficient or coefficient vector; Means for calculating a curve of a sample gradation conversion characteristic from a principal component of a difference characteristic and a coefficient or a coefficient vector to be a sample; Means for associating the set of samples with the coefficients to be sampled, and means for creating a look-up table for linking the coefficients of the principal components in the region or pixel to the gradation conversion characteristics to be sampled. The gradation conversion is performed by storing a tone conversion characteristic curve and a look-up table corresponding to each area or pixel.
[0021]
According to a fourth aspect of the present invention, a multiband input color image signal is converted into a device independent color space such as CIE-XYZ or L * a * b *, and then a plurality of regions or pixels of an output device are converted. In accordance with the color output characteristics, in a color conversion device that performs color profile conversion, based on the color output characteristics of a plurality of regions or a plurality of pixels of the output device, extract only the overlapping regions of the created gamut mapping, Means for calculating a principal component signal of an appropriate order with respect to the average characteristic and the difference characteristic of the color profile conversion characteristic in each region with respect to the color profile conversion characteristics of the plurality of regions, Means for storing coefficients of main components corresponding to regions or pixels, and a color profile conversion function corresponding to each region or pixel of the output device. Characterized in that it includes a means of expressing the principal component coefficients of the differential characteristic.
[0022]
In the fourth aspect, based on the color output characteristics of the plurality of regions or the plurality of pixels of the output device, the created gamut mapping overlapping region and the non-overlapping region are divided into overlapping regions. On the other hand, the coefficients are stored as the principal components, and for the non-overlapping area, the conversion characteristics of the individual color profiles are stored, and the color profile conversion characteristics corresponding to a plurality of regions or a plurality of pixels of the output device, It is preferable that the apparatus further comprises means for generating by combining the coefficient of the main component of the overlapping area and the color profile conversion characteristic of the non-overlapping area.
[0023]
BEST MODE FOR CARRYING OUT THE INVENTION
Embodiments of the present invention will be described with reference to the drawings.
[First Embodiment]
FIGS. 1 to 5 relate to a gradation conversion apparatus according to a first embodiment of the present invention. FIG. 1 shows the configuration of the gradation conversion device. This embodiment shows an application to a projector as an example.
[0024]
The projector has different gradation conversion characteristics (generally called γ characteristics) at each position in the screen. Here, each position specifically means a plurality of regions or pixels constituting a screen. Since the γ characteristics are different at each position in the screen, increasing the luminance causes color unevenness in the plane. In order to eliminate the color unevenness, tone conversion (inverse γ correction calculation) is performed on the input signal at each position in the screen of the projector so as to cancel the γ characteristic of the projector itself. In the present embodiment, the inverse γ correction calculation is performed with a small memory capacity.
[0025]
The input image signal 101 generated by the image signal generation unit 101 is subjected to level conversion of the average characteristic of inverse γ in a plurality of regions or pixels by the first level conversion unit 102, while the second level conversion is performed. The means 103-1, 103-2,... 103-N perform level conversion based on the main components of the above average characteristic and the inverse γ difference characteristic in each area or pixel. Note that 256 Byte * N in FIG. 1 represents the data capacity. When the main component is represented by 256 1-byte integers, it is necessary to record N data of 256 bytes in total up to the Nth component. Is shown.
[0026]
On the other hand, the memory means stores a table 105 in which the addresses of the respective regions or pixels generated by the address generation unit 104 are provided with coefficients a1, a2,... AN of the main components of the respective regions or pixels. deep.
[0027]
.. 103-N in the second level conversion means 103-1, 103-2,..., 103-N. , 106-N are multiplied by the main component coefficients a1, a2,... AN for each area or pixel stored in the table 105. Note that N is the number of main components.
[0028]
The multiplication results by the multipliers 106-1, 106-2,..., 106-N are added to the sum of the principal components in an adder 107, and the sum of the sum is compared with the average characteristic from the first level conversion means 102. The sum is taken by the adder 108 and output as a signal value S subjected to gradation conversion.
[0029]
Next, a method of calculating the main components of the average characteristic of inverse γ in the first level converting means and the difference characteristic of inverse γ in the second level converting means in the first embodiment will be described. In other words, for the gradation conversion characteristics of a plurality of regions or pixels, the average characteristic of the gradation conversion characteristics of the plurality of regions or pixels and the difference between this average characteristic and the gradation conversion characteristics of each region or pixel. An appropriate order principal component signal for the characteristic is obtained.
[0030]
As shown in FIG. 2, the gradation conversion characteristics (γ characteristics) previously measured and obtained for each region or pixel are defined as γa, γb,. Conventionally, the γ characteristic is discretely determined, and the intermediate point is complementarily determined by a method such as bilinear interpolation. Even if this method is used, curves as many as the number of grid points must be stored. On the other hand, in the first embodiment, first, the average characteristics of the γ characteristics of all the regions or pixels are calculated (see FIG. 3A), and the γ characteristics of each region a, b,. Principal component analysis of the difference characteristic between the characteristic and the average characteristic is performed (see FIG. 3B).
[0031]
Regarding the difference characteristics, each region or pixel is regarded as the number of trials, a covariance matrix is obtained, and orthonormal transform is performed on the matrix. The principal component and the respective difference characteristics obtained in this way are regarded as coefficient vectors, and their inner products are defined as the principal component coefficients a1, a2,... AN in each region or pixel.
[0032]
Performing principal component analysis on the difference signal has two effects. One is that each γ characteristic can be divided into a contribution of an average characteristic and a contribution of a main component, and therefore the bit width of quantization can be changed according to their contribution ratio. Therefore, when the average characteristic and the main component signal are quantized and stored, means for changing the bit width of quantization is provided according to the contribution ratio of each signal, and the storage capacity can be reduced by storing in the memory. For example, when the luminance signal is represented by 256 gradations, when the contribution ratio of the first principal component to the original signal is about 10% with respect to the average characteristic, the average characteristic is represented by 8 bits. The first principal component may be 5 bits, and the contribution rate of a higher-order principal component decreases, so that the bit width of the register as the storage means may be changed accordingly. Another reason is that, when calculating the eigenvector from the covariance matrix, an error can be eliminated even if a rank drop occurs, by devising an orthogonal transformation calculation.
[0033]
In this way, the principal components of the average characteristic of inverse γ and the differential characteristic of inverse γ are calculated and stored, and the γ characteristic of each region or pixel is represented by a linear combination of them as shown in FIG. What is necessary is just to calculate | require the coefficient of each principal component about each area | region or a pixel. The order of the main component to be stored is evaluated based on the error between the γ characteristic that can be restored and the actual characteristic, and the order until an error that does not cause a problem in practice is adopted.
[0034]
In the first embodiment, in order to perform the gradation conversion for canceling the γ characteristic of each area or pixel in the input image signal, what is actually stored in the memory means is the inverse conversion characteristic of the average γ characteristic, This is the inverse conversion characteristic of the main component of the difference signal. As a result, there is an advantage that the memory capacity required for the correction can be reduced.
[0035]
FIG. 5 is a modified example of the embodiment of FIG. In FIG. 5, a signal obtained by multiplying the image signal by the average characteristic of inverse γ by the first level converting means 102 in FIG. 1 is input to the adder 108, while the second level converting means 103-1 ', 103- .. 103-N ', and the main components constituting the second level converting means 103-1', 103-2 ',... 103-N' are stored accordingly. Each register stores a value obtained by level-converting the main component of the inverse γ difference characteristic with the average γ characteristic. With such a configuration, the same operation and effect as those in FIG. 1 can be obtained. Note that (principal component of inverse γ difference characteristic) * (average γ characteristic) in FIG. 5 represents a product when each characteristic curve can be represented by a vector (array of numbers). This product indicates the product for each element of the vector. That is, the product of the k-th component of the inverse γ characteristic and the k-th value of the average γ characteristic is used as the k-th value of the output characteristic.
[0036]
[Second embodiment]
6 to 11 relate to a color conversion device according to a second embodiment of the present invention. This embodiment shows an application to a color printer as an example.
[0037]
In an output device such as a conventional color printer, it is necessary to cancel a difference in color conversion characteristics of each printer head when a multi-head using a plurality of printer heads is used. As shown in FIG. 6A, for the colors Xi, Yi, Zi indicating a certain value in the device-independent XYZ color space, signals for controlling the first printer head (1) are represented by C, M. , Y, K. In the second separate head (2), it is assumed that the control signals must be C ', M', Y ', and K' for Xi, Yi, and Zi as shown in FIG. 6B. In order to unify these colors, it is necessary to have a color management table for performing color conversion for each head. Therefore, in the color printer, as shown in FIG. 7, the color signal generated by the color signal generating means 121 is decomposed into a plurality of signals by the distributor 122, and the conversion table (1, 2,... .., N), the number of conversion tables increases as the number of heads increases, and a large amount of memory is required. In the case of color profile conversion, the table is such that four variables (CMYK) are given to a three-dimensional argument (RGB).
[0038]
Therefore, in the second embodiment, the average characteristics of the color profiles of all the heads are obtained in the same manner as in the principal component analysis method described in the first embodiment with reference to FIGS. In the second embodiment, the color conversion characteristics of each print head are adjusted instead of the γ characteristics. For example, first, an average characteristic for each printer head area or pixel is obtained for each of the CMYK ink colors using arithmetic averaging. Next, an average color profile difference characteristic is obtained for each head. Principal component analysis is performed on the difference characteristics of each head. Next, the coefficient of the principal component is calculated from the difference characteristic of each head and the inner product of the principal component.
[0039]
The average color profile obtained in this way and the main components of the difference characteristics are stored. Regarding the order of the principal components to be adopted, the error is evaluated and performed in the same manner as described above.
[0040]
8 and 9 show the configuration of the color conversion device according to the second embodiment.
FIG. 8 is a configuration showing one output characteristic of CMYK. FIG. 9 shows a configuration in which these characteristics are assigned to each color of CMYK. In FIG. 9, a color conversion device that receives a color signal (XYZ) from the color signal generation unit 201 and converts a color profile is configured by four bands of CMYK (indicated by reference numerals 200-1 to 200-4). ) And four CMYK ink heads (indicated by reference numerals 203-1 to 203-4) of the printer head.
[0041]
In FIG. 8, the coefficients a1, a2,... AN of the principal components obtained by the above-described method are stored in the memory means as the table 204 for each head (for example, the head 203-1). In this case, there is a table for only the order of the necessary principal components for each of the CMYK signals. .., 202-N having first, second,..., N-th principal components relating to the difference characteristics, the difference color component is obtained. Multiplied by the coefficients a1, a2,... AN of the assigned main components of the corresponding colors in the multipliers 205-1, 205-2,. Then, the sum of signals obtained by multiplying the main components of the difference characteristics by the coefficients a1, a2,... AN from the output characteristic signals of the individual heads is obtained by an adder 206. A signal value S subjected to color conversion by adding to the color profile is obtained. In general, a printer head uses CMYK as an ink color, and additive / subtractive color mixing is not established. Therefore, all combinations of color signals must have characteristics of each color of the head.
[0042]
In a multi-head printer, data compression of a plurality of gamut mappings is performed based on the result of colorimetry according to the procedure shown in FIGS. This will be described with reference to FIGS.
[0043]
In FIG. 10, for example, ink ejection is controlled for each printer head by a predetermined control signal as shown in FIG. 10A, and the ejection result is measured by a colorimeter as XYZ as shown in FIG. Measure by color. An inverse conversion of this relationship is performed, and a table is created as shown in FIG. 10 (c) that allows the ink ejection amount to be obtained from the XYZ color space. If this operation is performed for a plurality of heads, a problem arises in that the gamut boundaries do not match. As a result, colors that cannot be expressed appear as the saturation or luminance approaches the periphery of the gamut mapping. Therefore, as shown in FIG. 11, only the area where the gamut mapping overlaps is extracted, and the color profile conversion characteristic of a plurality of areas is compared with the average characteristic and the color profile in each area. By calculating a principal component signal of an appropriate order with respect to the difference characteristic of the conversion characteristic, the color profile corresponding to each region or each pixel of the output device is stored as a coefficient of the main component. That is, for the overlapped area, compression by the principal component is performed. Further, with respect to a region having no overlap, the conversion characteristic of the color profile for each region or pixel is stored in a non-compressed state. The coefficients of the main components and the uncompressed color conversion characteristics obtained in this way are combined and stored, and are used as color profile conversion characteristics corresponding to a plurality of regions or pixels of the output device.
[0044]
In the second embodiment, the description has been made on the assumption that the colors are different between the heads. However, in the case shown in FIG. 17, the colors may be different even in the head. Of course, this embodiment can be applied.
[0045]
The first and second embodiments described above have the advantage of reducing the amount of data to be stored, but have the disadvantage of requiring a multiplier and having a heavy computational load. Therefore, in the following third embodiment, a method for making the calculation extremely light will be described.
[0046]
[Third Embodiment]
FIGS. 12 and 13 relate to a tone conversion device according to a third embodiment of the present invention.
[0047]
As a method for making the calculation lighter, a γ characteristic to be corrected is calculated in advance, and a method of simply selecting the γ characteristic is used. However, “samples that fall within a predetermined error can be obtained by dividing the level of 0 to 255 into N pieces with respect to the 8-bit input signal of the γ characteristic curve, and expanding the level into an N-dimensional coefficient space to perform clustering. 12, a method of performing principal component analysis in advance and expanding the characteristic curve of each sample in the coefficient space of the principal component as shown in FIG. Is good. At this time, the principal component analysis may be performed after separating into the average characteristic and the difference characteristic in consideration of the calculation accuracy as described above.
[0048]
First, as shown in FIG. 12, clustering is performed in the principal component coefficient space to obtain a sample value of the principal component coefficient, and a γ characteristic curve to be a sample is obtained from the sample value. At this time, the error is evaluated from the size of the cluster, and clustering is performed so as to be within an error that does not cause a problem in practical use.
[0049]
In the ellipse shown in FIG. 12, each point * contained therein is an N-dimensional value having the values of the coefficients (1 to N) of the principal components, and each point is classified into a cluster (ellipse). The value represents the characteristic of each point included in the cluster. That is, when such clustering is not performed, the characteristics of each point * must be stored. However, by performing clustering, only the cluster to which each point * belongs is stored. Good, saves memory space. The representative value of each cluster is called a “sample”.
[0050]
Since a set of coefficients constituting each cluster is associated with a sample coefficient, it is possible to create a look-up table that associates a coefficient of a main component in a certain region or pixel with a gradation conversion characteristic as a sample.
[0051]
Then, the above-mentioned sample gradation conversion characteristic curve and the look-up table corresponding to each region or pixel are stored in the memory unit, and gradation conversion is performed.
[0052]
FIG. 13 shows the configuration of the gradation conversion device of the third embodiment described above. .., 4013-N storing N γ characteristics, and a block-corresponding γ table number memory 4003 storing a table linking the coefficients of the principal components in the region or pixel and the γ characteristics to be sampled. , And the selection circuit 402, and does not require the arithmetic circuit as in the first and second embodiments. The γ characteristics stored in the first to Nth γ conversion units 401-1 to 4013-N are the γ characteristics of the sample obtained by the above-described clustering. The table stored in the block correspondence γ table number memory 4003 is a look-up table in which the coefficients of the principal components of a certain specified region or pixel correspond to the γ characteristics of a sample that is a cluster. The selection circuit 402 selects which γ characteristic curve to use based on the look-up table, and the selection circuit 402 outputs the signal value S as a gradation-converted signal value.
[0053]
[Fourth Embodiment]
FIGS. 14 to 16 relate to a color conversion apparatus according to a fourth embodiment of the present invention.
[0054]
In the fourth embodiment, creation of a color profile when the present invention is applied to a printer will be described. As shown in FIG. 18, when the CMYK head is misaligned, the color profile should be measured optimally for each nozzle of the head. However, since the number of processing steps becomes enormous, the profile is measured for each predetermined area. It is realistic to measure.
[0055]
As shown in FIG. 14, for example, it is effective in terms of processing man-hours to measure a color profile corresponding to an area of about 1/5 to 1/10 of the print width of the head. Then, a color patch is printed corresponding to each area as shown in FIG. The number of patches depends on the profile creation method, but if CMYK is divided into eight stages, then 8 * 8 * 8 * 8 = 4096 patches. The hatched portion in FIG. 14 indicates that there are 4096 patches. The printed patch is photographed by a camera, a chromaticity meter, or the like, and a gradation method for correcting each color is calculated using a conventional method.
[0056]
Further, as a modified example, a case where the system is used in a system in which a plurality of monochromatic heads are arranged as shown in FIG. This system has the advantage that high-speed printing is possible because it can print an area larger than a single head. However, since the color changes sharply near the joint of the head, the color patch for color profile measurement proposed in FIG. 14 is made finer near the joint of the head as shown in FIG. By making the color profile measurement patch fine near the joint of the head, it is possible to measure the color profile with high accuracy without increasing the number of patches. In the case where three or more heads are connected, the fineness of the overlap portion may be changed according to the magnitude of the positional shift of the head.
[0057]
Note that a multi-spectral scanner as disclosed in Japanese Patent Application Laid-Open No. 2000-168109 may be used for capturing the printed patch.
[0058]
In the embodiment described above, the CIE-XYZ color system has been described as a device-independent color space. However, in the present invention, a CIE-L * a * b * table is used as a device-independent color space. It may be a color system.
[0059]
【The invention's effect】
As described above, according to the present invention, tone conversion characteristics and color conversion characteristics of a plurality of regions or pixels of an output device such as a projector or a printer are approximated by a linear combination of a main component of an average characteristic and a difference characteristic. With such a representation, a large amount of conversion characteristic data can be compressed, and the luminance and color can be corrected over the entire output range of the output device with a small storage capacity. This also leads to cost reduction and downsizing of the output device.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of a gradation conversion device according to a first embodiment of the present invention.
FIG. 2 is a diagram for describing a method of calculating principal components of an average characteristic of inverse γ in a first level conversion unit and a difference characteristic of inverse γ in a second level conversion unit in the first embodiment. .
FIG. 3 is a diagram illustrating a method of calculating principal components of an average characteristic of inverse γ in a first level conversion unit and a difference characteristic of inverse γ in a second level conversion unit according to the first embodiment; .
FIG. 4 is a diagram for expressing a γ characteristic of each region or pixel by a linear combination of these.
FIG. 5 is a block diagram showing a configuration of a gradation conversion device according to a modification of the first embodiment of the present invention.
FIG. 6 is a view for explaining a problem of color conversion in a conventional color printer having a plurality of printer heads.
FIG. 7 is a block diagram showing a configuration of a conventional color printer having a plurality of printer heads.
FIG. 8 is a block diagram showing a configuration of a color conversion apparatus according to a second embodiment of the present invention (a configuration showing one output characteristic of CMYK).
FIG. 9 is a block diagram illustrating a configuration of a color conversion apparatus according to a second embodiment of the present invention (a configuration in which FIG. 8 is assigned to each of CMYK colors).
FIG. 10 is a view for explaining a procedure for performing gamut mapping (color gamut compression) from colorimetric results in a multi-head color printer.
FIG. 11 is a view for explaining a procedure for performing gamut mapping (color gamut compression) from a result of color measurement in a multi-head color printer.
FIG. 12 is a view for explaining a method of performing a principal component analysis in advance and expanding a characteristic curve of each sample in a coefficient space of a principal component according to the tone conversion device of the third embodiment of the present invention.
FIG. 13 is a block diagram showing a configuration of a tone conversion device according to a third embodiment of the present invention.
FIG. 14 is a diagram illustrating a color profile measurement patch when a color profile is created in a color printer.
FIG. 15 is a diagram showing a system in which a plurality of monochromatic heads are arranged.
FIG. 16 is a diagram showing color patches for measuring a color profile when a color profile is created in a color printer having the system of FIG. 15;
FIG. 17 is a diagram showing a state in which a C head among multiheads used in a color printer is mounted with a positional shift;
FIG. 18 is a view showing a printing result of FIG. 17;
FIG. 19 is a block diagram showing a color conversion device in a conventional color printer.
FIG. 20 is a block diagram showing another conventional conversion device.
FIG. 21 is a block diagram showing a color conversion device in a conventional display system using a single projector.
FIG. 22 is a view for explaining a problem when performing gradation correction in a conventional display system using a plurality of projectors.
[Explanation of symbols]
102 first level conversion means (level conversion of average characteristics of γ)
103-1, 103-2,... 103-N Second level conversion means (level conversion based on the main component of the average characteristic and the inverse γ difference characteristic in each region or pixel)
104 table (table with coefficients a1, a2,... AN of main components of each region or pixel)
106-1, 106-2,... 106-N multiplier

Claims (7)

画像信号の表示または印刷を行う出力装置の階調変換特性に合わせて、入力の画像信号に対して階調の変換を行う階調変換装置において、
複数の領域または画素の階調変換特性に対して、複数の領域または画素における階調変換特性の平均特性と、この平均特性と各々の領域または画素での階調変換特性の差分特性に対する適切な次数の主成分信号を記憶する手段と、
各領域または画素に対応した主成分の係数を記憶する手段と、
各々の領域または画素の入力画像信号に対して、前記主成分信号と前記主成分の係数との線形結合によって階調変換特性を表現する手段と
を備えていることを特徴とする階調変換装置。
In a gradation conversion device that performs gradation conversion on an input image signal in accordance with the gradation conversion characteristics of an output device that displays or prints an image signal,
For the gradation conversion characteristics of a plurality of regions or pixels, an average characteristic of the gradation conversion characteristics in a plurality of regions or pixels and an appropriate characteristic for the difference characteristic between the average characteristic and the gradation conversion characteristics in each region or pixel. Means for storing a principal component signal of order;
Means for storing a coefficient of a principal component corresponding to each region or pixel;
Means for expressing a tone conversion characteristic by linear combination of the principal component signal and the coefficient of the principal component with respect to the input image signal of each area or pixel. .
前述の平均特性と、主成分信号を量子化して記憶する場合に、各々の信号の寄与率によって、量子化のビット幅を変更する手段を備え、記憶させることを特徴とする請求項1記載の階調変換装置。2. The apparatus according to claim 1, further comprising means for changing a quantization bit width according to a contribution ratio of each signal when the average characteristic and the main component signal are quantized and stored. Tone converter. マルチバンドの入力のカラー画像信号に対して、CIE−XYZまたはL*a*b*等のデバイスインディペンデントな色空間に変換した後、カラー画像信号の表示または印刷を行う出力装置の複数の領域または画素の色出力特性に合わせて、カラープロファイルの変換を行う色変換装置において、
複数の領域または画素のカラープロファイル変換特性の平均特性と、この平均特性と各々の領域または画素でのカラープロファイル変換特性の差分特性に対する適切な次数の主成分信号を記憶する手段と、
各々の領域または画素に対応した主成分の係数を記憶する手段と、
各々の領域または画素で出力すべきデバイスインディペンデントな色信号に対して、前記主成分信号と前記主成分の係数との線形結合によってカラープロファイル変換特性を表現する手段と
を備えていることを特徴とする色変換装置。
After converting a multiband input color image signal into a device-independent color space such as CIE-XYZ or L * a * b *, a plurality of output devices for displaying or printing the color image signal are provided. In a color conversion device that converts a color profile according to the color output characteristics of an area or a pixel,
Means for storing an average characteristic of the color profile conversion characteristics of a plurality of regions or pixels, and a main component signal of an appropriate order with respect to the average characteristic and a difference characteristic of the color profile conversion characteristics in each region or pixel;
Means for storing the principal component coefficients corresponding to each region or pixel;
Means for expressing a color profile conversion characteristic by a linear combination of the principal component signal and the coefficient of the principal component for a device independent color signal to be output in each region or pixel. Characteristic color conversion device.
前述の平均特性と、主成分信号を量子化して記憶する場合に、各々の信号の寄与率によって、量子化のビット幅を変更する手段を備え、記憶させることを特徴とする請求項3記載の色変換装置。4. The method according to claim 3, further comprising, when quantizing and storing the average characteristic and the principal component signal, means for changing a bit width of quantization according to a contribution ratio of each signal, and storing the result. Color conversion device. 画像信号の表示または印刷を行う出力装置の階調変換特性に合わせて、入力の画像信号に対して階調の変換を行う階調変換装置において、
複数の領域または画素の階調変換特性に対して、複数の領域または画素における階調変換特性の平均特性と、この平均特性と各々の領域または画素での階調変換特性の差分特性に対する適切な次数の主成分信号と、各領域または画素における主成分信号の係数を算出し、さらに主成分の係数空間において、係数の分布を元にクラスタリングを行い、標本となる係数または係数ベクトルを算出する手段と、
前述の平均特性と、差分特性の主成分と標本となる係数または係数ベクトルから、標本となる階調変換特性の曲線を算出する手段と、
前述のクラスタリングにより、各クラスタを構成する係数の集合と標本となる係数を対応させる手段と、
領域または画素における主成分の係数と標本となる階調変換特性を結びつけるようなルックアップテーブルを作成する手段とを備え、
前述の標本となる階調変換特性の曲線と、各領域または画素に対応するルックアップテーブルを記憶し階調変換を行うことを特徴とする階調変換装置。
In a gradation conversion device that performs gradation conversion on an input image signal in accordance with the gradation conversion characteristics of an output device that displays or prints an image signal,
For the gradation conversion characteristics of a plurality of regions or pixels, an average characteristic of the gradation conversion characteristics in a plurality of regions or pixels and an appropriate characteristic for the difference characteristic between the average characteristic and the gradation conversion characteristics in each region or pixel. Means for calculating the order principal component signal and the coefficients of the principal component signal in each region or pixel, and further performing clustering based on the distribution of the coefficients in the coefficient space of the principal component to calculate a sample coefficient or coefficient vector When,
Means for calculating a curve of a gradation conversion characteristic to be a sample from the average characteristic and the principal component of the difference characteristic and a coefficient or a coefficient vector to be a sample;
Means for associating a set of coefficients constituting each cluster with a sample coefficient by the aforementioned clustering;
Means for creating a look-up table that links the coefficient of the main component in the region or pixel with the gradation conversion characteristic as a sample,
A gradation conversion apparatus which stores a gradation conversion characteristic curve as a sample and a look-up table corresponding to each region or pixel and performs gradation conversion.
マルチバンドの入力のカラー画像信号に対して、CIE−XYZまたはL*a*b*等のデバイスインディペンデントな色空間に変換した後、カラー画像信号の表示または印刷を行う出力装置の複数の領域または画素の色出力特性に合わせて、カラープロファイルの変換を行う色変換装置において、
出力装置の複数の領域または画素の色出力特性に基づいて、作成したガマットマッピングの重複した領域のみを抽出し、その重複した領域に対して、複数の領域のカラープロファイル変換特性に対して、平均特性と各々の領域でのカラープロファイル変換特性の差分特性に対する適切な次数の主成分信号を算出する手段と、
各領域または画素に対応した主成分の係数を記憶する手段と、
前記出力装置の各々の領域または画素に対応したカラープロファイル変換特性を前記差分特性の主成分係数によって表現する手段と
を備えていることを特徴とする色変換装置。
After converting a multiband input color image signal into a device-independent color space such as CIE-XYZ or L * a * b *, a plurality of output devices for displaying or printing the color image signal are provided. In a color conversion device that converts a color profile according to the color output characteristics of an area or a pixel,
Based on the color output characteristics of a plurality of regions or pixels of the output device, only the overlapping region of the created gamut mapping is extracted, and the average of the overlapping region and the color profile conversion characteristics of the plurality of regions is extracted. Means for calculating a principal component signal of an appropriate order for the characteristic and the difference characteristic of the color profile conversion characteristic in each region,
Means for storing a coefficient of a principal component corresponding to each region or pixel;
Means for expressing a color profile conversion characteristic corresponding to each area or pixel of the output device by a principal component coefficient of the difference characteristic.
前記出力装置の複数の領域または画素の色出力特性に基づいて、作成したガマットマッピングの重複した領域と、重複の無い領域を分割し、重複している領域に対して、主成分の係数として記憶し、重複の無い領域に関しては、個々のカラープロファイルの変換特性を記憶し、前記の出力装置の複数の領域または画素に対応するカラープロファイル変換特性を、前記重複領域の主成分の係数と、前記非重複領域のカラープロファイル変換特性の合成により生成する手段を
さらに備えていることを特徴とする請求項6記載の色変換装置。
Based on the color output characteristics of a plurality of regions or pixels of the output device, the created gamut mapping overlapping region and the non-overlapping region are divided, and the overlapping region is stored as a main component coefficient. Then, for the non-overlapping region, the conversion characteristics of the individual color profiles are stored, and the color profile conversion characteristics corresponding to a plurality of regions or pixels of the output device are calculated as the main component coefficients of the overlapping region, 7. The color conversion apparatus according to claim 6, further comprising: means for generating a color profile conversion characteristic of the non-overlapping area by combining them.
JP2002160559A 2002-05-31 2002-05-31 Gradation conversion device and color conversion device Expired - Fee Related JP4077660B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002160559A JP4077660B2 (en) 2002-05-31 2002-05-31 Gradation conversion device and color conversion device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002160559A JP4077660B2 (en) 2002-05-31 2002-05-31 Gradation conversion device and color conversion device

Publications (2)

Publication Number Publication Date
JP2004007274A true JP2004007274A (en) 2004-01-08
JP4077660B2 JP4077660B2 (en) 2008-04-16

Family

ID=30429923

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002160559A Expired - Fee Related JP4077660B2 (en) 2002-05-31 2002-05-31 Gradation conversion device and color conversion device

Country Status (1)

Country Link
JP (1) JP4077660B2 (en)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005099249A1 (en) * 2004-04-09 2005-10-20 Olympus Corporation Compression device, color conversion device, methods therefor, program, look-up table and recording medium
JP2006060815A (en) * 2004-08-19 2006-03-02 Xerox Corp Method and system for implementing uniformity correction response curve rc in digital printer, image streak correcting method, and active correction method for streak correction
JP2007312236A (en) * 2006-05-19 2007-11-29 Fuji Xerox Co Ltd Image processing apparatus and program
JP2007312234A (en) * 2006-05-19 2007-11-29 Fuji Xerox Co Ltd Image processing apparatus and program
JP2007312235A (en) * 2006-05-19 2007-11-29 Fuji Xerox Co Ltd Image processing apparatus and program
US7729015B2 (en) 2005-12-20 2010-06-01 Xerox Corporation Methods and apparatuses for controlling print density
JP2010210657A (en) * 2009-03-06 2010-09-24 Ricoh Co Ltd Image forming apparatus, image forming method, program and record medium
US9213914B2 (en) 2012-07-06 2015-12-15 Sony Corporation Image processing device and image processing method for processing images using memory-efficient principal component analysis

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005099249A1 (en) * 2004-04-09 2005-10-20 Olympus Corporation Compression device, color conversion device, methods therefor, program, look-up table and recording medium
JP2006060815A (en) * 2004-08-19 2006-03-02 Xerox Corp Method and system for implementing uniformity correction response curve rc in digital printer, image streak correcting method, and active correction method for streak correction
JP4610445B2 (en) * 2004-08-19 2011-01-12 ゼロックス コーポレイション Method and system for implementing uniformity correction response curve RC in a digital printer, image streak correction method, and active correction method for streak correction
US7729015B2 (en) 2005-12-20 2010-06-01 Xerox Corporation Methods and apparatuses for controlling print density
JP2007312236A (en) * 2006-05-19 2007-11-29 Fuji Xerox Co Ltd Image processing apparatus and program
JP2007312234A (en) * 2006-05-19 2007-11-29 Fuji Xerox Co Ltd Image processing apparatus and program
JP2007312235A (en) * 2006-05-19 2007-11-29 Fuji Xerox Co Ltd Image processing apparatus and program
JP4697044B2 (en) * 2006-05-19 2011-06-08 富士ゼロックス株式会社 Image processing apparatus and program
JP4697045B2 (en) * 2006-05-19 2011-06-08 富士ゼロックス株式会社 Image processing apparatus and program
JP2010210657A (en) * 2009-03-06 2010-09-24 Ricoh Co Ltd Image forming apparatus, image forming method, program and record medium
US9213914B2 (en) 2012-07-06 2015-12-15 Sony Corporation Image processing device and image processing method for processing images using memory-efficient principal component analysis

Also Published As

Publication number Publication date
JP4077660B2 (en) 2008-04-16

Similar Documents

Publication Publication Date Title
JP3737149B2 (en) Color image generation system and method
US5553199A (en) Method and apparatus for calibrating a four color printer
US6400843B1 (en) Color image reproduction with accurate inside-gamut colors and enhanced outside-gamut colors
EP0338457A1 (en) Color conversion display apparatus and method
JP4536431B2 (en) Method and system for controlling a color output device
US8553278B2 (en) Method of generating combined look-up table, and image processing apparatus and image forming apparatus
US20020154326A1 (en) Image processing method and apparatus
Iino et al. Building color-management modules using linear optimization I. Desktop color system
JP2003136683A (en) System and method for management of printing color
US6331899B1 (en) Method and apparatus for automatically generating single-channel critical color transformations
US7580150B2 (en) System and method for reproducing colors on a printing device
JP4449503B2 (en) Image processing device
JP4077660B2 (en) Gradation conversion device and color conversion device
US7956867B2 (en) Color separation multiplexing for real-time multi-dimensional device calibration
US8064112B1 (en) Color separation and reproduction method to control a printing process
US20070236758A1 (en) Image processing apparatus and image processing method
US20030234947A1 (en) Method and apparatus for creating color conversion table
JP4429439B2 (en) Color conversion method and conversion processor
JP4086442B2 (en) Color space coordinate conversion method and apparatus, color signal conversion table generation method and apparatus, and memory medium
US7576889B2 (en) Cascade of matrix-LUT for color transformation
US7616345B2 (en) Method for transforming a digital image from a first to a second colorant space
JP2007312313A (en) Image processor, image processing method and program
JPH0946529A (en) Image processing unit and method
JP3790204B2 (en) Color image processing apparatus and color image processing method
US8437036B2 (en) Image path utilizing sub-sampled cross-channel image values

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050520

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070829

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070904

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071102

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080129

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080201

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110208

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110208

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120208

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120208

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130208

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140208

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees