JP3840141B2 - Image processing apparatus, information input apparatus, and methods thereof - Google Patents

Image processing apparatus, information input apparatus, and methods thereof Download PDF

Info

Publication number
JP3840141B2
JP3840141B2 JP2002129333A JP2002129333A JP3840141B2 JP 3840141 B2 JP3840141 B2 JP 3840141B2 JP 2002129333 A JP2002129333 A JP 2002129333A JP 2002129333 A JP2002129333 A JP 2002129333A JP 3840141 B2 JP3840141 B2 JP 3840141B2
Authority
JP
Japan
Prior art keywords
information
input
color
influence
degree
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002129333A
Other languages
Japanese (ja)
Other versions
JP2003324617A (en
Inventor
剛 蒔田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2002129333A priority Critical patent/JP3840141B2/en
Priority to US10/420,730 priority patent/US7450281B2/en
Publication of JP2003324617A publication Critical patent/JP2003324617A/en
Application granted granted Critical
Publication of JP3840141B2 publication Critical patent/JP3840141B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)
  • Color, Gradation (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は画像処理装置および情報入力装置、並びに、それらの方法に関し、例えば、地域特性を考慮した色変換処理に関する。
【0002】
【従来の技術】
地域によって好まれる色が異なることは以前から言われていた。例えば肌色は、日本と北アメリカを比較した場合、日本はマゼンタ色が強い肌色を好むと報告されている。好まれる色の地域性は、人の違いや日射量がその主因と言われるが、文化的背景の差もかなり影響を与えているとされる。これは銀塩感材メーカのフィルムの色再現にも反映されている。例えば、富士写真フイルム社のポジフィルムは、コダック社に比べて、ややマゼンタが強い肌色を表現する。
【0003】
【発明が解決しようとする課題】
写真画像の出力を目的とするインクジェットプリンタのカラー出力(とくに肌色)は、日本市場では好まれるが、他国の市場では必ずしも好まれるとは限らない。プリンタにも、上記の好みの色の地域特性を反映する機能が望まれる。
【0004】
本発明は、地域特性およびユーザの好みに応じた色変換の設定を容易にすることを目的とする。
【0005】
【課題を解決するための手段】
本発明は、前記の目的を達成する一手段として、以下の構成を備える。
【0006】
本発明にかかる情報入力装置は、地域情報に基づき画像を色変換する色変換装置に、ユーザが前記地域情報を入力するための入力手段を有し、前記入力手段は、複数の地域を図形の頂点として表現し、それら地域を示す情報が前記色変換に及ぼす影響の度合いを前記複数の頂点からの距離として表現するユーザインタフェイスを有し、前記地域情報として、前記複数の地域を示す情報に基づいて前記影響の度合いを入力可能であることを特徴とする。
【0007】
本発明にかかる画像処理装置は、ユーザが地域情報を入力するための入力手段と、前記地域情報に基づき画像を色変換する変換手段とを有し、前記入力手段は、複数の地域を図形の頂点として表現し、それら地域を示す情報が前記色変換に及ぼす影響の度合いを前記複数の頂点からの距離として表現するユーザインタフェイスを有し、前記地域情報として、前記複数の地域を示す情報に基づいて前記影響の度合いを入力可能であることを特徴とする。
【0008】
本発明にかかる情報入力方法は、地域情報に基づき画像を色変換する色変換装置に、ユーザが前記地域情報を入力する情報入力方法であって、複数の地域を図形の頂点として表現し、それら地域を示す情報が前記色変換に及ぼす影響の度合いを前記複数の頂点からの距離として表現するユーザインタフェイスの操作に応じて、前記地域情報として、前記複数の地域を示す情報に基づいて前記影響の度合いを入力することを特徴とする。
【0009】
本発明にかかる画像処理方法は、ユーザが入力した地域情報に基づき画像を色変換する画像処理方法であって、複数の地域を図形の頂点として表現し、それら地域を示す情報が前記色変換に及ぼす影響の度合いを前記複数の頂点からの距離として表現するユーザインタフェイスの操作に応じて、前記地域情報として、前記複数の地域を示す情報に基づいて前記影響の度合いを入力することを特徴とする。
【0011】
【発明の実施の形態】
以下、本発明にかかる一実施形態の画像処理装置を図面を参照して詳細に説明する。
【0012】
図1は実施形態のコンピュータ機器(以下「ホストコンピュータ」と呼ぶ)の構成例を示すブロック図である。
【0013】
CPU 101は、ROM 102やハードディスク(HD)109に記憶されたデータや制御プログラム、オペレーティングシステム(OS)、アプリケーションプログラム(AP)、カラーマッチング処理モジュール(CMM)およびデバイスドライバなどに従い、RAM 103、操作部104、画像処理部105、モニタ106、入力デバイス107および出力デバイス108を制御して、各種の制御や処理を行う。
【0014】
RAM 103は、各種制御プログラムを実行するための作業領域、操作部104から入力されるデータの一時保存領域である。
【0015】
入力デバイス107は、CCDやCMOSセンサを含むイメージスキャナ、ディジタルカメラ、スチルビデオカメラなどの画像入力装置で、取得した画像データをホストコンピュータへ入力する。
【0016】
出力デバイス108は、インクジェットプリンタ、熱転写プリンタ、ワイヤドットプリンタなどで、記録紙にカラー画像を形成し出力する。
【0017】
操作部104は、マウスやキーボードなどで、入力デバイス107や出力デバイス108の動作条件や画像処理の各種条件の設定データなどを、ユーザが入力するためのものである。
【0018】
画像処理部105は、例えばASICやDSPなどのハードウェアで構成された機能拡張カードで、CPU 101の制御に応じて、後述する画像処理を含む様々な画像処理を行う。なお、CPU 101の性能が高く、RAM 103およびHD 109のアクセス速度が充分に速ければ、画像処理部105として特別な機能拡張カードを用意せずに、CPU 101、RAM 103およびHD 109を利用して、後述する画像処理に対応するプログラムを実行させれば、同様の結果が得られる。
【0019】
モニタ106は、CRTやLCDなどで、画像処理結果や、操作部104による操作の際のユーザインタフェイス画面などが表示される。
【0020】
なお、図1には示さないが、操作部104、モニタ106、入力デバイス107、出力デバイス108およびHD 109は、それぞれ所定のインタフェイスを介して、ホストコンピュータのシステムバスに接続されている。
【0021】
[画像処理部]
次に、画像処理部105の詳細な構成や動作を説明する。図2はカラーマッチング処理モジュールに基づき実行される画像処理部105の処理を説明する図である。
【0022】
カラーマッチング処理を行うカラーマッチング処理部201は、OSを介して入力される入力デバイス107に依存する画像データを、出力デバイス108に依存する画像データに変換する。
【0023】
入力プロファイル読出部202は、ホストコンピュータに接続された複数種類の入力デバイス107の、どのデバイスが画像データを入力しているかを示す情報「入力デバイスの種類」が入力されると、その情報に対応するデバイスの入力特性が記述された入力プロファイルデータを入力プロファイル記憶部204から読み出す。
【0024】
なお、入力プロファイル記憶部204は、例えばHD 109に割り当てられ、ホストコンピュータに接続された各種入力デバイス107の入力特性を記述した複数の入力プロファイルが予め格納されている。
【0025】
出力プロファイル読出部205は、特定の出力プロファイルを出力プロファイル記憶部207から読み出す。具体的には、ホストコンピュータに接続された複数種類の出力デバイス108の、どのデバイスによって画像を出力するかを示す情報「出力デバイスの種類」、そのデバイスに設定されている情報「記録メディアの種類」「二値化方法」「解像度」、および、画像出力に用いる記録剤の種類を示す情報「インクの種類」に対応するデバイス用のプロファイルを選択し、さらに、好み選択部206によって指定される「地域名」によって、各出力プロファイルに地域ごとに用意された出力プロファイル(図2は、アメリカ用プロファイル208、ヨーロッパ用プロファイル209おびアジア用プロファイル210が用意された例を示す)から一つまたは複数の出力プロファイルを読み出す。
【0026】
なお、代表的な地域における色味の好みを事前に調査し、そのような色味を実現する出力プロファイルを用意し、例えばHD 109に割り当てられた出力プロファイル記憶部207に格納する。勿論、出力プロファイル記憶部207には、ホストコンピュータに接続された各種出力デバイス108の、各種設定に応じた出力特性、および、地域特性を記述した複数の出力プロファイルが予め格納されている。
【0027】
出力プロファイル合成部203は、出力プロファイル読出部205によって読み出された一つまたは複数の出力プロファイルを合成する。プロファイルの合成は、好み選択部206から入力される合成比率に基づき行われ、合成された出力プロファイルはカラーマッチング処理部201へ入力される。
【0028】
好み選択部206は、CPU 101の処理によって実現され、図3に示すユーザインタフェイスをモニタ106に表示する。なお、図3は地域が三個所の例を示すが、これに限定されるわけではない。
【0029】
図3に示すユーザインタフェイスの三角形の頂点301は地域A(例えばアジア)、頂点302は地域B(例えばアメリカ)、頂点303は地域C(例えばヨーロッパ)に対応する。ユーザが好みを設定するためのカーソル307は、操作部104のマウスなどのポインティングデバイスの動きに連動して、三角形内を移動する。カーソル307を頂点301に移動し、例えばマウスボタンを押すと地域Aが指定される。同様に、頂点302へ移動しマウスボタンを押せば地域Bが、頂点303へ移動しマウスボタンを押せば地域Cが指定される。頂点を指定する三つのケースでは、指定された頂点に対応する地域名が出力プロファイル読出部205に送られる。従って、これらのケースでは、プロファイルの合成は行わず、指定された地域名に対応する出力プロファイルがカラーマッチング処理部201へ入力される。
【0030】
一方、頂点以外にカーソル307を移動し、マウスボタンが押された場合は以下のようになる。
【0031】
● 二頂点間の線分上が指定された場合
二つの地域名が出力プロファイル読出部205へ入力され、二つのプロファイルの合成比率が出力プロファイル合成部206へ入力される。例えば、図3に示す点304が指定された場合、地域AおよびBに対応する出力プロファイルPAおよびPBの合成比率rAおよびrBは次式で表される。
rA = 1 - Dist/Len
rB = Dist/Len … (1)
【0032】
つまり、点304が指定された場合、ユーザは、地域Aと地域Bの間、かつ、地域Bよりの出力プロファイルを指定したことになる。
【0033】
● 辺以外の三角形内部が指定された場合
三つの地域名が出力プロファイル読出部205へ入力され、三つのプロファイルの合成比率が出力プロファイル合成部203へ入力される。例えば、図3に示す点305が指定された場合、地域A、BおよびCに対応する出力プロファイルPA、PBおよびPCの合成比率rA、rBおよびrCは次式で表される。
rA = 1 - 2a/(a + b + c)
rB = 1 - 2b/(a + b + c) … (2)
rC = 1 - 2c/(a + b + c)
【0034】
出力プロファイル合成部203は、入力される出力プロファイルと、合成比率に基づき、下に示す式によって出力プロファイルを合成する。
合成プロファイル = ΣPi×ri
ここでΣ演算の範囲はi=1から2、または、i=1から3
【0035】
色度点がCIE L*a*b*色空間で表される場合、例えば、地域Aの出力プロファイルPAの色度点L*a*b*が(50,10,30)、地域Bの出力プロファイルPBの色度点L*a*b*が(52,12,32)、合成比率がrA=2/5およびrB=3/5の場合、合成プロファイルの色度点は下記のようになる。
L* = 50×2/5 + 52×3/5 = 51.2
a* = 10×2/5 + 12×3/5 = 11.2
b* = 30×2/5 + 32×3/5 = 31.2
【0036】
この変換例は、出力プロファイルの一点についてのみ示すが、実際には出力プロファイルの格子点全点(通常、格子点の数は9×9×9=729点程度)に対し合成を行い、合成プロファイルを作成する。
【0037】
[出力プロファイルの例]
図4は出力プロファイルの一例を示す図である。
【0038】
プロファイルは、各種プロファイルに関する基本情報が記述されたヘッダ401、および、カラーマッチング処理に用いる情報が記述されたテーブル402を有する。ヘッダ401は、例えば、ID情報、バージョン情報、デバイスの基本的なタイプを示すデバイスクラス情報などを含む。
【0039】
また、テーブル402は、デバイスに依存のないPCS (Profile Connection Space)における画像データBを、あるデバイスに依存する色空間の画像データAに変換する処理に関する色処理パラメータであるBtoA情報、あるデバイスに依存する色空間の画像データAを、PCSにおける画像データBに変換する処理に関する色処理パラメータであるAtoB情報を含む。これらBtoA情報およびAtoB情報は、カラーマッチング処理モジュールがサポートするカラーマッチング方法、色味優先カラーマッチング(Perceptual)、測色的一致カラーマッチング(Colorimetric)、彩やかさ優先カラーマッチング(Saturation)のそれぞれに対応して格納されている。ここで、Perceptualは、色の階調性を重視した、写真画像などに適したカラーマッチングである。Colorimetricは、測色的に一致した色の再現を目的とする、ロゴタイプなどの画像に適したカラーマッチングである。Saturationは、色の鮮やかさを重視する、グラフやCG(コンピュータグラフィクス)などの画像に適したカラーマッチングである。
【0040】
また、図4に示す色処理パラメータは、どのカラーマッチング方法に対応するかを区別するために、Perceptualには番号「01」が、Colorimetricには番号「02」が、Saturationには番号「03」が付されている。
【0041】
なお、上述したように、本実施形態で利用する出力プロファイルは、地域特性を考慮したもの、あるいは、複数の地域に対応する出力プロファイルを、ユーザが指示する合成比率で合成したものである。
【0042】
[カラーマッチング処理]
図5および図6は、出力プロファイルを用いる、画像形成処理およびプレビュー処理に関わるカラーマッチング処理を説明する図である。
【0043】
OS上で稼働する例えばDTPアプリケーションなどで作成した入力画像は、モニタの特性に依存するRGBデータ(以下「モニタRGB」と呼ぶ)で表される。カラーマッチング処理モジュールCMM1は、モニタRGBで表される画像を、PCSを介して、出力デバイス(例えばプリンタ)の特性に依存するCMYKデータ(以下「プリンタCMKY」と呼ぶ)で表される画像に変換する(S10-S20)。
【0044】
この場合、まず、入力プロファイル読出部202によってモニタプロファイル42が読み出され、AtoB情報43がCMM1に設定される。また、出力プロファイル読出部205によってプリンタプロファイル47が読み出され、指定のカラーマッチング方法に応じたBtoA情報46がCMM1に設定される。
【0045】
AtoB情報43は、図7に示すように、入力デバイスであるモニタのガンマ特性に応じた逆ガンマ処理を行う三個の一次元LUT群32、および、標準空間で定義されるRGBデータをXYZデータに変換する3×3マトリクス33を格納する。なお、この場合、N次元LUT31およびM個の一次元LUT群30を用いる処理は行われずスキップされる。
【0046】
一方、BtoA情報46は、図8に示すように、XYZ空間で定義される画像データをL*a*b*空間の画像データに変換する3×3マトリクス20、一次元LUT群21、指定されたカラーマッチングを行って画像データをプリンタの色再現範囲内に変換する三次元LUT22、および、プリンタの階調特性に応じたガンマ補正を行う一次元LUT群23が格納されている。
【0047】
ステップS10で、AtoB情報43に基づき、モニタRGBがXYZデータ(PCSデータ)に変換され、ステップS20で、BtoA情報46に基づき、XYZデータがプリンタCMKYに変換される。
【0048】
画像を形成する場合は、ステップS25でプリンタCMKYが出力デバイス108に出力されてカラーマッチング処理および画像形成処理が終了する。他方、プレビュー処理の場合は、引き続きステップS30からS40が実行され、その結果得られる画像データがステップS45でモニタ106に出力される。
【0049】
CMM2は、CMM1によって生成された出力デバイス108の特性に依存するCMYKデータ(プリンタCMKY)を、プレビュー画像を表示するモニタ106の特性に依存するRGBデータに変換する(S30-S40)。
【0050】
この場合、まず、入力プロファイル読出部202によってプリンタプロファイル47が読み出され、指定されたカラーママッチング方法に対応するAtoB情報45が、CMM2に設定される。また、出力プロファイル読出部205によってモニタプロファイル42が読み出され、BtoA情報44がCMM2に設定される。
【0051】
AtoB情報45は、図7に示す手順に従い変換処理を行うためのデータを有し、プリンタの階調特性に応じたガンマ補正を行う一次元LUT群23(図8参照)を用いる変換処理の逆処理を行う一次元LUT群30、プリンタの色再現特性に基づき一次元LUT群30で処理されたCMYKデータをL*a*b空間で定義されるデータに変換するためのN次元LUT 31、L*a*b*色空間で定義されるデータをXYZ色空間のデータ(PCSデータ)に変換する一次元LUT群32、並びに、3×3マトリクス33を含む。
【0052】
一方、BtoA情報44には、図8に示すように、3×3マトリクス33(図7)の変換処理の逆処理を行う3×3マトリクス20、および、一次元LUT群30(図7)を用いるた変換処理の逆処理に相当するモニタガンマ補正を行う一次元LUT群23を含む。
【0053】
ステップS30で、AtoB情報45に基づき、プリンタCMYKをXYZデータ(PCSデータ)に変換され、ステップS40で、BtoA情報44に基づき、PCSデータがモニタRGBに変換され、ステップS45でモニタRGBの画像データがモニタ106に出力され、プレビュー処理が終了する。
【0054】
なお、上述したように、本実施形態では、地域特性を考慮した、あるいは、複数の地域に対応する出力プロファイルを、ユーザが指示する合成比率で合成した出力プロファイルを使用するから、カラーマッチング処理の結果は地域特性または複数の地域特性が合成比率に基づき合成されたものになり、ユーザの好み、並びに、その観察環境(地域、室内外、家庭またはオフィス、および、照明光など)に応じた色味の画像を得ることができる。
【0055】
【変形例】
上記の実施形態において、異なる色再現範囲をもつ、異なる出力媒体それぞれに最適化された出力プロファイルを用意して、所定の方法(ユーザに指定させるなど)によって出力媒体の情報を獲得し、地域情報および出力媒体の情報から出力プロファイルを選択するようにしてもよい。そうすれば、色再現範囲が異なる出力媒体に対して、地域情報を反映した適切なカラーマッチング処理が実現される。
【0056】
また、異なる出力媒体における色再現範囲の違いに対して、出力画像の色味が同じになるような出力プロファイルにし、地域情報から出力プロファイルを選択して、カラーマッチング処理を行うようにしてもよい。そうすれば、色再現範囲が異なる出力媒体に対して、地域情報を反映し、かつ、出力画像における色味が同じになるカラーマッチング処理が実現される。
【0057】
【他の実施形態】
なお、本発明は、複数の機器(例えばホストコンピュータ、インタフェイス機器、リーダ、プリンタなど)から構成されるシステムに適用しても、一つの機器からなる装置(例えば、複写機、ファクシミリ装置など)に適用してもよい。
【0058】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体(または記録媒体)を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム(OS)などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【0059】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【0060】
本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。
【0061】
【発明の効果】
以上説明したように、本発明によれば、地域特性およびユーザの好みに応じた色変換を容易に設定することができる。
【図面の簡単な説明】
【図1】実施形態のホストコンピュータの構成例を示すブロック図、
【図2】カラーマッチング処理モジュールに基づき実行される画像処理部の処理を説明する図、
【図3】好み選択部のユーザインタフェイスを示す図、
【図4】出力プロファイルの一例を示す図、
【図5】出力プロファイルを用いる、画像形成処理およびプレビュー処理に関わるカラーマッチング処理を説明するフローチャート、
【図6】出力プロファイルを用いる、画像形成処理およびプレビュー処理に関わるカラーマッチング処理を説明する図、
【図7】 AtoB情報の構成を説明する図、
【図8】 BtoA情報の構成を説明する図である。
[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image processing apparatus, an information input apparatus, and methods thereof, and for example, relates to a color conversion process in consideration of regional characteristics.
[0002]
[Prior art]
It has been said before that the colors preferred by the region differ. For example, when comparing skin color between Japan and North America, it is reported that Japan prefers a skin color with a strong magenta color. It is said that differences in people and solar radiation are the main causes of the regional colors that are favored, but differences in cultural background are also having a considerable influence. This is reflected in the color reproduction of the film of silver salt sensitive material manufacturers. For example, Fuji Photo Film's positive film expresses a slightly magenta skin color compared to Kodak.
[0003]
[Problems to be solved by the invention]
Color output (especially skin color) of inkjet printers intended for photographic image output is preferred in the Japanese market, but not necessarily preferred in other countries' markets. The printer is also required to have a function that reflects the regional characteristics of the preferred color.
[0004]
It is an object of the present invention to facilitate the setting of color conversion according to regional characteristics and user preferences.
[0005]
[Means for Solving the Problems]
The present invention has the following configuration as one means for achieving the above object.
[0006]
An information input device according to the present invention includes an input unit for a user to input the region information in a color conversion device that performs color conversion of an image based on the region information. represented as a vertex, the degree of information indicating those areas impact on the color conversion includes a user interface to represent the distance from the plurality of vertices, as the area information, the information indicative of the plurality of regions The degree of influence can be input on the basis of this .
[0007]
An image processing apparatus according to the present invention includes input means for a user to input area information, and conversion means for color-converting an image based on the area information. represented as a vertex, the degree of information indicating those areas impact on the color conversion includes a user interface to represent the distance from the plurality of vertices, as the area information, the information indicative of the plurality of regions The degree of influence can be input on the basis of this .
[0008]
An information input method according to the present invention is an information input method in which a user inputs the area information to a color conversion device that performs color conversion of an image based on area information, and represents a plurality of areas as vertices of a figure, The influence based on the information indicating the plurality of areas as the area information in accordance with the operation of the user interface expressing the degree of influence of the information indicating the area on the color conversion as the distance from the plurality of vertices. It is characterized by inputting the degree of.
[0009]
An image processing method according to the present invention is an image processing method for color-converting an image based on area information input by a user, wherein a plurality of areas are expressed as vertices of a figure, and information indicating these areas is used for the color conversion. The degree of influence is input based on information indicating the plurality of areas as the area information in accordance with an operation of a user interface that expresses the degree of influence as a distance from the plurality of vertices. To do.
[0011]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, an image processing apparatus according to an embodiment of the present invention will be described in detail with reference to the drawings.
[0012]
FIG. 1 is a block diagram illustrating a configuration example of a computer device (hereinafter referred to as “host computer”) according to the embodiment.
[0013]
CPU 101 is based on data stored in ROM 102 or hard disk (HD) 109, control program, operating system (OS), application program (AP), color matching processing module (CMM), device driver, etc., RAM 103, operation The unit 104, the image processing unit 105, the monitor 106, the input device 107, and the output device 108 are controlled to perform various controls and processes.
[0014]
A RAM 103 is a work area for executing various control programs, and a temporary storage area for data input from the operation unit 104.
[0015]
The input device 107 is an image input device such as an image scanner including a CCD or CMOS sensor, a digital camera, or a still video camera, and inputs acquired image data to a host computer.
[0016]
The output device 108 is an ink jet printer, a thermal transfer printer, a wire dot printer, or the like, and forms and outputs a color image on recording paper.
[0017]
The operation unit 104 is used by a user to input operation data of the input device 107 and the output device 108, setting data of various conditions of image processing, and the like with a mouse, a keyboard, and the like.
[0018]
The image processing unit 105 is a function expansion card configured by hardware such as ASIC and DSP, for example, and performs various image processing including image processing to be described later under the control of the CPU 101. If the performance of CPU 101 is high and the access speed of RAM 103 and HD 109 is sufficiently high, CPU 101, RAM 103 and HD 109 can be used without preparing a special function expansion card as image processing unit 105. The same result can be obtained by executing a program corresponding to image processing described later.
[0019]
The monitor 106 is a CRT, LCD, or the like, and displays an image processing result, a user interface screen at the time of operation by the operation unit 104, and the like.
[0020]
Although not shown in FIG. 1, the operation unit 104, the monitor 106, the input device 107, the output device 108, and the HD 109 are each connected to the system bus of the host computer via a predetermined interface.
[0021]
[Image processing unit]
Next, a detailed configuration and operation of the image processing unit 105 will be described. FIG. 2 is a diagram for explaining processing of the image processing unit 105 executed based on the color matching processing module.
[0022]
A color matching processing unit 201 that performs color matching processing converts image data that depends on the input device 107 that is input via the OS into image data that depends on the output device 108.
[0023]
The input profile reading unit 202 responds to input information “input device type” indicating which device of the multiple types of input devices 107 connected to the host computer is inputting image data. The input profile data describing the input characteristics of the device to be read is read from the input profile storage unit 204.
[0024]
The input profile storage unit 204 stores in advance a plurality of input profiles that describe input characteristics of various input devices 107 that are assigned to the HD 109 and connected to the host computer, for example.
[0025]
The output profile reading unit 205 reads a specific output profile from the output profile storage unit 207. Specifically, the information “output device type” indicating which device outputs an image from a plurality of types of output devices 108 connected to the host computer, the information set in the device “type of recording medium” ”,“ Binarization method ”,“ resolution ”, and the device profile corresponding to the information“ ink type ”indicating the type of recording material used for image output are selected and further specified by the preference selection unit 206 one from the "regional name", each output profile output profile that has been prepared for each area (FIG. 2 shows an example in which the United States for the profile 208, Europe for profile 209 your good beauty Asia for the profile 210 has been prepared) Or read multiple output profiles.
[0026]
It should be noted that the taste of color in a representative region is investigated in advance, and an output profile that realizes such color is prepared and stored in, for example, the output profile storage unit 207 assigned to the HD 109. Of course, the output profile storage unit 207 stores in advance a plurality of output profiles describing output characteristics according to various settings and regional characteristics of various output devices 108 connected to the host computer.
[0027]
The output profile synthesis unit 203 synthesizes one or a plurality of output profiles read by the output profile reading unit 205. Profile synthesis is performed based on the synthesis ratio input from the preference selection unit 206, and the synthesized output profile is input to the color matching processing unit 201.
[0028]
The preference selection unit 206 is realized by the processing of the CPU 101, and displays the user interface shown in FIG. Although FIG. 3 shows an example in which there are three areas, the present invention is not limited to this.
[0029]
The triangle 301 of the user interface shown in FIG. 3 corresponds to a region A (for example, Asia), the vertex 302 corresponds to a region B (for example, the United States), and the vertex 303 corresponds to a region C (for example, Europe). A cursor 307 for the user to set preferences moves in a triangle in conjunction with the movement of a pointing device such as a mouse of the operation unit 104. When the cursor 307 is moved to the vertex 301 and the mouse button is pressed, for example, the area A is designated. Similarly, the region B is designated by moving to the vertex 302 and pressing the mouse button, and the region C is designated by moving to the vertex 303 and pressing the mouse button. In the three cases of designating vertices, the area name corresponding to the designated vertex is sent to the output profile reading unit 205. Therefore, in these cases, no profile synthesis is performed, and an output profile corresponding to the designated area name is input to the color matching processing unit 201.
[0030]
On the other hand, when the cursor 307 is moved to a position other than the vertex and the mouse button is pressed, the following occurs.
[0031]
When a line segment between two vertices is designated, two area names are input to the output profile reading unit 205, and a combination ratio of the two profiles is input to the output profile combining unit 206. For example, when the point 304 shown in FIG. 3 is designated, the combined ratios rA and rB of the output profiles PA and PB corresponding to the regions A and B are expressed by the following equations.
rA = 1-Dist / Len
rB = Dist / Len… (1)
[0032]
That is, when the point 304 is designated, the user designates an output profile between the region A and the region B and from the region B.
[0033]
When the inside of the triangle other than the side is designated, the three area names are input to the output profile reading unit 205, and the combination ratio of the three profiles is input to the output profile combining unit 203 . For example, when the point 305 shown in FIG. 3 is designated, the combined ratios rA, rB, and rC of the output profiles PA, PB, and PC corresponding to the regions A, B, and C are expressed by the following equations.
rA = 1-2a / (a + b + c)
rB = 1-2b / (a + b + c)… (2)
rC = 1-2c / (a + b + c)
[0034]
The output profile synthesis unit 203 synthesizes the output profile according to the following formula based on the input output profile and the synthesis ratio.
Composite profile = ΣPi × ri
Here, the range of Σ operation is i = 1 to 2, or i = 1 to 3
[0035]
When the chromaticity point is expressed in the CIE L * a * b * color space, for example, the chromaticity point L * a * b * of the output profile PA of the region A is (50, 10, 30) and the output of the region B When the chromaticity point L * a * b * of profile PB is (52, 12, 32) and the composition ratio is rA = 2/5 and rB = 3/5, the chromaticity point of the composition profile is as follows: .
L * = 50 × 2/5 + 52 × 3/5 = 51.2
a * = 10 × 2/5 + 12 × 3/5 = 11.2
b * = 30 × 2/5 + 32 × 3/5 = 31.2
[0036]
This conversion example shows only one point of the output profile. However, in practice, synthesis is performed for all the grid points of the output profile (usually the number of grid points is about 9 x 9 x 9 = 729 points). Create
[0037]
[Example of output profile]
FIG. 4 is a diagram showing an example of an output profile.
[0038]
The profile includes a header 401 in which basic information about various profiles is described, and a table 402 in which information used for color matching processing is described. The header 401 includes, for example, ID information, version information, device class information indicating a basic type of device, and the like.
[0039]
Further, the table 402 shows BtoA information, which is a color processing parameter related to processing for converting image data B in a device-independent PCS (Profile Connection Space) into image data A in a color space depending on a certain device. It includes AtoB information, which is a color processing parameter relating to processing for converting image data A in the dependent color space into image data B in the PCS. These BtoA information and AtoB information correspond to the color matching method supported by the color matching processing module, color priority color matching (Perceptual), colorimetric color matching (Colorimetric), and color priority color matching (Saturation). And stored. Here, Perceptual is color matching suitable for a photographic image and the like with emphasis on color gradation. Colorimetric is color matching suitable for logotypes and other images for the purpose of reproducing colors that match calorimetrically. Saturation is color matching suitable for images such as graphs and computer graphics (CG) that emphasizes the vividness of colors.
[0040]
In order to distinguish which color matching method the color processing parameter shown in FIG. 4 corresponds to, the number “01” for Perceptual, the number “02” for Colorimetric, and the number “03” for Saturation Is attached.
[0041]
Note that, as described above, the output profile used in the present embodiment is one that takes into account regional characteristics, or is a composite of output profiles corresponding to a plurality of regions at a combination ratio designated by the user.
[0042]
[Color matching processing]
FIG. 5 and FIG. 6 are diagrams for explaining color matching processing related to image forming processing and preview processing using an output profile.
[0043]
An input image created by, for example, a DTP application running on the OS is represented by RGB data (hereinafter referred to as “monitor RGB”) that depends on the characteristics of the monitor. The color matching processing module CMM1 converts the image represented by the monitor RGB into an image represented by CMYK data (hereinafter referred to as “printer CMKY”) that depends on the characteristics of the output device (for example, a printer) via the PCS. (S10-S20).
[0044]
In this case, first, the monitor profile 42 is read by the input profile reading unit 202, and the AtoB information 43 is set in the CMM1. Further, the printer profile 47 is read by the output profile reading unit 205, and the BtoA information 46 corresponding to the designated color matching method is set in the CMM1.
[0045]
As shown in FIG. 7, the AtoB information 43 includes three one-dimensional LUT groups 32 that perform inverse gamma processing according to the gamma characteristics of the monitor that is the input device, and RGB data defined in the standard space as XYZ data. The 3 × 3 matrix 33 to be converted into is stored. In this case, the processing using the N-dimensional LUT 31 and the M one-dimensional LUT group 30 is not performed and is skipped.
[0046]
On the other hand, the BtoA information 46 is designated by a 3 × 3 matrix 20 and a one-dimensional LUT group 21, which convert image data defined in XYZ space into image data in L * a * b * space, as shown in FIG. In addition, a three-dimensional LUT 22 for converting the image data into the color reproduction range of the printer by performing color matching, and a one-dimensional LUT group 23 for performing gamma correction according to the gradation characteristics of the printer are stored.
[0047]
In step S10, the monitor RGB is converted into XYZ data (PCS data) based on the AtoB information 43, and in step S20, the XYZ data is converted into the printer CMKY based on the BtoA information 46.
[0048]
In the case of forming an image, the printer CMKY is output to the output device 108 in step S25, and the color matching process and the image forming process are completed. On the other hand, in the case of the preview process, steps S30 to S40 are continuously executed, and the resulting image data is output to the monitor 106 in step S45.
[0049]
The CMM2 converts the CMYK data (printer CMKY) that depends on the characteristics of the output device 108 generated by the CMM1 into RGB data that depends on the characteristics of the monitor 106 that displays the preview image (S30-S40).
[0050]
In this case, first, the printer profile 47 is read by the input profile reading unit 202, and the AtoB information 45 corresponding to the designated color matching method is set in the CMM2. Further, the monitor profile 42 is read by the output profile reading unit 205, and the BtoA information 44 is set in the CMM2.
[0051]
The AtoB information 45 includes data for performing conversion processing according to the procedure shown in FIG. 7, and is the reverse of the conversion processing using the one-dimensional LUT group 23 (see FIG. 8) that performs gamma correction according to the gradation characteristics of the printer. One-dimensional LUT group 30 for processing, N-dimensional LUT 31 for converting CMYK data processed by one-dimensional LUT group 30 based on the color reproduction characteristics of the printer into data defined in L * a * b space A one-dimensional LUT group 32 for converting data defined in the * a * b * color space into data (PCS data) in the XYZ color space, and a 3 × 3 matrix 33 are included.
[0052]
On the other hand, as shown in FIG. 8, the BtoA information 44 includes a 3 × 3 matrix 20 that performs a reverse process of the conversion process of the 3 × 3 matrix 33 (FIG. 7), and a one-dimensional LUT group 30 (FIG. 7). A one-dimensional LUT group 23 for performing monitor gamma correction corresponding to the inverse process of the conversion process used is included.
[0053]
In step S30, the printer CMYK is converted into XYZ data (PCS data) based on the AtoB information 45. In step S40, the PCS data is converted into monitor RGB based on the BtoA information 44. In step S45, the monitor RGB image data is converted. Is output to the monitor 106 , and the preview process ends.
[0054]
Note that, as described above, in the present embodiment, an output profile in which regional characteristics are taken into consideration or an output profile corresponding to a plurality of regions is combined at a combination ratio designated by the user is used. The result is a combination of regional characteristics or multiple regional characteristics based on the composition ratio, and colors according to the user's preference and the observation environment (region, indoors / outdoors, home or office, illumination light, etc.) A taste image can be obtained.
[0055]
[Modification]
In the above embodiment, an output profile optimized for each different output medium having a different color reproduction range is prepared, and information on the output medium is obtained by a predetermined method (such as specifying by a user), and regional information is obtained. The output profile may be selected from information on the output medium. Then, an appropriate color matching process reflecting regional information is realized for output media having different color reproduction ranges.
[0056]
Alternatively, color matching processing may be performed by selecting an output profile that matches the color of the output image with respect to the difference in color reproduction range in different output media, selecting the output profile from the region information. . By doing so, color matching processing is realized in which the regional information is reflected and the color tone in the output image is the same for the output media having different color reproduction ranges.
[0057]
[Other Embodiments]
Note that the present invention can be applied to a system including a plurality of devices (for example, a host computer, an interface device, a reader, and a printer), and a device (for example, a copying machine and a facsimile device) including a single device. You may apply to.
[0058]
Another object of the present invention is to supply a storage medium (or recording medium) in which a program code of software that realizes the functions of the above-described embodiments is recorded to a system or apparatus, and the computer (or CPU or CPU) of the system or apparatus. Needless to say, this can also be achieved by the MPU) reading and executing the program code stored in the storage medium. In this case, the program code itself read from the storage medium realizes the functions of the above-described embodiments, and the storage medium storing the program code constitutes the present invention. Further, by executing the program code read by the computer, not only the functions of the above-described embodiments are realized, but also an operating system (OS) running on the computer based on the instruction of the program code. It goes without saying that a case where the function of the above-described embodiment is realized by performing part or all of the actual processing and the processing is included.
[0059]
Furthermore, after the program code read from the storage medium is written into a memory provided in a function expansion card inserted into the computer or a function expansion unit connected to the computer, the function is determined based on the instruction of the program code. It goes without saying that the CPU or the like provided in the expansion card or the function expansion unit performs part or all of the actual processing, and the functions of the above-described embodiments are realized by the processing.
[0060]
When the present invention is applied to the storage medium, the storage medium stores program codes corresponding to the flowcharts described above.
[0061]
【The invention's effect】
As described above, according to the present invention, it is possible to easily set the color conversion in accordance with preferences of local characteristics and the user.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a configuration example of a host computer according to an embodiment;
FIG. 2 is a diagram for explaining processing of an image processing unit executed based on a color matching processing module;
FIG. 3 is a diagram showing a user interface of a preference selection unit;
FIG. 4 is a diagram showing an example of an output profile;
FIG. 5 is a flowchart for explaining color matching processing related to image formation processing and preview processing using an output profile;
FIG. 6 is a diagram for explaining color matching processing related to image formation processing and preview processing using an output profile;
FIG. 7 is a diagram for explaining the configuration of AtoB information;
FIG. 8 is a diagram illustrating the configuration of BtoA information.

Claims (8)

地域情報に基づき画像を色変換する色変換装置に、ユーザが前記地域情報を入力するための入力手段を有し、
前記入力手段は、複数の地域を図形の頂点として表現し、それら地域を示す情報が前記色変換に及ぼす影響の度合いを前記複数の頂点からの距離として表現するユーザインタフェイスを有し、前記地域情報として、前記複数の地域を示す情報に基づいて前記影響の度合いを入力可能であることを特徴とする情報入力装置。
In a color conversion device for color-converting an image based on regional information, the user has an input means for inputting the regional information,
The input means has a user interface that expresses a plurality of regions as vertices of a figure, and expresses the degree of influence of information indicating the regions on the color conversion as a distance from the vertices, An information input device characterized in that the degree of influence can be input based on information indicating the plurality of areas as information.
ユーザが地域情報を入力するための入力手段と、
前記地域情報に基づき画像を色変換する変換手段とを有し、
前記入力手段は、複数の地域を図形の頂点として表現し、それら地域を示す情報が前記色変換に及ぼす影響の度合いを前記複数の頂点からの距離として表現するユーザインタフェイスを有し、前記地域情報として、前記複数の地域を示す情報に基づいて前記影響の度合いを入力可能であることを特徴とする画像処理装置。
An input means for a user to input regional information;
Conversion means for color-converting the image based on the regional information,
The input means has a user interface that expresses a plurality of regions as vertices of a figure, and expresses the degree of influence of information indicating the regions on the color conversion as a distance from the vertices, An image processing apparatus, wherein the degree of influence can be input based on information indicating the plurality of areas as information.
さらに、前記入力された地域情報に対応するプロファイルを取得する取得手段と、
前記複数の地域を示す情報が入力された場合、前記取得手段によって取得される複数のプロファイルを、前記影響の度合いに基づき合成する合成手段とを有することを特徴とする請求項2に記載された画像処理装置。
And obtaining means for obtaining a profile corresponding to the input regional information;
3. The information processing apparatus according to claim 2, further comprising: a combining unit configured to combine a plurality of profiles acquired by the acquiring unit based on the degree of influence when information indicating the plurality of regions is input. Image processing device.
地域情報に基づき画像を色変換する色変換装置に、ユーザが前記地域情報を入力する情報入力方法であって、
複数の地域を図形の頂点として表現し、それら地域を示す情報が前記色変換に及ぼす影響の度合いを前記複数の頂点からの距離として表現するユーザインタフェイスの操作に応じて、前記地域情報として、前記複数の地域を示す情報に基づいて前記影響の度合いを入力することを特徴とする情報入力方法。
An information input method in which a user inputs the regional information to a color conversion device that performs color conversion of an image based on regional information,
According to the operation of the user interface that expresses a plurality of areas as vertices of a figure and expresses the degree of influence of information indicating those areas on the color conversion as a distance from the plurality of vertices, as the area information, An information input method comprising inputting the degree of influence based on information indicating the plurality of areas.
ユーザが入力した地域情報に基づき画像を色変換する画像処理方法であって、
複数の地域を図形の頂点として表現し、それら地域を示す情報が前記色変換に及ぼす影響の度合いを前記複数の頂点からの距離として表現するユーザインタフェイスの操作に応じて、前記地域情報として、前記複数の地域を示す情報に基づいて前記影響の度合いを入力することを特徴とする画像処理方法。
An image processing method for color-converting an image based on area information input by a user,
According to the operation of the user interface that expresses a plurality of areas as vertices of a figure and expresses the degree of influence of information indicating those areas on the color conversion as a distance from the plurality of vertices, as the area information, An image processing method comprising inputting the degree of influence based on information indicating the plurality of areas.
さらに、前記入力された地域情報に対応するプロファイルを取得し、
前記複数の地域を示す情報が入力された場合、取得される複数のプロファイルを、前記影響の度合いに基づき合成することを特徴とする請求項5に記載された画像処理方法。
Furthermore, a profile corresponding to the input regional information is acquired,
6. The image processing method according to claim 5, wherein when information indicating the plurality of areas is input, the plurality of profiles acquired are combined based on the degree of influence.
情報処理装置を制御して、請求項4から請求項6の何れかに記載された処理を実行することを特徴とするコンピュータプログラム。  7. A computer program that controls an information processing apparatus to execute the processing according to claim 4. 請求項7に記載されたコンピュータプログラムが記録されたことを特徴とするコンピュータが読み取り可能な記録媒体。  8. A computer-readable recording medium on which the computer program according to claim 7 is recorded.
JP2002129333A 2002-04-30 2002-04-30 Image processing apparatus, information input apparatus, and methods thereof Expired - Fee Related JP3840141B2 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2002129333A JP3840141B2 (en) 2002-04-30 2002-04-30 Image processing apparatus, information input apparatus, and methods thereof
US10/420,730 US7450281B2 (en) 2002-04-30 2003-04-23 Image processing apparatus and information processing apparatus, and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002129333A JP3840141B2 (en) 2002-04-30 2002-04-30 Image processing apparatus, information input apparatus, and methods thereof

Publications (2)

Publication Number Publication Date
JP2003324617A JP2003324617A (en) 2003-11-14
JP3840141B2 true JP3840141B2 (en) 2006-11-01

Family

ID=29542799

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002129333A Expired - Fee Related JP3840141B2 (en) 2002-04-30 2002-04-30 Image processing apparatus, information input apparatus, and methods thereof

Country Status (1)

Country Link
JP (1) JP3840141B2 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7643175B2 (en) * 2006-12-14 2010-01-05 Eastman Kodak Company Color print enhancement system with conversion of PCS encoded picture into photographic process confined PCS and correction for finish
JP5012336B2 (en) * 2007-09-03 2012-08-29 コニカミノルタビジネステクノロジーズ株式会社 Device link profile creation apparatus, method and program thereof, and color conversion processing apparatus
KR101385170B1 (en) 2008-12-11 2014-04-22 삼성전자주식회사 Image forming device and method thereof
JP5598727B2 (en) 2011-02-17 2014-10-01 京セラドキュメントソリューションズ株式会社 Image processing device

Also Published As

Publication number Publication date
JP2003324617A (en) 2003-11-14

Similar Documents

Publication Publication Date Title
US7450281B2 (en) Image processing apparatus and information processing apparatus, and method thereof
US6643029B2 (en) Image processing method, image processing apparatus and computer readable memory
US6831755B1 (en) Printer having image correcting capability
US7312824B2 (en) Image-capturing apparatus, image processing apparatus and image recording apparatus
US20060170939A1 (en) Color processing device and its method
US20080106604A1 (en) Image output device, image processing apparatus, image output and image processing system, and method therefore
JP5153607B2 (en) Image processing apparatus, image processing method, and image processing program
JP2003087587A (en) Method and device for processing image data, storage medium and program
JP4135226B2 (en) Printer device
KR20070027231A (en) Image processing method and apparatus for printing displayed image
EP2384007B1 (en) Image reproduction using a particular color space
JP3943973B2 (en) Image processing apparatus and method
JP2005354372A (en) Apparatus and method for image recording device, method and system for image processing
JP2008244997A (en) Image processing system
JP2008244996A (en) Image processing system
JP3840141B2 (en) Image processing apparatus, information input apparatus, and methods thereof
JP4508953B2 (en) Image processing method and image processing apparatus
JP2006254369A (en) Color processing method and device thereof
JP2005157654A (en) Image processing apparatus, image processing method, storage medium and program
JP5235551B2 (en) Image processing apparatus and method
JP2004120253A (en) Image processing method and image processor
JP2006173826A (en) Image processing method and apparatus
JP3934968B2 (en) Color conversion definition creation method, color conversion definition creation device, and color conversion definition creation program
JP2004236201A (en) Image processor and image processing method
JP4986414B2 (en) Image processing method and image processing apparatus

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040614

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20051201

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20051216

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060214

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060313

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060512

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060606

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060620

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060714

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060804

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090811

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100811

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110811

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120811

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120811

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130811

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees