JP2000013623A - 画像処理方法、装置および記録媒体 - Google Patents

画像処理方法、装置および記録媒体

Info

Publication number
JP2000013623A
JP2000013623A JP10177132A JP17713298A JP2000013623A JP 2000013623 A JP2000013623 A JP 2000013623A JP 10177132 A JP10177132 A JP 10177132A JP 17713298 A JP17713298 A JP 17713298A JP 2000013623 A JP2000013623 A JP 2000013623A
Authority
JP
Japan
Prior art keywords
image
color
original image
image data
color processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP10177132A
Other languages
English (en)
Other versions
JP3492202B2 (ja
Inventor
Tetsuya Suwa
徹哉 諏訪
Kentaro Yano
健太郎 矢野
Manabu Yamazoe
学 山添
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP17713298A priority Critical patent/JP3492202B2/ja
Priority to US09/337,534 priority patent/US6608926B1/en
Publication of JP2000013623A publication Critical patent/JP2000013623A/ja
Application granted granted Critical
Publication of JP3492202B2 publication Critical patent/JP3492202B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/6077Colour balance, e.g. colour cast correction
    • H04N1/608Colour balance, e.g. colour cast correction within the L, C1, C2 colour signals
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/40Image enhancement or restoration using histogram techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/92Dynamic range modification of images or parts thereof based on global image properties
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40Picture signal circuits
    • H04N1/407Control or modification of tonal gradation or of extreme levels, e.g. background level
    • H04N1/4072Control or modification of tonal gradation or of extreme levels, e.g. background level dependent on the contents of the original
    • H04N1/4074Control or modification of tonal gradation or of extreme levels, e.g. background level dependent on the contents of the original using histograms
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)

Abstract

(57)【要約】 【課題】 原画像の特徴に応じた良好な色処理を行うこ
とができるようにすることを目的とする。 【解決手段】 原画像を示す画像データを入力し、前記
画像データの彩度成分の値が所定値より大きいか否かを
判断し、前記画像データの彩度成分の値が所定値より大
きいと判断された場合は該画像データを除外して、前記
原画像のヒストグラムを作成し、前記作成されたヒスト
グラムに基づき色処理条件を設定し、前記設定された色
処理条件により前記原画像を色処理することを特徴とす
る。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は原画像のヒストグラ
ムに応じた色補正を行う画像処理方法、装置および記録
媒体に関する。
【0002】
【従来の技術】ここ数年におけるパーソナルコンピュー
タの性能向上により、大容量のファイルでさえも容易に
かつ高速に扱えるようになった。一般に容量の大きいと
される写真調の自然画像もより多くの人が取り扱うよう
になってきている。それに加えデジタルカメラやスキャ
ナに代表される入力機器も普及してきたため、さまざま
な画像のデジタル化が行われるようになった。一口に写
真画像といってもその中にはプロの撮影した高画質の画
像から、あまり品位の良くない画像まで様々である。こ
こで言う品位の良くない画像とは露出のオーバーしてい
るものやアンダーしているもの、画像全体に色味のつく
色かぶりを起こしている画像等である。一般に悪い画像
がつくられる原因として考えられるのは、撮影時の光量
が適正でないことや蛍光燈下での撮影といった撮影条件
によるものと、デジタルカメラのノイズや特性といった
デジタル化処理の際に起こる画像の劣化等が挙げられ
る。これら品位の悪い画像はデジタル化処理をしてパー
ソナルコンピュータ等に取り込んだ後、補正を施すこと
によって画像品位を上げることが可能である。
【0003】補正の方法は様々な方法が提案されている
が、その一つとしてハイライトポイントとシャドーポイ
ントを決定し、それに基づいて補正を行う方法が挙げら
れる。この方法を行うためには、画像の輝度Yのヒスト
グラムを作成する。ここで輝度Yは、各色入力信号値赤
(R)、緑(G)、青(B)(各8bit)から以下の
式で求められる。
【0004】Y = a×R+b×G+c×B (但し、a+b+c=1) 上式中のa、b、cの値はNTSCの伝送方式に従う
と、それぞれ0.3、0.59、0.11である。
【0005】品位の良くない画像、例えば撮影時に露出
のアンダーを起こしている画像は、一般に図17に示さ
れるような輝度ヒストグラムになる。この輝度ヒストグ
ラムでは本来白であるべき点が白でないことを表してい
る。そこで、図17中に示すように全画素数の上から数
パーセントに当たる輝度をハイライトポイント
(YHL)、下から数パーセントに当たる輝度をシャドー
ポイント(YSD)と決定する。
【0006】そして、決定されたハイライトポイントお
よびシャドーポイントに応じた画像補正処理を行い露出
がアンダーやオーバーしている画像の画質を改善する方
法が、本出願からも提案されている。
【0007】
【発明が解決しようとする課題】補正する画像の輝度Y
のヒストグラムを作成し、ハイライトポイントおよびシ
ャドーポイントを決定し変換を行うことで、露出のアン
ダーやオーバーしている画像を改善するコントラスト調
整および色かぶりを起こしている画像を良くすることも
可能である。
【0008】図9は画像サイズ一杯に黄色の花を撮影し
た画像例である。この場合の輝度ヒストグラムは図10
のようになる。黄色(R=G=255、B=0)は輝度
Y=227となり、大きな値をとる。そのため、図9の
ような写真中に黄色の多い画像の場合、ハイライトポイ
ントYHLを黄色のところに決定してしまう。その結果、
黄色である花が白くなってしまうことがある。
【0009】また、図11は写真の枠に白の縁がついて
いる画像である。このような画像の輝度ヒストグラムは
一般に図12に示されるようになる。画像内に白の縁が
入っているため、輝度Y=255において画素を検出し
ている。そのため、たとえこの画像が悪い画像であって
も、上述した補正を施す際に、適正なハイライトポイン
トを決定することが出来ず、画像を改善することが出来
ない。同様に黒い縁のついた画像についても、シャドー
ポイントが適正に決定されず画像改善が行われない。
【0010】図16は写真中に赤色の文字が入っている
画像である。この画像では文字の色が赤のため、ハイラ
イトポイントおよびシャドーポイントの決定には大きな
影響を及ぼさない。しかし、原画像にかかる全画素を変
換してしまうため、写真部分が改善される一方で写真部
分に含まれる文字部分の赤色が最初の色から変わってし
まう。特に色味が重視されるマーク、例えば会社のロゴ
などが入っていた場合に、それは重大な欠陥となってし
まう。
【0011】さらに、極端に写真部分の少ない画像や全
く写真の入っていないグラフィックス画像について、写
真と同じ補正をすると画像を悪くしてしまう可能性があ
る。
【0012】本発明では、上記従来の課題を解決するた
めになされたものであり、その目的は、原画像の特徴に
応じた良好な色処理を行うことができるようにすること
を目的とする。
【0013】本願第1の発明によれば、原画像に含まれ
る色みを有する高輝度の色が含まれていても良好な色処
理条件を設定できるようにすることを目的とする。
【0014】本願第2の発明によれば、原画像の縁など
の、イメージ部分以外の部分が原画像に含まれていても
原画像のイメージに適した色処理条件を設定できるよう
にすることを目的とする。
【0015】本願第3の発明によれば、原画像に含まれ
る特定の色を忠実に再現するとともに、原画像のイメー
ジ部分を良好に再現することを目的とする。
【0016】本願第4の発明によれば、グラフィック画
像に対して、原画像の色分布に応じた色処理をおこなわ
ないようにすることを目的とする。
【0017】
【課題を解決するための手段】上記目的を達成するため
の本発明は以下の構成要件を有することを特徴とする。
【0018】本願第1の発明は、原画像を示す画像デー
タを入力し、前記画像データの彩度成分の値が所定値よ
り大きいか否かを判断し、前記画像データの彩度成分の
値が所定値より大きいと判断された場合は該画像データ
を除外して、前記原画像のヒストグラムを作成し、前記
作成されたヒストグラムに基づき色処理条件をを設定
し、前記設定された色処理条件により前記原画像を色処
理することを特徴とする。
【0019】本願第2の発明は、原画像を示す画像デー
タを入力し、同一の画像データが所定数連続するよりか
否かを判断し、同一の画像データが所定数連続する場合
は、該連続した画像データを除外して、前記原画像のヒ
ストグラムを作成し、前記作成されたヒストグラムに基
づき色処理条件を設定し、前記設定された色処理条件に
より前記原画像を色処理することを特徴とする。
【0020】本願第3の発明は、任意の色を示すユーザ
指示を入力し、前記ユーザの指示に応じた色以外の色を
示す、原画像に含まれる画像データに基づきヒストグラ
ムを作成し、前記ヒストグラムに基づき色処理条件を設
定し、前記原画像に対して前記色処理条件に基づく色処
理を行うことを特徴とする。
【0021】本願第4の発明は、原画像を示す画像デー
タを入力し、前記原画像の色分布に応じて色処理を行う
画像処理方法であって、同一の画像データが所定数連続
するよりか否かを判断し、前記原画像において所定数連
絡する画像データの画素数に応じて、前記色処理を制御
することを特徴とする。
【0022】
【発明の実施の形態】(実施形態1)以下、図面を参照
して本発明の実施形態を詳細に説明する。
【0023】本実施形態におけるシステムの概略の1例
を図1に示す。ホストコンピュータ100には、例えば
インクジェットプリンタなどのプリンタ105とモニタ
106が接続されている。ホストコンピュータ100
は、ワープロ、表計算、インターネットブラウザ等のア
プリケーションソフトウエア101と、OS(OperatingS
ystem)102、該アプリケーションによってOS102
に発行される出力画像を示す各種描画命令群(イメージ
描画命令、テキスト描画命令、グラフィックス描画命
令)を処理して印刷データを作成するプリンタドライバ
103、およびアプリケーションが発行する各種描画命
令群を処理してモニタ106に表示を行なうモニタドラ
イバ104をソフトウエアとして持つ。
【0024】ホストコンピュータ100は、これらソフ
トウエアが動作可能な各種ハードウエアとして中央演算
処理装置CPU108、ハードディスクドライバHD10
7、ランダムアクセスメモリRAM109、リードオンリ
ーメモリROM110等を備える。
【0025】図1で示される実施形態として、例えば一
般的に普及しているIBM ATコンパチのパーソナルコンピ
ュータにMicrosoft Windows95をOSとして使用し、任意
の印刷可能なアプリケーションをインストールし、モニ
タとプリンタを接続した形態が1実施形態として考えら
れる。
【0026】ホストコンピュータ100では、モニタに
表示された表示画像にもとづき、アプリケーション10
1で、文字などのテキストに分類されるテキストデー
タ、図形などのグラフィックスに分類されるグラフィッ
クスデータ、自然画などに分類されるイメージ画像デー
タなどを用いて出力画像データを作成する。そして、出
力画像データを印刷出力するときには、アプリケーショ
ン101からOS102に印刷出力要求を行ない、グラフ
ィックスデータ部分はグラフィックス描画命令、イメー
ジ画像データ部分はイメージ描画命令で構成される出力
画像を示す描画命令群をOS102に発行する。OS102
はアプリケーションの出力要求を受け、出力プリンタに
対応するプリンタドライバ103に描画命令群を発行す
る。プリンタドライバ103はOS102から入力した印
刷要求と描画命令群を処理しプリンタ105で印刷可能
な印刷データを作成してプリンタ105に転送する。プ
リンタ105がラスタープリンタである場合は、プリン
タドライバ103では、OSからの描画命令に対して順次
画像補正処理を行い、そして順次RGB24ビットページ
メモリにラスタライズし、全ての描画命令をラスタライ
ズした後にRGB24ビットページメモリの内容をプリンタ
105が印刷可能なデータ形式、例えばCMYKデータに変
換を行ないプリンタに転送する。
【0027】プリンタドライバ103で行われる処理を
図2を用いて説明する。
【0028】プリンタドライバ103は、OS102から入力し
た描画命令群に含まれる色情報に対して、画像補正処理
部120で後述する画像補正処理を行う。プリンタ用補正
処理部121は、まず、画像補正処理された色情報によっ
て描画命令をラスタライズし、RGB24ビットページメモ
リ上にラスター画像を生成する。そして、各画素に対し
てプリンタの色再現性に応じたマスキング処理、ガンマ
補正処理および量子化処理などを行いプリンタ特性に依
存したCMYKデータを生成し、プリンタ105に転送する。
【0029】次に、画像補正処理部120で行われる処理
を図3を用いて説明する。
【0030】本実施形態の画像補正処理は、イメージ描
画命令で示される原画像に対して行うものであり、グラ
フィック描画命令やテキスト描画命令で示される原画像
に対しては行わない。そして、画像補正処理は、ヒスト
グラム作成処理(図3-S30)とヒストグラムに応じた画
像補正処理(図3-S40)を行う。
【0031】ステップS30では、イメージ描画命令で
示される原画像に対して、ヒストグラムを作成する(図
4のステップS1〜ステップS7)。そして、作成された
ヒストグラムに基づき、画像のハイライトポイントおよ
びシャドーポイントを決定する(図4のステップS8)。
【0032】次に、S40において、S30で決定された
ハイライトポイントおよびシャドーポイントに基づいた
画像補正処理を行う。本実施形態では画像補正処理とし
て、原画像の色かぶりを補正する色かぶり補正(図4の
ステップS9)、原画像の露出最適化すべく輝度のコン
トラストを補正する露出補正(図4のステップS10)
を行う。
【0033】以下、本実施形態におけるヒストグラム作
成処理および画像補正処理を図4を用いて説明する。
【0034】本実施形態では、輝度の高い黄色の多い画
像でも補正後に黄色の部分が白くなることがないよう
に、彩度を考慮して作成された輝度ヒストグラムに基づ
き色かぶり補正およびコントラスト補正を行う。
【0035】まず、イメージ描画命令で示される原画像
を示すR、G、B各8bitの値の画素データを読み込
む(ステップS1)。
【0036】読み込まれた画素データに基づき下式で示
される処理を行い、輝度Yを求める(ステップS2)。
【0037】 Y = 0.3×R+0.59×G+0.11×B
【0038】そして、その読み取った画素データの彩度
Sを求める(ステップS3)。彩度Sは色差信号( C1
2)を用いて下式で定義される。
【0039】S = (C1 2+ C2 21/2
【0040】これらの処理により読み込んだ画素の輝度
Yおよび彩度Sが計算される。
【0041】次に、計算した彩度Sとあらかじめ設定し
た彩度のしきい値STHとの比較を行い(ステップS4)、 S ≦ STH となる場合は画像輝度データメモリに書込む(ステップ
S5)。
【0042】逆に、 S > STH となる場合は、黄色の花部分の画素であるとみなし、画
像輝度データメモリには格納しない。
【0043】そして図5に示すように画像の左上を始点
としラスター方向に画像のデータを読み取り上述の処理
を繰り返すことにより、全画素について輝度の計算およ
び彩度の判定を行い画像輝度データメモリに格納するこ
とができる(ステップS6)。
【0044】画像輝度データメモリに格納されたデータ
によって、STHよりも彩度の小さい画素のみの輝度ヒス
トグラムを作成する(ステップS7)。
【0045】この輝度ヒストグラムの上(ハイライト)
から所定画素数に当たる輝度をハイライトポイント、下
(シャドー)から所定画素数に当たる輝度をシャドーポ
イントとする(ステップS7)。
【0046】 YHL = Y255′ (但し、Y255′≒ 255) YSD = Y0′ (但し、Y0′≒ 0)
【0047】ハイライトポイントとシャドーポイントを
決定した後、色かぶりの補正を行う(ステップS7)。ま
ず決定されたハイライトポイントおよびシャドーポイン
トの輝度を持つ画素の色差信号の平均値、それぞれ(
1(HL),C2(HL))、( C1(SD),C
2(SD))を画像輝度データメモリから求める。
【0048】ここで注目すべき点は、設定された彩度S
TH以下の彩度のみの画素から色差信号の平均値を求め
ることである。このように原稿画像において本来のある
べき白と黒の点からの色かぶりによるズレを計算する際
に輝度の高い色、例えば図9における黄色の画素デー
タ、を除外することにより、正確にズレを見積れること
ができる。
【0049】図6(a)に示すように求めれらた( C1
(HL),C2(HL))、( C1(SD),C2(S
D))を結ぶ線(色立体軸)は色かぶりを起こしていれ
ば輝度軸から傾いている。そこで、図6(b)に示すよ
うに、その線が輝度軸に重なるように変換処理を行う
(ステップS8)。
【0050】本実施形態の色かぶり補正では、原画像の
色立体において、色立体軸のシャドーポイントを回転中
心、色立体軸を回転軸として輝度軸と平行となるように
回転させる。次いで、シャドーポイントの位置が輝度軸
に重なるように色立体を平行移動させる。
【0051】なお、回転行列は、( C1(HL),C2
(HL))、( C1(SD),C2(SD))で求めら
れる回転軸と回転角度とに基づき求める。
【0052】このように、原画像の各画素を輝度、色差
信号に変換し、3次元色空間上で回転、平行移動変換す
ることにより、色かぶり補正を行うことができる。
【0053】色かぶり補正の後は、露出のアンダーやオ
ーバーを補正するコントラスト調整を行う(ステップS
9)。ハイライトポイントとシャドーポイントを決定し
た後、画像の全画素について図7に示すように輝度が全
輝度領域にわたって配分するように変換を行う。
【0054】本実施形態では露出のオーバー、アンダー
を簡易的に判断し、それに応じて輝度信号にγ補正を施
しコントラスト補正を行う。
【0055】コントラストは入力輝度値0〜255を出
力輝度値0〜255に変換する1次元LUTにより行
う。本実施形態における該LUTは、黒位置(シャドー
ポイント)の輝度値「Yk」と白位置(ホワイトポイン
ト)の輝度値「Yw」とその間に存在する変曲点の輝度
値「T’」の3点を結ぶ2直線として表現できる。(図
8参照)
【0056】本実施形態では該黒位置の輝度値「Yk」
を輝度値「10」へ、該白位置の入力輝度値「Yw」を
輝度値「245」に変換する。更に該変曲点の輝度値
「T’」は次の通り定義し変換する。前記色かぶり補正
前の色立体軸とY軸(輝度軸)の最小距離をなす輝度値
をTとした時、該輝度値Tと原画像の色立体の最低輝度
値との差を変曲点の輝度値「T’」とする。該変曲点の
輝度値T’を前記輝度値「T」に変換する。
【0057】即ち、図3の様に黒位置「Yk」は輝度値
「10」に(a点)、変曲点「T’」は輝度値「T」に
(b点)、白位置「Yw」は輝度値「245」に(c
点)に、夫々変換される。その他の原画像の輝度地は図
3の太線に記すように該「a」と「b」、「b」と
「c」を結んだ直線に沿って夫々変換する。
【0058】更に、彩度補正は例えば以下のように行う
事が出来る。各原画素の色度C1,C2に対して、 C1“=n*C1’ C2“=n*C2’ (但し、nはサイド係数) 該彩度係数「n」を調整する事によって彩度補正を容易
に行う事が可能である。
【0059】この時点で原画像の各画素は(R、G、
B)の色信号データから(Y“,C1“,C2“)の色
空間データに変換された状態にあるので、再度(R’,
G’,B’)の色信号データに逆変換する。該逆変換は
以下の式により行う。
【0060】R‘=Y“+C1” G‘=Y“−(0.3/0.59)*C1”−(0.1
1/0.59)*C2“ B‘=Y“+C2” 以上のような彩度を考慮した補正を行うことにより、輝
度の高い黄色の多く入っている画像においても、適切な
処理を施すことが可能となり、画像の改善が行われる。
【0061】(実施形態2)実施形態2では、例えばグ
ラフのような連続した信号値が多く含まれる原画像に対
して画像補正処理を行わないようにし、また、写真に白
い縁が付いている図11のような画像についても適正な
補正を行うようにするための画像補正処理を説明する。
【0062】なお、実施形態2の画像補正処理を実施形
態1における画像補正処理に適用することにより、実施
形態1と同様にプリント処理に画像補正処理を適用する
ことができる。
【0063】図13に、実施形態2にかかるヒストグラ
ム作成処理のフローチャートを示す。最初に画像データ
の読み込みおよび輝度ヒストグラムを作成する。
【0064】なお、図13のフローチャートにおいて、
図4に示す実施形態1のヒストグラム処理を同一の処理は
同一符号を付けた。
【0065】まず、イメージ描画命令で示される原画像
を図9に示されるラスター方向でスキャニングし、順次
R、G、B各8bitの値の画素データを読み込み、輝
度データに変換する(ステップS1、S2)。
【0066】入力した画素データが前の画素データと同
じ画素信号値(RGB値)を有するか否か判定する(ス
テップS11)。同じ画素信号値が続いた場合はその個
数をNによってカウントする(ステップS12)。
【0067】入力した画素データが前の画素データと異
なる画素信号値を有する場合は、Nの値があらかじめ設
定してあるNTHの値より大きいか否かを判定する。
【0068】N > NTH となる場合は、その連続データを画像の縁の部分である
とみなしN個の画素は画像輝度データメモリに書き込み
しない。
【0069】上記条件を満たさない場合は、N個の画素
を画像データメモリに書込む(ステップS5)。
【0070】本実施形態では、NTHの値を50とする。
【0071】そして図5に示すように画像の左上を始点
としラスター方向に画像のデータを読み取り上述の処理
を繰り返すことにより、全画素について輝度の計算およ
び彩度の判定を行い画像輝度データメモリに格納するこ
とができる(ステップS6)。
【0072】この処理により、原画像の縁の部分に関す
る画素データを画像輝度データメモリに格納することを
防ぐことができ、原画像の画像部分のヒストグラムを作
成することができる。
【0073】画像の全画素数をPALL、画像輝度データ
メモリに書き込まれた画素数をPMEMとすると、 PMEM /PALL < PTH となる場合、ほとんどが連続データのグラフィックス画
像であるので補正は行わない(ステップS14、S1
5)。ここで、上式の左項は原画像におけるイメージ部
分と考えられる画像領域の占める割合を表しており、右
項のPTHはその画像がグラフィックス画像であるか否か
を判断するしきい値で0〜1の値をとる。通常PTH
0.3〜0.5程度であり、本実施例では0.5とす
る。
【0074】この処理により、イメージ描画命令で示さ
れているグラフィック画像に対して画像補正処理を行う
ことを防ぐことができる。
【0075】ステップS14においてイメージ画像と判
断された場合、画像輝度データメモリに格納されている
画素データに基づき輝度ヒストグラムを作成する(ステ
ップS7)。
【0076】この輝度ヒストグラムは原画像の縁を除い
たイメージ部分の輝度分布を示すものである。
【0077】図14は図11に対して本処理を行った輝
度ヒストグラムであるが、図12のオリジナルの輝度ヒ
ストグラムと比較すると、白色を示す輝度Y=255の
ピークがなくなっている。
【0078】このように、原画像におけるイメージ部分
の輝度ヒストグラムを作成することができるので、輝度
ヒストグラムから適正なハイライトポイントおよびシャ
ドーポイントを決めることができる(ステップS8)。
【0079】さらにこの後、実施形態1と同様の方法を
用いて、色かぶり補正(ステップS15)、コントラス
ト調整(ステップS16)を、画像輝度データメモリに
格納されている画素データについてのみに行う。
【0080】このように、画像輝度データメモリに格納
されている画素データのみに行うことにより原画像の縁
について補正を行わないようにすることができる。その
結果原画像の縁の色を出力画像において旅行に再現する
ことができる。
【0081】例えば図11の画像であれば縁を白のままで
再現し、縁内の写真は良い画像となるように補正がかけ
られることになる。
【0082】図11では縁の一例として白い縁であった
が、これは白に限らず全ての色について適用可能であ
る。また走査方向もラスター方向に限らず、カラム方向
でも同様の補正を行うことが出来る。連続データの判定
するNTHの値を本実施例では50としたが、この値は限
定されることなく様々な値を取り得る。
【0083】また、イメージ描画命令のヘッダ部から認
識することができる原画像の画素数に応じてNTHの値を
自動的に設定するようにしても構わない。
【0084】例えば、ヘッダ部に記載されている高さと
幅の値に基づき原画像の画素数を求め、該画素数に所定
の係数を乗算した結果に基づきNTHの値を自動的に設定
すればいい。
【0085】このようにすることにより、原画像の縁部
分の判断の精度を上げることができる。
【0086】(実施形態3)実施形態3として、図15
に示すような写真中に色文字が入っている画像につい
て、文字画素の信号値を取り除いてから輝度ヒストグラ
ムの作成を行い、それに基づき色かぶりの補正およびコ
ントラストの調整をする方法を挙げる。
【0087】なお、実施形態3の画像補正処理を実施形
態1における画像補正処理に適用することにより、実施
形態1と同様にプリント処理に画像補正処理を適用する
ことができる。
【0088】図16に本実施形態で行われる処理過程の
フローチャートを示す。この過程ではまずユーザー自身
に文字の色(R′、G′、B′とする)を指定させる
(ステップS21)。指定方法としては、ユーザーに直
接信号値の値を入力させる方法や原稿画像を表示させ表
示画像上でマウスなどを使って文字部分の色をユーザに
指定させる方法等が挙げられる。
【0089】この後、輝度ヒストグラムの作成のために
画素データ読み込みを行い、輝度データに変換する(ス
テップS1,S2)。
【0090】そして、入力画素データが R = R′かつ G = G′かつ B = B′ となる場合は、文字部分のデータとみなし画像輝度デー
タメモリには格納しない(ステップS22)。
【0091】入力画素データが指定された文字色と一致
しない場合は、原画像におけるイメージデータ部分であ
るとみなし画像輝度データメモリに書込む(ステップS
5)。
【0092】これを原画像を示す全画素に対して行う
(ステップS6)ことにより、イメージ中の色文字部分
以外の輝度ヒストグラムを作成する(ステップS6)。
【0093】この輝度ヒストグラムから、ハイライトポ
イントおよびシャドーポイントを決定する(ステップS
8)。
【0094】実施形態1と同様の方法により、色かぶり
補正(ステップS23)とコントラスト調整(ステップ
S24)を、画像輝度データメモリに格納されている画
素データについてのみに行う。
【0095】このように、画像輝度データメモリに格納
されている画素データのみに行うことにより原画像の色
文字部について補正を行わないようにすることができ
る。この結果、イメージ部分に対しては画像補正を行い
画質を良くする一方で、文字の色味を変化させないこと
が可能となる。
【0096】また、本実施形態では特に文字の例を取り
上げたが、これは文字に限らず何かのマークやロゴとい
ったオブジェクト全般に適用することができる。
【0097】さらに本実施形態では単色だけであった
が、複数の色を選択させて、それらは変化させないよう
にすることも可能である。その場合は、ステップS21
において複数色を指定するともに、ステップS22で入
力画素データを複数の色と比較する。
【0098】(他の実施形態)上記実施形態では、画像
補正処理において最初に色かぶり補正を行い、その後に
露出のアンダーやオーバーを補正するいわゆるコントラ
スト調整を行ったが、その順序は問われない。また、ハ
イライト/シャドーポイントの決定方法やヒストグラム
作成方法や画像補正に関するアルゴリズムは上記方法に
かぎられず他の多種多様の方法を用いることができる。
例えば、ヒストグラムを輝度ではなく明度などの他の明
るさを示す成分に基づき作成しても構わない。
【0099】また、実施形態1,2,3を組み合わせて
実施しても構わない。
【0100】また前述した実施形態の機能を実現する様
に各種のデバイスを動作させる様に該各種デバイスと接
続された装置あるいはシステム内のコンピュータに、前
記実施形態機能を実現するためのソフトウエアのプログ
ラムコードを供給し、そのシステムあるいは装置のコン
ピュータ(CPUあるいはMPU)を格納されたプログラムに
従って前記各種デバイスを動作させることによって実施
したものも本発明の範疇に含まれる。
【0101】またこの場合、前記ソフトウエアのプログ
ラムコード自体が前述した実施形態の機能を実現するこ
とになり、そのプログラムコード自体、及びそのプログ
ラムコードをコンピュータに供給するための手段、例え
ばかかるプログラムコードを格納した記憶媒体は本発明
を構成する。
【0102】かかるプログラムコードを格納する記憶媒
体としては例えばフロッピーディスク、ハードディス
ク、光ディスク、光磁気ディスク、CD-ROM,、磁気テー
プ、不揮発性のメモリカード、ROM等を用いることが出
来る。
【0103】またコンピュータが供給されたプログラム
コードを実行することにより、前述の実施形態の機能が
実現されるだけではなく、そのプログラムコードがコン
ピュータにおいて稼働しているOS(オペレーティングシ
ステム)、あるいは他のアプリケーションソフト等と共
同して前述の実施形態の機能が実現される場合にもかか
るプログラムコードは本発明の実施形態に含まれること
は言うまでもない。
【0104】更に供給されたプログラムコードが、コン
ピュータの機能拡張ボードやコンピュータに接続された
機能拡張ユニットに備わるメモリに格納された後そのプ
ログラムコードの指示に基づいてその機能拡張ボードや
機能格納ユニットに備わるCPU等が実際の処理の一部ま
たは全部を行い、その処理によって前述した実施形態の
機能が実現される場合も本発明に含まれることは言うま
でもない。
【0105】
【発明の効果】本願第1の発明によれば、原画像に含ま
れる色みを有する高輝度の色が含まれていても良好な色
処理条件を設定することができる。
【0106】本願第2の発明によれば、原画像の縁など
の、イメージ部分以外の部分が原画像に含まれていても
原画像のイメージに適した色処理条件を設定することが
できる。
【0107】本願第3の発明によれば、原画像に含まれ
る特定の色を忠実に再現するとともに、原画像のイメー
ジ部分を良好に再現することができる。
【0108】本願第3の発明によれば、グラフィック画
像に対して、原画像の色分布に応じた色処理をおこなわ
ないようにすることができる。
【図面の簡単な説明】
【図1】システム構成の一例を示す図である。
【図2】プリンタドライバで行う処理を説明する図であ
る。
【図3】画像補正処理部で行われる処理を説明する図で
ある。
【図4】彩度を考慮した画像の補正方法の過程を示すフ
ローチャート図である。
【図5】画素を読み取る際の、スキャン方向を示す図で
ある。
【図6】色かぶり補正を説明する図である。
【図7】コントラスト調整で行う、輝度の拡張方法を表
す図である。
【図8】コントラスト調整を説明する図である。
【図9】黄色が多い画像の一例を示す図である。
【図10】黄色が多い画像の輝度ヒストグラムの一例を
示す図である。
【図11】写真に白い縁がついている画像の一例を示す
図である。
【図12】写真に白い縁がついている画像の輝度ヒスト
グラムの一例を示す図である。
【図13】連続データを検出してから画像補正を行う過
程を示すフローチャート図である。
【図14】白い縁の画素データを取り除いた後に作成さ
れる輝度ヒストグラムを示す図である。
【図15】写真中に赤い文字が入っている画像の一例を
示す図である。
【図16】ユーザーに色指定させ、画像補正を行う過程
を示したフローチャート図である。
【図17】露出がアンダーしている画像の輝度ヒストグ
ラムの一例を示す図である。
───────────────────────────────────────────────────── フロントページの続き (72)発明者 山添 学 東京都大田区下丸子3丁目30番2号キヤノ ン株式会社内 Fターム(参考) 5B057 AA11 CE11 CE17 5C077 LL19 MP08 NP01 PP31 PP32 PP34 PP37 PP39 PP41 PP43 PP47 PP52 PP53 PQ19 SS05 TT09 5C079 HB01 LA01 LA02 LA06 LA11 LA24 LB01 MA11 MA19 PA00

Claims (14)

    【特許請求の範囲】
  1. 【請求項1】 原画像を示す画像データを入力し、 前記画像データの彩度成分の値が所定値より大きいか否
    かを判断し、 前記画像データの彩度成分の値が所定値より大きいと判
    断された場合は該画像データを除外して、前記原画像の
    ヒストグラムを作成し、 前記作成されたヒストグラムに基づき色処理条件をを設
    定し、 前記設定された色処理条件により前記原画像を色処理す
    ることを特徴とする画像処理方法。
  2. 【請求項2】 明るさを示す色成分に基づき前記ヒスト
    グラムを作成することを特徴とする請求項1記載の画像
    処理方法。
  3. 【請求項3】 前記色処理条件に基づく色処理を、除外
    されなかった画像データに対して行うことを特徴とする
    請求項1記載の画像処理方法。
  4. 【請求項4】 前記原画像がイメージ画像であるか否か
    を判断し、 前記イメージ画像である場合は前記色処理を行うことを
    特徴とする請求項1記載の画像処理方法。
  5. 【請求項5】 前記判断は、原画像を示す描画関数に基
    づき判断することを特徴とする請求項4記載の画像処理
    方法。
  6. 【請求項6】 原画像を示す画像データを入力し、 同一の画像データが所定数連続するよりか否かを判断
    し、 同一の画像データが所定数連続する場合は、該連続した
    画像データを除外して、前記原画像のヒストグラムを作
    成し、 前記作成されたヒストグラムに基づき色処理条件を設定
    し、 前記設定された色処理条件により前記原画像を色処理す
    ることを特徴とする画像処理方法。
  7. 【請求項7】 前記原画像の画像サイズに応じて前記所
    定数を設定することを特徴とする請求項6記載の画像処
    理方法。
  8. 【請求項8】 前記設定された色処理条件に基づく前記
    色処理を、前記連続された画像データ以外の画像データ
    に対して行うことを特徴とする請求項7記載の画像処理
    方法。
  9. 【請求項9】 任意の色を示すユーザ指示を入力し、 前記ユーザの指示に応じた色以外の色を示す、原画像に
    含まれる画像データに基づきヒストグラムを作成し、 前記ヒストグラムに基づき色処理条件を設定し、 前記原画像に対して前記色処理条件に基づく色処理を行
    うことを特徴とする画像処理方法。
  10. 【請求項10】 前記色処理条件に基づく色処理を前記
    ユーザの指示に応じた色に対しては行わないことを特徴
    とする請求項9記載の画像処理方法。
  11. 【請求項11】 原画像を示す画像データを入力し、前
    記原画像の色分布に応じて色処理を行う画像処理方法で
    あって、 同一の画像データが所定数連続するよりか否かを判断
    し、 前記原画像において所定数連絡する画像データの画素数
    に応じて、前記色処理を制御することを特徴とする画像
    処理方法。
  12. 【請求項12】 原画像を示す描画関数を入力し、 前記描画関数に応じて、前記原画像がイメージ画像であ
    るか否かを判断し、 前記判断結果に応じて、前記原画像に対して前記色処理
    を行うか否かを制御することを特徴とする請求項11記載
    の画像処理方法。
  13. 【請求項13】 原画像を示す画像データを入力する入
    力手段と、 前記画像データの彩度成分の値が所定値より大きいか否
    かを判断する判断手段と、 前記画像データの彩度成分の値が所定値より大きいと判
    断された場合は該画像データを除外して、前記原画像の
    ヒストグラムを作成する作成手段と、 前記作成されたヒストグラムに基づき色処理条件をを設
    定する設定手段と、 前記設定された色処理条件により前記原画像を色処理す
    る色処理手段とを有することを特徴とする画像処理装
    置。
  14. 【請求項14】 コンピュータが読み出し可能なプログ
    ラムを記録する記録媒体であって、 原画像を示す画像データを入力し、 前記画像データの彩度成分の値が所定値より大きいか否
    かを判断し、 前記画像データの彩度成分の値が所定値より大きいと判
    断された場合は該画像データを除外して、前記原画像の
    ヒストグラムを作成し、 前記作成されたヒストグラムに基づき色処理条件をを設
    定し、 前記設定された色処理条件により前記原画像を色処理す
    るプログラムを格納することを特徴とする記録媒体。
JP17713298A 1998-06-24 1998-06-24 画像処理方法、装置および記録媒体 Expired - Fee Related JP3492202B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP17713298A JP3492202B2 (ja) 1998-06-24 1998-06-24 画像処理方法、装置および記録媒体
US09/337,534 US6608926B1 (en) 1998-06-24 1999-06-22 Image processing method, image processing apparatus and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP17713298A JP3492202B2 (ja) 1998-06-24 1998-06-24 画像処理方法、装置および記録媒体

Publications (2)

Publication Number Publication Date
JP2000013623A true JP2000013623A (ja) 2000-01-14
JP3492202B2 JP3492202B2 (ja) 2004-02-03

Family

ID=16025747

Family Applications (1)

Application Number Title Priority Date Filing Date
JP17713298A Expired - Fee Related JP3492202B2 (ja) 1998-06-24 1998-06-24 画像処理方法、装置および記録媒体

Country Status (2)

Country Link
US (1) US6608926B1 (ja)
JP (1) JP3492202B2 (ja)

Families Citing this family (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4428742B2 (ja) * 1998-10-19 2010-03-10 キヤノン株式会社 画像処理装置及びその方法
JP4402850B2 (ja) * 2001-03-16 2010-01-20 富士フイルム株式会社 鑑賞用データ補正方法および装置並びに記録媒体
US6999202B2 (en) 2001-03-27 2006-02-14 Polaroid Corporation Method for generating a halftone of a source image
US6937365B2 (en) 2001-05-30 2005-08-30 Polaroid Corporation Rendering images utilizing adaptive error diffusion
US6906736B2 (en) 2002-02-19 2005-06-14 Polaroid Corporation Technique for printing a color image
JP2003274427A (ja) * 2002-03-15 2003-09-26 Canon Inc 画像処理装置、画像処理システム、画像処理方法、記憶媒体、及びプログラム
JP4006347B2 (ja) * 2002-03-15 2007-11-14 キヤノン株式会社 画像処理装置、画像処理システム、画像処理方法、記憶媒体、及びプログラム
US7283666B2 (en) * 2003-02-27 2007-10-16 Saquib Suhail S Digital image exposure correction
US8773685B2 (en) 2003-07-01 2014-07-08 Intellectual Ventures I Llc High-speed digital image printing system
JP4172346B2 (ja) * 2003-07-15 2008-10-29 コニカミノルタビジネステクノロジーズ株式会社 画像処理装置及びプログラム
KR100561852B1 (ko) * 2003-11-20 2006-03-16 삼성전자주식회사 색 신호의 밝기 보상 방법 및 장치
WO2005057909A1 (ja) * 2003-12-11 2005-06-23 Fujitsu Limited 画像補正方法及びプログラム、並びに装置
US7450754B2 (en) * 2004-03-23 2008-11-11 Microsoft Corporation Radiometric calibration from a single image
US7742200B2 (en) * 2005-01-11 2010-06-22 Xerox Corporation Pre-press production image alert system and method
US7986351B2 (en) * 2005-01-27 2011-07-26 Qualcomm Incorporated Luma adaptation for digital image processing
US8175532B2 (en) * 2006-06-06 2012-05-08 Qualcomm Incorporated Apparatus and method for wireless communication via at least one of directional and omni-direction antennas
JP4890973B2 (ja) * 2006-06-29 2012-03-07 キヤノン株式会社 画像処理装置、画像処理方法、画像処理プログラム及び記憶媒体
JP4890974B2 (ja) * 2006-06-29 2012-03-07 キヤノン株式会社 画像処理装置、及び画像処理方法
JP4926568B2 (ja) * 2006-06-29 2012-05-09 キヤノン株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
JP4637063B2 (ja) * 2006-07-04 2011-02-23 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
JP4632452B2 (ja) * 2006-07-07 2011-02-16 キヤノン株式会社 画像補正処理装置、画像補正処理方法、プログラム及び記憶媒体
US7679786B2 (en) * 2006-09-06 2010-03-16 Eastman Kodak Company Color correction method
US8000554B2 (en) * 2007-04-04 2011-08-16 Xerox Corporation Automatic dynamic range adjustment in digital imaging
JP4342590B1 (ja) * 2008-03-26 2009-10-14 株式会社東芝 画素変換装置とその変換方法
JP5335501B2 (ja) * 2009-03-18 2013-11-06 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
US8693743B1 (en) 2010-02-19 2014-04-08 Olive Tree Media, LLC Analysis and display of multiple biomarker co-expression in cells and tissues
US8842911B2 (en) 2011-02-04 2014-09-23 Apple Inc. Luma-based color matching
EP2509044B1 (en) * 2011-04-08 2018-10-03 Dolby Laboratories Licensing Corporation Local definition of global image transformations
JP5763965B2 (ja) 2011-05-11 2015-08-12 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
US8928781B2 (en) 2011-11-30 2015-01-06 Microsoft Corporation Response function determination by rank minimization
US8983186B2 (en) 2012-06-10 2015-03-17 Apple Inc. Method and system for auto-enhancing photographs with shadow lift adjustments
JP6122260B2 (ja) 2012-07-09 2017-04-26 キヤノン株式会社 画像処理装置及びその方法とプログラム
JP5956860B2 (ja) 2012-07-09 2016-07-27 キヤノン株式会社 画像処理装置、画像処理方法、プログラム
JP6039942B2 (ja) 2012-07-09 2016-12-07 キヤノン株式会社 情報処理装置及びその制御方法及びプログラム
US9088753B2 (en) 2013-01-11 2015-07-21 Canon Kabushiki Kaisha Image forming apparatus, luminance correction method, and storage medium storing program
JP2015043158A (ja) 2013-08-26 2015-03-05 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
JP6198521B2 (ja) 2013-08-26 2017-09-20 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
JP6341650B2 (ja) 2013-11-20 2018-06-13 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP6478840B2 (ja) 2015-07-01 2019-03-06 キヤノン株式会社 画像処理装置および画像処理方法
JP6630176B2 (ja) * 2016-02-09 2020-01-15 キヤノン株式会社 画像処理装置およびその方法
JP6666046B2 (ja) 2016-04-25 2020-03-13 キヤノン株式会社 画像処理装置および画像処理方法
JP6732518B2 (ja) * 2016-04-27 2020-07-29 キヤノン株式会社 画像処理装置および画像処理方法
EP3239929B1 (en) 2016-04-27 2019-06-12 Canon Kabushiki Kaisha Image processing apparatus, image processing method and program
JP7316768B2 (ja) 2018-06-29 2023-07-28 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP7104575B2 (ja) 2018-06-29 2022-07-21 キヤノン株式会社 画像処理装置、制御方法、及びプログラム
JP7296745B2 (ja) 2019-03-05 2023-06-23 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP2022139237A (ja) * 2021-03-11 2022-09-26 キヤノン株式会社 情報処理装置とプログラム及び画像処理方法
JP2022139238A (ja) 2021-03-11 2022-09-26 キヤノン株式会社 画像処理システム及び画像処理方法
JP2022139239A (ja) * 2021-03-11 2022-09-26 キヤノン株式会社 情報処理装置とプログラム及び画像処理方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61233765A (ja) 1985-04-10 1986-10-18 Canon Inc 画像形成装置
JPS62111570A (ja) * 1985-11-09 1987-05-22 Fuji Photo Film Co Ltd 画像入出力システムにおける出力信号処理条件の自動設定方法
JPH04219067A (ja) 1990-12-19 1992-08-10 Canon Inc 画像処理方法
IL102904A (en) * 1992-08-21 1998-12-06 Israel State Configurable imaging processor
US5450217A (en) * 1994-05-23 1995-09-12 Xerox Corporation Image-dependent color saturation correction in a natural scene pictorial image
JP3501252B2 (ja) * 1995-06-16 2004-03-02 三菱電機株式会社 階調補正装置
US6351558B1 (en) * 1996-11-13 2002-02-26 Seiko Epson Corporation Image processing system, image processing method, and medium having an image processing control program recorded thereon
US6192149B1 (en) * 1998-04-08 2001-02-20 Xerox Corporation Method and apparatus for automatic detection of image target gamma

Also Published As

Publication number Publication date
JP3492202B2 (ja) 2004-02-03
US6608926B1 (en) 2003-08-19

Similar Documents

Publication Publication Date Title
JP3492202B2 (ja) 画像処理方法、装置および記録媒体
US8374429B2 (en) Image processing method, apparatus and memory medium therefor
US7929761B2 (en) Image processing method and apparatus and storage medium
US6954288B2 (en) Image-processing method, image-processing device, and storage medium
US7321450B2 (en) Image processing method, image processing apparatus, and recording medium
JP3689607B2 (ja) 画像処理方法、装置および記憶媒体
JP3950551B2 (ja) 画像処理方法、装置および記録媒体
JP4920814B2 (ja) 画像処理方法、装置および記録媒体
JP2001189862A (ja) 画像処理方法および画像処理装置
JP2001189863A (ja) 画像処理方法および画像処理装置
JP4095234B2 (ja) 画像処理方法、装置および記録媒体
JP4018245B2 (ja) 画像処理方法、装置および記録媒体
JP2000013625A (ja) 画像処理方法、装置および記録媒体
JP3817371B2 (ja) 画像処理方法、装置および記録媒体
JP3990816B2 (ja) 画像処理方法、装置および記録媒体
JP4402041B2 (ja) 画像処理方法及び装置及び記憶媒体
JP4100848B2 (ja) 画像処理方法および画像処理装置
JP4208889B2 (ja) 画像処理方法、装置および記録媒体
JP2000013595A (ja) 画像処理方法、装置および記録媒体
JP4818459B2 (ja) 画像処理方法及び装置
JP4909308B2 (ja) 画像処理方法及び装置
JP2001292332A (ja) 色修正方法、色修正装置および色修正制御プログラムを記録した記録媒体
ACROBAT DIGITAL IMAGING TERMS: BY CATEGORIES
JP2010158057A (ja) 画像処理方法及び装置
JP2000201274A (ja) 画像処理装置および画像処理方法

Legal Events

Date Code Title Description
A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20030624

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20031028

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081114

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081114

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091114

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101114

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101114

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111114

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121114

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131114

Year of fee payment: 10

LAPS Cancellation because of no payment of annual fees