JP2003061109A - カラー画像信号処理方法及びそれを用いたカラー画像信号処理装置 - Google Patents

カラー画像信号処理方法及びそれを用いたカラー画像信号処理装置

Info

Publication number
JP2003061109A
JP2003061109A JP2001251063A JP2001251063A JP2003061109A JP 2003061109 A JP2003061109 A JP 2003061109A JP 2001251063 A JP2001251063 A JP 2001251063A JP 2001251063 A JP2001251063 A JP 2001251063A JP 2003061109 A JP2003061109 A JP 2003061109A
Authority
JP
Japan
Prior art keywords
color
image signal
color difference
luminance
signal processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2001251063A
Other languages
English (en)
Other versions
JP3921499B2 (ja
Inventor
Yasuo Aozuka
康生 青塚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Holdings Corp
Fujifilm Microdevices Co Ltd
Original Assignee
Fujifilm Microdevices Co Ltd
Fuji Photo Film Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Microdevices Co Ltd, Fuji Photo Film Co Ltd filed Critical Fujifilm Microdevices Co Ltd
Priority to JP2001251063A priority Critical patent/JP3921499B2/ja
Priority to US10/222,883 priority patent/US7184174B2/en
Publication of JP2003061109A publication Critical patent/JP2003061109A/ja
Application granted granted Critical
Publication of JP3921499B2 publication Critical patent/JP3921499B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/62Retouching, i.e. modification of isolated colours only or in isolated picture areas only
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/6075Corrections to the hue

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Of Color Television Signals (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)

Abstract

(57)【要約】 【課題】 オーバー露光時又はアンダー露光時における
肌色の色相回りを抑制するカラー画像信号処理方法を提
供する。 【解決手段】(a)原色系又は補色系の画像信号データ
を取り込む工程と、 (b)前記画像信号データをY−
Cr−Cb空間上の輝度Yのデータ及び色差Cr,Cb
のデータに変換する工程と、(c)少なくとも式1から
式4までのいずれか1の式を用いて色差マトリックス演
算を行う演算工程とを含むカラー画像信号処理方法。こ
こで、Cr'=Cr×A/K+Cb×B(1)、Cr'=
(Cr×A+Cb×B)/K(2)、Cb'=Cr×C
+Cb×D×K (3)、Cb'=(Cr×C+C
b×D)×K(4)である。但し、A,B,C,Dは色
差マトリックス係数であり、KはYの関数であり、か
つ、0よりも大きい補正係数である。Kは、色差比H
(=Cr'/Cb')が輝度Yによらず一定になるように
決められる。Cr'及びCb'は補正後の色差である。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、カラー画像信号処
理技術に関し、より詳細には、肌色の色相回りを抑制で
きるカラー画像信号処理技術に関する。
【0002】
【従来の技術】近年、CCD固体撮像素子などを用いた
デジタルスチルカメラの分野において、画素数が飛躍的
に増加し、銀塩写真と遜色ない解像度が得られるなど著
しい進歩を見せている。
【0003】
【発明が解決しようとする課題】一方、色再現性に関し
ては、銀塩写真には及ばない状況にある。特にデジタル
スチルカメラはダイナミックレンジが狭く、オーバー露
光になると色相が大きく変化するいわゆる色相回りが起
こりやすいという問題点があった。人間の肌色が黄色味
を帯びる色相回りは、肌色の色再現性という観点から特
に問題となっていた。
【0004】本発明の目的は、肌色の色相回りを抑制で
きるカラー画像信号処理技術を提供することである。
【0005】
【課題を解決するための手段】本発明の一観点によれ
ば、(a)原色系又は補色系の画像信号データを取り込
む工程と、(b)前記画像信号データをY−Cr−Cb
空間上の輝度Yのデータ及び色差Cr,Cbのデータに
変換する工程と、(c)少なくとも式(1)から式
(4)までのいずれか1組の式を用いて色差マトリック
ス演算を行う演算工程とを含むカラー画像信号処理方法
が提供される。ここで、Cr'=Cr×A/K+Cb×
B,Cb'=Cr×C+Cb×D(1)、Cr'=(Cr
×A+Cb×B)/K,Cb'=Cr×C+Cb×D
(2)、Cr'=Cr×A+Cb×B, Cb'=Cr×
C+Cb×D×K(3)、Cr'=Cr×A+Cb×
B,Cb'=(Cr×C+Cb×D)×K(4)であ
る。但し、A,B,C,Dは色差マトリックス係数であ
り、KはYの関数であり、かつ、0よりも大きい補正係
数である。Kは、色差比H(=Cr'/Cb')が輝度Y
によらず一定になるように決められる。Cr'及びCb'
は補正後の色差である。
【0006】上記のカラー画像信号処理方法によれば、
色差マトリックス演算に用いられる式において、色差比
H(=Cr'/Cb')が輝度によらず一定となるように
輝度Yに依存したKを決めたので、肌色に関するオーバ
ー露光時又はアンダー露光時の色相回りの影響が抑制さ
れる。
【0007】
【発明の実施の形態】以下、原色系分光感度を有するC
CD固体撮像素子を用いたデジタルスチルカメラを例に
して、肌色に関する色相回りについて図1から図3まで
を参照して説明する。図1は、デジタルスチルカメラの
γ変換カーブを示す。図2は、最終的に出力される画像
の輝度信号(最大出力輝度/出力輝度)を原シーンの輝
度(原シーン輝度;単位は任意)に対してプロットした
グラフである。尚、図2は縦軸、横軸ともに対数目盛で
プロットしている。図2のグラフを特性曲線と称する。
図3は、肌色の色度点をa*−b*座標上に示したグラフ
である。尚、実際には、a*−b*平面に対する法線方向
に、明度L*の軸が存在するが、図3では省略してい
る。
【0008】デジタルスチルカメラのR,G,Bの各分
光感度にて取り込んだ入力画像情報をA/D変換して1
0ビットのデジタル画像データを得る。得られたデジタ
ル画像データをγ変換し、8ビットの出力デジタル画像
信号を得た。
【0009】図1は、入力を横軸とし、出力を縦軸とし
たγ変換カーブである。図1に示すように、入力の増加
に伴って出力も単調に増加することがわかる。
【0010】図2に示すように、最終的に出力される画
像の輝度信号値と、原シーンの輝度信号値との関係を両
方とも対数目盛でプロットすると、ほぼ直線の関係が得
られる。この特性曲線が直線であり輝度信号が飽和しな
い限りは、どのような色であっても露光量にかかわらず
出力画像中での色相は一定である。
【0011】しかしながら、例えば露光量が増加してい
くと、原色系の場合、まずR,G,Bのいずれかの出力
信号が飽和する。R,G,Bのいずれかの出力信号が飽
和すると、色相回りが生じる。
【0012】図3に、a*−b*座標上での肌色の色度点
を示す(原色系の場合)。図3において、黒丸で示した
点が、R,G,Bのいずれも飽和を起こしていない適正
露光量(適正露光値)での肌色の色度点である。この適
正露光量での肌色の色度点を基準値とする。この基準値
よりも1/16倍のアンダー露光(黒塗りの矢印で示
す。)から8倍のオーバー露光(白抜きの矢印で示
す。)までの範囲について、2の1/6乗倍ずつ露光量
を変化させていき、その際の肌色の色度点を×印で示
し、×印を線で結んだ。
【0013】図3に示すように、適正露光量の範囲にお
いては、肌色の色度点はa*−b*平面上においてa*
びb*の両者ともに正の値をとる。露光量をオーバー側
に変化させると、a*の増加に伴ってb*も増加する。適
正露光量を越える、ある露光量(第1露光量:Y1)に
おいて肌色の色度点はa*−b*平面上において左方向に
曲がる。これは、R信号が飽和(これ以上露光量を増加
させてもR出力値が増加しない現象)したために起こる
現象である。さらに露光量を増加させることにより肌色
はY(黄色)G(緑)味の方向に進む。第1露光量Y1
よりも大きい第2露光量Y2において、肌色の色度点は
*−b*平面上において右下方向に急に方向を変える。
この時点でG信号が飽和するからである。従って、この
時点以後は、B信号のみが飽和していないことになり、
肌色は黄色である。いわゆる黄飛びが生じる。B信号も
飽和すると、a*=b*=0となり、白色になる。
【0014】以上の現象を以下のようにまとめて表現す
ることができる。
【0015】固体撮像素子を含むカラー画像撮像装置に
おいて、カラー画像はR,G,Bの原色系或いはY,
M,C,G,Wなどの補色系の分光感度にて取り込まれ
る。これらの分光感度にて取り込まれる信号は、露光量
が大きいといわゆる飽和レベルに達し、それ以上の露光
量であっても出力信号値は一定となる。この飽和現象は
多くの場合、全ての分光感度で同時に起こるわけではな
い。例えば、ある一つの分光感度の出力値のみが飽和す
ると、それ以上の露光量では飽和した色の信号成分が不
足することになる。これが色相回りの原因となる。
【0016】特に、画質の向上が著しいデジタルスチル
カメラやデジタルムービーにおいても、上記の色相回り
が生じる。とりわけ肌色の黄変が目立つ。カメラにAE
(オート露出機構)が付属しており、これに従って適正
露光を行ったとしても、色相回りが発生することがあ
る。特に晴天時の太陽光下での撮影においては、太陽光
が強く跳ね返った部分で色相回りが生じやすい。
【0017】以上の実験結果に基づき、発明者は以下の
ような考察を行った。図4及び図5を参照して発明者の
考察について説明する。図4は、様々な肌に関して色差
比H(=Cr/Cb)の輝度Y依存性を調べた模式的な
グラフである。図5は、様々な肌に関して、輝度Yを変
化させた場合に得られる色差比Hを、輝度Y=Y0(適
正露光値における輝度)における色差比H0で正規化し
た値を示す模式的なグラフである。
【0018】一般にカメラは適正露光量において肌色が
肌色として記録されるように設計されている。R,G,
B(又はY,M,C,G,W)信号は、カメラ内部での
信号処理装置によってγ変換された後、輝度信号(Y)
と色差信号(Cr,Cb)に変換される。さらに、C
r,Cbには彩度強調や色相調節の目的で色差マトリッ
クス演算が行われる。色差マトリックス演算は、一般的
に以下の、を用いて行われる。
【0019】Cr'=Cr×A+Cb×B Cb'=Cr×C+Cb×D 尚、式及びにおいて、AからDまでは色差マトリッ
クス係数である。これらの係数を適切な値とすることに
より、適正なCr'、Cb'の値を得ることができる。
尚、Cr,Cb,Cr',Cb'はいずれも無彩色の時に
は0となる。
【0020】図4は、様々な肌の例としてP1、P2及
びP3について、色差比H(=Cr/Cb)と輝度Yと
の関係を示している。図4に示すように、肌P1、P2
及びP3のそれぞれに関して、所定の輝度Yにおける色
差比Hの絶対値は異なる。
【0021】しかしながら、ある輝度までは、輝度Yに
対して色差比Hはほぼ一定の値を示し、輝度が所定の値
(図4では200程度)を超えると色差比が大きくなる
という傾向は、全ての肌P1からP3に関して同じであ
ることを発見した。
【0022】図5は、様々な肌に関して、輝度Yと正規
化された色差比H/H0との関係を示すグラフである。
輝度が所定の値(図5では200)までは、様々な肌P
1からP3に関しての正規化された色差比H/H0は、
1付近の値を有する。その後、正規化された色差比H/
0は、1付近から急激に低下する。図5に示すよう
に、輝度YとH0で正規化された色差比H/H0とは、様
々な肌に関してほぼ共通して1つの曲線で表せることが
わかった。
【0023】図5より、各輝度Yにおける正規化された
色差比H/H0を求めることができる。この値をK値と
称する。各輝度YにおけるK値を図5より求め、色差C
r又はCbをK値により補正すれば、図4において破線
P1'からP3'までで示したように、色差比Hが一定値
からずれはじめる輝度(図4における輝度200)より
も高い輝度においても色差比Hを一定値にすることがで
きる。
【0024】すなわち、上記式及び式に基づく色差
マトリックス演算に代えて、下記のイ又はロの方法いず
れかを用いれば、高い輝度においても演算後の色差比を
一定にでき、色相回りを低減できる。
【0025】変更イ:式の代わりに下記の(1)又は
(2)のいずれかの演算式にてCr'を求める。
【0026】 Cr'=Cr×A/K+Cb×B (1) 又は Cr'=(Cr×A+Cb×B)/K (2) 変更ロ:式の代わりに下記の(3)又は(4)のいず
れかの演算式にてCb'を求める。
【0027】 Cb'=Cr×C+Cb×D×K (3) 又は Cb'=(Cr×C+Cb×D)×K (4) AからDまでは色差マトリックス係数である。尚、Aと
Dとは対角項であり、AとDとにより彩度の強調を調整
する。BとCとは非対角項であり、BとCとにより色相
を調整する。K値は、輝度Yの関数であり、かつ、0よ
りも大きい値である。
【0028】以下、K値の算出法について具体的に説明
する。
【0029】まず、アンダー露光からオーバー露光まで
の露光量の広い範囲にわたって、人間の肌色のY,C
b,Crの値を求める。これらの値は、デジタルスチル
カメラなどにより実際に撮影して求めることも可能であ
り、或いは、下記の(5)式を用いた計算により求める
ことも可能である。
【0030】 Sn=∫SKIN(λ)・P(λ)・SENSn(λ)・E・dλ (5) 但し、SKIN(λ)は、人間の肌の分光反射率であ
り、λは380nmから780nmの可視光の波長を表
す。P(λ)は、撮影光源(一般的には太陽光)の分光
放射エネルギー分布である。SENSn(λ)は、カメ
ラのn番目の分光感度であり、Snはn番目の分光感度
の出力値である。Eは、露光量倍率、すなわち適正露光
量に対する比である。
【0031】例えば、原色系(RGB)の場合、RGB
のそれぞれの出力値をSr、Sg及びSbとすると、こ
れらの出力値Sr、Sg及びSbは以下の式で表され
る。
【0032】 S1(=Sr)=∫SKIN(λ)・P(λ)・Sr(λ)・E・dλ (5 −1) S2(=Sg)=∫SKIN(λ)・P(λ)・Sg(λ)・E・dλ (5 −2) S3(=Sb)=∫SKIN(λ)・P(λ)・Sb(λ)・E・dλ (5 −3) 上記の式で表されるように、S1=Sr、S2=Sg、S
3=Sbである。補色系の場合にも、上記の式に準じ
る。尚、原色系の場合はn=3となるが、補色系の場合
には、n=3或いはn=4となる。
【0033】波長λとして380nmから780nmま
での範囲内で上記(5)式に基づく積分を行った。
(5)式より求めたSnの値を用いて、カメラの設計仕
様として定められている信号処理の手順に従って計算を
進めることにより、Y,Cr,Cbの値を求めることが
できる。
【0034】尚、上記の信号処理の内容がどのような内
容であっても良い。信号処理の内容として、一般的に
は、ホワイトバランスをとるためのゲイン調整、γ変
換、Y−Cr−Cb変換、などの演算処理が含まれる。
さらに、A/D変換や同時化などの処理も含まれる。
尚、同時化とは、例えば単板式の固体撮像素子におい
て、各RGBの3種類の色信号を得るための補間処理を
行うことを指す。
【0035】尚、カメラ撮影によりY,Cr,Cbを求
め、それに基づいてK値を求める場合でも、計算により
Y,Cr,Cbを求め、それに基づいてK値を求める場
合でも、色差マトリックス演算は省略しても良い。
【0036】次に、求めたCrとCbとから、上述のよ
うに色差比H=Cr/Cbを求める。色差比Hを、飽和
していない時の適正露光付近のあるYの値における色差
比H 0で正規化して、K値を求める。
【0037】K=H/H0 (6) 尚、K値は、輝度Yに依存して変化する値(Yの関数)
である。前述のように、肌色は、まずオーバー露光側で
Rの飽和により赤味が不足し、黄色味が強くなる。これ
は、|H|が小さくなることを意味する。(6)式よ
り、輝度Yが適正露光時のYよりも高くなると、Kは小
さくなる。すなわち、オーバー露光時の肌色の色相回り
の程度をK値で表すことができる。K=1である限り、
肌色の色相はほぼ変化しないと言える。すなわち、式
(1)から(4)までの少なくともいずれかを演算式と
して用いれば、露光量に依存せずに色差比H(=Cr/
Cb)はほぼ一定の値をとり、肌色の色相はほぼ一定に
保たれる。
【0038】一方、アンダー露光の場合においても、肌
色の色相が変化してしまう問題がある。このような場合
にも、上記の技術を用いることにより色相回りの影響を
修正することができる。すなわち、アンダー露光の場合
でも露光量の変化により肌色の色相が変化してしまう場
合には、輝度Yの最小値Yminから適正露光における値
0までの範囲においても、オーバー露光の場合と同様
にK値を求めれば良い。求めたK値を上記の式(1)か
ら式(4)までのいずれかに代入することにより補正
し、新たなCr'或いはCb'を求めることができる。ア
ンダー露光の場合に、色相回りの問題が生じていない場
合には、適正露光値での輝度Y0以下の範囲ではK=1
とし、オーバー露光側においてのみ上記の色相修正を行
えばよい。
【0039】式(1)や式(2)はCrを高輝度域で大
きくするものであり、色域外にはみ出す場合がある。そ
のために極めて高い輝度で肌が黄色になる現象(黄変)
は改善されるが完全ではない。従って、もとより黄変が
小さい特性曲線、即ち原シーンの高輝度域により伸ばし
た特性曲線の場合に用いると良い。
【0040】また、式(3)や式(4)はCbを高輝度
域で小さくするものであり、色域外にはみ出すことはな
く、色相回りは完全に直せる。但し、高輝度域の黄色系
統の彩度がやや落ちる。
【0041】さらに、式(1)又は式(2)のいずれか
と、式(3)又は式(4)のいずれかを組み合わせて色
差マトリックス演算を行っても良い。2つの式を組み合
わせずにいずれか一方の係数のみを用いると、肌色以外
の一般色に対して好ましくない影響がでる場合には、組
み合わせた式を用いることが特に有効である。
【0042】この場合には、Cr'に用いるK1とCb'
に用いるK2は、K1×K2=Kとなる関係を保って分
割するのであればどのように分割しても良い。もちろ
ん、演算処理による負担を軽減するという意味では、い
ずれか一方の係数のみを用いる方が好ましいので、色再
現性の向上と演算処理の簡単化とのトレードオフにな
る。また、式(1)や式(2)は、係数Kでのわり算に
なっているが、Kの逆数を用いた掛け算でも良い。
【0043】尚、上記の式(1)から(4)までの演算
として、例えば輝度YとK値との関係を示すルックアッ
プテーブル(LUT)を用いて演算を行っても良い。或
いは、例えば式(1)の場合、輝度Yと色差Crの値か
ら直接Cr’の値を読み出す2次元LUTを用いても良
い。ルックアップテーブルを用いることにより、信号処
理時間の短縮、カメラの製造コストの低減が可能であ
る。
【0044】以上に説明したカラー画像信号処理技術に
用いて実際に信号処理を行う手順を原色系を例にとって
図6を参照して説明する。
【0045】まず、ステップS1において、R,G,B
の信号を得る。次に、ステップS2において、RGB信
号にγ変換を施す。ステップS3に示すように、輝度信
号Y及び色差信号Cr及びCbが得られる。
【0046】ステップS5において、式(1)から
(4)までのいずれかの色差マトリックス演算を行う。
図6においては、式(1)を用いた場合の例を示してい
る。ステップS5により求められたY,Cb',Cr'の
値に基づいてステップS7においてカラー画像を生成す
る。
【0047】以上の工程によりカラー画像データを生成
すれば、肌色の色相回りは低減する。
【0048】尚、上記の処理手順においては、肌色と肌
色以外の色とで同じ色差マトリックス演算を行った。ス
テップS4において肌色を識別して、肌色はステップS
5、その他の色はステップS7に示す処理を行っても良
い。
【0049】ルックアップテーブルを用いる場合には、
ステップS4及びステップS5においてルックアップテ
ーブルを参照することにより、肌色の識別や輝度Yと色
差Cr(又はCb)の値からCr'(又はCb')の値を
引き出す処理を行えば良い。
【0050】肌色だけに限定して上記の演算を行う場合
の肌色の識別は、具体的には、輝度Y、色差Cr及びC
bの色空間上の肌色の範囲を限定することで行うことが
できる。その中でも、K値が1以外の値をとる輝度Yの
範囲のみに肌色の範囲指定を限定することができる。
【0051】上記のような限定を行えば、例えば式
(3),(4)の場合に生じる高輝度領域における黄色
の彩度の低下を防ぐことが可能である。
【0052】又、もちろん、K=1の輝度範囲において
演算を除外しておいても良い。
【0053】尚、肌色は、Cr>0であり、かつCb<
0である。従って、Cr>0であり、かつCb<0であ
るという限定のみにより演算を行うことも可能である。
また、Cr>0であり、かつCb<0の限定の境界の内
外における急激な色の変化を防ぐために、境界の付近に
おいては演算の係数K値を徐々に1に近づけることもで
きる。このことは、肌の範囲をより狭く限定する場合に
おいても、同様に行うことができる。
【0054】以下、図7からから図9までを参照して本
発明の第1の実施の形態によるカラー信号処理技術につ
いて説明する。図7は、Cr/Cb値を輝度Yに対して
プロットしたグラフであり、併せてa*−b*色度図上で
の色相角θの輝度依存性を示す図である。図8は、図7
により求めたCr/Cb値を正規化して求めたK値の輝
度依存性を示す図である。図9は、a*−b*色度図上で
の肌色の色度点を示す図である。
【0055】図7に示すように、Cr/Cb比及び色相
角θは輝度Yに対してほぼ同じ相関関係を有しているこ
とがわかる。輝度Yが所定の値(図7では約220)を
越えるまでは、Cr/Cb比及び色相角θはほぼ一定の
値を示す。輝度が所定の値を超えると、Cr/Cb比及
び色相角θは、急激に大きくなる。
【0056】図8に示すように、適正露光時におけるC
r/Cb比により正規化した場合のCr/Cb比は、輝
度が200程度までは、ほぼ一定の値"1"をとる。輝度
が200を越えるとK値は急激に小さくなる。各輝度の
値に対して、図8に示すグラフよりK値を求め、以下に
示す(7)、(8)式に上記のK値を代入することによ
り、Cbの補正を行った。Crは通常の色差マトリック
ス演算を行った。
【0057】 Cb'=Cr×C+Cb×D×K (7) Cr’=Cr×A+Cb×B (8) 尚、A、B、C、Dの値は、色差マトリックスの係数で
あり、当初からデジタルカメラに設定されている値であ
る。或いは、Kによる補正込みで改めて最適化した係数
としても良い。
【0058】図9に、露光量を変化させながら、上記式
(7)及び(8)に示す式を用いてカラー画像信号処理
を行った場合の、a*−b*座標上での色度点を示す。図
3に示す従来例に比べて明らかに色相回りが抑制されて
おり、肌色に関する色再現性が向上していることがわか
る。
【0059】次に、本発明の第2の実施の形態によるカ
ラー画像信号処理技術について図10から図14までを
参照して説明する。図10はγ変換カーブを示す。図1
1は特性曲線を示す。原シーンの輝度は、第1の実施の
形態によるカラー画像信号処理技術の場合の4倍(10
0×4=400)高い輝度まで原信号を取り込んでい
る。A/D変換後には12ビットとし、γ変換後には1
0ビットとした。図12は、肌色の色度点を従来法によ
り求めた場合の、a*−b*座標上に示したグラフであ
る。図13は、K値の輝度依存性を示す図である。図1
4は、図13により求めたK値に基づいて信号処理を行
った場合の肌色の色度点をa*−b*座標上に示したグラ
フある。
【0060】図10に示すように、A/D変換後の入力
は12ビット、γ変換後の出力は10ビットである。図
11に示すように、アンダー側(低輝度側)は、第1の
実施の形態による技術の場合と同様に直線である。オー
バー側(高輝度側)では、第1の実施の形態による技術
の場合の4倍の高輝度まで原シーンを取り込んでおり、
特性曲線は下に凸の曲線を描く。図12に示すように、
従来法(上記式及び式を用いて演算する方法)を用
いると、肌色に関する色相回りが生じており、オーバー
露光でYG(黄緑)味の肌色、アンダー露光でR(赤)
味の肌色になっていることがわかる。この場合の色相回
りは特性曲線の曲がりに起因するものである。
【0061】図13に、第1の実施の形態による技術と
同様の技術を用いて求めたK値の輝度依存性を示す。ア
ンダー露光側においてK値が1以上の値を示しているこ
とがわかる。次に、図13に示すグラフより求めたK値
に基づき、以下の(9)式及び(10)式を用いてカラ
ー画像信号処理を行った。
【0062】Cr'=(Cr×A+Cb×B) (9) Cb'=(Cr×C+Cb×D)×K (10) 尚、AからDまでは、色差マトリックスの係数であり、
デジタルスチルカメラにおいて用いられていた値であ
る。Kは各輝度Yの関数である。
【0063】図14に示すように、上記のカラー画像処
理技術を用いて得られた画像のa*−b*座標上での肌色
の色度点の露光量依存性は、図12に示す特性とは異な
り、色相回りの少ない良好な特性を示すことがわかる。
【0064】本実施の形態によるカラー画像信号処理技
術を用いることにより、デジタルスチルカメラの内部の
信号処理アルゴリズムによらず、肌色の色相回りを抑制
することができる。但し、K値は信号処理アルゴリズム
により異なる値を有する。特に、K値はγ変換特性に大
きく左右される。また、一般に原シーンの輝度を高輝度
まで取り込めば取り込むほど、飽和は起こりにくく、肌
は飛びにくくなるが、このような場合でも、本発明によ
るカラー画像信号処理技術は有効である。尚、高輝度ま
で信号を取り込むと、SN比が低下して画像のざらつき
が生じやすくなる。高輝度まで取り込めないような場合
でも、上記の実施の形態によるカラー画像信号処理技術
は有効である。色相回りが生じやすい撮影光源である太
陽光下においてK値を得るのが好ましいが、他の撮影光
源によって得ることも可能である。尚、K値の輝度依存
性を考慮したことによる肌色の色相回りの低減の効果
は、そのK値を決めた撮影光源下においてのみ有効なわ
けではなく、他の光源下で撮影した場合でも効果を得る
ことができる。どの撮影光源の場合でも、ホワイトバラ
ンス(WB)をとることが前提であるが、実際にはホワ
イトバランスが少し崩れていても、本発明の効果は発揮
され、肌色の色再現性は良好である。
【0065】本発明の第3の実施の形態によるカラー画
像データ処理技術を用いた印刷装置について図15を参
照して説明する。図15はプリンタなどの印刷装置の構
造を簡略化した機能ブロック図である。
【0066】図15に示す印刷装置Aは、画像データ入
力部1と、カラー画像信号処理部3と、画像印刷部5と
を有している。
【0067】画像データ入力部1は、RGBなどの画像
データを入力するためのインタフェイス部であり、例え
ばデジタルスチルカメラによって得られたRGB信号を
取り込む。パーソナルコンピュータPCなどを介して画
像データを取り込む場合や、デジタルスチルカメラから
直接取り込む場合がある。
【0068】カラー画像信号処理部3は、画像データ入
力部1から取り込んだ画像データに対して、信号変換処
理によりRGB画像データをY,Cr,Cbに変換し、
最終的にY,Cr',Cb'信号を得る。
【0069】画像印刷部5は、得られたY,Cr',C
b'信号に基づいて、カラー画像を印刷する。
【0070】上記のカラープリンタにおいては、肌色に
関する色相回り低減のための処理がなされているため、
色再現性の良好なカラー画像を印刷することができる。
【0071】次に、本発明の第3の実施の形態の変形例
によるカラー画像データ処理技術を用いた表示装置につ
いて図16を参照して説明する。図16は画像モニタな
どの表示装置の構造を簡略化した機能ブロック図であ
る。
【0072】図16に示す表示装置Bは、画像データ入
力部11と、カラー画像信号処理部13と、画像表示部
15とを有している。
【0073】画像データ入力部11は、RGBなどの画
像データを入力するためのインタフェイス部であり、例
えばデジタルスチルカメラによって得られたRGB信号
を取り込む。パーソナルコンピュータPCなどを介して
画像データを取り込む場合や、デジタルスチルカメラか
ら直接取り込む場合がある。
【0074】カラー画像信号処理部13は、画像データ
入力部11から取り込んだ画像データをY,Cr,Cb
に変換し、最終的にY,Cr',Cb'信号を得る。画像
表示部15は、得られたY,Cr',Cb'信号に基づい
て、カラー画像をモニタなどに表示する。
【0075】図6に示すカラー画像信号処理を、コンピ
ュータ上で行うためのソフトウェアを用いて行っても良
い。また、適正露光時の肌色の輝度Yよりも小さな輝度
でのK値を全て1として計算を行っても良い。
【0076】上記のカラー画像表示装置においては、肌
色に関する色相回り低減のための処理がなされているた
め、色再現性の良好なカラー画像を表示することができ
る。
【0077】以上、本発明の実施の形態について例示し
たが、上記例示は制限的な意味を有さない。その他、種
々の変更、改良、組み合わせ等が可能なことは当業者に
は自明であろう。
【0078】
【発明の効果】デジタルスチルカメラなどにおいて用い
られるカラー画像信号処理技術において、肌色が撮影照
明光の強い部分で黄飛び(色相回り)することを抑制す
ることができる。また、デジタルスチルカメラなどのカ
ラー撮像装置を用いて撮影した画像を表示又は印刷する
際に、肌色の黄飛びを修正して色再現性良くカラー画像
を表示、印刷することができる。
【図面の簡単な説明】
【図1】 一般的なカラー画像処理技術を用いた場合の
γ変換カーブを示す図である。
【図2】 一般的なカラー画像処理技術を用いた場合の
原シーンの輝度と出力輝度との関係を示す特性曲線を示
す図である。
【図3】 一般的なカラー画像処理技術を用いた場合の
肌色の色度点を示す図である。
【図4】 一般的なカラー画像処理技術を用いた場合の
肌色の色差比の輝度依存性を示す図であり、様々な肌色
についての依存性を示す図である。
【図5】 適正露光時の色差比により正規化した色差比
(K値)の輝度依存性を示す図である。
【図6】 適正露光時の色差比により正規化した色差比
(K値)の輝度依存性を用いて色差マトリックス演算を
行う場合のカラー画像処理技術を用いた処理手順を示す
フローチャート図である。
【図7】 一般的なカラー画像処理技術を用いた場合の
Cr/Cb比と色相角の輝度依存性を示す図である。
【図8】 本発明の第1の実施の形態によるカラー画像
処理技術を用いた場合のK値の輝度依存性を示す図であ
る。
【図9】 本発明の第1の実施の形態によるカラー画像
処理技術を用いた場合の肌色の色度点を示す図である。
【図10】 本発明の第2の実施の形態によるカラー画
像処理技術を用いた場合のγ変換カーブを示す図であ
り、第1の実施の形態による技術よりも4倍の高輝度ま
での範囲について示した図である。
【図11】 本発明の第2の実施の形態によるカラー画
像処理技術を用いた場合の原シーンの輝度と出力輝度と
の関係を示す特性曲線を示す図である。
【図12】 一般的なカラー画像処理技術を用いた場合
の、肌色の色度点を示す図である。
【図13】 本発明の第2の実施の形態によるカラー画
像処理技術を用いた場合のK値の輝度依存性を示す図で
ある。
【図14】 本発明の第2の実施の形態によるカラー画
像処理技術を用いた場合の肌色の色度点を示す図であ
る。
【図15】 本発明の第3の実施の形態によるカラー画
像処理技術を用いたカラープリンタの機能ブロック図で
ある。
【図16】 本発明の第3の実施の形態の変形例による
カラー画像処理技術を用いた画像表示装置の機能ブロッ
ク図である。
【符号の説明】
A カラープリンタ B 表示部 1、11 画像データ入力部 3、13 カラー画像信号処理部 5 画像印刷部 15 画像表示部
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) H04N 9/07 H04N 9/68 101A 5C079 9/64 101:00 9/68 101 1/40 D // H04N 101:00 1/46 Z Fターム(参考) 5B050 AA09 BA15 DA04 EA09 FA03 FA05 5B057 BA11 CA01 CA08 CB01 CB08 CE17 DB06 DB09 5C065 AA03 BB01 BB16 CC01 CC02 CC03 CC08 DD01 GG21 GG22 GG23 5C066 AA01 BA01 BA13 CA05 CA17 EA13 EB03 EE03 EE05 GA02 GA05 GA09 GB01 GB02 GB03 JA02 KE02 KE03 KE04 5C077 LL19 MP08 PP32 PP34 PP37 PP48 PQ12 TT09 5C079 HB01 HB04 HB11 LA02 LB04 MA11 NA03

Claims (11)

    【特許請求の範囲】
  1. 【請求項1】 (a)原色系又は補色系の画像信号デー
    タを取り込む工程と、 (b)前記画像信号データをY−Cr−Cb空間上の輝
    度Yのデータ及び色差Cr,Cbのデータに変換する工
    程と、 (c)少なくとも式(1)から式(4)までのいずれか
    1組の式を用いて色差マトリックス演算を行う演算工程
    とを含むカラー画像信号処理方法。 【数1】 Cr'=Cr×A/K+Cb×B, Cb'=
    Cr×C+Cb×D(1) 【数2】 Cr'=(Cr×A+Cb×B)/K, C
    b'=Cr×C+Cb×D (2) 【数3】 Cr'=Cr×A+Cb×B, Cb'=Cr
    ×C+Cb×D×K(3) 【数4】 Cr'=Cr×A+Cb×B, Cb'=(C
    r×C+Cb×D)×K (4) 但し、A,B,C,Dは色差マトリックス係数であり、
    KはYの関数であり、かつ、0よりも大きい補正係数で
    ある。Kは、色差比H(=Cr'/Cb')が輝度Yによ
    らず一定になるように決められる。Cr'及びCb'は補
    正後の色差である。
  2. 【請求項2】 露光量を変えることで肌色の色差比H=
    Cr/Cbの輝度Y依存性を算出し、さらに式(5)に
    よって算出したKを用いて前記色差マトリックス演算を
    行う工程を含む請求項1に記載のカラー画像信号処理方
    法。 【数5】 K=(Cr/Cb)/(Cr/Cb)Y=Y0 (5) 但し、(Cr/Cb)Y=Y0 は、適正露光時の色差比で
    ある。
  3. 【請求項3】 前記式(1)から(5)までの演算工程
    のうち少なくともいずれかが、前記式(1)から(5)
    までに記載の係数又は変数間の相関関係を表したルック
    アップテーブルを参照することによって行われる工程を
    含む請求項1又は2に記載のカラー画像信号処理方法。
  4. 【請求項4】 前記演算工程を肌色に限定して行う請求
    項1から3までのいずれか1項に記載のカラー画像信号
    処理方法。
  5. 【請求項5】 原色系又は補色系の画像信号データを取
    り込むデータ取り込み手段と、 前記画像信号データを、Y−Cr−Cb空間上の輝度Y
    及び色差Cr,Cbのデータに変換するデータ変換手段
    と、 少なくとも式(1)から式(4)までのいずれか1組の
    式を用いて色差マトリックス演算を行う演算手段とを含
    むカラー画像信号処理装置。 【数1】 Cr'=Cr×A/K+Cb×B, Cb'=
    Cr×C+Cb×D(1) 【数2】 Cr'=(Cr×A+Cb×B)/K, C
    b'=Cr×C+Cb×D (2) 【数3】 Cr'=Cr×A+Cb×B, Cb'=Cr
    ×C+Cb×D×K(3) 【数4】 Cr'=Cr×A+Cb×B, Cb'=(C
    r×C+Cb×D)×K (4) 但し、A,B,C,Dは色差マトリックス係数であり、
    KはYの関数であり、かつ、0よりも大きい補正係数で
    ある。Kは、色差比H(=Cr'/Cb')が輝度Yによ
    らず一定になるように決められる。Cr'及びCb'は補
    正後の色差である。
  6. 【請求項6】 露光量を変えることで肌色の色差比H=
    Cr/Cbの輝度Y依存性を算出し、さらに式(5)に
    よって算出したKを用いて前記色差マトリックス演算を
    行う演算手段を含む請求項5に記載のカラー画像信号処
    理装置。 【数5】 K=(Cr/Cb)/(Cr/Cb)Y=Y0 (5) 但し、(Cr/Cb)Y=Y0 は、適正露光時の色差比で
    ある。
  7. 【請求項7】 前記演算手段のうちの少なくともいずれ
    かが、前記式(1)から(5)までに記載の係数又は変
    数間の相関関係を表したルックアップテーブルを参照す
    る手段を含む請求項5又は6に記載のカラー画像信号処
    理装置。
  8. 【請求項8】 画像データ入力部と、 請求項5から7までのいずれか1項に記載のカラー画像
    信号処理装置を備えた画像データ処理部と、 該画像データ処理部により処理された画像データに基づ
    いて画像を印刷する画像印刷部とを備えたカラープリン
    タ。
  9. 【請求項9】 画像データ入力部と、 請求項5から7までのいずれか1項に記載のカラー画像
    信号処理装置を備えた画像データ処理部と、 該画像データ処理部により処理された画像データを表示
    する画像データ表示部とを備えるカラー画像表示装置。
  10. 【請求項10】 原色系又は補色系の画像信号データを
    取り込む手順と、 前記画像信号データをY−Cr−Cb変換する手順と、 少なくとも式(1)から式(4)までのいずれか1組の
    式を用いて色差マトリックス演算を行う手順とを含む画
    像信号処理手順をコンピュータに実行させるプログラ
    ム。 【数1】 Cr'=Cr×A/K+Cb×B, Cb'=
    Cr×C+Cb×D(1) 【数2】 Cr'=(Cr×A+Cb×B)/K, C
    b'=Cr×C+Cb×D (2) 【数3】 Cr'=Cr×A+Cb×B, Cb'=Cr
    ×C+Cb×D×K(3) 【数4】 Cr'=Cr×A+Cb×B, Cb'=(C
    r×C+Cb×D)×K (4) 但し、A,B,C,Dは色差マトリックス係数であり、
    KはYの関数であり、かつ、0よりも大きい補正係数で
    ある。Kは、色差比H(=Cr'/Cb')が輝度Yによ
    らず一定になるように決められる。Cr'及びCb'は補
    正後の色差である。
  11. 【請求項11】 露光量を変えることで肌色の色差比H
    =Cr/Cbの輝度Y依存性を算出し、さらに式(5)
    によって算出したKを用いて前記色差マトリックス演算
    を行う演算手順を含む請求項10に記載のプログラム。 【数5】 K=(Cr/Cb)/(Cr/Cb)Y=Y0 (5) 但し、(Cr/Cb)Y=Y0 は、適正露光時の色差比で
    ある。
JP2001251063A 2001-08-22 2001-08-22 カラー画像信号処理方法及びそれを用いたカラー画像信号処理装置 Expired - Lifetime JP3921499B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2001251063A JP3921499B2 (ja) 2001-08-22 2001-08-22 カラー画像信号処理方法及びそれを用いたカラー画像信号処理装置
US10/222,883 US7184174B2 (en) 2001-08-22 2002-08-19 Color picture signal processing method and color picture using the method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001251063A JP3921499B2 (ja) 2001-08-22 2001-08-22 カラー画像信号処理方法及びそれを用いたカラー画像信号処理装置

Publications (2)

Publication Number Publication Date
JP2003061109A true JP2003061109A (ja) 2003-02-28
JP3921499B2 JP3921499B2 (ja) 2007-05-30

Family

ID=19079772

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001251063A Expired - Lifetime JP3921499B2 (ja) 2001-08-22 2001-08-22 カラー画像信号処理方法及びそれを用いたカラー画像信号処理装置

Country Status (2)

Country Link
US (1) US7184174B2 (ja)
JP (1) JP3921499B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007019970A (ja) * 2005-07-08 2007-01-25 Mitsubishi Electric Corp 色補正装置および色補正方法
US7548646B2 (en) 2003-09-05 2009-06-16 Realtek Semiconductor Corp. Method for adjusting saturation

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3818098B2 (ja) * 2001-08-17 2006-09-06 ソニー株式会社 画像信号処理方法及び画像信号処理装置
JP3921499B2 (ja) * 2001-08-22 2007-05-30 富士フイルム株式会社 カラー画像信号処理方法及びそれを用いたカラー画像信号処理装置
TWM264642U (en) * 2004-08-27 2005-05-11 Incomm Technologies Co Ltd Flash memory device having plural communication protocols
US7599093B2 (en) * 2004-09-30 2009-10-06 Fujifilm Corporation Image processing apparatus, method and program
US7626742B2 (en) * 2005-02-16 2009-12-01 Samsung Electronics Co., Ltd. Color data conversion apparatus and method using gamut boundary descriptors
US8630031B1 (en) * 2006-06-27 2014-01-14 Marvell International Ltd. Color adjustment for a scanned image
KR101345290B1 (ko) * 2007-08-10 2013-12-27 삼성전자주식회사 디지털 신호 처리기 및 이를 채용한 디지털 영상 처리 장치
JP5475293B2 (ja) * 2009-01-28 2014-04-16 キヤノン株式会社 画像処理装置及び画像処理方法及びプログラム
JP5743384B2 (ja) * 2009-04-14 2015-07-01 キヤノン株式会社 画像処理装置及び画像処理方法とコンピュータプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0795611A (ja) * 1993-09-20 1995-04-07 Toshiba Corp 色飽和度補正回路
JPH07288837A (ja) * 1994-04-14 1995-10-31 Matsushita Electric Ind Co Ltd 色変換方法および色変換装置
JPH08223599A (ja) * 1995-02-14 1996-08-30 Sony Corp 高輝度圧縮装置およびそれを適用したビデオカメラ装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3565723B2 (ja) * 1998-09-30 2004-09-15 富士写真光機株式会社 カラー画像処理装置
TW522099B (en) * 1999-03-31 2003-03-01 Seiko Epson Corp Printing system, printing controller, printer, method for controlling printing operations, printing method, ink box, ink provider, and recording medium
JP4158332B2 (ja) * 2000-02-03 2008-10-01 コニカミノルタビジネステクノロジーズ株式会社 カラー画像処理装置
US7956823B2 (en) * 2001-05-30 2011-06-07 Sharp Kabushiki Kaisha Color display device, color compensation method, color compensation program, and storage medium readable by computer
JP3921499B2 (ja) * 2001-08-22 2007-05-30 富士フイルム株式会社 カラー画像信号処理方法及びそれを用いたカラー画像信号処理装置
JP3943973B2 (ja) * 2002-03-20 2007-07-11 キヤノン株式会社 画像処理装置およびその方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0795611A (ja) * 1993-09-20 1995-04-07 Toshiba Corp 色飽和度補正回路
JPH07288837A (ja) * 1994-04-14 1995-10-31 Matsushita Electric Ind Co Ltd 色変換方法および色変換装置
JPH08223599A (ja) * 1995-02-14 1996-08-30 Sony Corp 高輝度圧縮装置およびそれを適用したビデオカメラ装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7548646B2 (en) 2003-09-05 2009-06-16 Realtek Semiconductor Corp. Method for adjusting saturation
JP2007019970A (ja) * 2005-07-08 2007-01-25 Mitsubishi Electric Corp 色補正装置および色補正方法

Also Published As

Publication number Publication date
JP3921499B2 (ja) 2007-05-30
US7184174B2 (en) 2007-02-27
US20030038956A1 (en) 2003-02-27

Similar Documents

Publication Publication Date Title
JP3668014B2 (ja) 画像処理方法及び装置
EP2426928B1 (en) Image processing apparatus, image processing method and program
US8254675B2 (en) Image processing apparatus, imaging apparatus and image processing program
JP5223742B2 (ja) エッジ強調画像処理装置
US8493458B2 (en) Image capture apparatus and image capturing method
JP2005210526A (ja) 画像処理装置、撮像装置、画像処理方法、画像データ出力方法、画像処理プログラム及び画像データ出力プログラム
JP3921499B2 (ja) カラー画像信号処理方法及びそれを用いたカラー画像信号処理装置
JP2001128191A (ja) 画像処理方法および装置並びに記録媒体
JP2005210495A (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP4549704B2 (ja) 画像に対する色み補正を調整するための方法および画像に対する色み補正量の調節方法
JP3779927B2 (ja) 電子的に取得した画像の色彩度を修正する方法及び装置
JP2004032060A (ja) カラー画像信号処理方法およびカラー画像出力装置並びに撮影装置
JP2003235050A (ja) 画像処理装置、画像処理プログラム、および画像処理方法
JP2002281327A (ja) 画像処理のための装置、方法及びプログラム
JP2005025448A (ja) 信号処理装置、信号処理プログラム、および電子カメラ
JP2002218480A (ja) 画像撮影装置
JP2006114006A (ja) 階調変換装置、プログラム、電子カメラ、およびその方法
JP2001268345A (ja) 画像合成装置
JP4066090B2 (ja) 画像処理装置、画像処理プログラム、および画像処理方法
JP3614692B2 (ja) 画像補正方法
JP2000092337A (ja) 画像処理方法および装置並びに記録媒体
JP2000165906A (ja) 自動ホワイトバランス調整方法及び調整装置
JP2004215005A (ja) 画像処理装置、シーン判定装置、画像処理方法、シーン判定方法、およびプログラム
JP2007267170A (ja) 彩度調整機能を有する電子カメラ、および画像処理プログラム
JP2002094810A (ja) 画像処理装置、画像処理方法およびその方法を実施するためのプログラムを記憶した記憶媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040604

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20060621

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060901

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060919

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20061013

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20070216

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100302

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110302

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110302

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120302

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120302

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130302

Year of fee payment: 6