JP2001157215A - カラー画像信号処理方法およびカラー画像信号処理プログラムを記録した記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】補色成分からなるカラー画像信号から最終的な
輝度信号Ｙと色差信号Ｕ，Ｖを得る際、ＲＧＢ空間への
色変換を行うことなくホワイトバランス処理を行う。 【解決手段】ＭｇとＧｒを１：αの線形結合比で線形結
合して、中間信号Ａ（Ａ∝Ｍｇ＋αＧｒ）を求めるとと
もに、ＹｅとＣｙを１：βの線形結合比で線形結合して
中間信号Ｂ（ Ｂ∝Ｙｅ＋βＣｙ）を求め、この中間信
号Ａ，Ｂを１：γの線形結合比で線形結合することによ
って色差信号Ｕ（ Ｕ∝Ａ＋γＢ）を求めるとともに、
中間信号Ａ，Ｂを１：δの線形結合比で線形結合するこ
とによって色差信号Ｖを求める（Ｖ∝Ａ＋δＢ）。そし
て、この色差信号Ｕ，Ｖを求める過程で、第１の中間信
号を求めるためのＭｇとＧｒの線形結合比と、第２の中
間信号を求めるためのＹｅとＣｙの線形結合比の少なく
とも一方を適当な値に選ぶことによってホワイトバラン
ス処理を行う。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、いわゆる補色系の
カラー画像信号を処理する技術に係わり、ディジタルカ
メラなどの画像を取り扱うことのできる小型情報機器に
好適なカラー画像信号処理方法およびカラー画像信号処
理処理プログラムを記録した記録媒体に関する。

【０００２】

【従来の技術】最近、カラー画像撮像素子の一つとして
ＣＣＤ（Charge Coupled Device）が広い分野で使用さ
れている。このＣＣＤには基本的な色成分として補色系
といわれるイエロ（Ｙｅ）、シアン（Ｃｙ）、マゼンタ
（Ｍｇ）、グリーン（Ｇｒ）の色フィルタを用いて、高
解像度化を図ることが行われている。

【０００３】いっぽう、このＣＣＤなどのカラー画像撮
像素子から出力された補色系のカラー画像信号に対し、
たとえば、ホワイトバランス処理を施す際は、従来のビ
デオ技術において培われてきた原色空間、すなわち、赤
（Ｒ）、グリーン（Ｇ）、青（Ｂ）の色空間に変換して
行うのが一般的である。

【０００４】このホワイトバランス処理は、主に、光源
による色付きを補正するために行われる処理であり、一
般的には、ＲＧＢの信号に重み付けのための係数を乗
じ、この係数を最適な値となるように制御するものであ
る。通常は、ホワイトバランス処理を行う前の画像のＲ
ＧＢについて、それぞれの色ごとに平均値を求め、たと
えば、Ｇを基準に、ＲとＢが同じ値となるような補正係
数を求め、これを係数として用いるなどの処理である。

【０００５】このようなホワイトバランス処理は、光源
の色付きのみを補正することが大切であり、過補正とな
らないように係数範囲を制限したり、係数の組み合わせ
を固定したりするなど、実験に基づく複雑な処理が必要
とされている。

【０００６】

【発明が解決しようとする課題】このように、従来では
補色系空間から原色系空間への色変換を行ったのちにホ
ワイトバランス処理を行うようにしているが、これは、
原色系色空間でホワイトバランス処理を行った方が処理
を行いやすいのが一般的であるからである。したがっ
て、補色系の色信号を扱うＣＣＤなどのカラー画像撮像
素子から得られたカラー画像信号も、ＲＧＢ空間に変換
したのちにホワイトバランス処理を行うようにしてい
る。

【０００７】従来のカラー画像信号処理の処理手順は、
図４に示されるように、Ｙｅ，Ｃｙ，Ｍｇ，Ｇｒを、ま
ず、Ｒ，Ｇ，Ｂの色空間に変換する色空間変換処理ｓ１
を行い、そのあと、ホワイトバランス処理ｓ２を行った
のちに、最終的な輝度信号Ｙと色差信号Ｕ，Ｖを得ると
いった手順でなされるのが一般的である。

【０００８】このように、従来の補色系の色信号を出力
するカラー画像撮像素子を用いたカラー画像信号処理
は、ホワイトバランス処理を行うためにＲＧＢ空間への
変換を行い、そのあとで、輝度信号Ｙと色差信号Ｕ，Ｖ
を得る手順での処理を行っている。しかし、この処理過
程において、特に、補色系の色空間から原色系の色空間
への変換処理は、演算が複雑で演算量も多く、これらの
処理を行うＣＰＵなどの処理負担が大きく、また、演算
誤差も生じ易いなど問題点も多い。

【０００９】そこで本発明は、カラー画像撮像素子によ
って得られた補色系の色信号から最終的な輝度信号Ｙと
色差信号Ｕ，Ｖを得る処理過程において、ＲＧＢ空間へ
の変換を行うことなくホワイトバランス処理を行うこと
を可能とし、これによって、演算量の削減が図れ、且つ
適正なホワイトバランス処理を可能とすることを目的と
している。

【００１０】

【課題を解決するための手段】上述した目的を達成する
ために、本発明のカラー画像信号処理方法は、イエロ
（Ｙｅ）、シアン（Ｃｙ）、マゼンタ（Ｍｇ）、グリー
ン（Ｇｒ）で代表される補色成分からなるカラー画像信
号を処理し、輝度信号Ｙと色差信号Ｕ，Ｖを得るカラー
画像信号処理方法において、前記マゼンタとグリーンを
ある線形結合比で線形結合して第１の中間信号求めると
ともに、イエロとシアンをある線形結合比で線形結合し
て第２の中間信号求め、この第１の中間信号第２の中間
信号をある線形結合比で線形結合することによって前記
色差信号Ｕを求めるとともに、第１の中間信号と第２の
中間信号をある線形結合比で線形結合することによって
前記色差信号Ｖを求めるようにしている。

【００１１】この発明において、第１の中間信号を求め
るためのマゼンタとグリーンの線形結合比と、前記第２
の中間信号を求めるためのイエロとシアンの線形結合比
の少なくとも一方の線形結合比を適当な値に選ぶことに
よってホワイトバランス処理を行うようにしている。

【００１２】また、本発明のカラー画像信号処理方法の
もう一つの発明は、イエロ（Ｙｅ）、シアン（Ｃｙ）、
マゼンタ（Ｍｇ）、グリーン（Ｇｒ）で代表される補色
成分からなるカラー画像信号を処理し、輝度信号Ｙと色
差信号Ｕ，Ｖを得るカラー画像信号処理方法において、
前記マゼンタ、グリーンをある線形結合比で線形結合し
て第１の中間信号を求めるとともに、イエロとシアンを
ある線形結合比で線形結合して第２の中間信号を求め、
これら第１の中間信号、第２の中間信号、イエロ、シア
ン、マゼンタ、グリーンをある線形結合比で線形結合す
ることによって前記色差信号Ｕを求めるとともに、第１
の中間信号、第２の中間信号、イエロ、シアン、マゼン
タ、グリーンをある線形結合比で線形結合することによ
って前記色差信号Ｖを求め、これら色差信号ＵとＶを求
める過程において、前記第１の中間信号を求めるための
マゼンタとグリーンの線形結合比と、前記第２の中間信
号を求めるためのイエロとシアンの線形結合比の少なく
とも一方の線形結合比を適当な値に選ぶことによってホ
ワイトバランス処理を行うようにしている。

【００１３】また、本発明のカラー画像信号処理プログ
ラムを記録した記録媒体は、イエロ（Ｙｅ）、シアン
（Ｃｙ）、マゼンタ（Ｍｇ）、グリーン（Ｇｒ）で代表
される補色成分からなるカラー画像信号を処理し、輝度
信号Ｙと色差信号Ｕ，Ｖを得るカラー画像信号処理プロ
グラムを記録した記録媒体において、前記マゼンタとグ
リーンをある線形結合比で線形結合して第１の中間信号
を求めるとともに、イエロとシアンをある線形結合比で
線形結合して第２の中間信号を求める処理と、この第１
の中間信号と第２の中間信号をある線形結合比で線形結
合することによって前記色差信号Ｕを求めるとともに、
第１の中間信号と第２の中間信号をある線形結合比で線
形結合することによって前記色差信号Ｖを求める処理と
を含んでいる。

【００１４】この発明において、前記第１の中間信号を
求めるためのマゼンタとグリーンの線形結合比と、前記
第２の中間信号を求めるためのイエロとシアンの線形結
合比の少なくとも一方の線形結合比を適当な値に選ぶこ
とによってホワイトバランス処理を行うようにしてい
る。

【００１５】そして、本発明のカラー画像信号処理プロ
グラムを記録した記録媒体のもう一つの発明は、イエロ
（Ｙｅ）、シアン（Ｃｙ）、マゼンタ（Ｍｇ）、グリー
ン（Ｇｒ）で代表される補色成分からなるカラー画像信
号を処理し、輝度信号Ｙと色差信号Ｕ，Ｖを得るカラー
画像信号処理プログラムを記録した記録媒体において、
前記マゼンタ、グリーンをある線形結合比で線形結合し
て第１の中間信号を求めるとともに、イエロとシアンを
ある線形結合比で線形結合して第２の中間信号を求める
処理と、これら第１の中間信号、第２の中間信号、イエ
ロ、シアン、マゼンタ、グリーンをある線形結合比で線
形結合することによって前記色差信号Ｕを求めるととも
に、第１の中間信号、第２の中間信号、イエロ、シア
ン、マゼンタ、グリーンをある線形結合比で線形結合す
ることによって前記色差信号Ｖを求める処理と、前記第
１の中間信号を求めるためのマゼンタとグリーンの線形
結合比と、前記第２の中間信号を求めるためのイエロと
シアンの線形結合比の少なくとも一方の線形結合比を適
当な値に選ぶことによってホワイトバランス処理を行う
処理と を含んでいる。

【００１６】このように本発明は、ＭｇとＧｒをある線
形結合比（たとえば、Ｍｇ：Ｇｒ＝１：α）で線形結合
して第１の中間信号（中間信号Ａという）を求めるとと
もに、ＹｅとＣｙをある線形結合比（たとえば、Ｙｅ：
Ｃｙ＝１：β）で線形結合して第２の中間信号（中間信
号Ｂという）を求める。そして、中間信号Ａと中間信号
Ｂをある線形結合比（Ａ：Ｂ＝１：γ）で線形結合する
ことによって前記色差信号Ｕを求めるとともに、中間信
号Ａと中間信号Ｂをある線形結合比（Ａ：Ｂ＝１：δ）
で線形結合することによって前記色差信号Ｖを求める。

【００１７】このような処理を行うことによって、たと
えば、従来、補色系空間から直接にＹＵＶ空間への色変
換を行う場合、補色系の色信号Ｙｅ，Ｃｙ，Ｍｇ，Ｇｒ
にそれぞれ適当な係数を乗じて求めることが考えられる
が、その場合、 Ｙｅ，Ｃｙ，Ｍｇ，Ｇｒそれぞれに対
する係数の値を決定してそれをＹｅ，Ｃｙ，Ｍｇ，Ｇｒ
それぞれに乗じるという演算を行う必要があり、その演
算負荷は大きく、演算誤差も生じやすいなどの問題があ
った。これに対して、本発明では、ＭｇとＧｒの組み合
わせとＹｅとＣｙの組み合わせにおいて、それぞれの色
信号をある線形結合比で結合して得られら中間信号Ａ，
Ｂを得ることによって、最適な色差信号Ｕ，Ｖを得るに
必要な係数の決定の自由度に制約を与えることで、演算
量の削減が図れる。

【００１８】また、このようにして色差信号Ｕ，Ｖを求
める処理過程において、中間信号Ａを求めるためのＭｇ
とＧｒの線形結合比と、中間信号Ｂ求めるためのＹｅと
Ｃｙの線形結合比の少なくとも一方の線形結合比を適当
な値に選ぶことによってホワイトバランス処理を行うこ
とができる。従来、ホワイトバランス処理を行うため
に、ＲＧＢ空間に色変換して、ＲＧＢの色信号のうち少
なくとも２つの色信号の係数に重み付けを行うなど多く
の演算が必要であったが、本発明によれば、ＲＧＢ空間
への色変換を行うことなく、中間信号Ａを求めるための
ＭｇとＧｒの線形結合比と、中間信号Ｂを求めるための
ＹｅとＣｙの線形結合比の少なくとも一方の線形結合比
を変えるだけでホワイトバランス処理を行うことがで
き、少ない制御量でホワイトバランスを取ることが可能
となる。

【００１９】さらに、本発明では、前述のように中間信
号Ａと中間信号Ｂ求め、Ａ，Ｂ，Ｙｅ，Ｃｙ，Ｍｇ，Ｇ
ｒをある線形結合比で線形結合することによって色差信
号Ｕ，Ｖを求め、これら色差信号Ｕ，Ｖを求める過程に
おいて、前記中間信号Ａを求めるためのＭｇとＧｒの線
形結合比と、前記中間信号Ｂを求めるためのＹｅとＣｙ
の線形結合比の少なくとも一方を適当な値に選ぶことに
よってホワイトバランス処理を行うことを可能としてい
る。

【００２０】これは、もともとの色信号であるＹｅ，Ｃ
ｙ，Ｍｇ，Ｇｒに、ある係数を乗じることで、色の微調
整を可能とするものである。これによれば、ホワイトバ
ランス処理を行う際、ＲＧＢ空間への色変換を行うこと
なく、中間信号Ａを求めるためのＭｇとＧｒの線形結合
比と、中間信号Ｂを求めるためのＹｅとＣｙの線形結合
比の少なくとも一方を変えるだけでホワイトバランス処
理を行うことができるという特徴を生かしながら、さら
に、色再現性の向上をも図ることができる。

【００２１】

【発明の実施の形態】以下、本発明の実施の形態につい
て説明する。なお、この実施の形態で説明する内容は、
本発明のカラー画像信号処理方法についての説明である
とともに、本発明のカラー画像信号処理プログラムを記
録した記録媒体におけるカラー画像信号処理プログラム
の具体的な処理内容をも含むものである。

【００２２】本発明は、まず、 Ｙｅ，Ｃｙ，Ｍｇ，Ｇ
ｒで代表される補色系の色成分でなるカラー画像信号
（ＣＣＤなどのカラー画像撮像素子から得られたカラー
画像信号）から直接、輝度信号Ｙと色差信号Ｕ，Ｖへの
変換を少ない演算量で実現する。以下、これについて説
明する。

【００２３】その概略的な処理手順としては、図１に示
すように、まず、カラー画像撮像素子から得られたＹ
ｅ，Ｃｙ，Ｍｇ，Ｇｒに対し、分光特性の対称性を考慮
し、分光特性がほぼ対称をなすＭｇとＧｒの組と、同様
に、分光特性がほぼ対称をなすＹｅとＣｙの組を考え、
ＭｇとＧｒをある線形結合比で線形結合して第１の中間
信号としての中間信号Ａを求めるとともに、ＹｅとＣｙ
をある線形結合比で線形結合して第２の中間信号として
の中間信号Ｂを求める（第１の線形結合処理Ｓ１１）。

【００２４】この第１の線形結合処理Ｓ１１によって求
められた中間信号Ａと中間信号Ｂをある線形結合比で線
形結合することによって前記色差信号Ｕを求めるととも
に、中間信号Ａと中間信号Ｂをある線形結合比で線形結
合することによって前記色差信号Ｖを求める（第２の線
形結合処理Ｓ１２）。なお、輝度信号Ｙは、Ｙｅ，Ｃ
ｙ，Ｍｇ，Ｇｒの別の線形結合によって求めることがで
きるが、これについては、特に本発明の要旨とはしない
のでここではその説明を省略する。

【００２５】ここで、中間信号ＡはＭｇとＧｒの線形結
合比をＭｇ：Ｇｒ＝１：αで考えれば、 Ａ∝Ｍｇ＋αＧｒ （１） で表すことができる。また、中間信号ＢはＹｅとＣｙの
線形結合比をＹｅ：Ｃｙ＝１：βで考えれば、 Ｂ∝Ｙｅ＋βＣｙ （２） で表すことができる。

【００２６】これら（１）、（２）式において、（１）
式はＭｇとＧｒを１：αで結合することを意味し、
（２）式はＹｅとＣｙを１：βで結合することを意味し
ている。なお、ここで、αとβは共に負の値とするのが
良い結果をもたらすことが多いため、 Ａ∝Ｍｇ−αＧ
ｒ、Ｂ∝Ｙｅ−βＣｙと表してもよい。

【００２７】次に、このように求められた中間信号Ａ，
Ｂを用い、これら中間信号Ａ，Ｂを線形結合することに
よって色差信号Ｕ，Ｖを求める。Ｕ，Ｖは、 Ｕ∝Ａ＋γＢ （３） Ｖ∝Ａ＋δＢ （４） で表すことができ、これらは、前述したと同じように、
たとえば（３）式は中間信号Ａと中間信号Ｂを１：γで
結合することを意味し、（４）式は中間信号Ａと中間信
号Ｂを１：δで結合することを意味している。なお、こ
の（３）、（４）式において、さらに、振幅調整を行っ
たあとのＵ，Ｖは、 Ｕ＝ａＡ＋ｂＢ （５） Ｖ＝ｃＡ＋ｄＢ （６） と表すことができる。この（５）、（６）式において、
ａ，ｂ，ｃ，ｄは振幅調整後の線形結合係数である。

【００２８】上述の（３）、（４）式からもわかるよう
に、中間信号Ａは（１）式で決められた値がそのまま用
いられるため、色差信号Ｕ，Ｖの中には、ＭｇとＧｒの
成分の比は（１）式で決められた線形結合比でしか現れ
てこないことになる。

【００２９】ここで今、Ｙｅ，Ｃｙ，Ｍｇ，Ｇｒを用い
て直接に色差信号Ｕ，Ｖを求める一般的な方法について
考える。その場合、色差信号Ｕ，Ｖは、 Ｙｅ，Ｃｙ，
Ｍｇ，Ｇｒの４つの色信号を用いてそれぞれの色信号に
所定の係数を乗じることによって求めることができる。
それぞれの係数をｍ，ｎ，ｏ，ｐ，ｑ，ｒ，ｓ，ｔで表
せば、色差信号Ｕ，Ｖは、 Ｕ＝ｍＹｅ＋ｎＣｙ＋ｏＭｇ＋ｐＧｒ （７） Ｕ＝ｑＹｅ＋ｒＣｙ＋ｓＭｇ＋ｔＧｒ （８） で表すことができる。この（７）、（８）式からもわか
るように、色差信号Ｕについては、 Ｙｅ，Ｃｙ，Ｍ
ｇ，Ｇｒそれぞれに最適な係数ｍ，ｎ，ｏ，ｐを決める
必要があり、色差信号ｖについてもＹｅ，Ｃｙ，Ｍｇ，
Ｇｒそれぞれに最適な係数ｑ，ｒ，ｓ，ｔを決める必要
がある。つまり、係数の決められ方の自由度は８であ
り、８個の係数が必要となることから、８個の係数をそ
れぞれ決めてそれを乗算する演算処理が必要となる。

【００３０】これに対して本発明では、ある線形結合比
（ Ｍｇ：Ｇｒ＝１：α）によってＭｇとＧｒを線形結
合して得られた中間信号Ａと、 ある線形結合比（Ｙ
ｅ：Ｃｙ＝１：β）によってＹｅとＣｙを線形結合して
得られた中間信号Ｂとを用いて色差信号Ｕ，Ｖを求める
ようにしている。

【００３１】これによって、前述したように、色差信号
Ｕ，Ｖの中におけるＭｇとＧｒの成分は（１）式で決め
られた線形結合比でしか現れてこないことになる。した
がって、色差信号Ｕ，Ｖを求める際のＭｇとＧｒの線形
結合比を決定するための係数の自由度は制約されて、そ
れにより演算量を削減することができる。この場合、色
差信号Ｕ，Ｖを求める際の係数は、ＭｇとＧｒに乗じら
れる係数分だけ減ることになる。なお、係数の自由度が
多少制約されることによって、色の微調整制御がわずか
に制約されることになるが実用上は殆ど問題ない程度で
ある。

【００３２】以上の説明は、補色系の色空間から直接に
ＹＵＶ空間への色変換処理についてであったが、上述し
た中間信号Ａ，Ｂを求めることを利用して、補色系の色
空間からＹＵＶ空間への色変換処理の過程においてホワ
イトバランス処理を行うことも可能となる。以下、これ
について説明する。

【００３３】本発明では、補色系の色空間をＲＧＢの色
空間に変換処理することなく、補色系の色信号であるＹ
ｅ，Ｃｙ，Ｍｇ，Ｇｒから直接に輝度信号Ｙと色差信号
Ｕ，Ｖを求める際の処理過程において、ホワイトバラン
ス処理を行うことを可能としている。

【００３４】すなわち、従来では、前述したように、Ｙ
ｅ，Ｃｙ，Ｍｇ，Ｇｒの補色系の色空間からＲＧＢの原
色系の色空間に変換したのちに、たとえば、Ｇを基準
に、ＲとＢが同じ値となるような補正係数を求めるとい
うように、少なくとも２つの係数による重み付け処理を
行う必要があり、色空間の変換に要する演算と合わせて
多くの演算が必要であった。

【００３５】これに対して、本発明では、前述した
（１）、（２）式で示される中間信号Ａ．Ｂを求め、こ
の中間信号Ａ，Ｂの線形結合により色差信号Ｕ，Ｖを求
める処理過程において、たとえば、中間信号Ａ．Ｂを求
めるための線形結合比を変化、たとえば、（２）式にお
けるβを変化させることによって、ＹｅとＣｙのバラン
スをとることができ、また、必要に応じて、（１）式に
おけるαを変化させることによって、ＭｇとＧｒのバラ
ンスをとることができる。このように、ＹｅとＣｙを１
つの組、ＭｇとＧｒを１つの組として、 ＹｅとＣｙの
組の線形結合比を変化させ、必要に応じて、 ＭｇとＧ
ｒの組の線形結合比を変化させることで、ホワイトバラ
ンスをとるようにしている。

【００３６】これによって、少ない制御量でホワイトバ
ランスをとることができる。また、ホワイトバランスを
とるための自由度が少ない分、過度な補正を防ぐことの
効果も期待できる。

【００３７】本発明はＣＣＤなどのカラー画像撮像素子
を用いる情報機器に適用できるものであるが、たとえ
ば、画素に対するイエロ、シアン、マゼンタ、グリーン
の色成分が格子状に配列された単板式のＣＣＤ撮像素子
を使ったディジタルカメラに本発明を適用した例につい
て説明する。

【００３８】単板式のＣＣＤ撮像素子では、１つの色成
分しか取り出せないため、個々の画素において色補間処
理や位置補正処理を行う。そして、それぞれの画素位置
において、その画素の色信号Ｙｅ，Ｃｙ，Ｍｇ，Ｇｒに
対してこれまで説明した本発明の処理を施すことを考え
る。

【００３９】まず、処理対象画素におけるＹｅ，Ｃｙ，
Ｍｇ，Ｇｒに基づき、ＭｇとＧｒとの線形結合による中
間信号Ａと、ＹｅとＣｙとの線形結合による中間信号Ｂ
を求める（(1),(2)式参照）。これら線形結合の係数
α、βは、本発明が適用されるシステムや使用するＣＣ
Ｄ撮像素子のフィルタ特性に応じて決定されるものであ
るが、それは初期値としての値であり、その後の色の具
合を調整可能とするため、α、βは変数とする。

【００４０】そして、この中間信号Ａと中間信号Ｂとの
線形結合によって色差信号Ｕ、Ｖを作る（(3),(4)式参
照）。これら線形結合の係数γ、δは、本発明が適用さ
れるシステムや使用するＣＣＤ撮像素子のフィルタ特性
に応じて決定され、この係数は固定値とする。

【００４１】一方、輝度信号Ｙについては、 Ｙｅ，Ｃ
ｙ，Ｍｇ，Ｇｒを用いた別の線形結合によって求めるも
のとする。この輝度信号Ｙを求めるための線形結合につ
いては本発明では特に限定されるものではないが、その
際に用いられる係数は本発明が適用されるシステムや使
用するＣＣＤ撮像素子のフィルタ特性に応じて決定され
る。

【００４２】ところで、線形結合に用いられる係数（こ
こでは、α、β、γ、δなど）は、人間の視覚特性に合
致するように決定されるのが好ましく、具体的には、輝
度信号Ｙ、色差信号Ｕ，Ｖなど色空間における等色関数
と呼ばれる分光特性に合致させるように決めるのが好ま
しいとされる。すなわち、各フィルタの分光特性のカー
ブに係数を乗じて足し合わせたものが、等色関数とでき
るだけ一致するように係数を選ぶ。

【００４３】そして、前述したように、処理対象画素に
おいて中間信号Ａ，Ｂを求め、求められた中間信号Ａ，
Ｂから色差信号Ｕ，Ｖを求めるようにすると（輝度Ｙは
別な線形結合により求められるとする）、振幅調整を含
めた最終的な輝度信号Ｙ、色差信号Ｕ，Ｖを得るための
色変換式としては１０係数の乗算で済む。

【００４４】つまり、（１）、（２）式における中間信
号Ａ，Ｂを求めるための係数α、βの係数乗算と、
（５）、（６）式におけるＵ，Ｖを求めるための係数
ａ，ｂ，ｃ，ｄの係数乗算とで合計６係数の乗算を行
い、それに、輝度信号を求めるための係数乗算として、
仮に、 Ｙｅ，Ｃｙ，Ｍｇ，Ｇｒそれぞれに何らかの係
数を乗算するとすれば、４係数の係数乗算が必要とな
り、これらを全て足すと１０係数の係数乗算となる。

【００４５】これは、従来、補色系色空間から直接にＹ
ＵＶ空間への色変換を行おうとした場合、１２係数の乗
算が必要であることを考えれば、２係数分の演算量の削
減が図れることになる。この１２係数の乗算というの
は、Ｕ，Ｖを求めるために必要な係数乗算として、
（７）、（８）式からもわかるように、 Ｙｅ，Ｃｙ，
Ｍｇ，Ｇｒそれぞれに、係数ｍ，ｎ，ｏ，ｐ，ｑ，ｒ，
ｓ，ｔを乗算する８係数の係数乗算が必要であり、さら
に、 輝度信号を求めるために、前述同様、仮に、Ｙ
ｅ，Ｃｙ，Ｍｇ，Ｇｒそれぞれに何らかの係数を乗算す
るとすれば、４係数の係数乗算が必要であり、これらを
全て足すと１２係数の係数乗算を行うことになる。

【００４６】このように本発明では、２係数分の乗算を
削減することができることになる。これは言い換えれ
ば、係数を自由に設定する機会が２つ減る（係数の自由
度が２つ減る）ことを意味するが、それによる色再現性
の劣化は特に問題になるほどのものではない。なお、色
再現性の劣化に対処し、より優れた色再現性を実現する
手法については後に説明する。

【００４７】こうして得られた輝度信号Ｙと色差信号
Ｕ，Ｖの色信号をその後に行われる画像処理（加工や保
存など）に用いる。

【００４８】このようにして、ＣＣＤ撮像素子から得ら
れるＹｅ，Ｃｙ，Ｍｇ，Ｇｒを少ない演算量でＹＵＶ空
間に変換することができるが、その変換処理過程におい
て、ホワイトバランス処理も行う。このホワイトバラン
ス処理を行うために、システム（この場合ディジタルカ
メラ）の画像データ処理部では、これまでに処理した各
画素の画素値（色信号）を色成分（イエロ、シアン、マ
ゼンタ、グリーン）ごとに積分して持っているものとす
る。

【００４９】そして、直前のフレーム（たとえば、モニ
タや試し撮りフレームなど）において、各色成分ごとの
積分値を比較する。たとえば、ＣｙとＹｅとを比較した
結果、これらの比が所定の値と異なっていれば、その差
を打ち消すように、前述の（２）式に示された中間信号
Ｂを求めるための線形結合比を変える。一例として、Ｃ
ｙの割合が所定の値よりも多ければ、Ｃｙに乗じられた
係数βを小さくするといった処理を行う。同様に、Ｍｇ
とＧｒの比較も行い、同様の処理を行う。

【００５０】図２は以上の処理手順を図に表したもの
で、Ｙｅ，Ｃｙ，Ｍｇ，Ｇｒ に対し、図１で示した第
１の線形結合処理Ｓ１１を行う処理過程において、
（１）、（２）式におけるα、βを調整することによる
ホワイトバランス処理Ｓ２１を行う。そして、ホワイト
バランス処理されたあとの中間信号Ａ，Ｂを得て、その
中間信号Ａ，Ｂを用いて図１で示した第２の線形結合処
理Ｓ１２と同じ線形結合処理をここでの第２の線形結合
処理Ｓ２２として行うことで、最終的な色差信号Ｕ，Ｖ
を求める。なお、輝度信号Ｙは、Ｙｅ，Ｃｙ，Ｍｇ，Ｇ
ｒの別の線形結合によって求められる。

【００５１】このようにすることによって、従来、ホワ
イトバランスを行うために、まず、ＲＧＢ空間に変換
し、その後でホワイトバランス処理を行っていたもの
を、ＲＧＢ空間への変換を行うことなく補色系の色信号
であるＹｅ，Ｃｙ，Ｍｇ，Ｇｒをそのまま用いてホワイ
トバランス処理を行うことができ、ＲＧＢ空間への変換
処理を行わなくても済む。また、ホワイトバランス処理
を行う際の係数を変える自由度が少ない分、過補正を軽
減する効果も期待できる。

【００５２】なお、ホワイトバランス処理を行うアルゴ
リズムは、ＹｅとＣｙあるいはＭｇとＧｒとを比較して
その結果からそれぞれの線形結合比を変えるといった処
理に限られるものではなく、たとえば、最終的に求めら
れる色差信号Ｕ，Ｖのそれぞれの積分値を求めておき、
直前のフレームにおけるＵとＶの積分値を比較し、Ｕと
Ｖのバランスを調べ、その結果からＹｅとＣｙの線形結
合比あるいはＭｇとＧｒの線形結合比をどのようにすれ
ばよいか決めるといった方法であってもよい。

【００５３】ところで、ここまで説明した図２に示され
る処理、すなわち、Ｙｅ，Ｃｙ，Ｍｇ，Ｇｒから中間信
号Ａ，Ｂを求め、その中間信号Ａ，Ｂの線形結合により
色差信号Ｕ，Ｖを求める処理過程の中で、 ＹｅとＣｙ
の線形結合比あるいはＭｇとＧｒの線形結合比を変える
ことでホワイトバランスをとる処理においては、前述し
たように、係数を決定する自由度が２つ減ることによる
色の微調整制御がわずかに制約されることが懸念される
ことはすでに述べた。これは、実用上問題が生じる程の
ものではないと考えられるが、より優れた色再現性を実
現する例について説明する。

【００５４】この場合も、ホワイトバランスは（１）、
（２）式における線形結合比を変えることによって行う
のは勿論であるが、このホワイトバランス処理工程とは
別に、色再現性向上を図るための色の微調整を可能とす
るために、前述の（５）、（６）式それぞれに、もとも
との色信号であるＹｅ，Ｃｙ，Ｍｇ，Ｇｒそれぞれに対
し最適な係数を乗じたものを加える。すなわち、この場
合の色差信号Ｕ，Ｖは Ｕ＝ａＡ＋ｂＢ＋ｅＹｅ＋ｆＣｙ＋ｇＭｇ＋ｈＧｒ （９） Ｕ＝ｃＡ＋ｄＢ＋ｉＹｅ＋ｊＣｙ＋ｋＭｇ＋ｌＧｒ （１０） で求められる。

【００５５】この（９）式における「ａＡ＋ｂＢ」の項
および（１０）式における「ｃＡ＋ｄＢ」の項における
中間信号Ａ，Ｂのそれぞれの線形結合比の少なくとも一
方の線形結合比を変えることによってホワイトバランス
処理がなされる。また、（９）式における「ｅＹｅ＋ｆ
Ｃｙ＋ｇＭｇ＋ｈＧｒ」の項および（１０）式における
「ｉＹｅ＋ｊＣｙ＋ｋＭｇ＋ｌＧｒ」の項は、色再現性
を適正なものとするためにそれぞれの色を微調整する部
分であり、係数ｅ，ｆ，ｇ，ｈおよびｉ，ｊ，ｋ，ｌを
適当な値に選ぶことで色の微調整を行うことができる。

【００５６】図３はその処理手順を説明する図であり、
Ｙｅ，Ｃｙ，Ｍｇ，Ｇｒ に対し、図２で示したホワイ
トバランス処理Ｓ２１と同じホワイトバランス処理ｓ３
１を行い、そして、ホワイトバランス処理されたあとの
中間信号Ａ，Ｂを得て、その中間信号Ａ，Ｂを用いて図
２で示した第２の線形結合処理Ｓ２２に前述した色の微
調整処理を付加する処理ｓ３２（(9),(10)式参照）を行
う。これによって、最終的な色差信号Ｕ，Ｖが求められ
る。なお、輝度信号Ｙは、Ｙｅ，Ｃｙ，Ｍｇ，Ｇｒの別
の線形結合によって求められる。

【００５７】このような手段を講じることによって、ホ
ワイトバランス処理の軽減が図れる特徴をそのまま生か
しながら、さらに、色再現性の向上をも図れる効果が得
られる。

【００５８】なお、本発明は以上説明した実施の形態に
限定されるものではなく、本発明の要旨を逸脱しない範
囲で種々変形実施可能となるものである。また、以上説
明した本発明の処理を行うカラー画像信号処理プログラ
ムは、フロッピィディスク、光ディスク、ハードディス
クなどの記録媒体に記録させておくことができ、本発明
はその記録媒体をも含むものである。また、ネットワー
クから処理プログラムを得るようにしてもよい。

【００５９】

【発明の効果】本発明によれば、補色系空間からＹＵＶ
（輝度信号Ｙ、色差信号Ｙ，Ｖ）空間への色変換を行う
場合、 ＭｇとＧｒをある線形結合比で線形結合して第
１の中間信号を求めるとともに、 ＹｅとＣｙをある線
形結合比で線形結合して第２の中間信号を求め、この第
１の中間信号と第２の中間信号をある線形結合比で線形
結合することによって前記色差信号Ｕを求めるととも
に、第１の中間信号と第２の中間信号をある線形結合比
で線形結合することによって前記色差信号Ｖを求めるよ
うにしている。このように本発明では、ＭｇとＧｒの組
み合わせとＹｅとＣｙの組み合わせにおいて、それぞれ
の色信号をある線形結合比で結合して中間信号Ａ，Ｂを
得ることによって、最適な色差信号Ｕ，Ｖを得るに必要
な係数の自由度に制約を与えることで、従来、補色系の
色信号Ｙｅ，Ｃｙ，Ｍｇ，Ｇｒそれぞれに係数の値を決
定してそれをＹｅ，Ｃｙ，Ｍｇ，Ｇｒそれぞれに乗じる
ことで色差信号Ｕ，Ｖを求める演算に比べ、演算量の削
減が図れる。

【００６０】また、このようにして色差信号Ｕ，Ｖを求
める処理過程において、第１の中間信号を求めるための
ＭｇとＧｒの線形結合比と、第２の中間信号を求めるた
めのＹｅとＣｙの線形結合比の少なくとも一方の線形結
合比を適当な値に選ぶことによってホワイトバランス処
理を行うことができる。従来では、ホワイトバランス処
理を行うために、ＲＧＢ空間に色変換して、ＲＧＢの色
信号のうち少なくとも２つの色信号の係数に重み付けを
行うなど多くの演残処理を必要としていたが、本発明に
よれば、ＲＧＢ空間への色変換を行うことなく、第１の
中間信号を求めるためのＭｇとＧｒの線形結合比と、第
２の中間信号を求めるためのＹｅとＣｙの線形結合比の
少なくとも一方の線形結合比を変えるだけでホワイトバ
ランス処理を行うことができ、少ない制御量でホワイト
バランス処理が可能となる。

【００６１】さらに、本発明では、前述のように第１の
中間信号と第２の中間信号を求め、この第１の中間信
号、第２の中間信号、Ｙｅ，Ｃｙ，Ｍｇ，Ｇｒをある線
形結合比で線形結合することによって色差信号Ｕ，Ｖを
求め、これら色差信号Ｕ，Ｖを求める過程において、前
記第１の中間信号を求めるためのＭｇとＧｒの線形結合
比と、前記第２の中間信号を求めるためのＹｅとＣｙの
線形結合比の少なくとも一方の線形結合比を適当な値に
選ぶことによってホワイトバランス処理を行うことを可
能としている。これは、もともとの色信号であるＹｅ，
Ｃｙ，Ｍｇ，Ｇｒに、ある係数を乗じることで、色の微
調整を可能とするものである。これによれば、ホワイト
バランス処理を行う際、ＲＧＢ空間への色変換を行うこ
となく、第１の中間信号を求めるためのＭｇとＧｒの線
形結合比と、第２の中間信号を求めるためのＹｅとＣｙ
の線形結合比の少なくとも一方の線形結合比を変えるだ
けでホワイトバランス処理を行うことができるという特
徴を生かしながら、さらに、色再現性の向上をも図るこ
とができる。

【図面の簡単な説明】

【図１】本発明が行う補色系色空間から直接にＹＵＶ空
間への変換を行う処理手順を説明する図である。

【図２】本発明が行う補色系色空間から直接にＹＵＶ空
間への変換を行う過程でホワイトバランス処理を行う処
理手順を説明する図である。

【図３】本発明が行う補色系色空間から直接にＹＵＶ空
間への変換を行う過程でホワイトバランス処理を行うと
ともに、色の微調整をも行う処理手順を説明する図であ
る。

【図４】補色系色空間から直接にＹＵＶ空間への変換の
一般的な処理手順を説明する図である。

【符号の説明】

Ｙｅ イエロの色信号 Ｃｙ シアンの色信号 Ｍｇ マゼンタの色信号 Ｇｒ グリーンの色信号 Ａ 中間信号 Ｂ 中間信号 Ｙ 輝度信号 Ｕ，Ｖ 色差信号

Claims (6)

【特許請求の範囲】
1. 【請求項１】 イエロ、シアン、マゼンタ、グリーンで
   代表される補色成分からなるカラー画像信号を処理し、
   輝度信号Ｙと色差信号Ｕ，Ｖを得るカラー画像信号処理
   方法において、 前記マゼンタとグリーンをある線形結合比で線形結合し
   て第１の中間信号を求めるとともに、イエロとシアンを
   ある線形結合比で線形結合して第２の中間信号を求め、 この第１の中間信号と第２の中間信号をある線形結合比
   で線形結合することによって前記色差信号Ｕを求めると
   ともに、第１の中間信号と第２の中間信号をある線形結
   合比で線形結合することによって前記色差信号Ｖを求め
   る、 ことを特徴とするカラー画像信号処理方法。
2. 【請求項２】 前記第１の中間信号を求めるためのマゼ
   ンタとグリーンの線形結合比と、前記第２の中間信号を
   求めるためのイエロとシアンの線形結合比の少なくとも
   一方の線形結合比を適当な値に選ぶことによってホワイ
   トバランス処理を行うことを特徴とする請求項１記載の
   カラー画像信号処理方法。
3. 【請求項３】 イエロ、シアン、マゼンタ、グリーンで
   代表される補色成分からなるカラー画像信号を処理し、
   輝度信号Ｙと色差信号Ｕ，Ｖを得るカラー画像信号処理
   方法において、 前記マゼンタ、グリーンをある線形結合比で線形結合し
   て第１の中間信号を求めるとともに、イエロとシアンを
   ある線形結合比で線形結合して第２の中間信号を求め、 これら第１の中間信号、第２の中間信号、イエロ、シア
   ン、マゼンタ、グリーンをある線形結合比で線形結合す
   ることによって前記色差信号Ｕを求めるとともに、第１
   の中間信号、第２の中間信号、イエロ、シアン、マゼン
   タ、グリーンをある線形結合比で線形結合することによ
   って前記色差信号Ｖを求め、 これら色差信号ＵとＶを求める過程において、前記第１
   の中間信号を求めるためのマゼンタとグリーンの線形結
   合比と、前記第２の中間信号を求めるためのイエロとシ
   アンの線形結合比の少なくとも一方の線形結合比を適当
   な値に選ぶことによってホワイトバランス処理を行うこ
   とを特徴とするカラー画像信号処理方法。
4. 【請求項４】 イエロ、シアン、マゼンタ、グリーンで
   代表される補色成分からなるカラー画像信号を処理し、
   輝度信号Ｙと色差信号Ｕ，Ｖを得るカラー画像信号処理
   プログラムを記録した記録媒体において、 前記マゼンタとグリーンをある線形結合比で線形結合し
   て第１の中間信号を求めるとともに、イエロとシアンを
   ある線形結合比で線形結合して第２の中間信号を求める
   処理と、 この第１の中間信号と第２の中間信号をある線形結合比
   で線形結合することによって前記色差信号Ｕを求めると
   ともに、第１の中間信号と第２の中間信号をある線形結
   合比で線形結合することによって前記色差信号Ｖを求め
   る処理と、 を含むことを特徴とするカラー画像信号処理プログラム
   を記録した記録媒体。
5. 【請求項５】 前記第１の中間信号を求めるためのマゼ
   ンタとグリーンの線形結合比と、前記第２の中間信号を
   求めるためのイエロとシアンの線形結合比の少なくとも
   一方の線形結合比を適当な値に選ぶことによってホワイ
   トバランス処理を行うことを特徴とする請求項４記載の
   カラー画像信号処理プログラムを記録した記録媒体。
6. 【請求項６】 イエロ、シアン、マゼンタ、グリーンで
   代表される補色成分からなるカラー画像信号を処理し、
   輝度信号Ｙと色差信号Ｕ，Ｖを得るカラー画像信号処理
   プログラムを記録した記録媒体において、 前記マゼンタ、グリーンをある線形結合比で線形結合し
   て第１の中間信号を求めるとともに、イエロとシアンを
   ある線形結合比で線形結合して第２の中間信号を求める
   処理と、 これら第１の中間信号、第２の中間信号、イエロ、シア
   ン、マゼンタ、グリーンをある線形結合比で線形結合す
   ることによって前記色差信号Ｕを求めるとともに、第１
   の中間信号、第２の中間信号、イエロ、シアン、マゼン
   タ、グリーンをある線形結合比で線形結合することによ
   って前記色差信号Ｖを求める処理と、 前記第１の中間信号を求めるためのマゼンタとグリーン
   の線形結合比と、前記第２の中間信号を求めるためのイ
   エロとシアンの線形結合比の少なくとも一方の線形結合
   比を適当な値に選ぶことによってホワイトバランス処理
   を行う処理と、 を含むことを特徴とするカラー画像信号処理処理プログ
   ラムを記録した記録媒体。