JP2003224867A - ホワイトバランス補正方法 - Google Patents

Abstract

(57)【要約】 【課題】入力画像からプリントを作成する際、異種光源
が存在しても、ホワイトバランス補正を適性に行う方法
を得る。 【解決手段】入力されたカラー画像中に含まれるグレー
および／または肌色の色情報を用いて、前記カラー画像
を撮影した際の撮影光源の色温度を推定し、この推定さ
れた色温度により、前記カラー画像の画像信号を補正す
ることを特徴とするホワイトバランス補正方法。画像信
号に乗算する係数の最適化方法を工夫したことで、蛍光
灯などの黒体軌跡を外れた光源についても、それを検出
して、適正なホワイトバランス補正を行うことが可能に
なる。

Description

【発明の詳細な説明】 【０００１】 【発明の属する技術分野】本発明は、入力画像信号に対
して、デジタル画像処理を施し、プリントを作成する際
のカラー画像のホワイトバランス補正の技術に関する。 【０００２】 【従来の技術】従来、銀塩写真技術における露光系で
は、一般にアナログ露光（面露光、直接露光）によって
プリントが行われていた。すなわち、現像済みのネガフ
ィルムを所定の焼き付け位置に位置決めして、白色光源
（ハロゲンランプ等）からの光を照射し、ネガフィルム
からの透過画像を印画紙に結像して露光していた。 【０００３】これに対して、近年では、デジタル露光を
利用する焼き付け装置、すなわち、ネガフィルムやカラ
ーリバーサルフィルム等の写真フィルムに記録された画
像を光電的に読み取って、読み取った画像をデジタル信
号とした後、種々の画像処理を施して記録用の画像デー
タとし、この画像データに応じて変調した記録光によっ
て感光材料を走査露光して画像（潜像）を記録し、（仕
上がり）プリントとするデジタルフォトプリンタが実用
化されている。 【０００４】このようなデジタルフォトプリンタにおい
ては、画像をデジタル画像データとして取り扱うので、
フィルムに撮影された画像のみならず、デジタルスチル
カメラ（ＤＳＣ）等で撮影された画像や、ＣＤ−Ｒやフ
レキシブルディスク、リムーバブルハードディスク（Ｚ
ｉｐ、Ｊａｚ等）等の磁気記録媒体、ＭＯディスク（光
磁気記録媒体）等の各種の記録媒体にデジタルデータと
して記録された画像データについても、画像処理を施し
てプリントとして出力することができる。 【０００５】従来、カラーネガフィルムは、多数の一般
ユーザによって広く利用されており、そのネガフィルム
への原稿画像の撮影状態は必ずしも一様ではなく、例え
ば昼光や蛍光灯等の様々な光源下で使用されている。従
って、現像済みネガフィルムからプリントを作成する場
合、プリント光源の光質を一定にして、焼き付けを行う
と、撮影光源の色味が直接プリントに反映されてしま
い、不適切なプリントになってしまうことがあった。 【０００６】そのため、従来、プリント上でホワイトバ
ランスを調整するために様々な工夫がなされて来た。そ
の中の代表的なものとして、「世の中の色をすべて平均
すればグレーである。」というエバンスの原理（仮説）
に基づく、ＬＡＴＤ方式がある。ＬＡＴＤ（Large Area
Transmission Density 、大面積平均透過濃度) とは、
画面全体の平均透過濃度のことをいい、ＬＡＴＤ方式と
は、カラーネガフィルムの各コマのＬＡＴＤを測定し、
そのＲＧＢ濃度の大小によりプリント光源の光質を変化
させることによりプリント上の平均色をグレーに近づけ
るというものである。 【０００７】一方、近年、デジタルスチルカメラ（ＤＳ
Ｃ）が急激に普及し始めている。ＤＳＣは、シーンを撮
像するという意味でカラーネガと同一視できるが、根本
的に異なる点がある。それは、カラーネガフィルムに撮
影された画像は、それ自体を観察することはないのに対
し、ＤＳＣ画像は、直接鑑賞の対象になるということで
ある。そのため、ＤＳＣ画像は、これをプリントとして
出力する以前に、ＤＳＣ画像自体がホワイトバランスの
とれた美しい画像でなくてはならない。カラーネガフィ
ルムと同様にＤＳＣも様々な光源下で撮影するため、ホ
ワイトバランスを補正する機能がないと、不満足な画像
となってしまうため、最近のほとんどのＤＳＣには、ホ
ワイトバランス補正を自動的に行うＡＷＢ（Auto Whit
e Balance ) 機能が搭載されている。 【０００８】 【発明が解決しようとする課題】しかしながら、前述し
たＬＡＴＤ方式は、一定の成果をあげてきたが、一方で
不都合なプリントをも生み出しているという問題があ
る。その一つにプリントの色などが偏ってしまうカラー
フェリアの発生がある。例えば、赤い服を着た女性のシ
ーンを撮影した画像に対してＬＡＴＤ方式でホワイトバ
ランス補正を行うと、画面全体をグレーにしようとする
ために、赤の補色であるシアン色が画面全体に入れられ
るが、このため赤い服は濁り、女性の顔色は悪くなって
しまう。また、画面全体として赤みのシーンの場合、そ
れが光源によるものか、被写体によるものかの区別がで
きないため、ＬＡＴＤ方式では、原因が光源の場合には
うまくいくが、原因が被写体の場合には、上のようなカ
ラーフェリアを引き起こすという問題がある。 【０００９】また、前記ＤＳＣのＡＷＢ機能は基本的に
ネガフィルム／プリント系と同様に前記エバンスの原理
に基づいており、ネガフィルム／プリント系のＬＡＴＤ
によるホワイトバランス補正と同様の問題を有してい
る。すなわち、ＡＷＢ後のＤＳＣ画像は、エバンスの原
理の平均性能として約６０〜７０％は、カラーバランス
のとれた良好な画像となるが、残りの約３０〜４０％
は、ＡＷＢの作動不良による、何らかのカラーバランス
補正をさらに必要とする画像である。従って、ＤＳＣ画
像からプリントを作成する際にホワイトバランス補正を
しなければ、これらのプリントの約３０〜４０％は、不
満足な、受け入れ難いプリントとなってしまう。 【００１０】以上述べたように、従来技術のエバンスの
原理に基づくＬＡＴＤ方式では、画面全体の平均値がグ
レーという仮説によってホワイトバランス補正を行って
いるが、この方式では画像中の真のグレーを見い出すこ
とができないためホワイトバランス補正が充分ではな
く、却って逆補正してしまう場合も少なくなかった。ま
た、このようなＬＡＴＤ方式でプリントの画像全体の濃
度補正を行おうとすると、主要被写体の濃度がシーンの
構成によって影響を受け、適正濃度に仕上がらないとい
う問題があったため、主要被写体（多くの場合、顔であ
る）を検出して、その濃度に基づいてプリント濃度を決
める方法が提案されている。一方、プリント濃度が適正
かどうかの判断は、画面全体の濃度よりは、むしろ主要
被写体の濃度によりなされるため、主要被写体である顔
を検出して、顔の濃度が適正になるように画像全体を濃
度補正することが重要である。 【００１１】しかし、主要被写体である顔の検出は、一
般に形状認識を用いて行われているが、顔の検出を精度
良く行うことは非常に難しいのが現状である。また、顔
の検出を色情報を用いて行う方法も試みられているが、
光源が未知な場合にはやはり難しいという問題がある。
本発明は、前記従来の問題に鑑みてなされたものであ
り、入力された画像データに対してデジタル画像処理を
施してプリントを作成する際に、ホワイトバランス補正
を適正に、高い得率で実現する技術を提供することを課
題とする。 【００１２】 【課題を解決するための手段】前記課題を解決するため
の本発明は、入力されたカラー画像中に含まれるグレー
および／または肌色の色情報を用いて、前記カラー画像
を撮影した際の撮影光源の色温度を推定して、この推定
された色温度により、前記カラー画像の画像信号を補正
するホワイトバランス補正方法であって、前記入力され
たカラー画像中の各画素の画像信号に対して、所定の係
数を乗算し、その結果、肌色の黒体軌跡曲線の近傍に入
る画素を肌色候補画素とし、また、グレーの黒体軌跡曲
線の近傍に入る画素をグレー候補画素として、この肌色
候補画素および／またはグレー候補画素の個数が最大と
なり、かつ、この肌色候補画素群の平均色温度とグレー
候補画素群の平均色温度との差が最小となるように、前
記係数を最適化して得られる肌色候補画素およびグレー
候補画素群のそれぞれの平均色温度から前記撮影光源の
色温度を推定し、前記最適化された係数が乗算された前
記カラー画像信号を、前記推定された色温度と基準白色
の色温度との差分だけ補正するようにした第１のホワイ
トバランス補正信号、および、前記入力されたカラー画
像中の各画素の画像信号に対して、所定の係数を乗算
し、その結果、肌色の黒体軌跡曲線の近傍に入る画素を
肌色候補画素とし、また、グレーの黒体軌跡曲線の近傍
に入る画素をグレー候補画素として、このグレー候補画
素の個数が最大となるように、前記係数を最適化して得
られる肌色候補画素およびグレー候補画素群のそれぞれ
の平均色温度から前記撮影光源の色温度を推定し、前記
最適化された係数が乗算された前記カラー画像信号を、
前記推定された色温度と基準白色の色温度との差分だけ
補正するようにした第２のホワイトバランス補正信号の
２つのホワイトバランス補正信号を用いて前記カラー画
像の画像信号を補正することを特徴とするホワイトバラ
ンス補正方法を提供する。 【００１３】また、入力されたカラー画像中に含まれる
グレーおよび／または肌色の色情報を用いて、前記カラ
ー画像を撮影した際の撮影光源の色温度を推定して、こ
の推定された色温度により、前記カラー画像の画像信号
を補正するホワイトバランス補正方法であって、前記入
力されたカラー画像中の各画素の画像信号に対して、所
定の係数を乗算し、その結果、肌色の黒体軌跡曲線の近
傍に入る画素を肌色候補画素とし、また、グレーの黒体
軌跡曲線の近傍に入る画素をグレー候補画素として、こ
のグレー候補画素の個数が最大となり、かつ、この肌色
候補画素群の平均色温度とグレー候補画素群の平均色温
度との差が最小となるように、前記係数を最適化して得
られる肌色候補画素およびグレー候補画素群のそれぞれ
の平均色温度から前記撮影光源の色温度を推定し、前記
最適化された係数が乗算された前記カラー画像信号を、
前記推定された色温度と基準白色の色温度との差分だけ
補正するようにした第１のホワイトバランス補正信号、
および、前記入力されたカラー画像中の各画素の画像信
号に対して、所定の係数を乗算し、その結果、肌色の黒
体軌跡曲線の近傍に入る画素を肌色候補画素とし、ま
た、グレーの黒体軌跡曲線の近傍に入る画素をグレー候
補画素として、このグレー候補画素の個数が最大となる
ように、前記係数を最適化して得られる肌色候補画素お
よびグレー候補画素群のそれぞれの平均色温度から前記
撮影光源の色温度を推定し、前記最適化された係数が乗
算された前記カラー画像信号を、前記推定された色温度
と基準白色の色温度との差分だけ補正するようにした第
２のホワイトバランス補正信号の２つのホワイトバラン
ス補正信号を用いて前記カラー画像の画像信号を補正す
ることを特徴とするホワイトバランス補正方法を提供す
る。 【００１４】ここで、前記第１のホワイトバランス補正
信号と第２のホワイトバランス補正信号を、所定条件下
で使い分けできることが好ましい。 【００１５】また、前記肌色およびグレーの黒体軌跡曲
線を設定する際に、分光感度分布として、前記入力画像
を撮影した撮影装置の分光感度を用いることが好まし
い。 【００１６】また、前記肌色およびグレーの黒体軌跡曲
線を設定する際に、分光感度分布として、ＢＴ７０９の
分光感度を用いることが好ましい。 【００１７】さらに、本発明は、上記ホワイトバランス
補正方法をコンピュータに実行させるためのプログラ
ム、およびこのプログラムをコンピュータにより読み取
り可能に記録した記録媒体として商品化することも可能
である。 【００１８】また、本発明は、入力されたカラー画像中
に含まれるグレーおよび／または肌色の色情報を用い
て、前記カラー画像を撮影した際の撮影光源の色温度を
推定する手段と、前記推定された色温度により前記カラ
ー画像の画像信号を補正する手段とを備えた、入力され
たカラー画像に対してデジタル画像処理を施しプリント
を作成するためのホワイトバランス補正装置であって、
前記撮影光源の色温度を推定する手段は、前記入力され
たカラー画像の各画素の画像信号に対して、所定の係数
を乗算する係数乗算手段と、前記乗算の結果、肌色の黒
体軌跡曲線の近傍に入る画素を検出する肌色候補画素検
出手段、およびグレーの黒体軌跡曲線の近傍に入る画素
を検出するグレー候補画素検出手段と、前記肌色候補画
素の個数および／または前記グレー候補画素の個数が最
大となり、かつ、前記肌色候補画素群の平均色温度とグ
レー候補画素群の平均色温度との差が最小となるように
前記係数を最適化する第１の係数最適化手段と、前記グ
レー候補画素の個数が最大となるように前記係数を最適
化する第２の係数最適化手段と、前記肌色候補画素群の
平均色温度およびグレー候補画素群の平均色温度から、
撮影光源の色温度を算出する色温度算出手段とを有し、
前記カラー画像の画像信号を補正する手段は、前記最適
化された係数が乗算された前記カラー画像信号を、前記
推定された色温度と基準白色の色温度との差分だけ補正
する手段であることを特徴とするホワイトバランス補正
装置として具体化することも可能である。 【００１９】また、入力されたカラー画像中に含まれる
グレーおよび／または肌色の色情報を用いて、前記カラ
ー画像を撮影した際の撮影光源の色温度を推定する手段
と、前記推定された色温度により前記カラー画像の画像
信号を補正する手段とを備えた、入力されたカラー画像
に対してデジタル画像処理を施しプリントを作成するた
めのホワイトバランス補正装置であって、前記撮影光源
の色温度を推定する手段は、前記入力されたカラー画像
の各画素の画像信号に対して、所定の係数を乗算する係
数乗算手段と、前記乗算の結果、肌色の黒体軌跡曲線の
近傍に入る画素を検出する肌色候補画素検出手段、およ
びグレーの黒体軌跡曲線の近傍に入る画素を検出するグ
レー候補画素検出手段と、前記グレー候補画素の個数が
最大となり、かつ、前記肌色候補画素群の平均色温度と
グレー候補画素群の平均色温度との差が最小となるよう
に前記係数を最適化する第１の係数最適化手段と、前記
グレー候補画素の個数が最大となるように前記係数を最
適化する第２の係数最適化手段と、前記肌色候補画素群
の平均色温度およびグレー候補画素群の平均色温度か
ら、撮影光源の色温度を算出する色温度算出手段とを有
し、前記カラー画像の画像信号を補正する手段は、前記
最適化された係数が乗算された前記カラー画像信号を、
前記推定された色温度と基準白色の色温度との差分だけ
補正する手段であることを特徴とするホワイトバランス
補正装置としても具体化することが可能である。 【００２０】 【発明の実施の形態】以下、本発明に係るホワイトバラ
ンス補正方法について、添付の図面に示される好適実施
形態を基に、詳細に説明する。 【００２１】図１は、本発明の一実施形態に係るホワイ
トバランス補正装置の概略を示すブロック図である。図
１に示すホワイトバランス補正装置は、入力画像信号に
対して、デジタル画像処理を施し、プリントを作成する
際の、ホワイトバランス補正を行うためのものであり、
例えば、デジタルフォトプリンタ等の画像処理装置内に
設置される。 【００２２】図１において、ホワイトバランス補正装置
１０は、主に、入力カラー画像を撮影した際の撮影光源
の色温度を推定する光源色温度推定手段１２と、該光源
色温度推定手段１２によって推定された撮影光源の色温
度を用いて、ホワイトバランス補正を行う画像信号補正
手段１４とを有して構成される。また、光源色温度推定
手段１２は、係数乗算手段１６、肌色候補検出手段１
８、グレー候補検出手段２０、係数最適化手段２１，２
２および光源色温度算出手段２４，２５によって構成さ
れる。 【００２３】これらの各手段の働きについて説明する前
に、まず本発明の原理を説明することとする。従来のホ
ワイトバランス補正は、前述したように、色が偏ってい
た場合には、エバンスの原理に基づいて、画面全体の色
の平均がグレーになるように補正をしていたのである
が、これに対し、本発明は、画面の中からグレーの部分
を積極的に探してそのグレーの候補点がプリント上でグ
レーに仕上がるように露光されるように補正しようとい
うものである。 【００２４】カラーネガフィルムの場合でも、デジタル
スチルカメラ（ＤＳＣ）の場合でも、ホワイトバランス
補正の方法は同じであり、以下ＤＳＣにより、一般的な
条件でシーンを撮影した場合を例にとり説明することと
する。例えば、ＤＳＣにより、色温度４０００Ｋの自然
昼光でグレー部分（グレーおよびその近似色）を含むシ
ーンを撮影した場合を考える。このとき、撮影したグレ
ー部分の画像信号（Ｒ，Ｇ，Ｂ）を次の式（１）によ
り、色度座標（ｒ，ｂ）に変換して、色度図にプロット
する。 ｒ＝Ｒ／（Ｒ＋Ｇ＋Ｂ） ｂ＝Ｂ／（Ｒ＋Ｇ＋Ｂ） ・・・・・・（１） 【００２５】図２に、色度図を示す。図２において、曲
線Ｇy はグレーの黒体軌跡である。黒体軌跡とは、良く
知られているように、色温度をＴ、色温度Ｔの黒体放射
エネルギ分布をＰ（λ）、被写体の分光反射率分布をρ
（λ）、ＣＣＤセンサの分光感度分布をＳi （λ）（た
だし、ｉ＝Ｂ、Ｇ、Ｒ）としたとき、次の式（２）で計
算されるＥi を上の式（１）により色度座標（ｒ，ｂ）
に変換して色度図にプロットしたとき、色温度Ｔを動か
したときの軌跡である。 Ｅi ＝ ∫ Ｐ（λ）ρ（λ）Ｓi （λ）ｄλ ・・・・・・（２） 黒体軌跡は、ＣＣＤセンサの分光分布および被写体の色
ごとに存在し、グレーの黒体軌跡は、被写体をグレーと
したときの被写体の分光反射率ρ（λ）を１として得ら
れる。典型的なＣＣＤセンサの分光感度分布を図３に示
した。Ｓi(λ)は、このようなＣＣＤセンサ固有のもの
を使うことが好ましいが、図５に示すようなＢＴ７０９
の理想分光感度分布を用いてもよい。 【００２６】上に述べたグレー部分の画像信号を図２の
色度図にプロットすると、グレーの黒体軌跡Ｇy の４０
００Ｋの近傍Ｇy0に散布すると考えられる。しかし、最
近のＤＳＣは、ほとんどがＡＷＢ（オートホワイトバラ
ンス）機能を有しているため、この機能が上手く作動し
た場合には、グレー部分は標準白色（例えば、５５００
Ｋ）の近傍Ｇy1に散布するが、逆にこの機能が上手く作
動しなかった場合には、撮影温度４０００Ｋから離れた
位置不明な場所（例えば、図２中に符号Ａで示す場所）
に散布してしまう。 【００２７】そこで、ＤＳＣ画像に含まれる、図２中に
符号Ａで示すような、位置不明のグレー部分を基準白色
（例えば、５５００Ｋ）の近傍Ｇy1に変換するために、
プリンタ側でホワイトバランス補正が行われる。この変
換をすべての画素に適用することにより、グレーバラン
スのとれた美しいプリントが得られるものと期待され
る。図２中のＡの部分の位置は不明であるので、Ａを基
準白色（例えば、５５００Ｋ）の近傍Ｇy1へ直接変換す
るのは不可能である。そこで、本発明では、この変換を
２段階で行うこととした。 【００２８】すなわち、図２に２つのベクトルαおよび
βによって表される変換である。ここで、ベクトルα
は、ＤＳＣ側のＡＷＢ機能の不完全性により引き起こさ
れた黒体軌跡Ｇy からのずれ量を補正するベクトルであ
る。ベクトルαによる変換で、図２中のＡの部分が黒体
軌跡Ｇy 上の部分Ｇy0に変換される。また、ベクトルβ
は、黒体軌跡Ｇy 上のＧy0の部分を基準白色（例えば、
５５００Ｋ）の近傍Ｇy1に変換するベクトルである。従
って、この２つのベクトルαおよびβの合成により、図
２中のＡから基準白色（例えば、５５００Ｋ）の近傍Ｇ
y1への変換が実現される。 【００２９】ここで、図１の各手段の説明に戻ることと
する。いま、説明した２つのベクトルαおよびβによる
２段階の変換のうち、図２中のＡの部分を黒体軌跡Ｇy
上のＧy0に移す変換を表すベクトルαを求めることは難
しい。このＧy0が求められれば、これから撮影光源の色
温度Ｔを推定することができる。そして、黒体軌跡Ｇy
上でこのＧy0（色温度Ｔ）をＧy1（色温度５５００Ｋ）
へ移す変換を表すベクトルβを求めるのはたやすい。
このベクトルαを求め、この変換を行うのが光源色温度
推定手段１２であり、ベクトルβを求め、この変換を行
うのが画像信号補正手段１４である。 【００３０】ＤＳＣのＡＷＢ機能は、撮影直後の全画素
の画像信号Ｒ、Ｇ、Ｂを一様に定数倍するように作用す
る。定数倍という作用は、一次変換である。この作用に
より、画像信号が黒体軌跡からずれたとすれば、これと
丁度逆の操作をすれば、黒体軌跡上の撮影光源の色温度
（今の場合、４０００Ｋ）近傍（図２中のＧy0）に、多
くのグレー部分が散布するようになるはずである。上記
ＤＳＣのＡＷＢ機能（一次変換）の逆変換も一次変換で
あるので、ＤＳＣ画像信号Ｒ、Ｇ、Ｂに対して、所定の
係数を乗算する（図２では、画像信号Ｒ、Ｇ、Ｂを色度
座標に変換している）。この乗算を行うのが係数乗算手
段１６である。 【００３１】係数乗算手段１６では、ＤＳＣ画像信号
Ｒ、Ｇ、ＢのうちＲ、Ｇに対し、それぞれ所定の係数α
₁ 、α₂ を次の式（３）のように乗算し、Ｒ、Ｇを
Ｒ’、Ｇ’に変換する。 Ｒ’＝α₁ Ｒ Ｇ’＝α₂ Ｇ ・・・・・・（３） ここで、この変換は３信号を変化させる必要はなく、２
信号で充分である。本来グレーであるべき点が移動した
Ａは、未知であるため、どれがグレーかはわからない。
そこで次に、グレー候補検出手段２０では、一次変換を
施した信号をグレーの黒体軌跡と比較して、黒体軌跡の
近傍として検出される画素をグレーの可能性が高いとし
て、グレー候補画素とする。近傍であるかの判断は、例
えば色度座標（ｒ，ｂ）上で距離０．０１の範囲内であ
るかどうかで行えばよい。 【００３２】係数最適化手段２１では、グレー候補検出
手段２０の検出したグレー候補画素の個数を数えて、グ
レー候補画素の個数が最大となるように、所定の係数α
₁ 、α₂ を変えながら係数乗算手段１６およびグレー候
補検出手段２０に上と同じ操作を行わせ、係数α₁ 、α
₂ の最適化を行う。最適化の方法は特に限定されるもの
ではなく、例えば、数値計算における標準的手法である
シンプレックス法が好適に例示される。このようにし
て、最適化で求められた一次変換、式（３）の係数
α₁ 、α₂ がＤＳＣのＡＷＢ機能の逆操作に対応し、ベ
クトルαの成分となる。すなわち、α＝（α₁ ，α₂ ）
である。 【００３３】また、最適化の精度をより高めるために、
グレーの他に色情報を追加することが考えられる。被写
体の中で、撮影頻度が高く、種類によって色味の変化が
少ない色として肌色が挙げられる。肌色は、人種（白
人、黄色人、黒人）によって色味がかなり異なるとも思
われるが、測定された分光スペクトルによれば、違うの
は主として明るさであり、スペクトルの形はあまり変わ
らず色味の変化は小さいことがわかる。従って、肌色の
この性質は、色の同定に利用できる。そこで、肌色候補
検出手段１８において、グレーの場合と同様に肌色につ
いても黒体軌跡を設定し（図示省略）、係数乗算手段１
６で係数の乗算された画像信号に対して、肌色の黒体軌
跡の近傍色として肌色候補画素を検出する。なお、ここ
で、肌色の黒体軌跡の計算に用いた肌色は、マクベスチ
ャートのライトスキンである。 【００３４】このとき、係数最適化手段２２では、肌色
候補検出手段１８で検出された肌色候補画素の個数をも
数え、前述したグレー候補画素の個数と合わせて、これ
らの個数が最大となるように前記係数α₁ 、α₂ を最適
化する。これにより、係数α ₁ 、α₂ の最適化の精度が
向上する。また、グレー部分と肌色部分とを含むシーン
を均一光源で撮影した場合、黒体軌跡の近傍色として検
出されるグレー候補画素群および肌色候補画素群の平均
色温度は一致すると期待される。そこで、係数最適化手
段２１，２２における最適化において、「グレー候補画
素群と肌色候補画素群の平均色温度の差を最小」とする
ことを目的関数として前記係数の最適化を行うこともで
きる。 【００３５】さらに、上記２つの手法を併用して「グレ
ー候補画素および肌色候補画素の個数最大」および「グ
レー候補画素群と肌色候補画素群の平均色温度の差最
小」を目的関数として、前記係数の最適化を行うように
してもよい。このように２つを併用する方法によれば、
より一層最適化の精度を上げることができる。 【００３６】光源色温度算出手段２４，２５では、上で
最適化された係数α₁ 、α₂ を用いて画像信号を変換
し、グレーの黒体軌跡上のグレー候補画素群の平均色温
度Ｔgおよび肌色の黒体軌跡上の肌色候補画素群の平均
温度Ｔf を算出し、 これから、撮影光源の色温度Ｔを算
出する。これは、例えば、これらの平均をとって、Ｔ＝
（Ｔg ＋Ｔf ）／２としてもよいし、グレーの色を重視
する場合には、Ｔ＝Ｔgとしてもよい。このようにして
撮影光源の色温度Ｔが推定される。 【００３７】ここで考慮すべき点の一つは、蛍光灯光源
の取り扱いである。周知のように、蛍光灯光源は黒体放
射光源からは外れており、この蛍光灯光源の下では、グ
レーと肌色の関係が、黒体放射光源下での関係とは異な
ってくるからである。そこで、本発明では、蛍光灯画像
（蛍光灯光源下での画像）のホワイトバランス補正を改
善するために、先ほどとは異なる第２の目的関数を設定
する。 【００３８】先ほどの２つの手法を併用した第１の目的
関数をＦとすると、 Ｆ＝abs（Ｔｇ−Ｔｆ）−（Ｎｇ＋Ｎｆ） ・・・・・・（４） となる。ここで、abs は絶対値を示す。シンプレックス
法では、設定した目的関数が最小化するように働くの
で、候補画素の個数を最大化したい場合には、−（Ｎｇ
＋Ｎｆ）のように、−を付ければよい。そして、第２の
目的関数Ｆ^*を、式（５）のように設定する。 Ｆ^*＝−Ｎｇ ・・・・・・（５） 【００３９】現実には、蛍光灯といっても多数の種類が
あり、グレーと肌色の関係は定式化するのは困難である
ので、ここでは、グレーに関する情報だけで目的関数を
構成している。この第２の目的関数Ｆ^*は、黒体軌跡か
らそれ程離れていない位置にあると思われる蛍光灯下の
グレーを、個数最大化法により黒体軌跡近傍色として検
出し、同時にその色温度も検出しようとするものであ
る。 【００４０】以下、第１の目的関数を用いて係数を最適
化して得られる第１のホワイトバランス補正信号と、第
２の目的関数を用いて係数を最適化して得られる第２の
ホワイトバランス補正信号とから、最終的なホワイトバ
ランス補正信号を生成する方法について説明する。 【００４１】蛍光灯画像についてホワイトバランス補正
２巻する分析を行ったところ、第１の目的関数を用いて
係数を最適化して得られるグレー候補画素群の平均色温
度Ｔｇ１が Ｔｇ１＜６５００ を満たし、かつ、第２の目的関数を用いて係数を最適化
して得られるグレー候補画素群の平均色温度Ｔｇ２およ
び肌色候補画素群の平均色温度Ｔｆ２が Ｔｇ２＜Ｔｆ２−１５００ を満たすときは、最終的なホワイトバランス補正信号と
して前述の第２のホワイトバランス補正信号を用い、さ
らに、 Ｔｇ１＜６５００ および Ｔｇ２＜Ｔｆ２−１５００ を満たし、かつ、 Ｔｆ２−１５００＜Ｔｇ２＜Ｔｆ２ を満たすときも、最終的なホワイトバランス補正信号と
して前述の第２のホワイトバランス補正信号を用いるこ
とが好ましい。 【００４２】上述のようなホワイトバランス補正は、例
えば、以下のように行うことができる。すなわち、光源
色温度算出手段２４，２５において、上で最適化された
係数α₁ 、α₂ を用いて画像信号を変換し、グレーの黒
体軌跡上のグレー候補画像群の平均色温度Ｔｇおよび肌
色の黒体軌跡上のグレー候補画像群の平均色温度Ｔｆを
算出し、これから、撮影光源の色温度Ｔを算出する。こ
れには、例えば、これらの平均をとって、 Ｔ＝（Ｔｇ＋Ｔｆ）／２ としてもよいし、前述のように、蛍光灯画像に対しては Ｔ＝Ｔｇ としてもよい。このようにして、撮影光源の色温度Ｔが
推定される。 【００４３】次に、画像信号補正手段１４では、黒体軌
跡上で色温度Ｔから基準白色（例えば、５５００Ｋ）へ
変換する変換を求める。この変換は、式（６）に示すよ
うに、Ｒ、Ｂ信号の一次変換 Ｒ”＝β₁ Ｒ’ Ｂ”＝β₂ Ｂ ・・・・・・（６） で表記でき、この係数β₁ 、β₂ がベクトルβの成分と
なる。画像信号補正手段１４では、このベクトルβによ
る変換を各画素に対して施し、以上により、各画素に対
するホワイトバランス補正が完了する。 【００４４】以上の変換をまとめると、図２中の点Ａか
ら基準白色（例えば、５５００Ｋ）Ｇy1への変換は、ベ
クトルαおよびベクトルβによる変換の合成により実現
され、これを式で表すと、次の式（７）となる。 Ｒ”＝α₁ β₁ Ｒ Ｇ”＝α₂ Ｇ Ｂ”＝β₂ Ｂ ・・・・・・（７） なお、上記式（７）では、カラーバランスだけでなく、
明るさの変化を含むので、Ｇ信号は不変として表現すれ
ば、次の式（８）のようになる。 Ｒ”＝（α₁ β₁ ／α₂ ）Ｒ Ｇ”＝Ｇ Ｂ”＝（β₂ ／α₂ ）Ｂ ・・・・・・（８） 【００４５】以下、本実施形態の作用を図４のフローチ
ャートに沿って説明する。まず、ステップ１００におい
て、デジタルスチルカメラ（ＤＳＣ）により、あるシー
ンをある光源の下において撮影する。次にステップ１１
０において、このＤＳＣによって撮影された画像の画像
信号Ｒ、Ｇ、Ｂを入力する。 【００４６】ステップ１２０では、光源色温度推定手段
１２の係数乗算手段１６、肌色候補検出手段１８、グレ
ー候補検出手段２０および係数最適化手段２１，２２に
より、画像信号最適化処理が行われる。これは、ＤＳＣ
のＡＷＢ機能によって黒体軌跡からずれた画像信号をず
れのない黒体軌跡近傍の信号（ローデータ）に戻すもの
である。係数乗算手段１６では、すべての画像信号に所
定の係数を乗算する。肌色候補検出手段１８では、この
データを肌色の黒体軌跡と比較して黒体軌跡の肌色近傍
にあると思われるデータ（肌色候補画素）を検出し、グ
レー候補検出手段２０では、このデータをグレーの黒体
軌跡と比較して黒体軌跡のグレー近傍にあると思われる
データ（グレー候補画素）を検出する。 【００４７】係数最適化手段２１，２２は、検出された
肌色候補画素およびグレー候補画素の個数を数え、これ
らの合計個数および／またはグレー候補画素の個数が最
大となるように、または、肌色候補画素群の平均色温度
とグレー候補画素群の平均色温度の差が最小となるよう
に、あるいはこの両方の条件が成立するように前記乗算
の係数を設定し直して、この操作を繰り返して係数を最
適化する。 【００４８】ステップ１３０では、光源色温度算出手段
２４，２５において、最適化された係数を乗算して得ら
れる肌色候補画素群の平均色温度Ｔf と、グレー候補画
素群の平均色温度Ｔg が算出される。次に、ステップ１
４０では、画像信号補正手段において、上で推定された
平均色温度Ｔf とＴg から、所定の条件文に従って、光
源色温度Ｔを決定し、これから基準白色（例えば、５５
００Ｋ），その他の光源色（例えば、蛍光灯）への補正
量が決定される。そして、この補正量によりすべての画
素に対しホワイトバランス補正が行われる。最後に、ス
テップ１５０において、その他各種の画像処理等が施さ
れ、プリンタから仕上がりプリントとして出力される。 【００４９】さらに、プリント出力を安定化させる方法
として、最適化計算で得られるグレーバランス補正後画
像信号をそのまま使わず補正を弱めてプリントすると効
果のあることを見出した。弱める程度は６割から８割と
することが好ましい。また、ＤＳＣ画像のＥｘｉｆファ
イルに書き込まれているＢＶ値（画像の明るさを示す指
数）に応じて補正を６割から８割に弱めてもよい。 【００５０】以上、詳細に説明したように、本実施形態
によれば、ＤＳＣ画像中のグレーおよび／または肌色情
報のみを用いたアルゴリズムを構築し、プリント作成時
のホワイトバランス補正を行うようにしたため、従来技
術に比して格段の補正能力が得られるようになった。ま
た、従来技術で問題であった画像全体が色味づいている
場合に、それが撮影光源によるものか、または被写体に
よるものかの識別力が極めて高く、特に日陰、曇りの高
色温度シーン（７０００〜１００００Ｋ）では、ほぼ完
璧な補正能力を示し、従来では、全体に青みがかり顔色
も沈んだプリントであったものが、肌色も自然なプリン
トを得ることができた。なお、上記実施形態では、ＤＳ
Ｃ画像について説明したが、本発明はＤＳＣに限定され
ず、カラーネガフィルムに撮影された画像についても、
本発明のホワイトバランス補正方法を適用することがで
きる。 【００５１】また、上で説明したホワイトバランス補正
方法を、コンピュータで実行可能なプログラムとして、
コンピュータで読み取り可能な記録媒体に記録しておけ
ば、この記録媒体からプログラムを入力することによ
り、任意の画像処理装置等で本発明のホワイトバランス
補正方法を実行することができる。 【００５２】以上、本発明のホワイトバランス補正方法
について詳細に説明したが、本発明は、以上の例には限
定されず、本発明の要旨を逸脱しない範囲において、各
種の改良や変更を行ってもよいのはもちろんである。ま
た、前述の通り、本発明は上記ホワイトバランス補正方
法をコンピュータに実行させるためのプログラム、およ
びこのプログラムをコンピュータにより読み取り可能に
記録した記録媒体として商品化することも可能である。
さらに、上記ホワイトバランス補正方法を具体化したホ
ワイトバランス補正装置として具体化することも可能で
ある。 【００５３】 【発明の効果】以上説明した通り、本発明によれば、入
力されたカラー画像中に含まれるグレーおよび／または
肌色の色情報のみを用いて、前記カラー画像を撮影した
際の撮影光源の色温度を推定し、これによりホワイトバ
ランスを補正するアルゴリズムを構築するようにしたた
め、どのような入力画像に対しても、ホワイトバランス
補正を適正に、かつ高い得率で実現することが可能とな
る。

【図面の簡単な説明】 【図１】 本発明の一実施形態に係るホワイトバランス
補正装置の概略を示すブロック図である。 【図２】 本実施形態においてホワイトバランス補正の
原理を示すための色度図である。 【図３】 典型的なＣＣＤセンサの分光感度分布を示す
線図である。 【図４】 本実施形態の処理の流れを示すフローチャー
トである。 【図５】 ＢＴ７０９の分光感度分布を示す線図であ
る。 【符号の説明】 １０ ホワイトバランス補正装置 １２ 光源色温度推定手段 １４ 画像信号補正手段 １６ 係数乗算手段 １８ 肌色候補検出手段 ２０ グレー候補検出手段 ２１，２２ 係数最適化手段 ２４，２５ 光源色温度算出手段 ３０，３１ メモリ

Claims (1)

1. 【特許請求の範囲】 【請求項１】入力されたカラー画像中に含まれるグレー
   および／または肌色の色情報を用いて、前記カラー画像
   を撮影した際の撮影光源の色温度を推定して、この推定
   された色温度により、前記カラー画像の画像信号を補正
   するホワイトバランス補正方法であって、 前記入力されたカラー画像中の各画素の画像信号に対し
   て、所定の係数を乗算し、その結果、肌色の黒体軌跡曲
   線の近傍に入る画素を肌色候補画素とし、また、グレー
   の黒体軌跡曲線の近傍に入る画素をグレー候補画素とし
   て、 この肌色候補画素および／またはグレー候補画素の個数
   が最大となり、かつ、この肌色候補画素群の平均色温度
   とグレー候補画素群の平均色温度との差が最小となるよ
   うに、前記係数を最適化して得られる肌色候補画素およ
   びグレー候補画素群のそれぞれの平均色温度から前記撮
   影光源の色温度を推定し、 前記最適化された係数が乗算された前記カラー画像信号
   を、前記推定された色温度と基準白色の色温度との差分
   だけ補正するようにした第１のホワイトバランス補正信
   号、および、 前記入力されたカラー画像中の各画素の画像信号に対し
   て、所定の係数を乗算し、その結果、肌色の黒体軌跡曲
   線の近傍に入る画素を肌色候補画素とし、また、グレー
   の黒体軌跡曲線の近傍に入る画素をグレー候補画素とし
   て、 このグレー候補画素の個数が最大となるように、前記係
   数を最適化して得られる肌色候補画素およびグレー候補
   画素群のそれぞれの平均色温度から前記撮影光源の色温
   度を推定し、 前記最適化された係数が乗算された前記カラー画像信号
   を、前記推定された色温度と基準白色の色温度との差分
   だけ補正するようにした第２のホワイトバランス補正信
   号、 の２つのホワイトバランス補正信号を用いて前記カラー
   画像の画像信号を補正することを特徴とするホワイトバ
   ランス補正方法。