JP2008042694A - 画像処理装置、撮像装置及び画像処理方法 - Google Patents

Abstract

【課題】人物撮影において背景が単一の有彩色等の場合であっても、正確なホワイトバランス調整が行えるようにする。
【解決手段】画像処理装置は、画像データに含まれる顔内の特定部分の位置を検出する検出手段１０１０と、画像データのうち指定領域の色データを積分して該指定領域での第１の色比を求める第１の積分手段１０１２と、画像データを複数の領域に分割し、各分割領域の色データを積分して該各分割領域の第２の色比を求める第２の積分手段１０１１とを有する。ホワイトバランス評価手段１０１１は、該指定領域を、該特定部分の位置に基づいて決定し、複数の分割領域のうち第１の色比と第２の色比との差が第１の値以下となる分割領域を肌領域と判定する。さらに、肌領域と判定された分割領域の第２の色比に基づいてホワイトバランス評価値を算出する。
【選択図】図１

Description

本発明は、人物が撮影されたカラー画像データのホワイトバランス処理を行う画像処理装置及びこれを備えたデジタルカメラ等の撮像装置に関する。

複数の色フィルタを持つ撮像素子を用いて撮像されたカラー画像データを出力する場合には、該画像データに対してホワイトバランス調整を行うことが多い。ホワイトバランス調整は、画像中の光源の色温度を判別し、光源が無彩色となるように画像データの色を調整することで、被写体の本来の色（白色）を忠実に再現した画像を得るための処理である。

ホワイトバランス調整において光源の色温度を判別する方法としては、測色用素子を用いて光源の色温度を判別する方法や、撮影画像中の無彩色部分を探索してその部分の色温度を判別する方法などがある。ただし、人物を撮影した場合は、人物の顔の色と、無彩色部分に低色温度の光源からの光が当たった場合に検出される色温度とが非常に近いために、人物の顔の色から光源の色温度が誤検出されてしまうという問題がある。

このため、特許文献１では、画像中における人物の顔の領域を検出して、該顔領域をホワイトバランス評価値の取得エリアから除外し、他の領域で取得したホワイトバランス評価値からホワイトバランス調整値を演算する方法が開示されている。これにより、顔の色に影響されない正確なホワイトバランス調整を行うことができる。

顔検出の方法には、ニューラルネットワークに代表される学習を用いた手法がある。また、目、鼻及び口といった特徴的な形状を有する部位を画像領域からテンプレートマッチングを用いて探し出し、類似度が高ければ顔とみなす方法もある。
特開２００３−１８９３２５号公報（段落０００９〜００１１、図２〜５等）

しかしながら、上記特許文献１にて開示されたホワイトバランス調整方法では、人物撮影において、背景が単一の有彩色である場合等の一定の条件下では、正確なホワイトバランス調整が行われない可能性がある。

本発明は、人物撮影において背景が単一の有彩色等の場合であっても、正確なホワイトバランス調整が行えるようにした画像処理装置、撮像装置及び画像処理方法を提供することを目的の１つとしている。

本発明の一側面としての画像処理装置は、カラー画像データに対してホワイトバランス評価を行うホワイトバランス評価手段と、画像データに含まれる顔内の特定部分の位置を検出する検出手段と、画像データのうち指定領域の色データを積分して該指定領域での第１の色比を求める第１の積分手段と、画像データを複数の領域に分割し、各分割領域の色データを積分して該各分割領域の第２の色比を求める第２の積分手段とを有する。そして、ホワイトバランス評価手段は、該指定領域を、検出手段により検出された特定部分の位置に基づいて決定し、複数の分割領域のうち第１の色比と第２の色比との差が第１の値以下となる分割領域を肌領域と判定する。さらに、肌領域と判定された分割領域の第２の色比に基づいてホワイトバランス評価値を算出することを特徴とする。

なお、上記画像処理装置を備えた撮像装置も、本発明の他の側面を構成する。

また、本発明の他の側面としての画像処理方法は、カラー画像データに対してホワイトバランス評価を行うホワイトバランス評価ステップと、画像データに含まれる顔内の特定部分の位置を検出する検出ステップと、画像データのうち指定領域の色データを積分して該指定領域の第１の色比を求める第１の積分ステップと、画像データを複数の領域に分割し、各分割領域の色データを積分して該各分割領域の第２の色比を求める第２の積分ステップとを有する。そして、ホワイトバランス評価ステップにおいて、該指定領域を、検出手段により検出された特定部分の位置に基づいて決定し、複数の分割領域のうち第１の色比と第２の色比との差が第１の値以下となる分割領域を肌領域と判定する。さらに、肌領域と判定された分割領域の第２の色比に基づいてホワイトバランス評価値を算出することを特徴とする。

本発明によれば、人物撮影において背景が単一の有彩色等の場合であっても、顔検出技術を利用した正確なホワイトバランス調整を行うことができる。

以下、本発明の実施例について図面を参照しながら説明する。

図１には、本発明の実施例１であるデジタルスチルカメラ又はビデオカメラ等の撮像装置の構成を示す。

図１において、１０３０は撮影レンズであり、撮像装置に一体に設けられていてもよいし、交換レンズであってもよい。１００１は、ＣＣＤセンサ又はＣＭＯＳセンサ等の撮像素子１００１ａとその駆動回路やゲイン回路等を含む撮像部である。撮像素子１００１ａは、撮影レンズ１０３０によって形成された光学像を電気信号に変換する。撮像素子１００１ａの各画素は、図４に示すようにベイヤー（Bayer）方式に配列されたＲ，Ｇ１，Ｇ２，Ｂのカラーフィルタを有する。

撮像部１００１から出力されたアナログ出力信号は、Ａ／Ｄ変換器１００２によってデジタル信号に変換され、カラー画像データ（撮像データ）として出力される。

タイミング発生回路１００３は、撮像部１００１、Ａ／Ｄ変換器１００２及びＤ／Ａ変換器１００８にクロック制御信号や制御信号を供給する。該タイミング発生回路１００３は、メモリコントローラ１００４により制御される。

メモリコントローラ１００４は、Ａ／Ｄ変換器１００２、タイミング発生回路１００３、バッファメモリ１００５、Ｄ／Ａ変換器１００８、顔検出処理部１０１０、ホワイトバランス評価部１０１１、現像処理部１０１２及び撮像データ積分部１０１３を制御する。

Ａ／Ｄ変換器１００２でデジタル信号に変換された画像データは、メモリコントローラ１００４を介して、バッファメモリ１００５に書き込まれる。

顔検出処理部１０１０は、バッファメモリ１００５（又はメモリコントローラ１００４）からの画像データに対して、人物の顔が存在するか否かを公知の顔検出方法にて判定し、顔が存在すれば顔領域を検出する。

代表的な顔検出方法としては、ニューラルネットワークに代表される学習を用いた手法や、目、鼻及び口等の特徴的な形状を有する部位を画像領域からテンプレートマッチングを用いて探し出し、類似度が高ければ顔とみなす手法等、多数ある。本実施例では、これらの手法を単独で又は組み合わせて顔領域を検出する。

ホワイトバランス評価部１０１１は、バッファメモリ１００５（又はメモリコントローラ１００４）からの１画面に相当する画像データを、図３に示すように縦１６分割、横１６分割の計２５６領域に分割する。そして、各分割領域における色毎に色データ（画素値）の積分を行う。ただし、本実施例にいう色毎とは、Ｒ，Ｇ１，Ｇ２，Ｂのカラーフィルタ毎のという意味である。このように、ホワイトバランス評価部１０１１は、第２の積分手段である領域積分手段としても機能する。

現像処理部１０１２は、バッファメモリ１００５からの画像データに対して、公知のホワイトバランス調整処理、画素補間処理、階調処理及び色変換処理などを施す。

第１の積分手段である撮像データ積分部１０１３は、バッファメモリ１００５（又はメモリコントローラ１００４）からの１画面に相当する画像データのうち指定された領域について色毎（カラーフィルタ毎）に色データの積分を行う。

外部記録媒体１００７は、半導体メモリ、光ディスク、磁気テープ等により構成されている。バッファメモリ１００５に蓄えられた画像データは、メモリコントローラ１００４及びインターフェース１００６を介して外部記録媒体１００７に書き込まれる。

画像表示部１００９は、ＬＣＤ等により構成され、メモリコントローラ１００４からＤ／Ａ変換器１１８を介して送られてきた画像データを表示する。

システム制御回路１０２０は、本実施例の撮像装置全体の制御を司る。具体的には、上述したメモリコントローラ１００４、フラッシュ調光制御を行う調光制御回路１０２１、撮影レンズ１０３０のオートフォーカス制御を行うＡＦ制御回路１０２２に制御信号を出力する。さらに、撮像部１００１におけるメカニカルシャッタや電子シャッタ及び撮影レンズ１０３０内の絞りを制御する露出制御回路１０２３にも制御信号を出力する。

本実施例の撮像装置は、システム制御回路１０２０、顔検出処理部１０１０、ホワイトバランス評価部１０１１、現像処理部１０１２及び撮像データ積分部１０１３等により構成される画像処理装置が内蔵された撮像装置ということができる。

図２には、本実施例の顔検出を用いたホワイトバランス評価処理のフローチャートを示す。この処理は、システム制御回路１０２０、顔検出処理部１０１０、ホワイトバランス評価部１０１１及び撮像データ積分部１０１３により、システム制御回路１０２０の内部メモリ（図示せず）に格納されたコンピュータプログラムに従って実行される。

ステップＳ１０１では、システム制御回路１０２０は、バッファメモリ１００５からホワイトバランス評価部１０１１に画像データを転送させる。そして、ホワイトバランス評価部１０１１に、ホワイトバランス評価値を取得させる。

ホワイトバランス評価値の演算は、以下のように行われる。図３Ａに示すように、本実施例では、画像データを縦１６、横１６の計２５６領域に分割し（以下、各領域を分割ホワイトバランス評価領域という）、各分割ホワイトバランス評価領域における色毎の色データの積分結果を得る。各分割ホワイトバランス評価領域(i,j)でのデータ積分結果は、
(SumR(i,j)、SumG1(i,j)、SumG2(i,j)、SumB(i,j)) ただし、i,j= 0〜15
の形で表現される。これが各分割ホワイトバランス評価領域(i,j)でのホワイトバランス評価値となる。

また、バッファメモリ１００５からから出力された画像データは、顔検出処理部１０１０にも送られ、ここで公知の顔検出処理が行われる。

次にステップＳ１０２では、システム制御回路１０２０は、顔検出処理部１０１０において顔が検出されか否かを判断する。顔が検出された場合は、ステップＳ１０３に進み、顔が検出されない場合はステップＳ１０５に進む。

ここで、図３Ａ及び図３Ｂを用いて、ステップＳ１０３及び１０４においてホワイトバランス評価部１０１１で行われる、顔が検出された場合の処理について説明する。顔が検出された場合には、ステップＳ１０３において、顔検出処理部１０１０は、その顔内の両目の位置に対応する座標（図３Ａ中のＡ１，Ａ２）を判別する。そして、この両目の座標から確実に肌の領域であると推定できる顔内の領域（以下、中心肌領域という）、例えば目と目の間の領域（図３Ａ中のＡ３）の位置（座標）を求め、該領域の座標を撮像データ積分部１０１３に出力する。ただし、顔内の両目以外の特定部分の位置を求め、その位置から中心肌領域を設定してもよい。

撮像データ積分部１０１３は、中心肌領域の座標を中心又は重心とした指定領域において、バッファメモリ１００５に保存されている画像データに対して色毎に色データを積分する。これにより、得られた積分データを、以下、肌ＲＡＷデータという。

ここで撮像データ積分部１０１３で積分により肌ＲＡＷデータを得る指定領域は、例えば２０ｘ２０画素程度の領域とするのがよい。これにより、バッファメモリ１００５の全データをロードして演算する場合に比べて、大幅に演算時間を短縮することができる。

撮像データ積分部１０１３により得られた肌ＲＡＷデータ(Rraw、G1raw、G2raw、Braw)から得られる肌ＲＡＷデータ色比、すなわち第１の色比(Rgain,Bgain)は、
Rgain = Rraw / (( G1raw + G2raw) / ２)
Bgain = Braw / (( G1raw + G2raw) / ２)
となる。この肌ＲＡＷデータ色比(Rgain,Bgain)は、上記式から分かるように、肌ＲＡＷデータにおけるＲ及びＢデータ積分値に対するＧデータ積分値（Ｇ１及びＧ２データ積分値の平均値）の比を示す。

また、各分割ホワイトバランス評価領域(i,j)の色比、すなわち第２の色比としての分割領域色比(SumRgain(i,j)、SumBgain(i,j))は、
SumRgain(i,j) = SumR(i,j) / (( SumG1(i,j) + SumG2(i,j)) / 2)
SumBgain(i,j) = SumB(i,j) / (( SumG1(i,j) + SumG2(i,j)) / 2)
となる。この分割領域色比(SumRgain(i,j)、SumBgain(i,j))は、上記式から分かるように、各分割ホワイトバランス評価領域におけるＲ及びＢデータ積分値に対するＧデータ積分値（Ｇ１及びＧ２データ積分値の平均値）の比を示す。

次に、肌ＲＡＷデータ色比(Rgain,Bgain)と、各分割領域色比（SumRgain(i,j)、SumBgain(i,j)）との差分値（絶対値）を以下のように算出する。

ΔRGain(i,j) = | Rgain - SumRgain(i,j) |
ΔBGain(i,j) = | Bgain - SumBgain(i,j) |。

そして、上記色比の差分値が第１の所定値（ΔRmax、ΔBmax）以下の場合、つまり、
ΔRGain(i,j) ≦ΔRmax
で、かつ、
ΔBGain(i,j) ≦ΔBmax
を満たす領域(i,j) を肌領域とみなすことができる。図３Ｂに、肌領域として検出された領域をグレーで示す。

最後に、肌領域として検出された領域における分割ホワイトバランス評価領域のホワイトバランス評価値(SumR(i,j)、SumG1(i,j)、SumG2(i,j)、SumB(i,j))の平均値を演算することで肌領域のホワイトバランス評価値が求まる。このとき、影が生じやすい鼻の真下の部位や、赤味がかりやすい頬に相当する部位の重み付けを小さくして平均値を求めるようにしてもよい。また、ホワイトバランス評価値の代わりに肌領域として検出された領域における分割領域色比(SumRgain(i,j)、SumBgain(i,j))の平均値を演算してもよい。

このように、本実施例では、２５６の分割ホワイトバランス評価領域の中から肌領域のみを抽出し、該肌領域のホワイトバランス評価値を求める。これにより、肌ＲＡＷデータ色比（Rgain,Bgain）のみ用いてホワイトバランス評価値を演算する場合に比較して、より幅広い領域で肌色検出を行うことができる。したがって、演算のばらつきを減らして安定した肌色検出を行うことができる。

また、前述したように肌ＲＡＷデータの演算のためにバッファメモリ１００５からロードされる画像データを２０ｘ２０画素等に相当する小さなデータとすることで、画像データ全体をロードして演算する場合に比べて、演算時間を大幅に短縮することができる。したがって、短い演算時間で、精度の高い肌色検出を行うことができる。

次にステップＳ１０５では、ホワイトバランス評価部１０１１は、ステップＳ１０１で求めたホワイトバランス評価値とステップＳ１０４で求めた肌領域のホワイトバランス評価値とに基づいて、ホワイトバランス調整値としてのホワイトバランス係数を演算する。ここでは、例えば、肌領域内の画像部分が所定の肌色に対応した色相及び彩度となるよう画像データを補正するためのホワイトバランス係数を設定する。

ホワイトバランス係数の演算方法の一例を挙げる。ステップＳ１０４で求めた肌領域のホワイトバランス評価値から求められる色比の逆数をそのままホワイトバランス係数として設定すると、肌色が白くなってしまう。そこで、補正後の肌領域の色比が所定の肌色に対応した色相及び彩度となるようなゲインを予め設定しておく。つまり、肌領域のホワイトバランス評価値から求められる色比（SkinRGain、SkinBGain）、予め設定されたゲイン（ConstRGain、ConstBGain）、および、補正後の肌領域の色比（AfterSkinRGain、AfterSkinBGain）の関係は次式となる。

AfterSkinRGain = SkinRGain x ConstRGain
AfterSkinBGain = SkinBGain x ConstBGain
この補正後の肌領域の色比（AfterSkinRGain,AfterSkinBGain）の逆数をホワイトバランス係数として設定する。

またホワイトバランス係数の演算方法は上記に限られるものではなく、例えば肌領域が小さい場合には、ステップＳ１０１で得られた各分割ホワイトバランス評価領域(i,j)でのホワイトバランス評価値を加味して演算してもよい。

こうして算出されたホワイトバランス係数は、現像処理部１０１２に送られる。現像処理部１０１２は、ホワイトバランス係数を用いて、バッファメモリ１００５からの画像データに対してホワイトバランス調整処理を行う。

上記説明したように、本実施例によれば、顔検出技術を利用して、オートホワイトバランス処理の精度を向上させることができる。

なお、本実施例では、画像データを２５６分割してホワイトバランス評価値の演算を行う場合について説明したが、分割数はこれに限られない。また、本実施例では、撮像データ積分部１０１３において肌ＲＡＷデータを求めるために積分処理を行う指定領域を２０ｘ２０画素に設定したが、本発明にいう指定領域はこれに限られない。演算を高速で行えるのであれば、指定領域を２０ｘ２０画素の領域より大きい領域に設定してもよい。また、本実施例では、肌ＲＡＷデータ色比(Rgain,Bgain)と分割領域色比（SumRgain(i,j)、SumBgain(i,j)）との比較を２５６領域について行う場合について説明したが、本発明はこれら限られない。すなわち、顔検出処理部１０１０から出力される顔領域の大きさや顔領域の位置に応じて、その顔領域の周辺のブロックのみを比較対象としてもよい。この場合、比較演算に要する時間を短縮することができる。

さらに、本実施例では、指定領域と分割ホワイトバランス評価領域とで色比の比較のみを行う場合について説明したが、色比の比較に加えて、輝度の比較を追加してもよい。

実施例１では撮像装置について説明したが、本発明におけるホワイトバランス評価処理は、画像処理装置としてのパーソナルコンピュータにインストールされたコンピュータプログラムによって行ってもよい。

図５には、本実施例の画像処理装置を示している。図５において、２００１は画像処理装置（パーソナルコンピュータ）である。２００２はデジタルスチルカメラ又はビデオカメラ等の撮像装置である。この撮像装置２００２の撮影により生成された画像データ（実施例１におけるバッファメモリ１００５からの画像データに相当する）は、半導体メモリや光ディスク等の記録媒体２００３を介しては画像処理装置２００１に入力される。また、撮像装置２００２から有線又は無線通信Ｃによって画像処理装置２００１に画像データを転送してもよい。

画像処理装置２００１は、コンピュータプログラムによって、少なくとも実施例１で説明したシステム制御回路１０２０、顔検出処理部１０１０、ホワイトバランス評価部１０１１及び撮像データ積分部１０１３として機能する。すなわち、画像処理装置２００１は、図２に示したホワイトバランス評価処理を実行し、少なくともホワイトバランス係数を算出する。

画像処理装置２００１は、このホワイトバランス係数を用いて、入力された画像データに対するホワイトバランス調整処理を行ってもよい。すなわち、実施例１で説明した現像処理部１０１２として機能してもよい。また、ホワイトバランス係数を記録媒体２００３や通信Ｃを介して画像データに対応付けて撮像装置に返送し、撮像装置での画像データのホワイトバランス調整処理に用いられるようにしてもよい。

本発明の実施例１である撮像装置の構成を示すブロック図。 実施例１の撮像装置で行われるホワイトバランス評価処理の手順を示すフローチャート。 実施例１で行われる肌領域の検出方法を説明する図。 実施例１で検出された肌領域の例を示す図。 実施例１の撮像装置で用いられる撮像素子のカラーフィルタ配置を説明する図。 本発明の実施例２である画像処理装置の構成を示すブロック図。

符号の説明

１００１ 撮像部
１００４ メモリコントローラ
１００５ バッファメモリ
１０１０ 顔検出処理部
１０１１ ホワイトバランス評価部
１０１２ 現像処理部
１０１３ 撮像データ積分部
２００１ 画像処理装置

Claims (8)

1. カラー画像データに対してホワイトバランス評価を行うホワイトバランス評価手段と、
   前記画像データに含まれる顔内の特定部分の位置を検出する検出手段と、
   前記画像データのうち指定領域の色データを積分して該指定領域での第１の色比を求める第１の積分手段と、
   前記画像データを複数の領域に分割し、各分割領域の色データを積分して該各分割領域の第２の色比を求める第２の積分手段とを有し、
   前記ホワイトバランス評価手段は、
   前記指定領域を、前記検出手段により検出された前記特定部分の位置に基づいて決定し、
   前記複数の分割領域のうち、前記第１の色比と前記第２の色比との差が第１の値以下となる分割領域を肌領域と判定し、
   前記肌領域と判定された分割領域の前記第２の色比に基づいてホワイトバランス評価値を算出することを特徴とする画像処理装置。
2. 前記特定部分は、両目であることを特徴とする請求項１に記載の画像処理装置。
3. 前記ホワイトバランス評価値に基づいて、前記画像データに対するホワイトバランス調整を行うホワイトバランス調整手段を有することを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記第１の色比は、前記指定領域における赤データの積分値及び青データの積分値のそれぞれに対する緑データの積分値の比であることを特徴とする請求項１から３のいずれか１つに記載の画像処理装置。
5. 前記第２の色比は、前記分割領域における赤データの積分値及び青データの積分値のそれぞれに対する緑データの積分値の比であることを特徴とする請求項１から４のいずれか１つに記載の画像処理装置。
6. 前記第２の積分手段は、前記第２の色比を求める分割領域の数を、前記検出手段によって得られる顔の大きさ及び顔の位置のうち少なくとも１つに基づいて決定することを特徴とする請求項１から５のいずれか１つに記載の画像処理装置。
7. 被写体像を光電変換する撮像素子と、
   該撮像素子からの出力に基づいてカラー画像データを生成する画像生成手段と、
   請求項１から６のいずれか１つに記載の画像処理装置とを有することを特徴とする撮像装置。
8. カラー画像データに対してホワイトバランス評価を行うホワイトバランス評価ステップと、
   前記画像データに含まれる顔内の特定部分の位置を検出する検出ステップと、
   前記画像データのうち指定領域の色データを積分して該指定領域の第１の色比を求める第１の積分ステップと、
   前記画像データを複数の領域に分割し、各分割領域の色データを積分して該各分割領域の第２の色比を求める第２の積分ステップとを有し、
   前記ホワイトバランス評価ステップにおいて、
   前記指定領域を、前記検出手段により検出された前記特定部分の位置に基づいて決定し、
   前記複数の分割領域のうち、前記第１の色比と前記第２の色比との差が第１の値以下となる分割領域を肌領域と判定し、
   前記肌領域と判定された分割領域の前記第２の色比に基づいてホワイトバランス評価値を算出することを特徴とする画像処理方法。