JP2008167280A - 画像処理装置及び方法、及び撮像装置 - Google Patents

画像処理装置及び方法、及び撮像装置 Download PDF

Info

Publication number
JP2008167280A
JP2008167280A JP2006356088A JP2006356088A JP2008167280A JP 2008167280 A JP2008167280 A JP 2008167280A JP 2006356088 A JP2006356088 A JP 2006356088A JP 2006356088 A JP2006356088 A JP 2006356088A JP 2008167280 A JP2008167280 A JP 2008167280A
Authority
JP
Japan
Prior art keywords
white balance
correction value
balance correction
face
face area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006356088A
Other languages
English (en)
Other versions
JP2008167280A5 (ja
JP4971785B2 (ja
Inventor
Masahiro Takayama
将浩 高山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2006356088A priority Critical patent/JP4971785B2/ja
Publication of JP2008167280A publication Critical patent/JP2008167280A/ja
Publication of JP2008167280A5 publication Critical patent/JP2008167280A5/ja
Application granted granted Critical
Publication of JP4971785B2 publication Critical patent/JP4971785B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Color Television Image Signal Generators (AREA)
  • Processing Of Color Television Signals (AREA)

Abstract

【課題】 顔検出の結果に応じて、より安定したホワイトバランス(WB)補正を行えるようにすること。
【解決手段】 被写体を撮像して得られた画像信号を処理する画像処理装置であって、画像信号にWB補正を行うWB補正手段(103、115)と、画像信号の内、白色と判定された画像信号に基づいて、WB補正に用いる第1のWB補正値を算出する第1の算出手段(103、115)と、画像信号から顔領域を検出する顔検出部(114)と、複数の顔領域が検出された場合に、各顔領域毎に、第1のWB補正値によりWB補正した後に各顔領域に含まれる画像信号の平均色評価値を予め設定された色評価値にする第2のWB補正値を算出する第2の算出手段(103、115)と、算出された第2のWB補正値を、各顔領域の信頼度に応じて合成し、当該合成した第2のWB補正値を第1のWB補正値と更に合成する合成手段(103、115)とを有する。
【選択図】 図1

Description

本発明は画像処理装置及び方法、及び撮像装置に関し、更に詳しくは、顔検出結果を用いて画像処理を行う画像処理装置及び方法、及び撮像装置に関する。
デジタルカメラ等に用いられている従来のホワイトバランスゲイン算出回路の動作を説明する。まず図14に示すように、予め画面を任意の複数のブロック(m個)に分割し、各ブロック(1〜m)毎に、画素値を各色毎に加算平均して色平均値(R[i]、G[i]、B[i])を算出する。そして、例えば以下の式(1)を用いて色評価値(Cx[i]、Cy[i])を算出する。
Cx[i] = (R[i] - B[i]) / Y[i] × 1024
Cy[i] = (R[i] + B[i]) - 2G[i]/ Y[i] × 1024 …(1)
ただし、Y[i] = R[i] + 2G[i] + B[i]、[i]は各ブロックのインデックス番号
そして、予め様々な光源下で白色被写体を撮影し、色評価値を算出することで設定された図15に示すような白検出範囲301に、各ブロック毎に算出された色評価値が含まれる場合、そのブロックは白であると判定する。そして、同様にして白と判定されたブロックの画素値を積分する。白検出範囲301は、予め異なる光源下で白を撮影し、算出した色評価値をプロットしたもので、図15におけるx座標(Cx)の負方向が高色温度被写体の白を撮影したときの色評価値、正方向が低色温度被写体の白を撮影したときの色評価値である。またy座標(Cy)は光源の緑成分の度合いを意味しており、負方向になるにつれG成分が大きくなり、つまり光源が蛍光灯であることを示している。
そして、積分された画素値(sumR、sumG、sumB)より、以下の式(2)を用いてホワイトバランス係数(WBCo_R、WBCo_G、WBCo_B)を算出する。
WBCo_R = sumY × 1024 / sumR
WBCo_G = sumY × 1024 / sumG …(2)
WBCo_B = sumY × 1024 / sumB
ただし、sumY = (sumR + 2 × sumG + sumB) / 4
しかしながら、従来のホワイトバランスゲイン算出方法では、以下のような問題があった。図17のように被写体として人の顔が大きく写っている場合、太陽光下で撮影した人肌領域の色評価値(図15の901)と、タングステン光下で撮影した白色被写体の色評価値(図15の902)がほぼ同じ値となる。そのため、人肌をタングステン光下の白と誤判別し、肌色を白く補正してしまう場合があった。
そこで、特許文献1では、顔検出回路にて検出された顔領域を、白検出の対象から外す(図16を参照)という提案がされている。
特開2003−189325号公報
しかしながら、上述した従来のホワイトバランスゲイン算出方法においては、顔検出回路において顔を誤認識した場合や検出できなかった場合の対策が考慮されていない。そのため顔検出回路において顔ではない領域を顔と誤検出した場合に、白検出対象領域が少なくなり、結果として出力される色温度情報の精度が低くなることがあった。また、顔であるにも関わらず顔と認識されない場合には、顔領域で白検出を実施してしまい、結果としてホワイトバランス補正精度が低くなることがあった。
また、図17のように、顔がアップで撮影された場合、顔領域を白検出対象から除外すると、白検出を実施する被写体領域がほとんどなくなってしまい、結果としてホワイトバランス補正精度が低くなってしまっていた。
また、図18に示すように顔が複数検出された場合における最適なホワイトバランス補正処理の対策がなされていなかった。
上記課題を解決するために、被写体を撮像して得られた画像信号を処理する本発明の画像処理装置は、前記画像信号にホワイトバランス補正を行うホワイトバランス補正手段と、前記画像信号の内、白色と判定された画像信号に基づいて、前記ホワイトバランス補正に用いる第1のホワイトバランス補正値を算出する第1の算出手段と、前記画像信号から顔領域を検出する顔検出手段と、前記顔検出手段により複数の顔領域が検出された場合に、該検出された各顔領域毎に、前記第1のホワイトバランス補正値によりホワイトバランス補正した後に前記各顔領域に含まれる画像信号の平均色評価値を予め設定された色評価値にする第2のホワイトバランス補正値を算出する第2の算出手段と、前記各顔領域毎に算出された前記第2のホワイトバランス補正値を、前記各顔領域の信頼度に応じて合成し、当該合成した第2のホワイトバランス補正値を前記第1のホワイトバランス補正値と更に合成する合成手段とを有する。
また、本発明の撮像装置は、上記画像処理装置を有する。
また、被写体を撮像して得られた画像信号を処理する本発明の画像処理方法は、前記画像信号の内、白色と判定された画像信号に基づいて、ホワイトバランス補正に用いる第1のホワイトバランス補正値を算出する第1の算出ステップと、前記画像信号から顔領域を検出する顔検出ステップと、前記顔検出ステップで複数の顔領域が検出された場合に、該検出された各顔領域毎に、前記第1のホワイトバランス補正値によりホワイトバランス補正した後に前記各顔領域に含まれる画像信号の平均色評価値を予め設定された色評価値にする第2のホワイトバランス補正値を算出する第2の算出ステップと、前記各顔領域毎に算出された前記第2のホワイトバランス補正値を、前記各顔領域の信頼度に応じて合成し、当該合成した第2のホワイトバランス補正値を前記第1のホワイトバランス補正値と更に合成する合成ステップと、前記合成ステップで合成されたホワイトバランス補正値を用いて前記画像信号にホワイトバランス補正を行うホワイトバランス補正ステップとを有する。
本発明によれば、顔検出の結果に応じて、より安定したホワイトバランス補正を行うことができる。
以下、添付図面を参照して本発明を実施するための最良の形態を詳細に説明する。
<第1の実施形態>
図1は、画像処理装置の一例として、本発明の第1の実施形態における顔検出機能を備えた撮像装置の機能構成を示す概略ブロック図である。
図1において、101はCCDやCMOS等から成る固体撮像素子であり、その表面は、例えばベイヤー配列のRGBカラーフィルタにより覆われ、カラー撮影が可能な構成となっている。102はメモリで、撮像素子101から得られた画像信号を一旦記憶する。
114は顔検出部であり、メモリ102に記憶された画像信号から、顔領域を検出する。なお、顔領域を検出する技術としては様々な手法が提案されており、顔の位置およびサイズ情報を取得できればどのような手法を用いてもよく、本願発明は、顔検出の手法により制限されるものではない。例えば、ニュートラルネットワークに代表される学習を用いた方法や、目や鼻と言った物理的形状に特徴のある部位を画像領域からテンプレートマッチングで抽出する手法が知られている。他にも、肌の色や目の形といった画像特徴量を検出し、統計的手法を用いて解析する手法が挙げられる(例えば、特開平10−232934号公報、特開2000−48184号公報を参照)。他に、現在製品として提案されているものとしては、ウェーブレット変換と画像特徴量を利用して顔検出する方法等や、テンプレートマッチング等を組み合わせた方法などがある。
ここで、顔検出の手法として、パターン認識の一つであるテンプレートマッチングについて説明する。パターン認識とは、観測されたパターンをあらかじめ定められた概念(クラス)の一つに対応させる処理である。図2は、パターン認識処理のフローチャートであり、顔検出部114によって実行される。
先ず、メモリ102から画像データを読み出して前処理し(ステップS1)、前処理された画像データから特徴的部分のパターンを抽出する(ステップS2)。そして、抽出されたパターンをテンプレート(標準パターン)に対応させる(テンプレートマッチング)。例えば、図3に示すように特徴的部分のパターン63が抽出された場合、テンプレート61の中心点62を取得したパターン63のある座標点(i,j)に置く。そして、中心点62のパターン63における位置をずらしながら、テンプレート61とパターン63との重なり部分の類似度を計算して行き、類似度が最大になる位置を決定する。パターン63を例えば目や耳等の形状を含むテンプレート61にマッチングさせることにより、目の位置情報や顔領域(顔座標)を取得することができる。
このようにして、認識パターンを取得して(ステップS3)、取得した認識パターンを出力し(ステップS4)、パターン認識処理を終了する。
図1の説明に戻る。CPU115では、顔検出部114から送られた信号に基づいて、顔が検出されていれば、顔が最適な明るさになるようなシャッタースピードTv、絞り値Avを計算し、また顔に合焦するようにフォーカスレンズ駆動量を計算する。一方、顔が検出されていなければ、CPU115は画像全体が最適な明るさになるようなシャッタースピードTv、絞り値Avを計算すると共に、予め設定された合焦領域内にある被写体に合焦するようなフォーカスレンズ駆動量を計算する。CPU115で計算された露出値(Tv、Av)及びフォーカスレンズ駆動量は制御回路113に送られ、各値に基づいて不図示のレンズや絞り、シャッター、撮像素子101がそれぞれ制御される。
103はホワイトバランス(WB)制御部であり、メモリ102に記憶された画像信号及び顔検出部114から得られる顔情報に基づいてWB補正値を算出し、算出したWB補正値を用いて、メモリ102に記憶された画像信号に対してWB補正を行う。なお、このWB制御部103で用いられるWB補正値の算出方法については、詳細に後述する。
104は、WB制御部103によりWB補正された画像信号が最適な色で再現されるように色ゲインをかけて色差信号R−Y、B−Yに変換する色変換マトリックス(MTX)回路である。105は色差信号R−Y、B−Yの帯域を制限するローパスフィルタ(LPF)回路、106はLPF回路105で帯域制限された画像信号の内、飽和部分の偽色信号を抑圧するCSUP(Chroma Supress)回路である。
一方、WB制御部103によりWB補正された画像信号は輝度信号(Y)生成回路111にも出力されて輝度信号Yが生成され、生成された輝度信号Yに対してエッジ強調回路112にてエッジ強調処理が施される。
CSUP回路106から出力される色差信号R−Y、B−Yと、エッジ強調回路112から出力される輝度信号Yは、RGB変換回路107にてRGB信号に変換され、ガンマ補正回路108にて階調補正が施される。その後、色輝度変換回路109にてYUV信号に変換され、更に圧縮回路110にて例えばJPEG圧縮されて、外部記録媒体または内部記録媒体に画像信号として記録される。
次に、本実施の形態におけるWB補正値の算出方法について図4を参照して説明する。なお、ここで行われるWB補正値の算出は、CPU115が行うように構成しても、WB制御部103が行うように構成しても、更には、WB補正値算出用の専用の構成を追加するようにしても、何れでも構わない。
先ず、ステップS11において、メモリ102に記憶された画像信号から白画素の検出を行って第1のWB補正値を算出する。ここで、第1のWB補正値の算出方法について、図5を参照して詳しく説明する。
まず、メモリ102に記憶された画像信号を読み出し、その画面を図14のような任意のm個のブロックに分割する(ステップS101)。そして、各ブロック(1〜m)毎に、画素値を各色毎に加算平均して色平均値(R[i]、G[i]、B[i])を算出し、式(1)を用いて色評価値(Cx[i]、Cy[i])を算出する(ステップS102)。
Cx[i] = (R[i] - B[i]) / Y[i] × 1024
Cy[i] = (R[i] + B[i]) - 2G[i]/ Y[i] × 1024 …(1)
ただし、Y[i] = R[i] + 2G[i] + B[i]、[i]は各ブロックのインデックス番号
次に、ステップS102で算出したi番目のブロックの色評価値(Cx[i]、Cy[i])が、図15に示す予め設定した白検出範囲301に含まれるかどうかを判断する(ステップS103)。白検出範囲301は、予め異なる光源下で白を撮影し、算出した色評価値をプロットしたものである。図15におけるx座標(Cx)の負方向が高色温度被写体の白を撮影したときの色評価値、正方向が低色温度被写体の白を撮影したときの色評価値である。またy座標(Cy)は光源の緑成分の度合いを意味しており、負方向になるにつれG成分が大きくなり、つまり光源が蛍光灯であることを示している。
算出した色評価値(Cx[i]、Cy[i])がこの白検出範囲301に含まれる場合には(ステップS103でYES)そのブロックが白色であると判断する。そして、そのブロックの色平均値(R[i]、G[i]、B[i])を積算していき(ステップS104)、含まれない場合には加算せずにステップS105に進む。このステップS103及びステップS104の処理は、式(3)により表すことができる。
Figure 2008167280
ここで、式(3)において、色評価値(Cx[i]、Cy[i])が白検出範囲301に含まれる場合はSw[i]を1に、含まれない場合にはSw[i]を0とする。このようにして、ステップS103の判断により色平均値(R[i]、G[i]、B[i])の加算を行うか、行わないかの処理を実質的に行っている。
ステップS105では、全てのブロックについて上記処理を行ったかどうかを判断し、未処理のブロックがあればステップS102に戻って上記処理を繰り返し、全てのブロックの処理が終了していればステップS106に進む。
ステップS106では、得られた色評価値の積分値(sumR、sumG、sumB)から、以下の式(4)を用いて、第1のWB補正値(WBCo1_R、WBCo1_G、WBCo1_B)を算出する。
WBCo1_R = sumY × 1024 / sumR
WBCo1_G = sumY × 1024 / sumG …(4)
WBCo1_B = sumY × 1024 / sumB
ただし、sumY = (sumR + 2 × sumG + sumB) / 4
上述したようにして第1のWB補正値を算出すると、図4のステップS12において、メモリ102に記憶された画像信号を用いて、例えば図2及び図3を参照して上述した方法により顔検出部114により顔検出を行う。なお、ステップS11とステップS12の処理は平行して行っても、逆の順番で行っても構わない。そして、ステップS13において顔が検出されたかどうかを判断する。顔が検出されていなければ、ステップS11で算出した第1のWB補正値をWB制御部103でWB処理に使用するWB補正値と決定して(ステップS20)、処理を終了する。
顔が検出されていれば、検出された顔の信頼度の判定を行う(ステップS14)。この時、複数の顔が検出されていれば、検出された全ての顔についてそれぞれ信頼度が所定レベルよりも高いかどうかを判定する。検出された全ての顔の信頼度が所定レベルよりも低い場合(例えば、顔の面積が小さい場合など)には、ステップS11で算出した第1のWB補正値をWB制御部103でWB処理に使用するWB補正値と決定して(ステップS20)、処理を終了する。
一方、信頼度が所定レベルよりも高い顔がある場合には、その顔の顔領域を図14に示すようなブロックに分割し、画素値をR、G、Bの各色毎に加算平均して、顔領域の色平均値を算出する(ステップS15)。例えば、図6に示すように5つの顔(顔1〜顔5)が検出された場合、検出された5つの顔の内、顔1の信頼度が所定レベルよりも低いので、ステップS15では、顔2〜顔5の色平均値を算出し、顔1の色平均値は算出しない。または、顔1の色平均値を算出しても良いが、後段の処理には使用しない。
次に、算出した色平均値から、信頼度が所定レベルよりも高い各顔領域の輝度値を求め、後述する肌色色相角を判別することが可能な輝度範囲内に入っているかの判定を行う(ステップS16)。これは人種によって肌の色相が異なることに起因するためで、顔領域の輝度値が低い黒人や輝度値が高い白人のような場合は色相角の判別が困難であるからである。また、顔に濃い影が写っていたり、強い光の照射を受けて白く写っている場合など、色相角の判別が難しい場合にも、肌色色相角を判別する対象から外すことができる。算出された顔領域の輝度値が全て所定輝度範囲内に無い場合には、ステップS11で算出した第1のWB補正値をWB制御部103でWB処理に使用するWB補正値と決定して(ステップS20)、処理を終了する。
いずれかの顔領域の輝度値が所定輝度範囲内にある場合、その顔領域の色相角が肌色色相角範囲に入っているか否かの判断を行う(ステップS17)。図6に示す例では、輝度値を求めた顔領域(顔1〜顔4)の内、顔3が所定輝度範囲外であったため、顔2、顔4、顔5について判断を行う。ステップS15では、まず、顔検出処理時に算出した顔領域の色平均値をステップS11で算出した第1のWB補正値により補正し、補正色平均値を算出する。そして、算出された補正色平均値から、式(5)により顔領域の色差値(R-Y、B-Y)を算出する。
R-Y = R - Y
B-Y = B - Y …(5)
ただし、Y = 0.3×R + 0.59×G + 0.11×B
次に、式(5)により算出した顔領域色差値(R-Y、B-Y)から、式(6)により色相角値(Hue)を算出する(ステップS114)。
Figure 2008167280
そして、上述したようにして得られた各顔領域の色相角値が全て、所定の肌色を示す図7のような色相角範囲71内に入っているかどうかを判定する(ステップS17)。
この判断でYESの場合、第1のWB補正値は適切であるので、ステップS11で算出した第1のWB補正値をWB制御部103でWB処理に使用するWB補正値と決定して(ステップS20)、処理を終了する。
一方、顔領域の色相角値が肌色色相角範囲71内に無い顔領域がある場合、第1のWB補正値を用いて補正を行うと、その顔領域の肌色が不適切にWB補正されてしまう。そのため、ステップS18へ進んで、その顔領域が適切にWB補正されるような第2のWB補正値を算出する。図6に示す例では、顔4及び顔5が肌色色相角範囲71外にあるため、これらの顔領域について第2のWB補正値を算出する。なお、肌色色相角範囲71内にある顔2については、第1のWB補正値が適切であったため、以下の第2のWB補正値算出処理を行わない。
図8に第2のWB補正値算出の概念図を示す。図8の401は、Cx(=(R−B)/Y)、Cy(=(R+B−2G)/Y)の座標系における、最適肌色領域を示す。先ず、ステップS17で算出した、第1のWB補正値により補正した補正色平均値から(Cx(n),Cy(n))を求める。なお、nは顔領域の番号を示す。求めた(Cx(n),Cy(n))が図8に示す最適肌色領域401外にある場合、この位置から、最適肌色領域401の例えば中心までの差分値Δを演算し、第2のWB補正値とする。
次にステップS19において、ステップS18で得られた第2のWB補正値に基づいて、WB制御部103でWB処理に使用する第3のWB補正値を決定する。この第3のWB補正値の決定方法としては、様々な方法が考えられる。
図9は、ステップS19で行われるに第3のWB補正値決定処理の一例を示すフローチャートである。
先ず、得られているのが1つの顔領域の第2のWB補正値であるかどうかを判断し(ステップS201)、1つである場合には、当該顔領域の信頼度に応じて、第2のWB補正値の使用率を決定する(ステップS202)。図10は顔の信頼度に応じて第2のWB補正値の使用率を示すグラフである。図10に示すように、ある信頼度以下の場合には第2のWB補正値を使用せず、ステップS11で求めた第1のWB補正値を使用する。ある閾値以上になると第2のWB補正値を使用し始める。そして、第2のWB補正値にステップS202で取得した使用率k%を掛け、第1のWB補正値に加算することにより、第3のWB補正値を求める。こうして求めた第3のWB補正値をWB制御部103でWB処理に使用するWB補正値と決定する(ステップS203)。
一方、2つ以上の顔領域の第2のWB補正値が得られた場合(ステップS201でNO)、各顔領域毎に第2のWB補正値の使用率を決定し(ステップS204)、加重平均する(ステップS205)。この時、図6の顔2のように第2のWB補正値を求める必要が無かった場合、第2のWB補正値を「0」とする。さらに、加重平均された第2のWB補正値と第1のWB補正値とを加算することで、第3のWB補正値を決定する(ステップS205)。
上記の通り本第1の実施形態によれば、顔が画面内に複数検出された場合に、最適なホワイトバランス処理を施すことが可能になる。
<変形例1>
図11は、図4のステップS19で行われる第3のWB補正値決定処理の別の例を示すフローチャートである。
先ず、得られている第2のWB補正値に、主被写体の顔領域のものが含まれているかどうかを判断する(ステップS210)。含まれていなければ、図9で説明した処理と同様のステップS201〜S205の処理を行う。一方、含まれていれば、ステップS201の判定を行わずにステップS202に進み、主被写体の顔領域の信頼度に応じて、第2のWB補正値の使用率を決定し、ステップS203で第3のWB補正値を決定する。
上記変形例1によれば、主被写体の顔領域のWB補正を最適化することができる。
なお、上述したように主被写体以外の顔領域の第2のWB補正値を全く使用しないのではなく、主被写体の顔領域の使用率を他の顔領域の使用率よりも高くするように調整するようにしても良い。その場合、主被写体の顔領域のWB補正を他の顔領域に比べてより最適化することができる。
<変形例2>
顔検出部114が誤検出した場合を考慮して、補正色評価値から得られる(Cx(n),Cy(n))と、最適肌色領域401の中心との差分値が大きい場合に、第2のWB補正値にかける重みを減らすようにしても良い。この場合、図9のステップS202及びステップS204において、差分値が大きくなるほど、使用率kを小さくするように制御すればよい。
このように制御することで、顔検出部が顔を誤認識した場合にもWB補正結果に不具合を引き起こしているかを判断できるため、最適なホワイトバランス処理を施すことが可能になる。
<変形例3>
顔が複数検出された場合であって、撮影にフラッシュが使用された場合、主被写体の顔以外にフラッシュ光が到達していない場合がある。従って、ステップS204において、フラッシュ発光したか否かに応じて、主被写体以外の第2のWB補正値の使用率kを小さくするように制御しても良い。
<第2の実施形態>
次に、本発明の第2の実施形態について説明する。第2の実施形態では、主被写体の顔領域のWB補正を最適化する為の別の処理例について説明する。
図12は、本第2の実施形態におけるWB補正値の算出方法を示すフローチャートである。図12に示す処理と、図4に示す処理では、以下の処理が異なる。
ステップS13で顔が検出されると、検出された顔の中から主被写体を決定し、主被写体の信頼度が所定レベルより低いか(ステップS21)及び輝度が所定範囲外か(ステップS23)を判断する。そして、少なくともいずれかがYESであれば、ステップS14に進んで、上記処理を行う。また、ステップS21及びステップS23で何れもNOの場合、主被写体の補正色平均値が肌色色相角範囲内にあれば(ステップS24でYES)、第1のWB補正値をWB制御部103でWB処理に使用するWB補正値と決定する(ステップS20)。ステップS24でNOであれば、主被写体の顔領域について、上述したステップS18及びステップS19の処理を行う。
上記以外に関しては、第1の実施形態で上述したものと同様であるので、説明を省略する。
上記の通り本第2の実施形態によれば、主被写体の顔領域のWB補正を最適化することができると共に、処理量を削減することができる。
なお、図12に示す例では、顔が検出された場合に、先ず主被写体を検出することでステップS21〜S24の処理を行うものとして説明したが、主被写体を検出するタイミングはこれに限るものではない。ステップS14〜S18のいずれかのタイミングで主被写体を検出し、検出できた場合に、主被写体の処理を優先的に行うようにすればよい。
<第3の実施形態>
次に、本発明の第3の実施形態について説明する。第3の実施形態では、主被写体の信頼度が他の顔の信頼度よりも所定レベル以上高い場合に、主被写体の顔領域のWB補正を最適化する処理例について説明する。
図13は、本第3の実施形態におけるWB補正値の算出方法を示すフローチャートである。図13に示す処理と、図12に示す処理では、以下の処理が異なる。
ステップS13で顔が検出されると、検出された顔の中から主被写体を決定し、主被写体の信頼度が、他の顔の信頼度よりも所定レベル以上高いかを判断する。高い場合には、主被写体について上述したステップS22〜S24の処理を行い、高くない場合には、ステップS14に進んで上記処理を行う。
上記以外に関しては、第2の実施形態で上述したものと同様であるので、説明を省略する。
上記の通り本第3の実施形態によれば、主被写体の顔の信頼度が他の顔の信頼度よりも十分に高い場合に、主被写体の顔領域のWB補正を最適化することができると共に、処理量を削減することができる。
<他の実施形態>
なお、本発明は、複数の機器(例えばホストコンピュータ、インターフェイス機器、カメラヘッドなど)から構成されるシステムに適用しても、一つの機器からなる装置(例えば、デジタルスチルカメラ、デジタルビデオカメラなど)に適用してもよい。
また、本発明の目的は、以下の様にして達成することも可能である。まず、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体(または記録媒体)を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記憶媒体に格納されたプログラムコードを読み出し実行する。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、以下のようにして達成することも可能である。即ち、読み出したプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム(OS)などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合である。ここでプログラムコードを記憶する記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、ROM、RAM、磁気テープ、不揮発性のメモリカード、CD−ROM、CD−R、DVD、光ディスク、光磁気ディスク、MOなどが考えられる。また、LAN(ローカル・エリア・ネットワーク)やWAN(ワイド・エリア・ネットワーク)などのコンピュータネットワークを、プログラムコードを供給するために用いることができる。
本発明の実施の形態における顔検出機能を備えた撮像装置の機能構成を示す概略ブロック図である。 テンプレートマッチングによるパターン認識処理を説明するフローチャートである。 テンプレートマッチングの概念を説明する図である。 本発明の第1の実施形態におけるWB補正値の算出方法を示すフローチャートである。 本発明の第1の実施形態における第1のWB補正値の算出処理を示すフローチャートである。 図5に示す算出処理の各段階における処理結果の一例を示す図である。 本発明の第1の実施形態における肌色色相角範囲を示す図である。 本発明の第1の実施形態における第2のWB補正値算出の概念図である。 本発明の第1の実施形態における第3のWB補正値の算出処理を示すフローチャートである。 本発明の実施の形態における第2のWB補正値の使用率を示すグラフを示す。 本発明の第1の実施形態の変形例における第3のWB補正値の算出処理を示すフローチャートである。 本発明の第2の実施形態におけるWB補正値の算出方法を示すフローチャートである。 本発明の第3の実施形態におけるWB補正値の算出方法を示すフローチャートである。 画面を任意の複数ブロックに分割した例を示す図である。 白検出範囲を示す図である。 従来の顔領域を白検出の対象から外す例を説明する図である。 被写体として顔のアップを撮影した例を示す図である。 複数の顔が検出された場合の例を示す図である。
符号の説明
101 撮像素子
102 メモリ
103 WB制御部
104 色変換MTX回路
105 LPF回路
106 CSUP回路
107 RGB変換回路
108 ガンマ補正回路
109 色輝度変換回路
110 圧縮回路
111 Y生成回路
112 エッジ強調回路
113 制御回路
114 顔検出部
115 CPU

Claims (25)

  1. 被写体を撮像して得られた画像信号を処理する画像処理装置であって、
    前記画像信号にホワイトバランス補正を行うホワイトバランス補正手段と、
    前記画像信号の内、白色と判定された画像信号に基づいて、前記ホワイトバランス補正に用いる第1のホワイトバランス補正値を算出する第1の算出手段と、
    前記画像信号から顔領域を検出する顔検出手段と、
    前記顔検出手段により複数の顔領域が検出された場合に、該検出された各顔領域毎に、前記第1のホワイトバランス補正値によりホワイトバランス補正した後に前記各顔領域に含まれる画像信号の平均色評価値を予め設定された色評価値にする第2のホワイトバランス補正値を算出する第2の算出手段と、
    前記各顔領域毎に算出された前記第2のホワイトバランス補正値を、前記各顔領域の信頼度に応じて合成し、当該合成した第2のホワイトバランス補正値を前記第1のホワイトバランス補正値と更に合成する合成手段と
    を有することを特徴とする画像処理装置。
  2. 前記合成手段は、前記信頼度に応じて、前記各顔領域の第2のホワイトバランス補正値の使用率を決定し、前記第2のホワイトバランス補正値を加重平均することを特徴とする請求項1に記載の画像処理装置。
  3. 前記顔検出手段により検出された各顔領域について、前記第2のホワイトバランス補正値を算出するかどうかを、予め設定された条件に基づいて判断する判断手段を更に有し、
    前記第2の算出手段は、前記判断手段により算出すると判断された顔領域について、前記第2のホワイトバランス補正値を算出することを特徴とする請求項1または2に記載の画像処理装置。
  4. 前記予め設定された条件は、前記顔領域の信頼度が予め設定されたレベルよりも低い場合、前記顔領域の輝度が予め設定された輝度範囲よりも高いまたは低い場合、前記顔領域の画像信号を前記第1のホワイトバランス補正値で補正した結果、補正した画像信号の色相角が予め設定された色相角の範囲内にあった場合の少なくともいずれかを含み、前記判断手段は、いずれかの条件が満たされた場合に、前記顔領域の第2のホワイトバランス補正値を算出しないと判断することを特徴とする請求項3に記載の画像処理装置。
  5. 前記顔検出手段により検出された複数の顔領域のうち、主被写体の顔領域を決定する決定手段を更に有し、
    前記合成手段は、前記主被写体の顔領域の第2のホワイトバランス補正値の使用率を、他の顔領域よりも高くすることを特徴とする請求項2に記載の画像処理装置。
  6. 前記合成手段は、前記主被写体以外の顔領域の第2のホワイトバランス補正値を使用しないことを特徴とする請求項5に記載の画像処理装置。
  7. 前記合成手段は、前記各顔領域の画像信号を前記第1のホワイトバランス補正値で補正して得られた平均色評価値が、予め設定された色評価値から離れるに従って、前記顔領域の第2のホワイトバランス補正値の使用率を下げることを特徴とする請求項2に記載の画像処理装置。
  8. 前記顔検出手段により検出された複数の顔領域のうち、主被写体の顔領域を決定する決定手段を更に有し、
    前記合成手段は、撮影時にフラッシュが発光されている場合に、前記主被写体の顔領域の第2のホワイトバランス補正値の使用率を、他の顔領域よりも高くすることを特徴とする請求項2に記載の画像処理装置。
  9. 前記顔検出手段により検出された複数の顔領域のうち、主被写体の顔領域を決定する決定手段を更に有し、
    前記判断手段が前記主被写体の顔領域の第2のホワイトバランス補正値を算出すると判断した場合に、前記第2の算出手段は、前記主被写体の顔領域の第2のホワイトバランス補正値を算出し、前記合成手段は、当該第2のホワイトバランス補正値と前記第1のホワイトバランス補正値とを合成することを特徴とする請求項3または4に記載の画像処理装置。
  10. 前記第2の算出手段は、更に、前記主被写体の顔領域の信頼度がそれ以外の顔領域の信頼度よりも予め設定されたレベル以上高い場合に、前記主被写体の顔領域の第2のホワイトバランス補正値を算出し、前記合成手段は、当該第2のホワイトバランス補正値と前記第1のホワイトバランス補正値とを合成することを特徴とする請求項9に記載の画像処理装置。
  11. 前記信頼度は、画像全体において、各顔領域が占める割合であることを特徴とする請求項1乃至10のいずれか1項に記載の画像処理装置。
  12. 請求項1乃至11のいずれか1項に記載の画像処理装置を有することを特徴とする撮像装置。
  13. 被写体を撮像して得られた画像信号を処理する画像処理方法であって、
    前記画像信号の内、白色と判定された画像信号に基づいて、ホワイトバランス補正に用いる第1のホワイトバランス補正値を算出する第1の算出ステップと、
    前記画像信号から顔領域を検出する顔検出ステップと、
    前記顔検出ステップで複数の顔領域が検出された場合に、該検出された各顔領域毎に、前記第1のホワイトバランス補正値によりホワイトバランス補正した後に前記各顔領域に含まれる画像信号の平均色評価値を予め設定された色評価値にする第2のホワイトバランス補正値を算出する第2の算出ステップと、
    前記各顔領域毎に算出された前記第2のホワイトバランス補正値を、前記各顔領域の信頼度に応じて合成し、当該合成した第2のホワイトバランス補正値を前記第1のホワイトバランス補正値と更に合成する合成ステップと、
    前記合成ステップで合成されたホワイトバランス補正値を用いて前記画像信号にホワイトバランス補正を行うホワイトバランス補正ステップと
    を有することを特徴とする画像処理方法。
  14. 前記合成ステップでは、前記信頼度に応じて、前記各顔領域の第2のホワイトバランス補正値の使用率を決定し、前記第2のホワイトバランス補正値を加重平均することを特徴とする請求項13に記載の画像処理方法。
  15. 前記顔検出ステップで検出された各顔領域について、前記第2のホワイトバランス補正値を算出するかどうかを、予め設定された条件に基づいて判断する判断ステップを更に有し、
    前記第2の算出ステップでは、前記判断ステップで算出すると判断された顔領域について、前記第2のホワイトバランス補正値を算出することを特徴とする請求項13または14に記載の画像処理方法。
  16. 前記予め設定された条件は、前記顔領域の信頼度が予め設定されたレベルよりも低い場合、前記顔領域の輝度が予め設定された輝度範囲よりも高いまたは低い場合、前記顔領域の画像信号を前記第1のホワイトバランス補正値で補正した結果、補正した画像信号の色相角が予め設定された色相角の範囲内にあった場合の少なくともいずれかを含み、前記判断ステップでは、いずれかの条件が満たされた場合に、前記顔領域の第2のホワイトバランス補正値を算出しないと判断することを特徴とする請求項15に記載の画像処理方法。
  17. 前記顔検出ステップで検出された複数の顔領域のうち、主被写体の顔領域を決定する決定ステップを更に有し、
    前記合成ステップでは、前記主被写体の顔領域の第2のホワイトバランス補正値の使用率を、他の顔領域よりも高くすることを特徴とする請求項14に記載の画像処理方法。
  18. 前記合成ステップでは、前記主被写体以外の顔領域の第2のホワイトバランス補正値を使用しないことを特徴とする請求項17に記載の画像処理方法。
  19. 前記合成ステップでは、前記各顔領域の画像信号を前記第1のホワイトバランス補正値で補正して得られた平均色評価値が、予め設定された色評価値から離れるに従って、前記顔領域の第2のホワイトバランス補正値の使用率を下げることを特徴とする請求項14に記載の画像処理方法。
  20. 前記顔検出ステップで検出された複数の顔領域のうち、主被写体の顔領域を決定する決定ステップを更に有し、
    前記合成ステップでは、撮影時にフラッシュが発光されている場合に、前記主被写体の顔領域の第2のホワイトバランス補正値の使用率を、他の顔領域よりも高くすることを特徴とする請求項14に記載の画像処理方法。
  21. 前記顔検出ステップで検出された複数の顔領域のうち、主被写体の顔領域を決定する決定ステップを更に有し、
    前記判断ステップで前記主被写体の顔領域の第2のホワイトバランス補正値を算出すると判断した場合に、前記第2の算出ステップでは、前記主被写体の顔領域の第2のホワイトバランス補正値を算出し、前記合成ステップは、当該第2のホワイトバランス補正値と前記第1のホワイトバランス補正値とを合成することを特徴とする請求項15または16に記載の画像処理方法。
  22. 前記第2の算出ステップでは、更に、前記主被写体の顔領域の信頼度がそれ以外の顔領域の信頼度よりも予め設定されたレベル以上高い場合に、前記主被写体の顔領域の第2のホワイトバランス補正値を算出し、前記合成ステップでは、当該第2のホワイトバランス補正値と前記第1のホワイトバランス補正値とを合成することを特徴とする請求項21に記載の画像処理方法。
  23. 前記信頼度は、画像全体において、各顔領域が占める割合であることを特徴とする請求項13乃至22のいずれか1項に記載の画像処理方法。
  24. コンピュータに、請求項13乃至23のいずれか1項に記載の画像処理方法の各工程を実行させるためのプログラム。
  25. 請求項24に記載のプログラムを格納したことを特徴とするコンピュータが読み取り可能な記憶媒体。
JP2006356088A 2006-12-28 2006-12-28 画像処理装置及び方法、及び撮像装置 Expired - Fee Related JP4971785B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006356088A JP4971785B2 (ja) 2006-12-28 2006-12-28 画像処理装置及び方法、及び撮像装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006356088A JP4971785B2 (ja) 2006-12-28 2006-12-28 画像処理装置及び方法、及び撮像装置

Publications (3)

Publication Number Publication Date
JP2008167280A true JP2008167280A (ja) 2008-07-17
JP2008167280A5 JP2008167280A5 (ja) 2010-02-12
JP4971785B2 JP4971785B2 (ja) 2012-07-11

Family

ID=39696087

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006356088A Expired - Fee Related JP4971785B2 (ja) 2006-12-28 2006-12-28 画像処理装置及び方法、及び撮像装置

Country Status (1)

Country Link
JP (1) JP4971785B2 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010041622A (ja) * 2008-08-07 2010-02-18 Canon Inc ホワイトバランス制御装置およびそれを用いた撮像装置並びにホワイトバランス制御方法
JP2010050651A (ja) * 2008-08-20 2010-03-04 Canon Inc ホワイトバランス制御装置およびそれを用いた撮像装置並びにホワイトバランス制御方法
JP2012004665A (ja) * 2010-06-14 2012-01-05 Nikon Corp 画像制御装置、撮像装置、及び画像制御プログラム
JP2016146640A (ja) * 2016-02-29 2016-08-12 株式会社ニコン 領域抽出装置、撮像装置、及び領域抽出プログラム
JP2021136555A (ja) * 2020-02-26 2021-09-13 キヤノン株式会社 画像処理装置および画像処理方法
CN114598852A (zh) * 2022-03-07 2022-06-07 杭州国芯科技股份有限公司 摄像机人脸区域白平衡的优化方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001148863A (ja) * 1999-11-19 2001-05-29 Victor Co Of Japan Ltd ホワイトバランス調整方法及び調整装置
JP2002354498A (ja) * 2001-05-24 2002-12-06 Nikon Corp 電子カメラ
JP2004185555A (ja) * 2002-12-06 2004-07-02 Fuji Photo Film Co Ltd 顔領域抽出方法及び装置
JP2005027277A (ja) * 2003-04-21 2005-01-27 Hewlett-Packard Development Co Lp 画像のホワイトバランス調整方法
JP2006033158A (ja) * 2004-07-13 2006-02-02 Canon Inc 撮像装置
JP4217698B2 (ja) * 2005-06-20 2009-02-04 キヤノン株式会社 撮像装置及び画像処理方法
JP4726251B2 (ja) * 2008-09-18 2011-07-20 キヤノン株式会社 撮像装置及び画像処理方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001148863A (ja) * 1999-11-19 2001-05-29 Victor Co Of Japan Ltd ホワイトバランス調整方法及び調整装置
JP2002354498A (ja) * 2001-05-24 2002-12-06 Nikon Corp 電子カメラ
JP2004185555A (ja) * 2002-12-06 2004-07-02 Fuji Photo Film Co Ltd 顔領域抽出方法及び装置
JP2005027277A (ja) * 2003-04-21 2005-01-27 Hewlett-Packard Development Co Lp 画像のホワイトバランス調整方法
JP2006033158A (ja) * 2004-07-13 2006-02-02 Canon Inc 撮像装置
JP4217698B2 (ja) * 2005-06-20 2009-02-04 キヤノン株式会社 撮像装置及び画像処理方法
JP4726251B2 (ja) * 2008-09-18 2011-07-20 キヤノン株式会社 撮像装置及び画像処理方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010041622A (ja) * 2008-08-07 2010-02-18 Canon Inc ホワイトバランス制御装置およびそれを用いた撮像装置並びにホワイトバランス制御方法
JP2010050651A (ja) * 2008-08-20 2010-03-04 Canon Inc ホワイトバランス制御装置およびそれを用いた撮像装置並びにホワイトバランス制御方法
JP2012004665A (ja) * 2010-06-14 2012-01-05 Nikon Corp 画像制御装置、撮像装置、及び画像制御プログラム
JP2016146640A (ja) * 2016-02-29 2016-08-12 株式会社ニコン 領域抽出装置、撮像装置、及び領域抽出プログラム
JP2021136555A (ja) * 2020-02-26 2021-09-13 キヤノン株式会社 画像処理装置および画像処理方法
JP7492344B2 (ja) 2020-02-26 2024-05-29 キヤノン株式会社 画像処理装置および画像処理方法
CN114598852A (zh) * 2022-03-07 2022-06-07 杭州国芯科技股份有限公司 摄像机人脸区域白平衡的优化方法
CN114598852B (zh) * 2022-03-07 2023-06-09 杭州国芯科技股份有限公司 摄像机人脸区域白平衡的优化方法

Also Published As

Publication number Publication date
JP4971785B2 (ja) 2012-07-11

Similar Documents

Publication Publication Date Title
JP5064947B2 (ja) 画像処理装置及び方法、及び撮像装置
JP5113514B2 (ja) ホワイトバランス制御装置およびホワイトバランス制御方法
JP4217698B2 (ja) 撮像装置及び画像処理方法
JP5398156B2 (ja) ホワイトバランス制御装置およびその制御方法並びに撮像装置
JP5089405B2 (ja) 画像処理装置及び画像処理方法並びに撮像装置
US8743233B2 (en) Sensitivity-settable image capture apparatus
US9426437B2 (en) Image processor performing noise reduction processing, imaging apparatus equipped with the same, and image processing method for performing noise reduction processing
JP5665436B2 (ja) 画像処理装置、画像処理方法及びプログラム
KR101309008B1 (ko) 화상처리방법 및 화상처리장치
JP4971785B2 (ja) 画像処理装置及び方法、及び撮像装置
JP5225137B2 (ja) 撮像装置、画像処理方法及びプログラム
JP5215775B2 (ja) ホワイトバランス制御装置およびそれを用いた撮像装置並びにホワイトバランス制御方法
JP4726251B2 (ja) 撮像装置及び画像処理方法
JP2003199115A (ja) デジタル画像の品質を改善する改善方法
JP5744945B2 (ja) 画像処理装置及び方法、及び撮像装置
JP2007312099A (ja) 撮像装置
JP6570311B2 (ja) 画像処理装置及び画像処理方法
JP2009063674A (ja) 撮像装置及びフラッシュ制御方法
JP5106311B2 (ja) ホワイトバランス制御装置およびそれを用いた撮像装置並びにホワイトバランス制御方法
JP5677485B2 (ja) ホワイトバランス制御装置およびそれを用いた撮像装置並びにホワイトバランス制御方法
JP2015119436A (ja) 撮像装置
JP5237480B2 (ja) 画像処理装置及び方法、及び撮像装置
JP5367140B2 (ja) ホワイトバランス制御装置およびそれを用いた撮像装置並びにホワイトバランス制御方法
JP6616674B2 (ja) 画像処理装置および方法、および撮像装置
JP5147912B2 (ja) 画像処理方法、画像処理装置、プログラムおよび記録媒体

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091222

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20091222

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120322

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120402

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120406

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150413

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4971785

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150413

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees