JP2013207721A - 撮像装置、並びにそのホワイトバランス補正方法及びホワイトバランス補正プログラム - Google Patents

Abstract

【課題】２系統のカメラがある場合に、正確な光源の色を推定し、正確なホワイトバランス補正を行う。
【解決手段】撮影者を含まない被写体を撮影するメインカメラ２１と、メインカメラ２１によって撮影をするときに、撮影者を撮影するサブカメラ２２と、サブカメラ２２による撮影画像から撮影者をの顔を検出し、その色を抽出する顔検出部６３と、撮影者の顔の色と、光源の色温度を対応付けて記憶する基準顔色データを記憶するストレージと、基準顔色データを参照して、顔検出部６３で検出した撮影者の顔色から光源の色温度を推定する色温度推定部６４と、色温度推定部６４による推定色温度に基づいて、メインカメラ２１による撮影画像のホワイトバランスを補正するホワイトバランス補正処理部７３と、を備える。
【選択図】図４

Description

本発明は自動的にホワイトバランス補正を行う撮像装置、並びにそのホワイトバランス補正方法及びホワイトバランス補正プログラムに関する。

デジタルカメラやビデオカメラ等の撮像装置で撮影した画像に再現される色は、被写体自体の色と被写体を照明する光源の色が反映されるが、被写体を照明する光源の色温度は撮影場所や天候等によって異なる。このため、光源の色温度によっては、本来白い被写体でも赤味がかったり、青味がかったりするなど、着色されてしまうことがある。このため、撮影した画像において、本来白い被写体が白く再現されるように、通常はホワイトバランスが補正される。

ホワイトバランスの補正は、例えば、晴天や曇天、電球光、蛍光灯、フラッシュ光等、プリセットされた光源の色温度を選択して適正な色を再現する方法や、撮影した画像全体で画素値の平均が無彩色（グレー）になるように、赤色や青色成分をゲイン補正する方法が知られている。

近年では、後者の自動的にホワイトバランスを補正するＡＷＢ機能が搭載されている撮像装置も多い。さらに、携帯電話機やスマートフォン、ＰＤＡ、ノート型パソコン、携帯型ゲーム機等（以下、携帯電話機等）にもデジタルカメラが搭載されたものが多く普及しているが、携帯電話機等に搭載されるデジタルカメラにおいてもＡＷＢ機能が搭載されるようになってきている。

一方、前述のホワイトバランス補正方法では、撮影シーン等によっては適切なホワイトバランスに調節されないこともある。このため、例えば、撮影画像中の人物の顔を検出し、検出した顔の色に基づいて色温度を推定してホワイトバランスを補正することにより、少なくとも撮影機会の多い人物の撮影時に適切なホワイトバランスに自動調節されるようにする技術も知られている（特許文献１，２）。

ところで、携帯電話機等には、２系統のデジタルカメラが搭載される場合も多くなっている。例えば、表示画面の背面に携帯電話機等を使用するユーザ自身を含まない画像を撮影するためのメインカメラが設けられるとともに、表示画面と同じ側にユーザ自身を含む画像を撮影するためのサブカメラが設けられることがある。

このような２系統のデジタルカメラを搭載する携帯電話機等では、２つのデジタルカメラを連携して動作させるものが知られている。例えば、サブカメラを起動してホワイトバランス補正が行われた後に、メインカメラを起動する場合に、サブカメラで算出したホワイトバランス補正のための補正係数を、メインカメラでのホワイトバランス補正に流用することにより、後から起動したメインカメラでの撮影において、改めてホワイトバランスを補正するため演算を省略し、ホワイトバランスの調節に要する時間を短縮する技術が知られている（特許文献３）。

特開２０１１−１３９４８１号公報 特表２００５−５３１１８９号公報 特開２００７−３３６１２８号公報

特許文献１，２のように、撮影画像から人物の顔を検出し、単純に検出した顔色に基づいて光源の色温度を推定してホワイトバランスを補正する方法は、必ずしも正確ではない。被写体となる人物が異なればその肌の色も異なるので、撮影された被写体の人物が異なれば、たとえ光源の色が同じであっても、推定される色温度が異なってしまうからである。

また、特許文献３のように、携帯電話機等で２系統のデジタルカメラが搭載されており、これらを切り換える際に、先に起動していたデジタルカメラで算出したホワイトバランスの補正係数を後から起動したデジタルカメラでのホワイトバランス補正に流用すれば、ホワイトバランスの調節に要する時間は短縮できる。しかし、ホワイトバランスの調節方法は従来通りであるため、その精度も従来通りであり、適切なホワイトバランスに調節されるとは限らない。

本発明は、２系統のカメラがある場合に、正確な光源の色を推定し、ほぼ常に正確なホワイトバランス補正を行うことを目的とする。

本発明の撮像装置は、撮影者を含まない被写体を撮影する第１カメラと、前記第１カメラによって撮影をするときに、前記撮影者を撮影する第２カメラと、前記第２カメラによる撮影画像から前記撮影者を検出し、前記撮影者の色を抽出する撮影者検出手段と、前記撮影者の色と、光源の色温度を対応付けて記憶する基準色データを記憶する記憶手段と、前記基準色データを参照して、前記撮影者検出手段により検出された前記撮影者の色から光源の色温度を推定する色温度推定手段と、前記色温度推定手段により推定された推定色温度に基づいて、前記第１カメラによる撮影画像のホワイトバランスを補正するホワイトバランス補正手段と、を備えることを特徴とする。

前記撮影者検出手段は顔検出手段であり、前記第２カメラによる撮影画像から前記撮影者の顔を検出するとともに、前記撮影者の色として顔の色を抽出することが好ましい。

前記ホワイトバランス補正手段は、被写体が所定距離以下の場合に、前記第１カメラによる撮影画像のホワイトバランス補正を前記推定色温度に基づいて行うことが好ましい。

前記ホワイトバランス補正手段は、前記第１カメラによる撮影画像と、前記第２撮影装置による前記撮影者の撮影画像の平均輝度が同程度の場合に、前記第１カメラによる撮影画像のホワイトバランス補正を前記推定色温度に基づいて行うことが好ましい。

前記ホワイトバランス補正手段は、前記推定色温度が天候データから推定される光源の色温度と合致した場合に、前記第１カメラによる撮影画像のホワイトバランス補正を前記推定色温度に基づいて行うことが好ましい。

前記第２カメラは、前記第１カメラが撮影を実行した時、前記第１カメラが起動された時、前記第１カメラがＡＦ動作を行う時、または、場面が大きく変化した時に起動され、前記撮影者の撮影を行うことが好ましい。

前記第２カメラは、前記第１カメラの起動時に連動して起動された後、前記第１カメラの動作とは独立して所定時間毎に前記撮影者の撮影を行っても良い。

前記基準色データは、ホワイトバランス補正手段が前記推定色温度に基づいてホワイトバランス補正を行った時に、前記撮影者の色と前記推定色温度に基づいて更新されることが好ましい。

前記基準色データは、所定期間内に得られた前記撮影者の色及び前記推定色温度で構成されるように更新されることが好ましい。

前記推定色温度に基づいて前記第１撮影画像による撮影画像のシェーディング補正を行うシェーディング補正手段を備えることが好ましい。

本発明のホワイトバランス補正方法は、第１カメラにより撮影者を含まない被写体を撮影する第１撮影ステップと、前記第１撮影ステップで前記被写体の撮影と連動して、第２カメラにより前記撮影者を撮影する第２撮影ステップと、前記第２撮影ステップで得られた撮影画像から前記撮影者を検出し、前記撮影者の色を抽出する撮影者検出ステップと、前記撮影者の色と光源の色温度を対応付けて記憶する基準色データを参照して、前記撮影者検出ステップで抽出された前記撮影者の色から光源の色温度を推定する色温度推定ステップと、前記色温度推定ステップで推定した推定色温度に基づいて、前記第１撮影ステップで得た撮影画像のホワイトバランスを補正するホワイトバランス補正ステップと、を備えることを特徴とする。

本発明のホワイトバランス補正プログラムは、第１カメラによって撮影者を含まない被写体を撮影させ、前記第１カメラによる前記被写体の撮影と連動して、第２カメラに前記撮影者を撮影させ、撮影者検出手段によって前記第２カメラで得た撮影画像から前記撮影者を検出するとともに、前記撮影者の色を抽出し、色温度推定手段によって、予め前記撮影者の色と光源の色温度を対応付けて記憶する基準色データを参照して、前記撮影者検出手段で抽出された前記撮影者の色から光源の色温度を推定し、ホワイトバランス補正手段によって、前記色温度推定手段によって推定した推定色温度に基づいて、前記第１カメラによる撮影画像のホワイトバランスを補正させることを特徴とする。

本発明によれば、２系統のカメラがある場合に、一方で撮影した撮影者の顔色に基づいて光源の色温度を推定し、推定した色温度に基づいて、他方で撮影した画像のホワイトバランス補正を行うので、ほぼ常に正確なホワイトバランス補正を行うことができる。

スマートフォンの前面側の構成を示す斜視図である。 スマートフォンの背面側の構成を示す斜視図である。 スマートフォンの電気的構成を示すブロック図である。 画像処理部の構成を示すブロック図である。 メインカメラで撮影をする場合の作用を示すフローチャートである。 被写体距離に応じて顔色に応じたホワイトバランス補正をするか否かを判定する変形例のフローチャートである。 メインカメラとサブカメラで得た各画像の輝度を比較して顔色に応じたホワイトバランス補正をするか否かを判定する変形例フローチャートである。 天候データに基づいて推定色温度を検証する変形例のフローチャートである。 基準顔色データを更新する例を示すフローチャートである。 顔色に基づいてシェーディング補正もする場合のフローチャートである。

図１に示すように、スマートフォン１０は、平板状の筐体１１の前面に、タッチパネル１２、スピーカ１３、マイクロフォン１４等を備える。また、図１及び図２に示すように、筐体１１の側面には、例えば操作部１６（図３も参照）や外部接続端子（図３参照）等が設けられている。

タッチパネル１２は、操作メニューや画像、アプリケーションウィンドウ等を表示する表示画面と、ユーザの接触を検知して操作の入力指示を受ける操作部を兼ねた表示入力部である。タッチパネル１２が受ける操作の入力指示は、タッチパネル１２に表示されたボタン等のソフトウェアキーに対応するものであり、スマートフォン１０あるいはスマートフォン１０が実行するアプリケーションは、タッチパネル１２からの入力操作に基づいて動作する。タッチパネル１２は、例えば最後の入力から所定時間経過後等、使用されないときにはスリープ状態にされ、操作部１６の操作によりスリープ状態から復帰して、操作画面等を表示し、操作入力の受け付けるようになる。

後述するメインカメラ２１やサブカメラ２２の起動や設定、撮影実行等の操作は、タッチパネル１２に表示されるレリーズボタン等によって行われる。また、メインカメラ２１やサブカメラ２２が出力するスルー画像もタッチパネル１２に表示される。

スピーカ１３は、タッチパネル１２の上方に設けられ、通話時の音声や、スマートフォン１０が実行するアプリケーションが再生する音楽や音声等を出力する。マクロフォン１４は、タッチパネル１２の下方似設けられ、通話時の音声入力や、スマートフォン１０への操作指示の入力に使用される。

筐体１１の側面に設けられる操作部１６は、タッチパネル１２に依らない操作が必要な動作を制御するためのものであり、いわゆるハードウェアキーである。操作部１６としては、例えば、電源ボタン１６ａやボリュームコントローラ１６ｂ、スリープ状態にされたタッチパネル１２を復帰させたり、その他入力操作を行ったりするためのコントロールボタン（図示しない）等が設けられている。また、外部接続端子４９（図３参照）は、イヤホンや電源ケーブル、通信ケーブル等との各種接続端子である。

また、スマートフォン１０は、メインカメラ２１とサブカメラ２２の２台のデジタルカメラを搭載している。メインカメラ２１は筐体１１の背面側に設けられており（図２参照）、人物や風景等、主としてスマートフォン１０の使用者を含まない画像を撮影するためのカメラである。すなわち、メインカメラ２１は通常の単製品のデジタルカメラとほぼ同様の目的で使用されるデジタルカメラである。このため、後述するようにメインカメラ２１はオートフォーカスによるピント調節が可能なように構成されている。

一方、サブカメラ２２は筐体１１の前面側に設けられており（図１参照）、スマートフォン１０の使用者を含む画像を撮影するためのカメラである。サブカメラ２２の主要な撮影対象はスマートフォン１０を把持する使用者（あるいはその近傍の物等）にほぼ限られているので、サブカメラ２２は、ピントがスマートフォン１０の使用者（以下、撮影者という）近傍に固定された固定焦点カメラであり、メインカメラ２１のようなオートフォーカス機能は搭載されていない。なお、メインカメラ２１やサブカメラ２２は、音声とともに動画（画像）をリアルタイムに送受信するビデオ通話にも使用される。

図３に示すように、メインカメラ２１は、撮像レンズ３１、イメージセンサ３２、ＡＦ制御部３３等を備える。

撮像レンズ３１は、例えば３〜５枚程度の光学レンズを有し、その内の少なくとも１つはＡＦ用レンズ３１ａであり、ピント調節のために光軸Ｌ_１に沿って移動自在に設けられている。ＡＦ用レンズ３１ａの位置は、ＡＦ制御部３３によって制御される。

イメージセンサ３２は撮像レンズ３１の背後に配置され、撮像面に結像された被写体の像を撮像して画像データを出力する。イメージセンサ３２は、例えばＣＭＯＳ型撮像装置であるが、ＣＣＤ型撮像装置を用いても良い。イメージセンサ３２が出力する画像データは、画像処理部３８によってホワイトバランス補正処理等の各種画像処理を施され、タッチパネル１２にスルー画像として表示される。また、レリーズボタン（ソフトウェアキー）を押して撮影を実行することにより出力された画像データは、画像処理部で各種画像処理が施された後、例えばストレージ４３に保存される。なお、保存される画像５３は、いわゆるＥＸＩＦ形式（Exchangeable image file format）であり、被写体距離や撮影日時、ＧＰＳ（Global Positioning System）４６から得られる撮影場所の位置情報等の各種情報が付帯される。

ＡＦ制御部３３は、ＡＦ要レンズ３１ａによって自動的なピント調節（オートフォーカス制御）を行うためのピント調節手段であり、ＡＦ用レンズ３１ａの位置を制御する制御機構やピントが合っているか否かを評価する評価回路等（図示しない）を備える。例えば、ＡＦ制御部３３は、ＡＦ用レンズ３１ａを移動させつつ、イメージセンサ３２が出力する画像データを取得してＡＦ評価値を算出し、ＡＦ評価値が最適値になるようにＡＦ用レンズ３１ａを移動させることにより、合焦位置を探索する。ＡＦ評価値は例えば所定領域内のコントラストであり、この場合、コントラストが最大になる位置が合焦位置である。したがって、ＡＦ制御部３３は、イメージセンサ３２から得られる画像データについてＡＦ評価値を逐次算出し、ＡＦ評価値が大きくなる向きにＡＦ用レンズ３１ａを移動させ、最終的にＡＦ評価値が最大になる位置にＡＦ用レンズ３１ａを配置する。

サブカメラ２２は、撮像レンズ３６とイメージセンサ３７を備える。撮像レンズ３６は、例えば３〜５枚程度の光学レンズを有するが、固定焦点レンズであり、ピント調節のために光軸Ｌ_２に沿って移動可能なレンズは設けられていない。イメージセンサ３７は、メインカメラ２１のイメージセンサ３２と同様に、例えばＣＭＯＳ型撮像装置である。また、サブカメラ２２は単独で起動されて撮影に使用される場合の他に、メインカメラ２１が起動された時、あるいはメインカメラ２１で撮影を行った時等のメインカメラ２１による撮影に連動した所定タイミングで起動され、撮影者の顔を撮影する。メインカメラ２１の撮影に連動して起動された場合にサブカメラ２２で撮影した画像は光源の色温度の推定に用いられ、メインカメラ２１による撮影画像には、サブカメラ２２による撮影画像から推定された光源の色温度に基づいてホワイトバランス補正処理等が施される。

スマートフォン１０は、上述のメインカメラ２１及びサブカメラ２２の他に、ＣＰＵ４１、ストレージ４３、時計４５、ＧＰＳ４６、無線通信部４７、通話部４８、外部接続端子４９、バッテリ５１、被写体距離推定部５６等を備える。これらのカメラ２１，２２やＣＰＵ４１等の各部は、データバスやシステムバス等５２によって接続されている。

ＣＰＵ４１は、スマートフォン１０の動作を統括的に制御する制御装置であり、オペレーティングシステムやその他のアプリケーションにしたがって、スマートフォン１０の各部を動作させる。

ストレージ４３は、ＲＯＭやＲＡＭ、ソリッドステートドライブ（ＳＳＤ）、ハードディスクドライブ（ＨＤＤ）等の各種メモリや記憶装置、あるいはこれらの集合体であり、オペレーティングシステムやその他アプリケーション、及びこれらで用いられる各種データ等が記憶される記憶手段である。また、ストレージ４３には、メインカメラ２１やサブカメラ２２で撮影された複数の画像５３や、基準顔色データ５４等が記憶される。

基準顔色データ５４は、撮影者の顔の色と、光源の色温度とを対応付けるデータである。基準顔色データ５４は、例えば既知の色温度の光源の下、撮影者をサブカメラ２２で撮影することによって、予めストレージ４３に記憶される。基準顔色データ５４は、後述する色温度推定部６４で使用され、メインカメラ２１で撮影をするときの撮影者の顔色と照合することにより、撮影時の光源の色温度を推定するために使用される。なお、後述するように、基準顔色データ５４と照合される撮影者の顔色は、メインカメラ２１での撮影に連動してサブカメラ２２で撮影した画像中の撮影者の顔の色である。また、メインカメラ２１で撮影した画像のホワイトバランスは、基準顔色データ５４に基づいて推定された光源の色温度に基づいて補正される。

時計４５は、無線通信部４７や通話部４８によるデータ通信によって所定のタイミングでインターネット上のサーバに同期してほぼ常に正確な現在時刻を計測する。また、時計４５は、スマートフォン１０の各部から要求に応じて、現在時刻を出力する。例えば、被写体距離推定部５６は、メインカメラ２１による撮影時に時計４５から現在時刻を取得する。時計４５は、標準電波を受信して時刻合わせをしても良く、スマートフォン１０の使用者（撮影者）が初期設定をした時からの経過時間を現在時刻として計時しても良い。

ＧＰＳ４６は、複数のＧＰＳ衛星から送信されるＧＰＳ信号を受信して測位演算処理をすることにより、スマートフォン１０の位置情報を検出する位置情報検出手段である。位置情報は、緯度、経度、及び高度である。また、ＧＰＳ４６は、電話回線ネットワークや無線ＬＡＮスポットから得られる情報（基地局の位置等）を利用して、スマートフォン１０の位置情報を検出しても良い。ＧＰＳ４６は、スマートフォン１０の各部から要求に応じてスマートフォン１０の位置情報を検出し、要求した各部に検出した位置情報を出力する。例えば、被写体距離推定部５６は、メインカメラ２１による撮影時にＧＰＳ４６から位置情報を取得する。

無線通信部４７は、移動通信ネットワークや無線ＬＡＮネットワークに接続し、通話音声やデータの通信を無線で行う。図３では、無線通信部４７にアンテナ４７ａを１つだけ示すが、無線通信部４７には複数のアンテナが各々設けられており、移動通信ネットワークを介して通話をしつつ、無線ＬＡＮネットワークに接続してデータ通信を行うことも可能である。

通話部４８は、マイクロフォン１３やスピーカ１４から音声を入出力する。例えば、通話部４８は、マイクロフォン１３から入力される音声を、移動通信ネットワーク等を介して送信可能な音声データに変換して無線通信部４７を介して送信する。また、通信部４８は、無線通信部４７により移動通信ネットワーク等を介して受信した音声データを復号してスピーカ１４から出力する。

外部接続端子４９は、前述のようにイヤホンや電源ケーブル、通信ケーブル等との各種接続端子である。ここでは、外部接続端子４９を１つ例示しているが、例えば、イヤホンジャックと電源ケーブルコネクタは各々設けられている。イヤホンジャックにイヤホンを接続すれば、スピーカ１４から出力される音声等はイヤホンに出力される。また、スマートフォン１０に電源ケーブルを接続すると、スマートフォン１０の各部に電力を供給するバッテリ５１が充電される。なお、電源ケーブルコネクタと通信ケーブルコネクタのように共通化可能なものは１つで良い。

図４に示すように、画像処理部３８は、第１補正処理部６１、第２補正処理部６２、顔検出部６３、色温度推定部６４を備える。

第１補正処理部６１は、メインカメラ２１のイメージセンサ３２から出力されるＲＡＷ画像データ（以下、第１ＲＡＷデータという）に対して各種補正処理を施すものであり、例えば、シェーディング補正処理部７１、ノイズ抑制処理部７２、ホワイトバランス補正処理部７３、デモザイク処理部７４、リニアマトリックス処理部７５、Γ補正処理部７６、輪郭補正処理部７７等を備える。

シェーディング補正処理部７１は、画像全体で光量が均一になるように補正処理を行う。シェーディング補正処理部７１が行う補正処理には、輝度を均一にするいわゆる輝度シェーディングだけでなく、色毎の光量の不均一性を補正するいわゆる色シェーディングの補正処理も含まれる。また、ノイズ抑制処理部７２は、イメージセンサ３２からＲＡＷ画像データを読み出すときに重畳するノイズ等を抑制し、画像の粒状感を低減する補正処理を行う。

ホワイトバランス補正処理部７３は、上述のシェーディング補正やノイズ抑制処理が施された第１ＲＡＷデータに、ホワイトバランス補正処理を施す。ここで行うホワイトバランス補正処理は、色温度推定部６４によって推定された光源の色温度に基づいて算出する補正係数によって行われる。後述するように、色温度推定部６４が算出する光源の色温度は、メインカメラ２１の撮影に連動してサブカメラ２２で撮影された画像中に検出される顔（撮影者の顔）の色に基づいて算出される。したがって、ホワイトバランス補正処理部７３は、メインカメラ２１で撮影された第１ＲＡＷデータに、撮影者の顔色に基づいたホワイトバランス補正処理を施す。

なお、色温度推定部６４から光源の色温度の推定値を取得できない場合、ホワイトバランス補正処理部７３は、第１ＲＡＷデータの画素値に基づいて第１ＲＡＷデータにホワイトバランス補正処理を行う。この場合のホワイトバランス補正処理は、例えば、緑色（Ｇ）画素値を固定し、画像全体が無彩色になるように、赤色（Ｒ）画素値及び青色（Ｂ）画素値をゲイン補正することにより行われる。すなわち、上述の撮影者の顔色に基づいた本発明のホワイトバランス補正処理に対して、通常のホワイトバランス補正処理である。

デモザイク処理部７４は、イメージセンサ３２のカラーフィルタの配列に応じて欠落した色のデータを周辺画素の画素値から補間し、各画素がＲＧＢのデータを有するようにする処理を施す。これにより、第１ＲＡＷデータはいわゆる現像をされた画像（以下、第１画像という）になる。こうして各種補正処理を施された第１画像は、例えば画像５３の一つとしてストレージ４３に記録される。また、リニアマトリックス処理部７５、Γ補正処理部７６、輪郭補正処理部７７による各処理を経てタッチパネル１２に表示される。

第２補正処理部６２は、サブカメラ２２のイメージセンサ３３から出力されるＲＡＷ画像データ（以下、第２ＲＡＷデータという）に各種補正処理等を施すものであり、実体は第１補正処理部６１と同様である。したがって、第２補正処理部６２においても第２ＲＡＷデータに対してホワイトバランス補正処理を施すが、本実施形態では簡単のため、第２補正処理部６２で行うホワイトバランス補正処理は、後述する顔検出及び光源の色温度の推定値によらないものであるとする。また、サブカメラ２２がメインカメラ２１の撮影に連動して起動されて撮影された場合、第２補正処理部６２が出力する画像（以下、第２画像という）は、顔検出部６３に入力される。なお、メインカメラ２１とは独立してサブカメラ２２が起動され、サブカメラ２２により撮影された第２画像は、例えば画像５３の一つとしてストレージ４３に記憶される。また、リニアマトリックス処理やΓ補正処理、輪郭補正処理等を施されて、タッチパネル１２に表示される。

顔検出部６３では、第２補正処理部６２から入力される第２画像から人物の顔を検出する。前述のように、サブカメラ２２は撮影者を含む画像を撮影するので、顔検出部６３が検出する顔は撮影者の顔である。また、顔検出部６３は、入力された画像から撮影者の顔を検出した場合、検出した顔の色を抽出し、顔の色の情報（以下、顔色情報という）を色温度推定部６４に入力する。顔検出部６３が抽出する顔の色は、例えば、検出した顔の色の平均値であるが、検出した顔の所定部分（例えば額や頬の所定箇所等）の色を代表として抽出し、これを顔色情報としても良い。

色温度推定部６４は、上述のように顔検出部６３から顔色情報に基づいて、光源の色温度を推定する。具体的には、色温度推定部６４は、ストレージ４３に記憶された基準顔色データ５４を読み出し、基準顔色データ５４と、顔検出部６３から入力される顔色情報を照合する。基準顔色データ５４に顔色情報と同じ顔色が登録されている場合には、その顔色に対応付けられた色温度を光源の色温度と推定する。また、基準顔色データ５４に顔色情報と同じ顔色が登録されていない場合には、基準顔色データ５４に登録された顔色及び対応する色温度から、顔色情報に合致する色温度を補間等により算出し、これを光源の色温度として推定する。色温度推定部６４が推定した色温度（以下、推定色温度という）は、第１補正処理部６１のホワイトバランス補正処理部７３に入力される。前述のように、第１補正処理部６１のホワイトバランス補正処理部７３では、推定色温度に基づいて補正係数を算出し、これを用いて第１ＲＡＷデータのホワイトバランス補正処理が行われる。

なお、顔検出部６３で第２画像から撮影者の顔が検出されなかった場合、色温度推定部６４には顔不検出信号が入力される。そして、顔不検出信号が入力されると、色温度推定部６４は、第１補正処理部６１のホワイトバランス補正処理部７３に光源の色温度を推定しない旨の信号を入力する。第１補正処理部６１のホワイトバランス補正処理部７１では、第２画像から顔が検出されず、色温度推定部６４で光源の色温度が推定されなかった場合、前述のように第１ＲＡＷデータに基づいてホワイトバランスの補正を行う。

以下、上述のように構成されるスマートフォン１０のメインカメラ２１で撮影をする場合の作用を説明する。

図５に示すように、タッチパネル１２に表示されるメニューからメインカメラ２１を起動され、同様にタッチパネル１２に表示されるレリーズボタンがタッチされてメインカメラ２１に撮影指示が入力されると（ステップＳ１１）、メインカメラ２１ではＡＦ制御部３３によりＡＦ用レンズ３１ａが駆動され、自動的なピント調節が行われた後に撮影が実行される（ステップＳ１２）。これにより画像処理部３８はイメージセンサ３２から第１ＲＡＷデータを取得する（ステップＳ１３）

上述のメインカメラ２１による撮影に連動して、サブカメラ２２が起動され、サブカメラ２２によってスマートフォン１０を把持する使用者の顔が撮影される。これにより、画像処理部３８は、サブカメラ２２のイメージセンサ３７から第２ＲＡＷデータを取得する（ステップＳ１４）。こうして第２ＲＡＷデータを取得した画像処理部３８は、第２補正処理部６２により第２ＲＡＷデータに各種補正処理をして第２画像を生成した後、顔検出部６３によって第２画像に顔検出処理をし、撮影者の顔及びその色を検出する（ステップＳ１５）。

顔検出部６３によって撮影者の顔及びその色の検出が成功した場合（ステップＳ１６；Ｙｅｓ）、撮影者の顔色情報が色温度推定部６４に入力される。そして、色温度推定部６４は、入力された顔色情報と基準顔色データ５４とを照合し、あるいは基準顔色データ５４に登録されたデータを補間等することにより、入力された顔色情報に適合する光源の色温度を推定する（ステップＳ１７）。

一方、メインカメラ２１から得られた第１ＲＡＷデータに各種補正処理を施す第１補正処理部６１においては、第１ＲＡＷデータにシェーディング補正及びノイズ抑制処理を施した後、ホワイトバランス補正処理部７３によってホワイトバランス補正処理を施す。このとき、ホワイトバランス補正処理部７３では、先に色温度推定部６４で推定された推定色温度の入力を受け、入力された推定色温度に基づいて第１ＲＡＷデータにホワイトバランス補正処理を施す（ステップＳ１８）。

その後、ホワイトバランス補正処理が施された第１ＲＡＷデータは、デモザイク処理が施されて第１画像になり出力される（ステップＳ１９）。第１画像の出力形態にはストレージ４３への記憶、さらにリニアマトリックス処理、Γ補正処理、輪郭補正処理等を施した後のタッチパネル１２への表示がある。

なお、顔検出部６３において、サブカメラ２２の撮影画像である第２画像から撮影者の顔が検出されなかった場合（ステップＳ１６；Ｎｏ）、メインカメラ２１から得られた第１ＲＡＷデータに各種補正処理を施す第１補正処理部６１においては、第１ＲＡＷデータにシェーディング補正及びノイズ抑制処理を施した後、ホワイトバランス補正処理部７３によってホワイトバランス補正処理を施すが、ここで行うホワイトバランス補正処理は、第１ＲＡＷデータの画素値に基づくものである（ステップＳ２０）。このように第２画像から撮影者の顔が検出されず、第１ＲＡＷデータ自体に基づいたホワイトバランス補正処理をした場合も、デモザイク処理が施されて第１画像が生成され、出力されることは同様である（ステップＳ１９）。

上述のように、スマートフォン１０では、メインカメラ２１で撮影をするときに、連動してサブカメラ２２で撮影者の顔を撮影し、サブカメラ２２の撮影画像である第２画像から使用者の顔を検出する。そして、検出した使用者の顔色から光源の色温度を推定し、推定した色温度に基づいてメインカメラ２１の撮影画像のホワイトバランス補正をする。

通常は、スマートフォン１０は貸与されることはなく、スマートフォン１０の使用者は所有者にほぼ限られるので、メインカメラ２１での撮影時にサブカメラ２２で撮影される顔はスマートフォン１０の所有者の顔であり、いつでも同じ人物の顔である。したがって、上述のようにメインカメラ２１で撮影をするときに、サブカメラ２２でスマートフォン１０の使用者を撮影して、その顔色から光源の色温度を推定すると、ほぼ常に同じ人物の顔の色（肌の色）を基準として光源の色温度を推定することができる。このため、こうして推定した色温度に基づいて行われるホワイトバランス補正処理は、単に撮影画像全体の色バランス等に応じて行う通常のホワイトバランス補正処理よりも精度が良く、正確な色を再現することができる。

また、撮影した画像（上述の実施形態では第１ＲＡＷデータに対応）から人物の顔を検出し、その色に基づいてホワイトバランスの補正をする場合、撮影画像全体の色バランス等に応じて行う通常のホワイトバランス補正処理よりは精度良いこともあるが、撮影される人物は撮影毎に異なるのが通常であり、また、複数人が撮影されることも多い。このため、一定しない人物の顔色に基づいてホワイトバランスの補正をしたとしても、必ずしも正確なホワイトバランス補正が行えるとは限らない。この点、本発明のスマートフォン１０では、同じ人物（スマートフォン１０の使用者）の顔色に基づいて光源の色温度を推定してホワイトバランス補正を行うことができるので、ほぼ常に正確なホワイトバランス補正を行うことができる。

さらに、メインカメラ２１とサブカメラ２２を切り替えて使用するときに、先に算出した補正係数を流用してホワイトバランス補正を行うようにすれば、カメラ切り替え後のホワイトバランス補正のための補正係数の算出の時間を省くことができることがあるが、この場合は単に時間が短縮されるだけであって、先に算出した補正係数が単に画像全体の色バランス等に基づいて算出されたものであれば、ホワイトバランス補正の精度向上は見込めない。この態様とスマートフォン１０を比較すると、スマートフォン１０は、メインカメラ２１での撮影時に連動してサブカメラ２２を起動し、撮影者を撮影するものであり、２系統のカメラの切り替えを行うことを前提としたものではない。また、単にサブカメラ２２での撮影画像についてホワイトバランス補正を行うときの補正係数をメインカメラ２１での撮影画像のホワイトバランス補正に流用するのとは異なり、サブカメラ２２で撮影した画像から検出する顔が撮影者の顔にほぼ限られていることを利用して、その顔色から光源の色温度を推定することによってホワイトバランス補正の精度を向上させるものである。

また、２系統のカメラが搭載されている場合に、撮影画像から人物の顔を検出してその顔色に基づいてホワイトバランス補正を行うとともに、カメラの切り替え時に、先に起動されていたカメラでのホワイトバランス補正の補正係数を、カメラ切り替え後のホワイトバランス補正に流用する上述の２つの比較例を組み合わせ態様が考えられる。この場合、先にサブカメラ２２を起動して使用者の顔を撮影し、その顔色を検出してホワイトバランス補正を行ない、その後メインカメラ２１を起動して撮影を行う場合に限って、メインカメラ２１による撮影画像のホワイトバランスが正確に補正されることがある。

この態様とスマートフォン１０を比較する。上述の比較例ではホワイトバランス補正を正確に行おうとする場合、使用者は予めサブカメラ２２による自画像の撮影が強要されることになり、極めて煩わしく、また、当然にシャッターチャンスを逃しやすい。しかし、スマートフォン１０は、メインカメラ２１での撮影時に、自動的にサブカメラ２２を連動して起動し、撮影者の顔の撮影を行って、使用者の顔色に基づいたホワイトバランス補正を行うので、撮影者は単にメインカメラ２１で撮影したいものを撮影するだけで、得られる撮影画像のホワイトバランス補正はほぼ常に精度良く行われる。

なお、上述の実施形態では、メインカメラ２１での撮影に連動して常にサブカメラ２２を起動して、撮影者の顔を撮影し、その顔色に基づいてホワイトバランス補正をするが、図６に示すように、メインカメラ２１で撮影をして第１ＲＡＷデータを取得した後、その被写体距離が近距離であるか否かを判定し（ステップＳ２１）、被写体距離が近距離の場合に限って、サブカメラ２２を起動して撮影者の顔を撮影し、その顔色に基づいてホワイトバランス補正をするようにしても良い。

被写体距離は、例えばＥＸＩＦ型式で画像５３を保存する場合に第１ＲＡＷデータに付帯されるデータであり、第１ＲＡＷデータから、あるいはメインカメラ２１から取得可能である。被写体距離が近距離か否かの判定は、第１補正処理部６１に被写体距離判定部を設けておくことにより、被写体距離判定部で行うことができる。なお、例えば、被写体距離が２ｍ以下の場合に近距離と判定し、被写体距離が２ｍより遠いの場合に遠距離であると判定する。

このように、メインカメラ２１で撮影した被写体の距離に応じて、撮影者の顔色に応じたホワイトバランス補正を行うか否かを切り替えると、例えば、遠方の被写体を撮影した時に、この遠方の被写体が撮影者とは異なる光源で照明されている場合に撮影者の顔色に基づいて誤ったホワイトバランス補正が行われることを防止することができる。具体的には、屋内から屋外の人物を撮影する場合等がこのケースに該当する。この場合、例えば、撮影者は蛍光灯で照明され、被写体は昼間の自然光で照明されるが、撮影者の顔色から光源の色温度を推定すると、蛍光灯の色温度を推定してしまうので、被写体が遠い場合には、撮影者の顔色によらないホワイトバランス補正をするようにしておくことにより、こうした不具合を回避できる。

また、ここでは被写体が近距離か否かを判定する例を挙げたが、図７に示すように、メインカメラ２１から得た第１ＲＡＷデータとサブカメラ２２から得た第２ＲＡＷデータ（あるいは第２画像）の平均輝度が同程度か否かを判定しても同様に不具合を回避することができる（ステップＳ２２）。

但し、第１ＲＡＷデータと第２ＲＡＷデータの平均輝度を比較するためには、サブカメラ２２を起動してスマートフォン１０の使用者の顔を撮影し、第２ＲＡＷデータを得る必要がある。このため、第１ＲＡＷデータと第２ＲＡＷデータの平均輝度の比較は、例えば、第２ＲＡＷデータの取得（ステップＳ１４）後、顔検出処理（ステップＳ１５）の前に行う。そして、第１，第２ＲＡＷデータの平均輝度が同程度の場合には、被写体は撮影者と同じ光源に照明されているものと判定し、撮影者の顔色に基づいたホワイトバランス補正を行う（ステップＳ１７，Ｓ１８）。一方、第１，第２ＲＡＷデータの平均輝度が大きく異なる場合（例えば平均輝度が所定閾値以上に相違している場合）には、撮影者と被写体が各々異なる光源で照明されていると判定して、第１ＲＡＷデータの画素値に基づいて第１ＲＡＷデータのホワイトバランス補正を行う（ステップＳ２０）。このような平均輝度の比較は、例えば、第１補正処理部６１に平均輝度比較部を設けておき、そこで第１，第２ＲＡＷデータの平均輝度を算出及び比較することで行うことができる。

なお、ここで算出する平均輝度は画像全体の平均輝度でも良く、第１ＲＡＷデータにおいては、ピントの合った被写体の平均輝度、第２ＲＡＷデータにおいては撮影者の顔の平均輝度等、画像中の一部分の平均輝度を用いることもできる。

また、図８に示すように、撮影者の顔色に基づいて光源の色温度を推定した後（ステップＳ１７）、天候データを取得し（スタップＳ２３）、推定色温度と天候データから想定される色温度が合致しているか否かを判定し（ステップＳ２４）、その結果に基づいて、撮影者の顔色に基づいたホワイトバランス補正を行うか否かを切り替えても良い。なお、無線通信部４７を介してＷｅｂに接続すれば、ＧＰＳ４６から取得可能な位置情報に応じた天候データを取得可能である。このため、上述の動作を行うためには、例えば、天候データの取得し、取得した天候データから光源の色温度を推定し、これを色温度推定部６４による撮影者の顔色に基づく推定色温度と比較して、推定色温度が正確か否かを検証する色温度検証部を第１補正処理部６１に設けておけば良い。

なお、上述の被写体距離の判定、第１，第２ＲＡＷデータの平均輝度の比較、及び天候に基づく推定色温度の検証は、これらのうちいずれか、あるいは全てを組み合わせて行っても良い。

なお、上述の実施形態では、予め記憶された基準顔色データ５４と、サブカメラ２２で撮影して得た撮影者の顔色とを比較するが、基準顔色データ５４は適宜更新されることが好ましい。例えば、図９に示すように、メインカメラ２１の撮影画像である第１画像の出力後（ステップＳ１９）、この第１画像のホワイトバランス補正が撮影者の顔色に基づいて行われた場合には、使用した顔色情報及び推定色温度を対応付けて基準顔色データ５４に追加することにより、基準顔色データ５４を更新する（ステップＳ２５，Ｓ２６）。このように、基準顔色データ５４を更新すれば、次回の撮影時に抽出される顔色情報と基準顔色データ５４の登録データが合致する確率が高くなるので、かつ正確なホワイトバランス補正をより迅速に行うことができるようになる。

また、基準顔色データ５４を更新するときに、矛盾するデータがある場合、より新しいデータを残し、古いデータを削除することが好ましい。例えば、同じ色温度に対して２つの顔色が登録されていると、抽出した顔色情報から一義的に光源の色温度を推定することができなくなるので、より新しいデータをだけを残すように更新する。季節の変遷や生活環境の変化等に応じて、例えば日焼け具合が変化し、撮影者（スマートフォン１０の使用者）の肌の色が変わることがあるが、新しいデータのみを残すように更新してゆくことにより、こうした変化にも対応可能である。

同様の理由から、基準顔色データ５４に、顔色及び色温度に加え、データの登録日時を記憶しておき、基準顔色データ５４を更新するときに、現在日時から所定期間（例えば数ヶ月）以上前のデータを削除するようにしても良い。こうすれば、撮影者の肌の色の変化により対応したデータのみが残るので、ホワイトバランス補正の精度が向上する。

なお、上述の実施形態では、撮影者の顔色に基づいてホワイトバランス補正を行う例を説明したが、さらに、図１０に示すように、シェーディング補正も撮影者の顔色に基づいて行うようにしても良い（ステップＳ２７）。この場合、色温度推定部６４からシェーディング補正処理部７１にも推定色温度が入力されるようにしておき、シェーディング補正処理部７１では、推定色温度に基づいてシェーディング補正用の補正係数を算出するようにしておけば良い。

なお、上述の実施形態では、メインカメラ２１による撮影に連動してサブカメラ２２を起動し、撮影者を撮影するが、メインカメラ２１の撮影とサブカメラ２２による撮影者の顔の撮影は、必ずしもこの順でなくても良く、また、正確に同期されている必要もない。

例えば、サブカメラ２２起動及び撮影者の顔の撮影は、メインカメラ２１を起動した時に行なっても良いし、メインカメラ２１のＡＦ動作時、画像の平均輝度の変化は特徴点の変化等に基づいて場面が大きく変化したと判断される場合等に連動して行なっても良い。また、メインカメラ２１の起動に連動してサブカメラ２２を起動した後、所定時間毎（例えば２〜５秒間隔等、数秒毎）に、メインカメラ２１の撮影等の動作とは独立して撮影者の顔を撮影し、その顔色から光源の色温度を推定しても良い。

メインカメラ２１による撮影時、メインカメラ２１の起動時、メインカメラ２１のＡＦ動作時、あるいは場面が大きく変化した場合等に、サブカメラ２２起動し、撮影者の顔の撮影をすると、サブカメラ２２の起動時間を抑えられるので、消費電力を低減し、バッテリ５１の消費を抑えつつ好適なホワイトバランス補正を実現することができる。

また、サブカメラ２２の起動には多少の時間を要するので、メインカメラ２１の起動に連動してサブカメラ２２を起動した後、メインカメラ２１の撮影等の動作とは独立して所定時間毎に撮影者の顔を撮影する場合、サブカメラ２２の起動に要する時間を待たなくても良いので、メインカメラ２１で得た第１ＲＡＷデータの補正処理等をスムーズに行うことができる。また、サブカメラ２２で所定時間毎に撮影者の顔を撮影するときに、撮影間隔を数秒おき程度にすれば、常に撮影をし続ける場合よりは消費電力を抑えることができる。

なお、上述の実施形態では、スマートフォン１０を例に説明したが、メインカメラ２１とサブカメラ２２の２系統のカメラを有する機器において本発明は好適である。すなわち、スマートフォン１０以外の携帯電話機等や、デジタルカメラ等にも本発明を適用することができる。但し、上述の実施形態では、撮影者がスマートフォン１０の所有者にほぼ限られていることを前提としているが、通常のデジタルカメラ等では、家族等の複数人で使用者になるケースがある。このように、複数人が使用する場合には、使用者毎に基準顔色データ５４を用意しておき、設定等により使用者を選択することにより、正確なホワイトバランス補正を行うようにすれば良い。

なお、上述の実施形態では、撮影者の顔色に基づいてホワイトバランス補正を行うが、顔色（顔の肌の色）の代わりに、髪の色、白目や瞳の色、首の色等を検出し、これに基づいてホワイトバランス補正を行なっても良い。すなわち、サブカメラ２２で撮影した第２画像から検出するデータは、光源の色温度によって変化する撮影者（スマートフォン１０の使用者）に関する色であれば、任意である。この場合、上述の実施形態における顔検出部６３を、髪色検出部等にし、基準顔色データ５４を基準髪色データ等にすれば良い。

なお、上述の実施形態では、簡単のため、サブカメラ２２で取得される第２ＲＡＷデータにホワイトバランス補正を行うときには、撮影者の顔色に依らないホワイトバランス補正が行われることにしたが、当然、サブカメラ２２による撮影画像についても、撮影者の顔色に基づいたホワイトバランス補正を行うことが好ましい。この場合、例えば、第２ＲＡＷデータから撮影者の顔及びその色を検出するようにすれば、その他の処理は上述の実施形態と同様である。

なお、上述の実施形態では、ＡＦ機能がメインカメラ２１にのみ搭載されているが、サブカメラ２２にもＡＦ機能が搭載されていても良い。また、メインカメラ２１やサブカメラ２２には、さらに望遠機能等、周知の機能があっても良い。

なお、上述の実施形態で説明したように、スマートフォン１０及び同様の撮像装置の各部を動作させるプログラムも本発明に含まれるものである。

１０ スマートフォン
１２ タッチパネル
２１ メインカメラ
２２ サブカメラ
３１ａ ＡＦ用レンズ
５４ 基準顔色データ
６１ 第１補正処理部
６２ 第２補正処理部
６３ 顔検出部
６４ 色温度推定部
７１ シェーディング補正部
７３ ホワイトバランス補正処理部

Claims (12)

1. 撮影者を含まない被写体を撮影する第１カメラと、
   前記第１カメラによって撮影をするときに、前記撮影者を撮影する第２カメラと、
   前記第２カメラによる撮影画像から前記撮影者を検出し、前記撮影者の色を抽出する撮影者検出手段と、
   前記撮影者の色と、光源の色温度を対応付けて記憶する基準色データを記憶する記憶手段と、
   前記基準色データを参照して、前記撮影者検出手段により検出された前記撮影者の色から光源の色温度を推定する色温度推定手段と、
   前記色温度推定手段により推定された推定色温度に基づいて、前記第１カメラによる撮影画像のホワイトバランスを補正するホワイトバランス補正手段と、
   を備えることを特徴とする撮像装置。
2. 前記撮影者検出手段は顔検出手段であり、前記第２カメラによる撮影画像から前記撮影者の顔を検出するとともに、前記撮影者の色として顔の色を抽出することを特徴とする請求項１記載の撮像装置。
3. 前記ホワイトバランス補正手段は、被写体が所定距離以下の場合に、前記第１カメラによる撮影画像のホワイトバランス補正を前記推定色温度に基づいて行うことを特徴とする請求項１または２に記載の撮像装置。
4. 前記ホワイトバランス補正手段は、前記第１カメラによる撮影画像と、前記第２撮影装置による前記撮影者の撮影画像の平均輝度が同程度の場合に、前記第１カメラによる撮影画像のホワイトバランス補正を前記推定色温度に基づいて行うことを特徴とする請求項１〜３のいずれか１項に記載の撮像装置。
5. 前記ホワイトバランス補正手段は、前記推定色温度が天候データから推定される光源の色温度と合致した場合に、前記第１カメラによる撮影画像のホワイトバランス補正を前記推定色温度に基づいて行うことを特徴とする請求項１〜４のいずれか１項に記載の撮像装置。
6. 前記第２カメラは、前記第１カメラが撮影を実行した時、前記第１カメラが起動された時、前記第１カメラがＡＦ動作を行う時、または、場面が大きく変化した時に起動され、前記撮影者の撮影を行うことを特徴とする請求項１〜５のいずれか１項に記載の撮像装置。
7. 前記第２カメラは、前記第１カメラの起動時に連動して起動された後、前記第１カメラの動作とは独立して所定時間毎に前記撮影者の撮影を行うことを特徴とする請求項１〜５のいずれか１項に記載の撮像装置。
8. 前記基準色データは、ホワイトバランス補正手段が前記推定色温度に基づいてホワイトバランス補正を行った時に、前記撮影者の色と前記推定色温度に基づいて更新されることを特徴とする請求項１〜７のいずれか１項に記載の撮像装置。
9. 前記基準色データは、所定期間内に得られた前記撮影者の色及び前記推定色温度で構成されるように更新されることを特徴とする請求項８記載の撮像装置。
10. 前記推定色温度に基づいて前記第１撮影画像による撮影画像のシェーディング補正を行うシェーディング補正手段を備えることを特徴とする請求項１〜９のいずれか１項に記載の撮像装置。
11. 第１カメラにより撮影者を含まない被写体を撮影する第１撮影ステップと、
    前記第１撮影ステップで前記被写体の撮影と連動して、第２カメラにより前記撮影者を撮影する第２撮影ステップと、
    前記第２撮影ステップで得られた撮影画像から前記撮影者を検出し、前記撮影者の色を抽出する撮影者検出ステップと、
    前記撮影者の色と光源の色温度を対応付けて記憶する基準色データを参照して、前記撮影者検出ステップで抽出された前記撮影者の色から光源の色温度を推定する色温度推定ステップと、
    前記色温度推定ステップで推定した推定色温度に基づいて、前記第１撮影ステップで得た撮影画像のホワイトバランスを補正するホワイトバランス補正ステップと、
    を備えることを特徴とするホワイトバランス補正方法。
12. 第１カメラによって撮影者を含まない被写体を撮影させ、
    前記第１カメラによる前記被写体の撮影と連動して、第２カメラに前記撮影者を撮影させ、
    撮影者検出手段によって前記第２カメラで得た撮影画像から前記撮影者を検出するとともに、前記撮影者の色を抽出し、
    色温度推定手段によって、予め前記撮影者の色と光源の色温度を対応付けて記憶する基準色データを参照して、前記撮影者検出手段で抽出された前記撮影者の色から光源の色温度を推定し、
    ホワイトバランス補正手段によって、前記色温度推定手段によって推定した推定色温度に基づいて、前記第１カメラによる撮影画像のホワイトバランスを補正させること
    を特徴とするホワイトバランス補正プログラム。

Images