JP2011044788A - 撮像装置およびホワイトバランス補正方法 - Google Patents

Abstract

【課題】ホワイトバランス補正を精度良く行える撮像装置の技術を提供する。
【解決手段】既知の色温度を有した発光が可能なフラッシュを備えた撮像装置では、まずフラッシュを発光させず第１撮影条件で被写体を撮影して撮像素子により被写体画像(第１画像)を取得してから、フラッシュを発光させ第２撮影条件で被写体を撮影して被写体画像(第２画像)を取得する(ＳＴ２〜３)。次に、第１画像および第２画像と第１撮影条件および第２撮影条件とに基づき第２画像におけるフラッシュ発光の影響度合いを求めた後、この影響度合いと、第１画像および第２画像に関する色情報と、上記既知の色温度とに基づき、被写体を照らす光源の色温度を推定する(ＳＴ４)。そして、この推定された光源の色温度に基づき第１画像に対してホワイトバランス補正(ＳＴ５)を行うことで、精度の良い補正が可能となる。
【選択図】図７

Description

本発明は、被写体に係る画像を取得する撮像手段を備えた撮像装置の技術に関する。

撮像素子を用いて被写体の画像を取得するデジタルカメラ(撮像装置)では、被写体を照らす照明(光源)の種類に応じて被写体画像の色が変化するため、被写体における実際の白色が被写体画像で白色として再現されるようにする補正、つまりホワイトバランス補正（ホワイトバランス制御）が可能な構成となっている。

例えば特許文献１に開示されるホワイトバランス補正技術においては、被写体輝度が所定のレベル以上の場合には屋外撮影シーンと判断することにより、屋外撮影では考慮する必要のない蛍光灯域等に対応したホワイトバランスゲインが除外されるようにゲイン制御範囲を制限して、適切なホワイトバランス補正を図るようにしている。

一方、特許文献２に開示されるホワイトバランス補正技術においては、フラッシュの発光・非発光による各撮影を行うとともに、これによって取得された各被写体画像を比較することで光源の種類を推定し、この光源の種類に応じた適切なホワイトバランス補正を行えるようになっている。

特開２０００−７８６０６号公報 特開２００７−１７３９３３号公報

しかしながら、上記特許文献１のホワイトバランス補正技術では、被写体輝度に基づき単に屋外撮影シーンか否かを判定するため、例えば蛍光灯によって明るく照明された屋内撮影シーンが屋外撮影シーンと誤判定されてしまう場合がある。このような場合でも、上述のようにホワイトバランスゲインの制御範囲が制限されるため、ホワイトバランス補正の精度が低下して例えば蛍光灯の黄色成分が被写体画像に残ってしまうこととなる。

また、上記特許文献２のホワイトバランス補正技術では、光源の種類を推定できるものの、光源の種類が同じでも色温度は異なることがあり、光源の種類ごとに画一的なホワイトバランス補正を行うだけでは高精度な補正を行えない。

本発明は、上記課題に鑑みてなされたものであり、ホワイトバランス補正を精度良く行える撮像装置の技術を提供することを目的とする。

本発明の１つの側面は、撮像装置であって、所定の色温度を有した発光が可能な発光手段の発光を制御する発光制御手段と、被写体に係る画像を取得する撮像手段と、前記発光手段を発光させず第１撮影条件で前記被写体を撮影し、前記撮像手段により第１画像を取得させる第１撮影制御手段と、前記発光手段を発光させ第２撮影条件で前記被写体を撮影し、前記撮像手段により第２画像を取得させる第２撮影制御手段と、前記被写体を照らす光源の色温度を推定する推定手段と、前記推定手段で推定された光源の色温度に基づき、前記第１画像に対してホワイトバランス補正を行う補正手段とを備えており、前記推定手段は、前記第１画像および前記第２画像と前記第１撮影条件および前記第２撮影条件とに基づき、前記第２画像における前記発光の影響度合いを求める手段と、前記第１画像および前記第２画像に関する色情報と、前記発光の影響度合いと、前記所定の色温度とに基づき、前記光源の色温度を推定する第１推定手段とを有する。

本発明によれば、所定の色温度を有した発光が可能な発光手段を発光させず第１撮影条件で被写体を撮影して撮像手段により第１画像を取得させるとともに、発光手段を発光させ第２撮影条件で被写体を撮影して撮像手段により第２画像を取得させてから、第１画像および第２画像と第１撮影条件および第２撮影条件とに基づき第２画像における発光の影響度合いを求め、この発光の影響度合いと第１画像および第２画像に関する色情報と所定の色温度とに基づき、被写体を照らす光源の色温度を推定する。この推定された光源の色温度に基づき第１画像に対してホワイトバランス補正を行うことにより、ホワイトバランス補正を精度良く行える。

本発明の実施形態に係る撮像装置の外観構成を示す図である。 撮像装置の外観構成を示す図である。 撮像装置の機能構成を説明するための図である。 全体制御部の機能構成を示す図である。 撮像装置の基本的な動作を示すフローチャートである。 画像の領域分割を示す図である。 光源の色温度の推定を説明するための図である。

＜実施形態＞
［撮像装置の要部構成］
図１および図２は、本発明の実施形態に係る撮像装置１の外観構成を示す図である。ここで、図１は、撮像装置１の正面外観図であり、図２は、撮像装置１の背面外観図である。この撮像装置１は、レンズ交換式一眼レフレックスタイプのデジタルカメラとして構成されている。

図１に示すように、撮像装置１は、カメラ本体部（カメラボディ）２を備えている。このカメラ本体部２に対して、交換式の撮影レンズユニット（交換レンズ）３が着脱可能である。

撮影レンズユニット３は、主として、鏡胴３６、ならびに鏡胴３６の内部に設けられるレンズ群３７（図３参照）及び絞り等によって構成される。撮影光学系として働くレンズ群３７には、その光軸方向に移動することによって焦点位置を変更するフォーカスレンズ等が含まれている。

カメラ本体部２は、撮影レンズユニット３が装着される円環状のマウント部Ｍｔを正面略中央に備え、撮影レンズユニット３を着脱するための着脱ボタン８９を円環状のマウント部Ｍｔ付近に備えている。

また、カメラ本体部２は、その正面左上部にモード設定ダイヤル８２を備え、その正面右上部に制御値設定ダイヤル８６を備えている。モード設定ダイヤル８２を操作することによって、カメラの各種モード（各種撮影モード（人物撮影モード、風景撮影モード、およびフルオート撮影モード等）、撮影した画像を再生する再生モード、および外部機器との間でデータ交信を行う通信モード等を含む）の設定動作（切替動作）を行うことが可能である。また、制御値設定ダイヤル８６を操作することによれば、各種撮影モードにおける制御値を設定することが可能である。

また、カメラ本体部２は、正面左端部に撮影者が把持するためのグリップ部１４を備えている。グリップ部１４の上面には露光開始を指示するためのレリーズボタン１１が設けられており、グリップ部１４の内部には電池収納室とカード収納室とが設けられている。電池収納室にはカメラの電源として、例えばニッケル水素充電池等の二次電池や、アルカリ乾電池等の一次電池などが収納され、カード収納室には撮影画像の画像データを記録するためのメモリカード９０(図３参照)が着脱可能に収納されるようになっている。

レリーズボタン１１は、半押し状態（Ｓ１状態）と全押し状態（Ｓ２状態）との２つの状態を検出可能な２段階押し込み式のボタン(２段階検出ボタン)として構成されている。レリーズボタン１１が半押しされＳ１状態になると、被写体に関する記録用静止画像（本撮影画像）を取得するための準備動作（例えば、ＡＦ制御動作およびＡＥ制御動作等）が行われる。また、レリーズボタン１１がさらに押し込まれてＳ２状態になると、当該本撮影画像の撮影動作（撮像素子５（後述）を用いて被写体像（被写体の光像）に関する露光動作を行い、その露光動作によって得られた画像信号に所定の画像処理を施す一連の動作）が行われる。

図２において、カメラ本体部２の背面略中央上部には、ファインダ窓（接眼窓）１０が設けられている。撮影者は、ファインダ窓１０を覗くことによって、撮影レンズユニット３から導かれた被写体の光像を視認して構図決定を行うことができる。

図２において、カメラ本体部２の背面の略中央には、背面モニタ１２が設けられている。背面モニタ１２は、例えばカラー液晶ディスプレイ（ＬＣＤ）として構成され、撮影条件等を設定するためのメニュー画面を表示したり、再生モードにおいてメモリカード９０に記録された撮影画像を再生表示したりすることができる。

背面モニタ１２の左上部にはメインスイッチ８１が設けられている。メインスイッチ８１は２点スライドスイッチからなり、接点を左方の「ＯＦＦ」位置に設定すると、電源がオフになり、接点の右方の「ＯＮ」位置に設定すると、電源がオンになる。

背面モニタ１２の右側には方向選択キー８４が設けられている。この方向選択キー８４は円形の操作ボタンを有し、この操作ボタンにおける上下左右の４方向の押圧操作と、右上、左上、右下及び左下の４方向の押圧操作とが、それぞれ検出されるようになっている。なお、方向選択キー８４は、上記８方向の押圧操作とは別に、中央部のプッシュボタンの押圧操作も検出されるようになっている。

背面モニタ１２の左側には、メニュー画面の設定、画像の削除などを行うための複数のボタンからなる設定ボタン群８３が設けられている。

次に、図３を参照しながら、撮像装置１の機能の概要について説明する。図３は、撮像装置１の機能構成を説明するための図で、縦断面のイメージを示している。この図３では、被写体光の光路を太線の破線で表し、電気信号の伝送経路を細線の破線で表している。

撮像装置１の撮影レンズユニット３は、被写界から入射する光(被写体光)を撮像素子５の撮像面に集光して結像させるためのレンズ群３７と、撮影レンズユニット３を通過する被写体光の光量を調整する絞り３８とを備えている。また、撮影レンズユニット３には、レンズ群３７のレンズ位置などの情報をカメラ本体部２の全体制御部１０１に送信するとともに、全体制御部１０１から絞り３８などに対する制御信号を受信するためのマイクロコンピュータからなる制御部(不図示)が設けられている。

撮像装置１のカメラ本体部２は、上述のレリーズボタン１１および背面モニタ１２を備えるともに、ミラー機構６、ＡＦセンサ２０、ペンタミラー２１、測光素子２３およびシャッタ４を備えている。また、カメラ本体部２は、撮像素子５、アナログフロントエンド５１、信号処理回路５０、フラッシュ４１および全体制御部１０１を有している。

ミラー機構６は、撮影レンズユニット３を通った被写体光を分割してファインダ窓１０、ＡＦセンサ２０および測光素子２３に送り、被写体の撮影時(本撮影時)にはレンズ群３７の光軸上から退避して撮像素子５に撮影レンズユニット３を通った被写体光を入射させる。

ＡＦセンサ２０は、ミラー機構６を介して入射する光から、位相差方式の焦点検出手法(位相差ＡＦ)によって被写体までの距離を測距する。このＡＦセンサ２０で取得される測距情報に基づき、全体制御部１０１はレンズ群３７に含まれるフォーカスレンズの移動量を算出する。

ペンタミラー２１は、複数のミラーを有し、ミラー機構６で反射されて焦点板２２に写る被写体光像の向きを調整しファインダ窓１０に送る部位である。

測光素子２３は、ペンタミラー２１で反射された被写体光を受光して被写体の輝度を検出するセンサである。

シャッタ４は、本撮影時に開放され、撮影レンズユニット３を通った被写体光を撮像素子５で受光させる。

撮像素子５は、例えばＣＣＤやＣＭＯＳセンサとして構成されており、受光した光を光電変換して電気信号に変換する。

アナログフロントエンド５１は、撮像素子５から出力された電気信号に対して相関二重サンプリングを施すとともに全体制御部１０１で設定されたゲインを乗算し、Ａ/Ｄ変換を行ってデジタル信号(デジタル画像信号)を出力する。

信号処理回路５０は、アナログフロントエンド５１から出力されたデジタル画像信号を受け取って、処理途中の中間データを保存させる揮発性メモリのＤＲＡＭ５６を用いてホワイトバランス補正などの画像処理を施し、最終的なデジタル画像信号をデータ圧縮して記録媒体としてのメモリカード９０に記録する。なお、信号処理回路５０のホワイトバランス補正については、後で詳述する。

フラッシュ４１は、被写体の照明量が不足している場合などに、全体制御部１０１の発光指示を受けて発光動作を行う。このフラッシュ４１では、予め把握されている既知の色温度を有した発光が可能であり、この色温度の情報、具体的には後述の色成分比Ｌｒ０、Ｌｂ０が例えば全体制御部１０１のＲＯＭに記憶される。

全体制御部１０１は、マイクロコンピュータとして構成されており、主にＣＰＵ、ＲＡＭおよびＲＯＭを備えている。

全体制御部１０１は、ＲＯＭ内に格納されるプログラムを読み出し、当該プログラムをＣＰＵで実行することによって、各種機能をソフトウェア的に実現する。例えば、全体制御部１０１は、ＡＦセンサ２０によって検出される被写体の合焦状態に応じて、レンズ群３７に含まれるフォーカスレンズの位置を制御する合焦制御動作(ＡＦ動作)を行う。また、全体制御部１０１は、測光素子２３によって取得される被写体の輝度情報に応じて設定される露光時間の間、シャッタ４を開放して撮像素子５の露光量を制御する。

そして、全体制御部１０１は、図４に示すように、ソフトウェア的に実現される発光制御部１０２、非発光撮影制御部１０３、発光撮影制御部１０４および色温度推定部１０５を有している。

発光制御部１０２は、フラッシュ４１の発光制御、具体的には発光の有無や発光時間、発光量の制御を行う部位である。

非発光撮影制御部(第１撮影制御手段)１０３は、フラッシュ４１を発光させず、撮影者によって手動で設定されたりＡＥ制御などによって自動で設定された露出条件(第１撮影条件)で被写体の撮影（以下では「非発光撮影」ともいう）を行い、撮像素子５により被写体画像(第１画像)を取得させる部位である。

発光撮影制御部(第２撮影制御手段)１０４は、フラッシュ４１を発光させ、撮影者によって手動で設定されたりＡＥ制御などによって自動で設定された露出条件(第２撮影条件)で被写体の撮影（以下では「発光撮影」ともいう）を行い、撮像素子５により被写体画像(第２画像)を取得させる部位である。

色温度推定部１０５は、被写体を照らす光源の色温度を推定する部位である。この光源の色温度推定については、後で詳述する。

レリーズボタン１１に対する撮影者の半押し(Ｓ１)操作が行われると、全体制御部１０１により、ＡＦセンサ２０で検出される測距情報に基づきレンズ群３７におけるフォーカスレンズの移動量が決定され、測光素子２３で検出される被写体の輝度(明るさ)に基づき、絞り３８の絞り量、シャッタ４の開放時間(露光時間)およびＩＳＯ感度が決定される。そして、レリーズボタン１１に対する撮影者の全押し(Ｓ２)操作が行われると、全体制御部１０１により、本撮影時の動作としてミラー機構６が撮影レンズユニット３の光軸上から退避されるとともにシャッタ４が開放されて、撮像素子５が露光される。この露光により撮像素子５で生成された画像信号(アナログ信号)は、アナログフロントエンド５１でデジタル画像信号にＡ／Ｄ変換され、このデジタル画像信号に対するガンマ補正などの画像処理が信号処理回路５０で施される。

［ホワイトバランス補正について］
撮像装置１では、フラッシュ４１の発光・非発光による２枚の撮影画像を本撮影時に撮像素子５で取得し、これらの撮影画像に基づき環境光(光源)の色温度を精度良く推定できるようになっている。この光源の色温度推定に関して、図５を参照しつつ詳しく説明する。

図５は、撮像装置１の基本的な動作を示すフローチャートである。この動作は、特に本撮影時における光源の色温度推定動作を示しており、全体制御部１０１によって実行される。

ステップＳＴ１では、撮影者によってレリーズボタン１１が全押し(Ｓ２)されたか否かを判定する。ここで、レリーズボタン１１が全押しされた場合には、ステップＳＴ２に進んで本撮影動作を開始し、全押しされていない場合には、ステップＳＴ１を継続する。

ステップＳＴ２では、非発光撮影制御部１０２によりフラッシュ４１の発光を伴わない通常の撮影(非発光撮影)を行う。これにより、撮影素子５から被写体に関する画像信号(ＲＡＷ画像データ)が出力されるが、このＲＡＷ画像データに対しては、信号処理回路５０で画像処理を施さず、そのままのデータがＤＲＡＭ５６に一時的に保存される。

ステップＳＴ３では、発光撮影制御部１０３によりフラッシュ４１の発光を伴った撮影（発光撮影）を行う。ここでは、ＡＦセンサ２０で検出された被写体までの距離や絞り３８の開度状態などに基づき、フラッシュ４１の発光量が決定される。なお、適正露出で発光撮影を行う必要がないため、フラッシュ４１の最大発光量で制限される調光可能距離より遠い被写体を撮影することも可能である。

このステップＳＴ３の発光撮影では、フラッシュ４１の発光によって画像信号が飽和しないように、ステップＳＴ２の非発光撮影より短いシャッタースピードや非発光撮影より低いＩＳＯ感度を設定するのが好ましい。また、フラッシュ４１による発光を目立たせないように、フラッシュ４１の発光量を意図的に低めに制御（設定）するのが望ましい。

ステップＳＴ３の発光撮影により撮像素子５で生成された画像信号(ＲＡＷ画像データ)は、上記ステップＳＴ２の非発光撮影時と同様にＤＲＡＭ５６に一時保存される。ここで、撮像素子５で生成された画像には、フラッシュ４１から照射された光（以下では「補助光」ともいう）と、太陽光や蛍光灯などの光源からの光(以下では「定常光」ともいう)とにより照明された被写体が再現されることとなる。

ステップＳＴ４では、色温度推定部１０５により、ステップＳＴ２の非発光撮影およびステップＳＴ３の発光撮影により撮像素子５で取得された各撮影画像に基づき、光源の色温度を推定する。具体的な処理について、後で詳述する。

ステップＳＴ５では、ステップＳＴ４で推定された光源の色温度に基づき、ステップＳＴ２の非発光撮影で取得されＤＲＡＭ５６に保存されているＲＡＷ画像データ(第１画像)に対して、信号処理回路５０でホワイトバランス補正を行う。なお、信号処理回路５０では、このＲＡＷ画像データに対してホワイトバランス補正だけでなく、デモザイク処理や色再現性改善処理、アパーチャ補正、ガンマ補正、ＹＣｂＣｒ変換、ＪＰＥＧ圧縮処理などの画像処理が施され、メモリカード９０に記録されることとなる。

上記のステップＳＴ４の処理について、その手順を詳しく説明する。

まず、ステップＳＴ２〜ＳＴ３で取得された各撮影画像を同様に図６に示すように縦・横方向に領域分割して例えば１２００個(＝水平４０個×垂直３０個)のブロック(部分領域)Ｂｋを規定し、各ブロックＢｋに連番の識別番号ｉ(１≦ｉ≦１２００)を付与する。そして、ブロックＢｋ内の各画素データを平均化するブロック平均化処理や画素データの間引き処理などにより、各ブロックＢｋの代表値を求める。これにより、画像全体で必要な演算量の削減が図れることとなる。

次に、ステップＳＴ２で取得された画像(以下では「第１画像」ともいう)におけるｉ番目のブロックＢｋの輝度Ｙ１(ｉ)を、そのブロックＢｋのＲＧＢ値(の代表値)であるＲ１(ｉ)、Ｇ１(ｉ)、Ｂ１(ｉ)に基づき次の式(１)を用いて算出する。また、ステップＳＴ３で取得された画像(以下では「第２画像」ともいう)におけるｉ番目のブロックＢｋの輝度Ｙ２(ｉ)を、そのブロックＢｋのＲＧＢ値であるＲ２(ｉ)、Ｇ２(ｉ)、Ｂ２(ｉ)に基づき次の式(２)を用いて算出する。

Ｙ１(ｉ)＝ａＲ１(ｉ)＋ｂＧ１(ｉ)＋ｃＢ１(ｉ) ・・・・・・(１)：
Ｙ２(ｉ)＝ａＲ２(ｉ)＋ｂＧ２(ｉ)＋ｃＢ２(ｉ) ・・・・・・(２)：
上式(１)、(２)におけるａ、ｂ、ｃは、輝度値を算出するための係数であり、例えばａ＝ｂ＝ｃ＝１が設定される。

次に、補助光と定常光との混合(ＭＩＸ)光により照明された被写体が写る第２画像で、ｉ番目のブロックＢｋにおける補助光のＭＩＸ比(寄与率)α(ｉ)を、次の式(３)により求める。

α(ｉ)＝（Ｙ２(ｉ)−ｋＹ１(ｉ))／Ｙ２(ｉ) ・・・・・・・・(３)：
上式(３)におけるｋは、非発光撮影と発光撮影とに関する撮影条件の差、具体的には第１画像と第２画像とに関する露光量の差を補正する係数であり、絞りやシャッター速度、ＩＳＯ感度に基づき設定される。例えばシャッター速度のみを考えた場合には、非発光撮影に対して発光撮影のシャッター速度が半分の露光時間に設定されていれば、ｋ＝０.５が設定されることとなる。

このように第１画像および第２画像と、それらの取得時の各撮影条件(第１・第２撮影条件)とに基づき、第２画像における補助光(フラッシュ発光)のＭＩＸ比(影響度合い)を求めることにより、以下で説明する光源の色温度推定が適切に行えるようになる。

次に、第１画像および第２画像の各ブロックＢｋにおいてＲＧＢ色成分の構成比（以下では「色成分比」ともいう）を対数変換(ログ変換)した値Ｌｒ、Ｌｂを、次の式(３)、(４)を用いて算出する。

Ｌｒ＝log(Ｇ/Ｒ) ・・・・・・・・・(４)：
Ｌｂ＝log(Ｇ/Ｂ) ・・・・・・・・・(５)：
上式(４)、(５)を用い第１画像および第２画像の各ブロックＢｋで算出された色成分比Ｌｒ、Ｌｂを２次元座標にプロットすると、図７に示すグラフが作成される。そして、図７のように、第１画像の各ブロックＢｋで得られる色成分比Ｌｒ、Ｌｂの分布(色分布)は破線の楕円Ｑ１内に収まり、第２画像の各ブロックＢｋで得られる色成分比Ｌｒ、Ｌｂの分布は、楕円Ｑ１と略相似する破線の楕円Ｑ２内に収まることとなる。例えば第１画像における１〜３番目のブロックＢｋに関しての色成分比の座標点ｐ１１〜ｐ１３は、楕円Ｑ１内に存在し、第２画像における１〜３番目のブロックＢｋに関しての色成分比の座標点ｐ２１〜ｐ２３は、楕円Ｑ２内に存在している。

このような第１画像および第２画像の色分布の関係を利用することで、本実施形態では、定常光がなく補助光だけで照明された被写体を撮影する場合の色成分比を推定する。具体的には、第１画像におけるｉ番目のブロックＢｋに関しての色成分比をＬｒ１(ｉ)、Ｌｂ１(ｉ)、第２画像におけるｉ番目のブロックＢｋに関しての色成分比をＬｒ２(ｉ)、Ｌｂ２(ｉ)とし、上記の式(３)で得られたＭＩＸ比α(ｉ)に基づき次の式(６)、(７)のような外挿計算を行って、補助光のみ（補助光１００％）で被写体が照明される場合の色成分比Ｌｒ３(ｉ)、Ｌｂ３(ｉ)を求める。

Ｌｒ３(ｉ)＝Ｌｒ１(ｉ)＋(Ｌｒ２(ｉ)−Ｌｒ１(ｉ))／α(ｉ) ・・・・・(６)：
Ｌｂ３(ｉ)＝Ｌｂ１(ｉ)＋(Ｌｂ２(ｉ)−Ｌｂ１(ｉ))／α(ｉ) ・・・・・(７)：
上式(６)、(７)で得られた補助光１００％での各ブロックＢｋの色成分比Ｌｒ３(ｉ)、Ｌｂ３(ｉ)を図７にプロットすると、その色分布は楕円Ｑ１や楕円Ｑ２と略相似する破線の楕円Ｑ３内に収まることとなる。

ここで、フラッシュ４１に係る補助光の色温度(その色成分比Ｌｒ０、Ｌｂ０)は既知であるため、次の式(８)、(９)で求められる上記Ｌｒ３(ｉ)、Ｌｂ３(ｉ)とのオフセット分ΔＬｒ(ｉ)、ΔＬｂ(ｉ)が、各ブロックＢｋにおける被写体自体の色(色成分比)となる。

ΔＬｒ(ｉ)＝Ｌｒ３(ｉ)−Ｌｒ０ ・・・・・・・・・・・・・・・(８)：
ΔＬｂ(ｉ)＝Ｌｂ３(ｉ)−Ｌｂ０ ・・・・・・・・・・・・・・・(９)：
このことを図７を用いて概念的に説明すると、補助光の既知の色温度を示す座標点ｐ３０から、第１・第２画像における１番目のブロックＢｋに関しての色成分比を示す各座標点ｐ１１、ｐ２１の位置関係に基づき外挿演算によって得られた補助光１００％の座標点ｐ３１までのベクトルＶ１が、１番目のブロックＢｋに写る被写体自身の色を表している。同様に、補助光の色温度を示す座標点ｐ３０から、第１・第２画像における２番目のブロックＢｋに関しての色成分比を示す各座標点ｐ１２、ｐ２２の位置関係に基づき外挿演算によって得られた補助光１００％の座標点ｐ３２までのベクトルＶ２が、２番目のブロックＢｋに写る被写体自身の色を表すこととなる。

そして、次の式(１０)、(１１)のように、上記の式(８)、(９)で得られた各ブロックＢｋのΔＬｒ(ｉ)、ΔＬｂ(ｉ)を第１画像の色分布に適用し、各ブロックＢｋの平均化処理を行うことで、精度良く定常光(光源)の色温度に関する色成分比ＬｒＸ、ＬｂＸが求められることとなる。

ＬｒＸ＝Average(Ｌｒ１(ｉ)−ΔＬｒ(ｉ)) ・・・・・・・・・・(１０)：
ＬｂＸ＝Average(Ｌｂ１(ｉ)−ΔＬｂ(ｉ)) ・・・・・・・・・・(１１)：
なお、上式(１０)、(１１)における関数Average()は、例えばｉに１〜１２００の各値を代入して得られる引数の平均値を求める演算を示している。

このことを図７を用いて概念的に説明すると、座標点ｐ３１を終点とするベクトルＶ１を平行移動し、その終点を第１画像に係る座標点ｐ１１に合致させた場合のベクトルＶ１０の起点となる座標値ｐ１０が光源の色温度を表すこととなる。同様に、座標点ｐ３２を終点とするベクトルＶ２を平行移動し、その終点を第１画像に係る座標点ｐ１２に合致させた場合のベクトルＶ２０の起点となる座標値ｐ１０が光源の色温度を表す。ここで、ベクトルＶ１、Ｖ２は誤差を含んでいるため、これらを上式(１０)、(１１)のように平均化処理することにより、光源の色温度を推定する精度を向上させるのが好ましい。

ただし、上述したＭＩＸ比α(ｉ)が予め定められた閾値(例えば１０％)以下となるブロックＢｋについては、そのブロックＢｋ内の被写体に補助光が届いていない可能性が高く光源の色温度を推定する精度の低下を招くため、上記の平均化処理から除外するのが好ましい。例えば図７のように、第１・第２画像における３番目のブロックＢｋに関しての色成分比の座標点ｐ１３、ｐ２３は、接近しており、そのＭＩＸ比α(３)が小さくなるため、この３番目のブロックＢｋを上記の平均化処理から除外するようにする。このように１２００個の全てのブロックＢｋのうち、ＭＩＸ比(フラッシュ発光の影響度合い)αが所定の閾値より小さいブロック(部分領域)Ｂｋを除外した各ブロックＢｋにおけるＭＩＸ比αに基づいて光源の色温度を推定すれば、信頼性の高い光源の色温度推定が可能となる。

以上のような撮像装置１の動作により、第１画像および第２画像に関する色成分比（色情報）Ｌｒ１(ｉ)、Ｌｂ１(ｉ)、Ｌｒ２(ｉ)、Ｌｂ２(ｉ)と、ＭＩＸ比（フラッシュ発光の影響度合い）α(ｉ)と、補助光の既知の色温度に関する色成分比Ｌｒ０、Ｌｂ０とに基づき、被写体自身の色情報に相当する上記のオフセット分ΔＬｒ(ｉ)、ΔＬｂ(ｉ)が取得され、このオフセット分と補助光の色温度(色成分比Ｌｒ０、Ｌｂ０)とに基づき環境光(光源)の色温度が推定される。これにより、光源の色温度を適切に推定でき、この色温度に基づくホワイトバランス補正を行うことで、高精度な補正が可能となる。例えば中間輝度の屋外における単一色の撮影シーンで、その色が蛍光灯下での白色物色範囲に入る場合や、比較的明るい蛍光灯下で水色の被写体が撮影画面の大部分を占めるような撮影シーンなどで光源の色と被写体自身の色との識別が難しい撮影シーンでも、光源の色温度を精度良く推定して良好なホワイトバランス制御を行えることとなる。

また、撮像装置１においては、図５に示すフローチャートのように、フラッシュ発光を伴わない通常の撮影(画像記録用の撮影)をステップＳＴ３の発光撮影より先に実行するため、シャッターチャンスを逃がすのを防ぐことができる。

以上のように本実施形態の撮像装置１では、被写体の色と光源の色(温度)とを分離することにより光源の色温度推定を精度良く行って良好なホワイトバランス補正を実施できるが、その反面、本撮影時には２回の撮影動作が必要であり、その処理が煩雑化する。

したがって、例えば上記の特許文献１などに開示される従来技術を用い１回の撮影で適切なホワイトバランス補正を行える撮影シーンでは、従来技術によるホワイトバランス補正を適用し、従来技術ではカバーできない撮影シーンに対して本実施形態を適用するのが好ましい。具体的には、図５のフローチャートに示すステップＳＴ２の非発光撮影で得られた画像の輝度情報から、被写体が屋外にいるか屋内にいるかを明らかに判別できる場合には、従来技術によるホワイトバランス補正を行うこととし、ステップＳＴ３(図５)の発光撮影を省略するようにする。一方、屋外か屋内かの判別が難しい中間輝度の場合には、ステップＳＴ３(図５)の発光撮影を行って、本実施形態による光源の色温度推定を伴ったホワイトバランス補正を行うようにする。なお、この従来技術と本実施形態とによる各ホワイトバランス補正は、全体制御部１０１によって自動的に切替える構成とするのが好ましい。

このホワイトバランス補正の切替えについては、上述した中間輝度の場合だけなく、被写体に白色部分(白色領域)が少ない場合、例えばホワイトバランス制御で用いる白色物色範囲に入るブロックＢｋの数が予め定められた閾値以下となる場合や、被写体が単一色と判断される場合など、ステップＳＴ３(図５)の発光撮影による第２画像の取得を行わずステップＳＴ２(図５)の非発光撮影によって取得された第１画像の色情報に基づき光源の色温度を推定する従来技術の手法(第２推定手段)では精度低下が懸念される場合にのみ、本実施形態(第１推定手段)による光源の色温度推定を選択するようにしても良い。このように従来技術による色温度推定精度が低下する上記の被写体条件に該当する場合に、本実施形態による光源の色温度推定を行うようにすれば、従来技術と本実施形態との長所を活かしたホワイトバランス補正が可能になる。

また、ＡＦセンサ２０による測距の結果、被写体までの距離が予め定められた閾値より遠い場合には、フラッシュ４１による補助光が被写体に届かない可能性が高いため、この場合には、従来技術による光源の色温度推定を行うようにしても良い。このように被写体までの距離が所定の閾値より大きい場合には、本実施形態(第１推定手段)によらず従来技術の手法(第２推定手段)による光源の色温度推定を行うようにすれば、改善効果の得られない無用な発光撮影を回避できる。

＜変形例＞
上記の実施形態においては、上記の式(１０)、(１１)のような単純な平均化処理を行う代わりに、次の式(１２)〜(１５)に示すようなＭＩＸ比α(ｉ)を考慮した加重平均化の処理を行って、光源の色温度に係る色成分比ＬｒＸ、ＬｂＸを求めても良い。

AveLrX＝Average(Lr1(i)−ΔLr(i)) ・・・・・・・・・・・・・・・・・(１２)：
AveLbX＝Average(Lb1(i)−ΔLb(i)) ・・・・・・・・・・・・・・・・・(１３)：
LrX＝AveLrX＋Σ{α(i)((Lr1(i)−ΔLr(i))−AveLrX)}／Σα(i) ・・・・(１４)：
LbX＝AveLbX＋Σ{α(i)((Lb1(i)−ΔLb(i))−AveLbX)}／Σα(i) ・・・・(１５)：
以上のような加重平均を求める演算を行えば、一層精度良く光源の色温度推定を行える。すなわち、このように各ブロックＢｋで求められたＭＩＸ比(フラッシュ発光の影響度合い)αによる重み付け演算を行って光源の色温度を推定することにより、主要被写体と背景とが異なった光源で照明される場合でも、補助光が届きＭＩＸ比が大きくなる主要被写体の部分に重点を置いた光源の色温度推定を行うことができる。その結果、主要被写体の色再現において背景の影響を抑えた良好なホワイトバランス補正を行えることとなる。

上記の実施形態における補助光については、調光用のフラッシュ４１により発生させるのは必須でなく、電灯や蛍光灯、ＬＥＤなどの他の発光装置を用いて発生させても良い。この場合においても、その発光装置に関する色温度が既知で、本撮影時における２回の撮影で発光・非発光の切替えが可能なことが必要となる。

上記の実施形態においては、上記の式(１０)、(１１)のように複数のブロックＢｋに関するデータの平均値に基づき光源の色温度を推定するのは必須でなく、特定の１個のブロックＢｋに関するデータのみに基づき光源の色温度を推定するようにしても良い。

上記の実施形態においては、図７に示すベクトルＶ１、Ｖ２（上記の式(８)、(９)で算出される被写体自身の色を示すオフセット分ΔＬｒ(ｉ)、ΔＬｂ(ｉ)に対応）を用いて座標値ｐ１０に係る光源の色温度を推定するのは必須でなく、例えば図７に示す座標点ｐ１１から座標点ｐ３１までの差分ベクトルＶａを用いて光源の色温度を推定しても良い。具体的には、図７に示す座標点ｐ１１を起点とし座標点ｐ３１を終点とした差分ベクトルＶａを平行移動し、その終点を補助光の色温度に係る座標値ｐ３０に合致させた場合の差分ベクトルＶａの起点となる座標値ｐ１０を光源の色温度として推定しても良い。

上記の実施形態においては、上述した光源の色温度推定機能を、一眼レフタイプのデジタルカメラに搭載させるのは必須でなく、例えばフラッシュ(ストロボ)を備えたコンパクトタイプのデジタルカメラに搭載させるようにしても良い。

上記の実施形態におけるフラッシュについては、撮像装置１から分離できない内蔵型のものを採用するのは必須でなく、撮像装置１と着脱自在な外付けのフラッシュを採用しても良い。

本発明は詳細に説明されたが、以上の説明は、すべての局面において、例示であって、この発明がそれに限定されるものではない。例示されていない無数の変形例が、この発明の範囲から外れることなく想定され得るものと解される。

１ 撮像装置
２ カメラ本体部
３ 撮影レンズユニット（交換レンズ）
５ 撮像素子
６ ミラー機構
１０ ファインダ窓
２０ ＡＦセンサ
２３ 測光素子
３８ 絞り
４１ フラッシュ
５０ 信号処理回路
５１ アナログフロントエンド
５６ ＤＲＡＭ
１０１ 全体制御部
１０２ 発光制御部
１０３ 非発光撮影制御部
１０４ 発光撮影制御部
１０５ 色温度推定部
Ｂｋ ブロック

Claims (7)

1. 所定の色温度を有した発光が可能な発光手段の発光を制御する発光制御手段と、
   被写体に係る画像を取得する撮像手段と、
   前記発光手段を発光させず第１撮影条件で前記被写体を撮影し、前記撮像手段により第１画像を取得させる第１撮影制御手段と、
   前記発光手段を発光させ第２撮影条件で前記被写体を撮影し、前記撮像手段により第２画像を取得させる第２撮影制御手段と、
   前記被写体を照らす光源の色温度を推定する推定手段と、
   前記推定手段で推定された光源の色温度に基づき、前記第１画像に対してホワイトバランス補正を行う補正手段と、
   を備えており、
   前記推定手段は、
   前記第１画像および前記第２画像と前記第１撮影条件および前記第２撮影条件とに基づき、前記第２画像における前記発光の影響度合いを求める手段と、
   前記第１画像および前記第２画像に関する色情報と、前記発光の影響度合いと、前記所定の色温度とに基づき、前記光源の色温度を推定する第１推定手段と、
   を有する撮像装置。
2. 前記第１推定手段は、前記第１画像および前記第２画像に関する色情報と前記発光の影響度合いと前記所定の色温度とに基づき被写体自身の色情報を取得し、当該被写体自身の色情報と前記第１画像の色情報とに基づき前記光源の色温度を推定する請求項１記載の撮像装置。
3. 前記第１推定手段は、
   前記第１画像および前記第２画像それぞれを領域分割し、複数の部分領域を規定する規定手段と、
   前記複数の部分領域のうち前記発光の影響度合いが所定の閾値より小さい部分領域を除外した各部分領域における前記発光の影響度合いに基づき、前記光源の色温度を推定する手段と、
   を有する請求項１記載の撮像装置。
4. 前記推定手段は、
   前記第２撮影制御手段による前記第２画像の取得を行わず、前記第１撮影制御手段によって取得された前記第１画像の色情報に基づき、前記光源の色温度を推定する第２推定手段と、
   前記第２推定手段による色温度の推定精度が低下する所定の被写体条件に該当する場合には、前記第１推定手段による前記光源の色温度推定を行う手段と、
   を有する請求項１記載の撮像装置。
5. 前記被写体までの距離を測距する測距手段、
   をさらに備え、
   前記推定手段は、
   前記第２撮影制御手段による前記第２画像の取得を行わず、前記第１撮影制御手段によって取得された前記第１画像の色情報に基づき、前記光源の色温度を推定する第２推定手段と、
   前記被写体までの距離が所定の閾値より大きい場合には、前記第１推定手段によらず前記第２推定手段による前記光源の色温度推定を行う手段と、
   を有する請求項１記載の撮像装置。
6. 前記第１推定手段は、
   前記第１画像および前記第２画像それぞれを領域分割し、複数の部分領域を規定する規定手段と、
   前記複数の部分領域それぞれで求められた前記発光の影響度合いによる所定の重み付け演算を行って、前記光源の色温度を推定する手段と、
   を有する請求項１記載の撮像装置。
7. 所定の撮像手段により被写体に係る画像を取得する撮影工程と、
   所定の色温度を有した発光が可能な発光手段を発光させず第１撮影条件で前記被写体を撮影し、前記所定の撮像手段により第１画像を取得させる第１撮影制御工程と、
   前記発光手段を発光させ第２撮影条件で前記被写体を撮影し、前記所定の撮像手段により第２画像を取得させる第２撮影制御工程と、
   前記被写体を照らす光源の色温度を推定する推定工程と、
   前記推定工程で推定された光源の色温度に基づき、前記第１画像に対してホワイトバランス補正を行う補正工程と、
   を備えており、
   前記推定工程は、
   前記第１画像および前記第２画像と前記第１撮影条件および前記第２撮影条件とに基づき、前記第２画像における前記発光の影響度合いを求める工程と、
   前記第１画像および前記第２画像に関する色情報と、前記発光の影響度合いと、前記所定の色温度とに基づき、前記光源の色温度を推定する第１推定工程と、
   を有するホワイトバランス補正方法。

Images