JP2013198119A - 画像処理装置、画像処理方法およびプログラム - Google Patents

Abstract

【課題】ホワイトバランス調整用の情報を利用者に容易に入力させること。
【解決手段】画像処理装置は、複数の光源および前記複数の光源のそれぞれの重みをユーザに指定させる光源情報指定部と、指定された複数の光源に対応するホワイトバランス指標値を前記重みに応じて重みづけして、重みづけした前記ホワイトバランス指標値に基づいて、ホワイトバランス調整値を決定する調整値決定部と、調整値決定部が決定したホワイトバランス調整値を用いて、画像にホワイトバランス調整を施すホワイトバランス調整部とを備える。
【選択図】図３

Description

本発明は、画像処理装置、画像処理方法およびプログラムに関する。

色度図上で利用者に色合いを選択させる技術が知られている（例えば、特許文献１参照）。
［先行技術文献］
［特許文献］
［特許文献１］特開２００９−１８３０１０号公報

利用者が色度図で色合いを入力することは容易ではない。特に、種類が異なる光源が存在する場合等、ホワイトバランス調整を適切に行うための情報を利用者に入力させることが容易ではない場合がある。

本発明の第１の態様においては、画像処理装置は、複数の光源および複数の光源のそれぞれの重みをユーザに指定させる光源情報指定部と、指定された複数の光源に対応するホワイトバランス指標値を重みに応じて重みづけして、重みづけしたホワイトバランス指標値に基づいて、ホワイトバランス調整値を決定する調整値決定部と、調整値決定部が決定したホワイトバランス調整値を用いて、画像にホワイトバランス調整を施すホワイトバランス調整部とを備える。

本発明の第２の態様においては、画像処理方法は、複数の光源および複数の光源のそれぞれの重みをユーザに指定させる光源情報指定段階と、指定された複数の光源に対応するホワイトバランス指標値を重みに応じて重みづけして、重みづけしたホワイトバランス指標値に基づいて、ホワイトバランス調整値を決定する調整値決定段階と、調整値決定段階で決定されたホワイトバランス調整値を用いて、画像にホワイトバランス調整を施すホワイトバランス調整段階とを備える。

本発明の第３の態様においては、プログラムは、コンピュータに、複数の光源および複数の光源のそれぞれの重みをユーザに指定させる光源情報指定ステップと、指定された複数の光源に対応するホワイトバランス指標値を重みに応じて重みづけして、重みづけしたホワイトバランス指標値に基づいて、ホワイトバランス調整値を決定する調整値決定ステップと、調整値決定ステップで決定されたホワイトバランス調整値を用いて、画像にホワイトバランス調整を施すホワイトバランス調整ステップとを実行させる。

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

撮像装置１００のシステム構成図の一例を示す。 ＡＳＩＣ１３５、カメラＭＰＵ１３３およびシステムメモリ１３９が有する機能ブロック構成の一例を示す。 ホワイトバランス設定情報を入力するための画面表示の一例を模式的に示す。 光源情報格納部２７０が格納している情報の一例をテーブル形式で示す。 色温度−ｄｕｖ空間における重みづけ色温度および重みづけｄｕｖ値を示す。 ホワイトバランス指標値が追従範囲外にある場合の一例を示す。 画像を撮像時の処理フローの一例を示す。 動画用のホワイトバランス設定情報を入力するための画面表示の一例を模式的に示す。 動画の各フレームに対する重みづけホワイトバランス指標値の一例を示す。 光源の変化情報の指定例を示す。 動画撮像時の処理フローの一例を示す。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１は、撮像装置１００のシステム構成図の一例を示す。撮像装置１００は、ユーザにホワイトバランス設定を入力させる負担を軽減しつつ、複雑な光源環境においても適切なホワイトバランス調整が施された画像を提供する。例えば、撮像装置１００は、複数の光源と、複数の光源のそれぞれの重みを画面上で指定させる。そして、撮像装置１００は、指定された光源に対応する色温度を、指定された重みで重み付けして、ホワイトバランスゲイン算出用の色温度を算出する。撮像装置１００は、算出した色温度に対応するホワイトバランスゲインを用いて、撮像した画像にホワイトバランス調節を施す。まず、撮像装置１００のシステム構成の概要を説明する。

撮像装置１００は、交換レンズ１２０およびカメラ本体１３０を備える。交換レンズ１２０は、レンズマウント接点１２１を有するレンズマウントを備え、カメラ本体１３０は、カメラマウント接点１３１を有するカメラマウントを備える。レンズマウントとカメラマウントとが係合して交換レンズ１２０とカメラ本体１３０とが一体化されると、レンズマウント接点１２１とカメラマウント接点１３１が接続される。撮像装置１００は、交換レンズ１２０とカメラ本体１３０とが一体化した状態で一眼レフカメラとして機能する。レンズＭＰＵ１２３は、レンズマウント接点１２１およびカメラマウント接点１３１を介してカメラＭＰＵ１３３と接続され、相互に通信しつつ協働して交換レンズ１２０とカメラ本体１３０を制御する。

被写体光は、光軸に沿って撮像光学系としてのレンズ群１２２を透過して、カメラ本体１３０に入射する。メインミラー１５０は、レンズ群１２２の光軸を中心とする被写体光束中に斜設される斜設状態と、被写体光束から退避する退避状態を取り得る。

メインミラー１５０が斜設状態にある場合、メインミラー１５０は、レンズ群１２２を通過した被写体光束の一部を反射する。メインミラー１５０により反射された被写体光束は光学ファインダ部１５６に導かれて、ユーザに観察される。ユーザは、光学ファインダ部１５６を通じて撮影の構図等を確認することができる。

斜設状態におけるメインミラー１５０の光軸近傍領域は、ハーフミラーとして形成されており、入射される被写体光束の一部が透過する。メインミラー１５０の光軸近傍領域を透過した被写体光束は、サブミラー１５１で反射されて、合焦センサ１４２へ導かれる。合焦センサ１４２は、被写体光束を受光する複数の光電変換素子列を有する。光電変換素子列は、合焦状態にある場合には位相が一致した信号を出力し、前ピン状態または後ピン状態にある場合には、位相ずれした信号を出力する。位相のずれ量は、焦点状態からのずれ量に対応する。合焦センサ１４２は、光電変換素子列の出力を相関演算することで位相差を検出して、位相差を示す位相差信号をカメラＭＰＵ１３３に出力する。

レンズ群１２２の焦点状態は、カメラＭＰＵ１３３等の制御により、合焦センサ１４２からの位相差信号を用いて調節される。例えば、カメラＭＰＵ１３３によって、位相差信号に基づき検出された焦点状態に基づきフォーカスレンズの目標位置が決定され、レンズＭＰＵ１２３の制御により、決定された目標位置に向けてフォーカスレンズの位置が制御される。具体的には、レンズＭＰＵ１２３は、交換レンズ１２０が備えるフォーカスレンズモータを制御して、レンズ群１２２を構成するフォーカスレンズを移動させる。このように、メインミラー１５０がダウンして斜設状態にある場合に、位相差検出方式でレンズ群１２２の焦点状態が検出されて焦点調節が行われる。なお、合焦センサ１４２は、被写体像の特定の領域に対応してそれぞれ設けられ、複数の焦点調整領域のそれぞれにおいて焦点状態を調節することができる。

メインミラー１５０が被写体光束から退避すると、サブミラー１５１はメインミラー１５０に連動して被写体光束から退避する。メインミラー１５０が退避状態にある場合、レンズ群を透過した被写体光束は、撮像素子１３２の受光面に入射する。

撮像素子１３２は、撮像部として機能し、レンズ群１２２を通過した被写体光束により被写体を撮像する。撮像素子１３２としては、例えばＣＣＤセンサ、ＣＭＯＳセンサ等の固体撮像素子を例示することができる。撮像素子１３２は、被写体光束を受光する複数の光電変換素子を有し、複数の光電変換素子でそれぞれ生じた蓄積電荷量に応じたアナログ信号を、画素信号としてＡ／Ｄ変換器１３４に順次に出力する。Ａ／Ｄ変換器１３４は、撮像素子１３２から出力されたアナログの画像信号をデジタルの画像信号に変換して画像データとして出力する。撮像素子１３２は、カメラＭＰＵ１３３からの指示を受けた駆動部１４０により駆動される。

Ａ／Ｄ変換器１３４が出力した画像データは、ＳＤＲＡＭ１３６に記憶される。ＳＤＲＡＭ１３６の少なくとも一部のメモリ領域は、撮像により生成された画像データを一時的に記憶するバッファ領域として使用される。撮像素子１３２が被写体光束で連続して撮像した場合、撮像により順次に生成される画像データはバッファ領域に順次に記憶される。例えば、被写体光束で連続して静止画を撮像することにより得られた複数の静止画の画像データが、バッファ領域に順次に記憶される。また、被写体光束で動画を撮像することにより得られた動画を構成する複数の画像の画像データが、バッファ領域に順次に記憶される。なお、動画を構成する画像の画像データを、特にフレームと呼ぶ場合がある。ＳＤＲＡＭ１３６は、動画を処理する場合にフレームを一時的に記憶するフレームメモリとしても機能する。

ＡＳＩＣ１３５は、ＳＤＲＡＭ１３６に記憶された画像データを処理する。ＡＳＩＣ１３５は、画像処理機能に関連する回路を一つにまとめた集積回路である。ＡＳＩＣ１３５は、画像処理装置の一部として機能する。ＡＳＩＣ１３５は、ＳＤＲＡＭ１３６の少なくとも一部のメモリ領域を画像処理用のワークエリアとして使用して画像処理を行う。ＡＳＩＣ１３５は、例えば、欠陥画素補正、ホワイトバランス補正、色補間処理、色補正、ガンマ補正、輪郭強調処理等の画像処理を行う。

ＡＳＩＣ１３５は、画像データを、規格化された画像フォーマットの画像データに変換して出力する。例えば、ＡＳＩＣ１３５は、静止画の画像データを、ＪＰＥＧ等の規格に準拠した符号化形式で符号化された静止画データを生成するための画像処理を行う。また、ＡＳＩＣ１３５は、複数のフレームを、Ｈ．２６４、ＭＰＥＧ２、Ｍｏｔｉｏｎ Ｊｐｅｇ等の規格に準拠した符号化方式で符号化された動画データを生成するための画像処理を行う。カメラＭＰＵ１３３は、ＡＳＩＣ１３５によって生成された静止画データ、動画データ等の画像データを、不揮発性の記録媒体の一例としての外部メモリ１６０に転送して記録させる。外部メモリ１６０としては、例えばフラッシュメモリ等の半導体メモリを例示することができる。なお、カメラＭＰＵ１３３は、動画データ、静止画データ等の画像データを外部メモリ１６０に記録させる他、画像データをネットワーク等の伝送路に出力させてもよい。

また、ＡＳＩＣ１３５は、画像データからコントラスト量を検出してカメラＭＰＵ１３３に供給する。例えば、カメラＭＰＵ１３３は、異なる位置にフォーカスレンズを位置させて撮像させ、検出されたコントラスト量とフォーカスレンズの位置とに基づいて、レンズ群１２２の焦点状態を調節する。例えば、カメラＭＰＵ１３３によって、コントラスト量を増大させるようフォーカスレンズの目標位置が決定され、レンズＭＰＵ１２３によって、決定された目標位置に向けてフォーカスレンズの位置が制御される。このように、メインミラー１５０がアップして退避状態にある場合に、コントラスト検出方式でレンズ群１２２の焦点状態が検出されて焦点調節が行われる。このように、カメラＭＰＵ１３３は、レンズＭＰＵ１２３と協働して、レンズ群１２２の焦点調節を行う。

ＡＳＩＣ１３５は、撮像時においては記録用の画像データの生成に並行して、表示用の画像データを生成する。再生時においては、ＡＳＩＣ１３５は、外部メモリ１６０から読み出された画像データから表示用の画像データを生成する。生成された表示用の画像データは、表示制御部１３７の制御に従って表示画像信号に変換され、液晶ディスプレイ等の表示デバイスとしての表示部１３８に表示される。また、画像の表示と共に、もしくは画像を表示することなく、撮像装置１００の各種設定に関する様々なメニュー項目も、表示制御部１３７の制御により表示部１３８に表示することができる。カメラＭＰＵ１３３は、表示制御部１３７を制御して、メニュー項目を表示部１３８に表示させる。

撮像装置１００は、上記に説明した制御を含めて、カメラＭＰＵ１３３により直接的または間接的に制御される。システムメモリ１３９は、電気的に消去・記憶可能な不揮発性メモリであり、例えばフラッシュＲＯＭ等により構成される。システムメモリ１３９は、撮像装置１００の動作に必要な定数、変数等の制御用のパラメータ、プログラム等を、撮像装置１００の非動作時にも失われないように記憶している。カメラＭＰＵ１３３は、定数、変数、プログラム等をシステムメモリ１３９から適宜ＳＤＲＡＭ１３６に展開して、撮像装置１００の制御に利用する。カメラ本体１３０内の、ＡＳＩＣ１３５、ＳＤＲＡＭ１３６、システムメモリ１３９、表示制御部１３７、カメラＭＰＵ１３３、外部メモリ１６０は、バス等の接続インタフェース１４５により、相互に接続される。

操作入力部１４１は、ユーザ操作を受け付ける。操作入力部１４１は、電源ボタン、レリーズボタン、動画撮影ボタンおよび各種操作ボタン等のキー、表示部１３８に一体に実装されたタッチパネル等の部材を含む。カメラＭＰＵ１３３は、操作入力部１４１が操作されたことを検知して、操作に応じた動作を実行する。例えば、カメラＭＰＵ１３３は、レリーズボタンが操作された場合に、レリーズ動作を実行するよう撮像装置１００の各部を制御する。例えば、カメラＭＰＵ１３３は、撮像モードが連写撮影モードに設定されている場合、連続撮影の一例としての連写撮影を実行するよう撮像装置１００の各部を制御する。また、カメラＭＰＵ１３３は、動画撮像ボタンが操作された場合に、連続撮影の一例としての動画撮影を実行するよう撮像装置１００の各部を制御する。また、カメラＭＰＵ１３３は、表示部１３８に組み込まれたタッチパネルが操作された場合に、表示部１３８に表示されたメニュー項目および操作内容に応じた動作をするよう、撮像装置１００の各部を制御する。

カメラ本体１３０の各要素および外部メモリ１６０は、電源１７０から電力供給を受ける。電源１７０としては、カメラ本体１３０に対して着脱できる例えばリチウムイオン電池等の二次電池、系統電源等からの交流電力を直流電力に変換する電力変換部等を例示することができる。カメラＭＰＵ１３３は、電源の状態を検出して、電源の状態に応じて撮像装置１００の各部を制御する。例えば、カメラＭＰＵ１３３は、電源１７０が二次電池であるか否かを判断する。カメラＭＰＵ１３３は、電源１７０が二次電池であると判断した場合、二次電池の残存容量を検出して、残存容量に応じて撮像装置１００の各部を制御する。また、カメラＭＰＵ１３３は、電源１７０から撮像装置１００の各部への電力供給を制御する。なお、二次電池は電池の一例であり、電池とは、実質的に充電することができない非充電式の電池を含む。

図２は、ＡＳＩＣ１３５、カメラＭＰＵ１３３およびシステムメモリ１３９が有する機能ブロック構成の一例を示す。ここでは、主として画像処理に関する機能ブロックを取り上げて示す。ＡＳＩＣ１３５、カメラＭＰＵ１３３およびシステムメモリ１３９の機能ブロックにより、ユーザから指定された複数の光源のそれぞれの重みに応じたホワイトバランス調節を行う。これにより、複数の光源からの光がミックスした複雑な環境においても、適切なホワイトバランス調節が可能になる。

カメラＭＰＵ１３３は、光源情報指定部２００および変化タイミング指定部２０２を有する。ＡＳＩＣ１３５は、前処理部２１０、変化タイミング特定部２８０、色温度特定部２２０、調整値決定部２３０、ホワイトバランス調整部２５０および後処理部２６０を有する。調整値決定部２３０は、重みづけ色温度算出部２３２、重みづけ偏差算出部２３４およびホワイトバランスゲイン決定部２４０を含む。また、システムメモリ１３９の一部もメモリ領域が、光源情報格納部２７０として機能する。

光源情報指定部２００は、複数の光源および複数の光源のそれぞれの重みをユーザに指定させる。本実施形態において、ユーザにより指定される複数の光源および複数の光源のそれぞれの重みを含む情報を、ホワイトバランス設定情報と総称する場合がある。一例として、光源情報指定部２００は、操作入力部１４１の一部と協働して、ホワイトバランス設定情報を受け付ける。一例として、操作入力部１４１の一部がタッチパネルとして表示部１３８に組み込まれ、グラフィカルユーザインタフェース（ＧＵＩ）を通じて、ホワイトバランス設定情報を指定させる。光源情報指定部２００は、表示部１３８に表示させた表示内容と、タッチパネルに対するユーザ操作とに基づいて、ホワイトバランス設定情報を取得する。ホワイトバランス設定情報の入力画面の一例については、図３に関連して説明する。光源情報指定部２００が受け付けたホワイトバランス設定情報は、ＡＳＩＣ１３５に供給される。

ＡＳＩＣ１３５における処理について説明する。前処理部２１０は、Ａ／Ｄ変換器１３４から画像としての画像を取得して、前処理を施す。前処理としては、欠陥画素補正、シェーディング補正等を例示することができる。前処理部２１０により前処理が施された画像は、色温度特定部２２０および変化タイミング特定部２８０に供給される。変化タイミング特定部２８０の処理については後述する。

色温度特定部２２０は、画像の色情報から、色温度を特定する。色温度は、ホワイトバランス指標値の一例である。ホワイトバランス指標値としては、ホワイトバランス調整の処理を定めるための情報であれば、どのような情報であってもよい。本実施形態では、ホワイトバランス指標値の一部として色温度を適用して説明する。色温度特定部２２０により特定された色温度を示す情報は、調整値決定部２３０およびホワイトバランス調整部２５０に供給される。

調整値決定部２３０は、ユーザにより指定された複数の光源に対応する色温度を、ユーザにより指定された重みに応じて重みづけして、重みづけした色温度に基づいて、ホワイトバランス調整値を決定する。具体的には、光源情報格納部２７０は、予め定められた複数の光源に対応づけて色温度を格納する。重みづけ色温度算出部２３２は、ユーザにより指定された複数の光源にそれぞれに対応づけて光源情報格納部２７０が格納している複数の色温度を、ユーザにより指定された重みに応じて重みづけすることにより、重みづけ色温度を算出する。ホワイトバランスゲイン決定部２４０は、重みづけ色温度に基づいて、ホワイトバランスゲインを決定する。ホワイトバランスゲインは、ホワイトバランス調整値の一例である。すなわち、調整値決定部２３０は、指定された複数の光源にそれぞれに対応づけて光源情報格納部２７０が格納している複数の色温度を重みに応じて重みづけすることにより重みづけ色温度を算出し、重みづけ色温度に基づいて、ホワイトバランス調整値を決定する。後述するように、調整値決定部２３０は、色温度特定部２２０が特定した色温度を更に考慮してホワイトバランス調整用の色温度を決定し、決定した色温度に基づいて、ホワイトバランス調整値を決定してもよい。また、重みづけ偏差算出部２３４の処理についても後述する。ホワイトバランスゲイン決定部２４０が決定したホワイトバランスゲインは、ホワイトバランス調整部２５０に供給される。

ホワイトバランス調整部２５０は、調整値決定部２３０が決定したホワイトバランスゲインを用いて、画像にホワイトバランス調整を施す。具体的には、ホワイトバランス調整部２５０は、前処理部２１０により前処理が施された画像にホワイトバランス調整を施す。なお、色温度特定部２２０は、複数光源に基づきホワイトバランス調整をする旨が、ユーザから指示されていない場合、色温度特定部２２０が特定した色温度に基づいてホワイトバランス調整をしてもよい。ホワイトバランス調整部２５０によりホワイトバランス調整が行われた画像は、後処理部２６０に供給される。

後処理部２６０は、ホワイトバランス調整が施された画像に後処理を施す。後処理としては、色補間処理、色補正、ガンマ補正、輪郭強調処理等を例示することができる。また、画像の圧縮符号化等、種々の画像処理を後処理として含む。後処理部２６０により後処理が施された画像は、ＳＤＲＡＭ１３６に記憶される。カメラＭＰＵ１３３の制御により、ＳＤＲＡＭ１３６から外部メモリ１６０に転送される。

図３は、ホワイトバランス設定情報を入力するための画面表示の一例を模式的に示す。入力画面３００は、他のメニューに遷移するためのオブジェクト３８０ａ〜ｃを含む。また、入力画面３００は、オブジェクト３１０は、「白色蛍光灯」を光源としてユーザに選択させるオブジェクトである。入力画面３００は、ホワイトバランス設定用のオブジェクトとして、複数の光源をユーザに選択させるための同様の複数のオブジェクトを含む。これらのオブジェクトは同心円状に位置し、各オブジェクト内に「白色蛍光灯」、「晴天」等、対応する光源の種類をユーザに提示する文字情報を含む。これらのオブジェクトをオブジェクト３１０と総称する場合がある。

入力画面３００は、重みをユーザに選択させるためのオブジェクトとして、直径が異なる複数の同心円を含むオブジェクト３５０を含む。オブジェクト３５０が含む同心円の中心と、オブジェクト３１０が配置された同心円の中心は一致する。したがって、オブジェクト３１０は、オブジェクト３５０が含む同心円の中心のまわりに同心円状に位置する。オブジェクト３５０の各同心円の直径は、重みの大きさに対応する。本例では、オブジェクト３５０は、重み４、重み７および重み１０にそれぞれ対応する３個の同心円を含む。また、入力画面３００は、各オブジェクト３５０の同心円に対応する重みを示す文字のオブジェクト３４０を含む。

また、入力画面３００は、各オブジェクト３１０から同心円の中心に向けて延びる線を含むオブジェクト３３０を含む。ユーザは、オブジェクト３１０に対応するオブジェクト３３０の線上で、重みを指定することができる。本図の例では、「白色蛍光灯」に重み４、「晴天」に重み７が指定された場合を示す。この場合、重みづけ色温度算出部２３２は、ミックス光に対応する色温度を算出する場合に、「白色蛍光灯」に対応する色温度を４／１１、「晴天」に対応する色温度を７／１１ほど寄与させる。このように、重みづけ色温度算出部２３２は、指定された光源に対応する色温度を、指定された重みに応じて案分してホワイトバランスゲイン算出用の色温度を算出する。

光源情報指定部２００は、オブジェクト３３０に含まれる線上の位置がタッチされた場合に、当該線に対応するオブジェクト３１０に対応する光源の重みとして、タッチされた線上の位置から同心円の中心までの距離に応じた重みを設定する。また、オブジェクト３３０の線がタッチされると、タッチされた線上の位置には、重みをユーザに提示する示すオブジェクト３２０ａ、ｂが表示される。なお、光源情報指定部２００は、オブジェクト３２０の位置からのスライド操作を検出した場合、スライド操作に応じて重みを変更することができる。例えば、線上にスライドする操作を検出した場合、スライド操作が終了した位置に対応する重みに変更する。

したがって、ユーザは、オブジェクト３５０およびオブジェクト３４０で示される重みを参考にしながら特定の線上の位置をタッチすることで、光源および当該光源の重みを指定することができる。そして、指定した重みに対応する位置にオブジェクト３２０が表示される。重みはオブジェクト３２０の同心円の中心からの距離に対応するので、ユーザは、重みの大きさを容易にイメージすることができる。また、ユーザは、オブジェクト３２０の位置から線上でスライド操作することで、重みを容易に変更することができる。また、ユーザは複数の光源を容易に設定することができる。例えば、ユーザが２つの光源と、２つの光源のそれぞれの重みの計４個の情報を指定する場合、最低２回タッチするだけで、４個の情報を設定することができる。また、オブジェクト３１０は同心円に位置しているので、画面の比較的周部を広く使って複数の光源をユーザに指定させることができる。また、オブジェクト３１０の間隔を広くとることができる。したがって、ユーザは、まずオブジェクト３１０の近傍をタッチして光源を選択した後、オブジェクト３２０の位置から同心円の中心側にスライドさせることで、重みを小さい値に変更すればよい。このため、小さい重みを指定する必要がある場合でも、誤って他の光源を指定してしまう可能性を著しく低減することができる。したがって、狭い画面を用いて、多くの光源をユーザに提示でき、かつ、重みを的確に指定させることができる。

なお、オブジェクト３１０としてのプリセットは、ユーザが事前に設定した光源に対応する。例えば、ユーザがよく撮像する環境の光源をプリセット光源として設定しておくことで、その環境下ではワンタッチで光源を指定することが可能になる。なお、オブジェクト３１２は、後述するように、画像の色情報に追従してホワイトバランス調整用の色温度を決定するか否かを指定するためのオブジェクトである。本オブジェクトが選択されることで、画像の色情報に追従してホワイトバランス調整用の色温度を決定することが指定される。本オブジェクトが選択されかった場合、画像の色情報に追従してホワイトバランス調整用の色温度を決定しない旨が指定される。本オブジェクトは、デフォルトで選択された状態としてよい。

オブジェクト３７０は、光源セットを確定する旨を指示するためのオブジェクトである。例えば、複数の光源および重みが指定された状態でオブジェクト３７０の位置がタッチされると、重みづけ色温度の算出するための光源の組み合わせが確定する。すなわち、１つの組み合わせから、１つの重みづけ色温度が定まる。複数の組み合わせを指定する場合、ユーザはオブジェクト３８０の位置をタッチすることで、新たに光源および重みの指定を開始することができる。複数の組み合わせに基づくホワイトバランス調整の制御例については、動画に対するホワイトバランス調整に関連して後述する。

１以上の組み合わせが確定された後にオブジェクト３９０の位置がタッチされると、本画面の表示を終了して、他の画面に遷移する。例えば、ホワイトバランスに関する他の設定画面等を表示する。なお、本例では２つの光源が指定された場合を例示したが、３以上の光源を指定できることは言うまでもない。また、タッチパネルを介してホワイトバランス設定情報を入力させるとしたが、スイッチ等を介してホワイトバランス設定情報を入力させてもよい。

図４は、光源情報格納部２７０が格納している情報の一例をテーブル形式で示す。光源情報格納部２７０は、光源の種類に対応づけて、色温度、色温度の追従範囲、ｄｕｖ値およびｄｕｖ値の追従範囲を格納する。ｄｕｖ値は、黒体放射軌跡からの偏差を示す。ｄｕｖ値は、ホワイトバランス指標値の一例である。色温度の追従範囲は、ホワイトバランス調整用の色温度を決定する場合に、画像に追従することが許容される色温度の範囲を示す。同様にｄｕｖ値の追従範囲は、ホワイトバランス調整用のｄｕｖ値を決定する場合に、画像に追従することが許容されるｄｕｖ値の範囲を示す。

一例として、ユーザにより、ホワイトバランス設定情報として「晴天」および「白色蛍光灯」と、「晴天」および「白色蛍光灯」のそれぞれの重みとが指定された場合、重みづけ色温度算出部２３２は、光源情報格納部２７０が当該光源に対応づけて格納している色温度（５０００Ｋおよび４０００Ｋ）を、指定された重みづけで重みづけ加算することにより、重みづけ色温度を算出する。また、重みづけ色温度算出部２３２は、光源情報格納部２７０が格納している５０００Ｋおよび４０００Ｋを、指定された重みづけで重みづけ加算することにより、重みづけ色温度を算出する。また、重みづけ色温度算出部２３２は、追従範囲±５００Ｋおよび±３００Ｋを、指定された重みづけで重みづけ加算することにより、色温度に関する重みづけ追従範囲を算出する。

また、重みづけ偏差算出部２３４は、「晴天」および「白色蛍光灯」に対応づけて格納されているｄｕｖ値（０および−３０）を重みづけ加算することにより、重みづけｄｕｖ値を算出する。また、重みづけ偏差算出部２３４は、「晴天」および「白色蛍光灯」に対応づけて格納されている追従範囲（±２０）を、指定された重みづけで重みづけ加算することにより、ｄｕｖ値に関する重みづけ追従範囲を算出する。なお、本図で示した各光源に対応する色温度の追従範囲およびｄｕｖ値の追従範囲、ならびに、重みづけ色温度の追従範囲およびｄｕｖ値の追従範囲の少なくともいずれかをユーザが指定しても良い。

図５は、色温度−ｄｕｖ空間における重みづけ色温度および重みづけｄｕｖ値を示す。符号５００ａは、「白色蛍光灯」の光源の色温度、ｄｕｖ値を示す。符号５１０ａは、「白色蛍光灯」が指定された場合に考慮される追従範囲を示す。符号５００ｂは、「晴天」の光源の色温度、ｄｕｖ値を示す。符号５１０ｂは、「晴天」が指定された場合に考慮される追従範囲を示す。

重みづけ色温度算出部２３２および重みづけ偏差算出部２３４により、重みづけ色温度および重みづけｄｕｖ値が算出される。色温度−ｄｕｖ空間における重みづけ色温度および重みづけｄｕｖ値の位置を符号５２０で示す。また、重みづけ色温度算出部２３２および重みづけ偏差算出部２３４により算出された、色温度およびｄｕｖ値のそれぞれに関する追従範囲を符号５３０で示す。

画像に追従せずに色温度およびｄｕｖ値を決定することが指定されている場合、ホワイトバランスゲイン決定部２４０は、符号５２０で示される重みづけ色温度およびｄｕｖ値に基づき、ホワイトバランスゲインを決定する。画像に追従して色温度およびｄｕｖ値を決定することが指定されている場合、ホワイトバランスゲイン決定部２４０は、画像の色情報から特定された色温度およびｄｕｖ値に基づき、符号５３０で示される追従範囲内でホワイトバランス調整用の色温度およびｄｕｖ値を決定する。

例えば、画像から特定された色温度およびｄｕｖ値が、追従範囲内の符号５４０に示す位置にある場合、ホワイトバランスゲイン決定部２４０は、画像から特定された色温度およびｄｕｖ値に基づき、ホワイトバランスゲインを決定する。このように、調整値決定部２３０は、画像の色情報から特定された色温度が、重みづけ色温度を含む重みづけ追従範囲内にある場合に、画像の色情報から特定された色温度に基づいてホワイトバランス調整値を決定する。このため、ユーザが大雑把に光源環境を指定した場合でも、実際の画像から予測される適切なホワイトバランスゲインを設定することができる場合がある。

図６は、画像から特定されたホワイトバランス指標値が追従範囲外にある場合の一例を示す。本図において、画像から特定された色温度およびｄｕｖ値の位置を符号６４０で示す。本例では、画像から特定された色温度およびｄｕｖ値が、追従範囲外になる。この場合、ホワイトバランスゲイン決定部２４０は、画像から特定された色温度およびｄｕｖ値の位置から追従範囲内で最も近い位置に対応する色温度およびｄｕｖ値を、ホワイトバランス調整用の色温度およびｄｕｖ値として決定する。本例において、符号６００で示す位置の色温度およびｄｕｖ値が、ホワイトバランス調整用の色温度およびｄｕｖ値として決定される。このため、画像から特定された色温度およびｄｕｖ値を反映したホワイトバランスゲインを決定することができる。このように、調整値決定部２３０は、画像の色情報から特定された色温度が、重みづけ色温度を含む追従範囲外にある場合に、重みづけ色温度を含む追従範囲内の色温度のうち、画像から算出された色温度により近い色温度をより優先して選択して、選択した色温度に基づいてホワイトバランス調整値を決定する。

なお、本例で示したように、画像から特定された色温度およびｄｕｖ値が追従範囲外にある場合、重みづけ色温度および重みづけｄｕｖ値からホワイトバランスゲインを決定してよい。すなわち、調整値決定部２３０は、画像の色情報から特定された色温度が、重みづけ色温度を含む追従範囲外にある場合に、重みづけ色温度に基づいてホワイトバランス調整値を決定してよい。例えば、画像から特定された色温度およびｄｕｖ値が追従範囲外にあり、かつ、画像から特定された色温度およびｄｕｖ値と、重みづけ色温度およびｄｕｖ値との間の差が予め定められた値を超える場合に、重みづけ色温度および重みづけｄｕｖ値からホワイトバランスゲインを決定してよい。画像から特定された色温度およびｄｕｖ値と、重みづけ色温度およびｄｕｖ値との間の差が予め定められた値以下である場合には、本図に関連して説明したように、画像から特定された色温度およびｄｕｖ値の位置から追従範囲内で最も近い位置に対応する色温度およびｄｕｖ値を、ホワイトバランス調整用の色温度およびｄｕｖ値として決定してよい。なお、画像から特定された色温度およびｄｕｖ値と、重みづけ色温度およびｄｕｖ値との間の差としては、色温度−ｄｕｖ空間における距離を例示することができる。

なお、画像から特定される色温度およびｄｕｖ値を考慮して、ホワイトバランス調整用の色温度およびｄｕｖ値を決定する他の方法として、追従範囲内に対応する色の領域が画像に含まれているか否かを判断して、判断結果に応じてホワイトバランス調整用の色温度およびｄｕｖ値を決定するようにしてもよい。例えば、追従範囲内に対応する色の領域が画像に含まれていない場合に、重みづけ色温度および重みづけｄｕｖ値に基づいてホワイトバランス調整値を決定してよい。このように、調整値決定部２３０は、重みづけ色温度を含む追従範囲内の色温度に対応する色の領域が画像内に存在しない場合に、重みづけ色温度に基づいてホワイトバランス調整値を決定してよい。

以上において図４から図６に関連して主として説明したように、光源情報格納部２７０は、予め定められた複数の光源に対応づけて色温度および色温度の追従範囲を格納する。そして、調整値決定部２３０は、指定された複数の光源に対応づけて光源情報格納部２７０が格納している複数の追従範囲を重みに応じて重みづけすることにより、重みづけ追従範囲を算出する。そして、調整値決定部２３０は、重みづけ色温度を含む重みづけ追従範囲内で、画像の色情報を考慮した色温度を決定し、決定した色温度に基づいてホワイトバランス調整値を決定する。

なお、図４から図６に関連して、ホワイトバランス指標値の追従範囲について主として説明した。図３に関連して説明したように、画像から特定される光源を含む複数の光源をユーザが指定することができる。例えば、オブジェクト３１０の一部としての「ＡＷＢ」は、画像から特定される光源を示す。「ＡＷＢ」が指定された場合、重みづけ色温度算出部２３２は、画像から特定される色温度および他の光源に対応する色温度を重みづけして重みづけ色温度を算出する。また、重みづけ偏差算出部２３４は、画像から特定されるｄｕｖ値および他の光源に対応するｄｕｖ値を重みづけして重みづけｄｕｖ値を算出する。そして、ホワイトバランスゲイン決定部２４０は、重みづけ色温度および重みづけｄｕｖ値から、ホワイトバランスゲインを決定してよい。すなわち、光源情報指定部２００は、画像から特定される光源を含む複数の光源および複数の光源のそれぞれの重みをユーザに指定させる。調整値決定部２３０は、画像から特定される光源を含む複数の光源がユーザにより指定された場合に、画像の色情報から特定された色温度および指定された他の光源に対応する色温度を重みに応じて重みづけすることにより、重みづけ色温度を算出する。そして、調整値決定部２３０は、算出した重みづけ色温度に基づいてホワイトバランス調整値を決定してよい。

図７は、画像を撮像時の処理フローの一例を示す。ここでは、静止画を撮像する場合を取り上げて説明する。本フローは、例えば操作入力部１４１の一部としてのレリーズボタンが押し込まれた場合に、開始される。

本フローが開始すると、ステップＳ７０２において、被写体を撮像する。具体的には、カメラＭＰＵ１３３は、メインミラー１５０をアップさせて撮像素子１３２を露光する。続いて、ＡＳＩＣ１３５は、ＳＤＲＡＭ１３６に取り込まれた画像を読み出して（ステップＳ７０４）、前処理部２１０において前処理を施す（ステップＳ７０６）。続いて、色温度特定部２２０は、前処理が施された画像からホワイトバランス評価値を算出する（ステップＳ７０８）。ホワイトバランス評価値として、ホワイトバランスの評価領域にわたって画素値を各色単位で積分した値を例示することができる。色温度特定部２２０は、ホワイトバランス評価値に基づき、色温度およびｄｕｖ値を特定してよい。すなわち、色温度特定部２２０は、画像から色温度およびｄｕｖ値を特定する。

続いて、ステップＳ７１０において、ホワイトバランス調整の処理モードが、複数光源に基づきホワイトバランス調整をするモードであるか否かを判断する（ステップＳ７１０）。例えば、図３に関連して説明したように、ユーザが複数の光源および各光源の重みを指定してオブジェクト３９０がタッチされた場合に、複数光源に基づきホワイトバランス調整をするモードであると判断する。複数光源に基づきホワイトバランス調整をするモードでない場合、ステップＳ７１２において、ホワイトバランス評価値に対応する色温度およびｄｕｖ値に基づき、ホワイトバランスゲインを算出する。すなわち、ＡＷＢに用いるホワイトバランスゲインを算出する。なお、ホワイトバランス評価値に対応する色温度およびｄｕｖ値を、「ＡＷＢ色温度およびｄｕｖ値」と略称する場合がある。

ステップＳ７１０の判断において、複数光源に基づきホワイトバランス調整をするモードであると判断された場合、ホワイトバランス調整用の光源選択メニューを表示部１３８に表示する（ステップＳ７１４）。具体的には、図３に関連して説明した画面を表示する。続いて、ステップＳ７１６において、光源と光源の重みとをユーザに入力させる。ここで、光源情報指定部２００は、複数の光源のうち、色温度特定部２２０が特定した色温度との差が予め定められた値より小さい色温度に対応する２以上の光源を選択して、ユーザに提示してもよい。そして、光源情報指定部２００は、選択された２以上の光源の中から、光源および重みをユーザに指定させてよい。具体的には、光源情報指定部２００は、色温度特定部２２０が特定した色温度との差が予め定められた値より小さい色温度に対応する２以上の光源だけを、ユーザに提示してよい。例えば、選択されなかった光源の重みをユーザが指定できないようにしてもよい。また、図３において、選択された光源を、選択されなかった光源より強調してユーザに提示してもよい。例えば、選択された光源に対応するオブジェクト３１０を明るく表示し、選択されなかった光源に対応するオブジェクト３１０を暗く表示する等してよい。

続いて、ステップＳ７１８において、重みづけ色温度算出部２３２は、重みづけ色温度および色温度に関する重みづけ追従範囲を算出する。また、重みづけ偏差算出部２３４は、重みづけｄｕｖ値およびｄｕｖ値に関する重みづけ追従範囲を算出する。

続いて、ステップＳ７２０において、ホワイトバランス指標値を画像に追従させるか否かを判断する。ホワイトバラン指標値を画像に追従させない場合、重みづけ色温度および重みづけｄｕｖ値から、ホワイトバランスゲインを算出する（ステップＳ７２２）。

ホワイトバラン指標値を画像に追従させる場合、ステップＳ７２４において、ＡＷＢ色温度およびｄｕｖ値が、それぞれ対応する重みづけ追従範囲外であるか否かを判断する。ＡＷＢ色温度およびｄｕｖ値が追従範囲内である場合、ＡＷＢ色温度およびｄｕｖ値から、ホワイトバランスゲインを算出する（ステップＳ７３０）。

ＡＷＢ色温度およびｄｕｖ値が追従範囲外である場合、ＡＷＢ色温度およびｄｕｖ値の追従範囲からの外れ度合いが予め定められた値より大きいか否かを判断する（ステップＳ７２６）。例えば、図６に関連して説明したように、色温度−ｄｕｖ空間における距離が予め定められた値より大きい場合に、ＡＷＢ色温度およびｄｕｖ値の追従範囲からの外れ度合いが予め定められた値より大きいと判断する。追従範囲からの外れ度合いが予め定められた値より大きいと判断された場合、重みづけ色温度および重みづけｄｕｖ値から、ホワイトバランスゲインを算出する（ステップＳ７２２）。ＡＷＢ色温度およびｄｕｖ値の追従範囲からの外れ度合いが予め定められた値以下である場合、追従範囲内でＡＷＢ色温度およびｄｕｖ値に最も近い色温度およびｄｕｖ値を決定して、決定した色温度およびｄｕｖ値から、ホワイトバランスゲインを算出する（ステップＳ７２８）。

ステップＳ７１２、ステップＳ７２２、ステップＳ７２８、ステップＳ７３０の処理が完了すると、ステップＳ７３２において、ホワイトバランス調整部２５０は、算出されたホワイトバランスゲインに基づき、前処理が施された画像にホワイトバランス調整を施す。続いて、ステップＳ７３４において、後処理部２６０が後処理を施す。そして、ステップＳ７３６において、後処理が施された画像がＳＤＲＡＭ１３６から外部メモリ１６０に転送されて記録される（ステップＳ７３６）。

図８は、動画用のホワイトバランス設定情報を入力するための画面表示の一例を模式的に示す。本画面８００は、図３に関連して説明した画面から、オブジェクト３８０がタッチされた場合に表示される。オブジェクト３８０がタッチされると、既に指定された光源の重みを示すオブジェクト３２０ａ、ｂが表示された状態で、新たな光源の重みの指定を受け付ける状態となる。新たな光源の重みも、図３に関連して説明した方法で指定される。新たな光源の重みが指定されると、光源情報指定部２００は、オブジェクト３２０ａ、ｂとは模様が異なるオブジェクト３２０ｃ、ｄを表示させる。このように、光源情報指定部２００は、複数の光源および複数の光源のそれぞれの重みの組み合わせを、ユーザに複数指定させる。オブジェクト３８０が押下されると、光源の組み合わせとして複数の組み合わせが決定される。

このように、ユーザは、一つの画面内で光源の組み合わせを複数指定することができ、その組み合わせを一つの画面内で捉えることができる。なお、上記の説明では、オブジェクト３２０ａ、ｂに対してオブジェクト３２０ｃ、ｄの模様を異ならせるとした。しかし、オブジェクト３２０ｃ、ｄの模様、形状および色の少なくともいずれかを、オブジェクト３２０ａ、ｂから異ならせてもよい。

図９は、動画の各フレームに対する重みづけホワイトバランス指標値の一例を示す。ここでは、複数の光源の組み合わせからそれぞれ算出される複数のホワイトバランス指標値を、動画の複数のフレームに適用する場合について説明する。ここでは、分かり易く説明することを目的として、追従範囲を省略して示す。本図において、符号５２０は、ユーザが指定した第２の組み合わせから算出された色温度およびｄｕｖ値の位置を示す。符号９２０は、ユーザが指定した第１の組み合わせから算出された色温度およびｄｕｖ値の位置を示す。

具体的には、ホワイトバランスゲイン決定部２４０は、指定された第１の組み合わせから算出される色温度およびｄｕｖ値から、第１フレームｆ１のホワイトバランス調整に用いるホワイトバランスゲインを決定する。また、ホワイトバランスゲイン決定部２４０は、指定された第２の組み合わせから算出される色温度およびｄｕｖ値から、第１フレームｆ１の後に撮像される第２フレームｆ７のホワイトバランス調整に用いるホワイトバランスゲインを決定する。

そして、第１フレームｆ１の次に撮像されたフレームｆ２のホワイトバランス調整に用いるホワイトバランスゲインを、符号９２０の位置から符号５２０の位置へのベクトルに沿って予め定められた増分だけ進めた位置に対応する色温度およびｄｕｖ値から決定する。他のフレームｆ３〜ｆ６に対するホワイトバランスゲインについても同様に、撮像順に予め定められた増分だけ進めた位置に対応する色温度およびｄｕｖ値から、ホワイトバランスゲインを決定する。フレームｆ１からフレームｆ７までの各増分は、増分の合計が符号９２０の位置から符号５２０の位置へのベクトルの大きさに一致するように決定する。このように、光源情報指定部２００は、複数の光源および複数の光源のそれぞれの重みの組み合わせを、ユーザに複数指定させる。そして、調整値決定部２３０は、複数の光源および重みの第１の組み合わせに基づく第１色温度から、複数の光源および重みの第２の組み合わせに基づく第２色温度までの間で、動画に含まれる複数のフレームに対応する重みづけ色温度を時間順で決定し、決定した重みづけ色温度に基づいて、複数のフレームに適用するホワイトバランス調整値を決定する。

本例のように、ホワイトバランス指標値を撮像順に変化させながら複数のフレームのホワイトバランスゲインを決定する処理は、複数の光源の影響度合いが時間的に変化するようなシーンで撮像された動画に適用できる。例えば、撮像装置１００をパンニングや移動させながら撮影することで、白色蛍光灯の影響を大きく受ける室内のシーンから、晴天時の太陽の影響を大きく受ける室外のシーンへと連続的に変化するような場合に適用できる。また、撮像倍率を変化させた場合にも同様にシーンが変化する場合がある。

なお、ユーザは、光源の変化が開始した時の組み合わせと、光源の変化が終了した時の組み合わせとを指定してもよい。他にも、ユーザは、光源の変化の開始および終了を区別せずに組み合わせを複数指定してもよい。この場合、調整値決定部２３０は、動画に含まれるフレームから、組み合わせを自動的に選択してもよい。すなわち、調整値決定部２３０は、動画に含まれるフレームから色温度を特定し、特定した色温度に基づいて、指定された複数の組み合わせの中から、第１の組み合わせおよび第２の組み合わせの少なくとも一方を選択してもよい。

図１０は、光源の変化情報の指定例を示す。本例で説明する変化速度は、フレームに順次に適用するホワイトバランス指標値の増分を定める。本図の変化速度の時間発展１０００の例では、光源変化の開始時刻から、変化速度を徐々に増加させる。この場合、図９に関連して説明したベクトルに沿う増分を、変化速度に応じて徐々に増加させる。連続するフレーム間における増分の値は、フレーム間における変化速度の時間積分に比例する値に設定される。比例係数は、増分の合計が符号９２０の位置から符号５２０の位置へのベクトルの大きさに一致するように定めればよい。

なお、光源の変化速度をユーザに指定させてもよい。本図に示すような光源変化の開始時刻から光源変化の終了時刻までの変化速度の時間発展のグラフを、タッチパネル上でスライド操作によって指定させてもよい。他にも、変化速度の時間発展の複数のパターンをユーザに提示して、時間発展のパターンをユーザに選択させてもよい。また、操作入力部１４１の一部としてのダイヤルをユーザに回転させ、ダイヤルの回転速度を、光源の変化速度として適用してもよい。光源の変化速度を指定させる手法は、これらの手法に限らず、種々の手法を適用できる。また、光源変化の開始時刻から光源変化の終了時刻までの時間長さを、タッチパネル、キー等を介してユーザに指定させてもよい。このように、光源情報指定部２００は、色温度の時間変化量を示す時間変化情報をユーザに指定させる。調整値決定部は、時間変化量に応じて、第１色温度から第２色温度までの間で、動画に含まれる複数の画像に対応する重みづけ色温度を決定する。

図１１は、動画撮像用の処理フローの一例を示す。本フローは、光源の組み合わせを複数指定する旨が指示された場合に開始される。ステップＳ１１０２において、光源の選択メニューを表示する。具体的には、図８に関連して説明した光源の組み合わせを指定するメニューを表示する。続いて、ステップＳ１１０４において、光源情報指定部２００は、光源変化の開始時の組み合わせと、光源変化の終了時の組み合わせとを入力させる。

続いて動画撮像ボタンが押し込まれると、動画の撮像が開始される（ステップＳ１１０６）。動画の撮像が開始されるとフレームが順次にＳＤＲＡＭ１３６に取り込まれる。ステップＳ１１０８において、ＡＳＩＣ１３５は、ＳＤＲＡＭ１３６から処理対象のフレームを読み出す。ステップＳ１１１０において、前処理部２１０が読み出した画像に前処理を施し、ステップＳ１１１２において色温度特定部２２０がホワイトバランス評価値、色温度およびｄｕｖ値を画像から算出する。

ステップＳ１１１４において、光源の変化を既に開始させているか否かを判断する。光源の変化を開始させる処理については、ステップＳ１１２０に関連して説明する。光源の変化を開始させていない場合、光源変化が検出されたか否かを判断する（ステップＳ１１１６）。具体的には、変化タイミング特定部２８０は、以前に読み出されたフレームと現在読み出されたフレームとを比較して、予め定められた値を超える明るさの変化が生じたタイミングを、光源変化のタイミングとして検出してよい。また、予め定められた値を超えて撮像倍率が変化したタイミングを、光源変化のタイミングとして検出してよい。このように、変化タイミング特定部２８０は、動画においてホワイトバランス調整値の変化を開始させる開始タイミングを特定する。その他、変化タイミング指定部２０２が、光源が変化したタイミングを指定する情報をユーザから取得してもよい。例えば、動画の撮影中においてユーザから光源変化の指示を受け付けたタイミングを、光源変化の検出タイミングとしてよい。

光源の変化が検出された場合、ステップＳ１１２０において、重みづけ色温度算出部２３２および重みづけ偏差算出部２３４は、本フレーム以後の各フレームの各撮像タイミングに対する色温度およびｄｕｖ値を算出する。具体的には、図９、１０に関連して説明した手法で、開始タイミングにおける色温度およびｄｕｖ値、終了タイミングにおける色温度およびｄｕｖ値、光源の変化速度、開始タイミングと終了タイミングで定まる変化時間、および、フレームの撮像レートに基づいて、各撮像タイミングに対する色温度およびｄｕｖ値を決定する。続いて、ステップＳ１１２２において、ステップＳ１１２０で決定した各撮像タイミングの色温度およびｄｕｖ値の中から、現在のフレームに対するホワイトバランス調整用の色温度およびｄｕｖ値を選択して、選択した色温度およびｄｕｖ値からホワイトバランスゲインを算出する。ステップＳ１１１４において、光源の変化を既に開始させていると判断された場合、ステップＳ１１２２に処理を移行して、処理対象のフレームに対するホワイトバランス調整用の色温度およびｄｕｖ値を選択して、選択した色温度およびｄｕｖ値からホワイトバランスゲインを算出する。

ステップＳ１１１６で光源変化が検出されなかった場合、ホワイトバランス評価値に対応する色温度およびｄｕｖ値から、ホワイトバランスゲインを算出する。ステップＳ１１２２、ステップＳ１１１６の処理が完了すると、ステップＳ１１２４において、算出したホワイトバランスゲインを用いて、フレームにホワイトバランス調整を施す。続いて、ステップＳ１１２６において、ホワイトバランス調整が施された画像に後処理部２６０が後処理を施して、ＳＤＲＡＭ１３６に記憶される。続いて、動画の撮像処理を終了するか否かを判断する。例えば、動画撮像ボタンが再度押し込まれ、かつ、ＳＤＲＡＭ１３６に未処理のフレームが残されていない場合に、動画の撮像処理を終了すると判断する。動画の撮像処理を終了しない場合は、ステップＳ１１０８に処理を移行させ、次のフレームを処理する。動画の撮像処理を終了する場合は、本フローを終了する。

本図に関する説明では、各光源の重みを予め入力するとした。しかし、動画の撮像中に、ユーザがタッチパネル等を通じて光源の重みを入力させてもよい。

以上の説明では、ホワイトバランス指標値の一例として、色温度およびｄｕｖ値を適用した。しかし、ホワイトバランス指標値としては、ホワイトバランスゲイン等のホワイトバランス調整値を決定することができる情報であれば、どのようなものであってもよい。例えば、ホワイトバランス指標値として、ホワイトバランスゲインそのものを適用できる。また、以上の説明では、静止画または動画を撮像する前に複数の光源および重みを指定するとした。しかし、静止画または動画を撮像した後に複数の光源および重みを指定させてよい。また、ＳＤＲＡＭ１３６または外部メモリ１６０等に保持されている画像に対して、ホワイトバランス調整を施してもよい。以上に説明した撮像装置１００の処理を、パーソナルコンピュータ等の機器において行うことができる。

以上に説明したように、撮像装置１００によれば、複数の光源からの光がミックスされる環境下で撮像する場合でも、ユーザはホワイトバランス調整用の情報を容易に入力することができる。また、動画に対してＡＷＢでホワイトバランス調整を行っている状態から、画角切り替え等に応じて、ホワイトバランス調整を動的に変更することができる。また、複数の光源からの光がミックスされた環境下や、カラーフェリアが生じるような被写体を対象とした動画撮像において、ホワイトバランス設定を変化させる情報をユーザが容易に設定することができる。

上記の説明において、カメラＭＰＵ１３３の動作として説明した処理は、カメラＭＰＵ１３３がプログラムに従って撮像装置１００が有する各ハードウェアを制御することにより実現される。また、上記の説明においてＡＳＩＣ１３５により実現される処理は、プロセッサによって実現することができる。例えば、ＡＳＩＣ１３５の動作として説明した処理は、プロセッサがプログラムに従って撮像装置１００が有する各ハードウェアを制御することにより実現される。すなわち、本実施形態の撮像装置１００に関連して説明した処理は、プロセッサがプログラムに従って動作して各ハードウェアを制御することにより、プロセッサ、メモリ等を含む各ハードウェアとプログラムとが協働して動作することにより実現することができる。すなわち、当該処理を、いわゆるコンピュータ装置によって実現することができる。コンピュータ装置は、上述した処理の実行を制御するプログラムをロードして、読み込んだプログラムに従って動作して、当該処理を実行してよい。コンピュータ装置は、当該プログラムを記憶しているコンピュータ読取可能な記録媒体から当該プログラムをロードすることができる。

本実施形態において、一眼レフカメラとしての撮像装置１００の機能および動作を説明した。撮像装置としては、一眼レフカメラの他に、ミラーレス一眼カメラ、コンパクトデジタルカメラ、ビデオカメラ、放送用の撮像機器、撮像機能付きの携帯電話機、撮像機能付きの携帯情報端末、撮像機能付きのゲーム機器等の娯楽装置等、撮像機能を有する種々の機器を適用の対象とすることができる。また、出力形態についても、動画、静止画等の画像データを記録媒体に記録するだけでなく、ネットワーク等の種々の伝送路に画像データを出力する機器等を、適用の対象とすることができる。また、撮像装置１００に限らず、パーソナルコンピュータ、放送用の映像機器、テレビジョン装置、映像機器等の、圧縮対象の画像データを取り込んで圧縮する処理を行う電子機器を、適用の対象とすることができる。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

１００ 撮像装置、１２０ 交換レンズ、１２１ レンズマウント接点、１２２ レンズ群、１２３ レンズＭＰＵ、１３０ カメラ本体、１３１ カメラマウント接点、１３２ 撮像素子、１３３ カメラＭＰＵ、１３４ Ａ／Ｄ変換器、１３５ ＡＳＩＣ、１３６ ＳＤＲＡＭ、１３７ 表示制御部、１３８ 表示部、１３９ システムメモリ、１４０ 駆動部、１４１ 操作入力部、１４２ 合焦センサ、１４５ 接続インタフェース、１５０ メインミラー、１５１ サブミラー、１５６ 光学ファインダ部、１６０ 外部メモリ、１７０ 電源、２００ 光源情報指定部、２０２ 変化タイミング指定部、２１０ 前処理部、２２０ 色温度特定部、２３０ 調整値決定部、２３２ 色温度算出部、２３４ 偏差算出部、２４０ ホワイトバランスゲイン決定部、２５０ ホワイトバランス調整部、２６０ 後処理部、２７０ 光源情報格納部、２８０ 変化タイミング特定部、３００ 入力画面、３１０、３１２、３２０、３３０、３４０、３５０、３７０、３８０、３９０ オブジェクト、５００、５１０、５２０、５３０、５４０、６００、６４０、９２０ 符号、８００ 画面、１０００ 時間発展

Claims (17)

1. 複数の光源および前記複数の光源のそれぞれの重みをユーザに指定させる光源情報指定部と、
   指定された前記複数の光源に対応するホワイトバランス指標値を前記重みに応じて重みづけして、重みづけした前記ホワイトバランス指標値に基づいて、ホワイトバランス調整値を決定する調整値決定部と、
   前記調整値決定部が決定した前記ホワイトバランス調整値を用いて、画像にホワイトバランス調整を施すホワイトバランス調整部と
   を備える画像処理装置。
2. 予め定められた複数の光源に対応づけて色温度を格納する光源情報格納部
   をさらに備え、
   前記調整値決定部は、指定された前記複数の光源にそれぞれに対応づけて前記光源情報格納部が格納している複数の色温度を前記重みに応じて重みづけすることにより重みづけ色温度を算出し、前記重みづけ色温度に基づいて、前記ホワイトバランス調整値を決定する
   請求項１に記載の画像処理装置。
3. 前記光源情報格納部は、予め定められた複数の光源に対応づけて色温度および色温度の追従範囲を格納し、
   前記調整値決定部は、前記指定された複数の光源に対応づけて前記光源情報格納部が格納している複数の前記追従範囲を前記重みに応じて重みづけすることにより、重みづけ追従範囲を算出し、前記重みづけ色温度を含む前記重みづけ追従範囲内で、前記画像の色情報を考慮した色温度を決定し、決定した色温度に基づいてホワイトバランス調整値を決定する
   請求項２に記載の画像処理装置。
4. 前記調整値決定部は、前記重みづけ色温度を含む追従範囲内の色温度に対応する色の領域が前記画像内に存在しない場合に、前記重みづけ色温度に基づいてホワイトバランス調整値を決定する
   請求項３に記載の画像処理装置。
5. 前記調整値決定部は、前記画像の色情報から特定された色温度が、前記重みづけ色温度を含む前記重みづけ追従範囲内にある場合に、前記画像の色情報から特定された色温度に基づいてホワイトバランス調整値を決定する
   請求項３に記載の画像処理装置。
6. 前記調整値決定部は、前記画像の色情報から特定された色温度が、前記重みづけ色温度を含む追従範囲外にある場合に、前記重みづけ色温度に基づいてホワイトバランス調整値を決定する
   請求項３または５に記載の画像処理装置。
7. 前記調整値決定部は、前記画像の色情報から特定された色温度が、前記重みづけ色温度を含む追従範囲外にある場合に、前記重みづけ色温度を含む追従範囲内の色温度のうち、前記画像から算出された色温度により近い色温度をより優先して選択して、選択した色温度に基づいてホワイトバランス調整値を決定する
   請求項３または５に記載の画像処理装置。
8. 前記光源情報指定部は、前記画像から特定される光源を含む前記複数の光源および前記複数の光源のそれぞれの重みをユーザに指定させ、
   前記調整値決定部は、前記画像から特定される光源を含む複数の光源がユーザにより指定された場合に、前記画像の色情報から特定された色温度および指定された他の光源に対応する色温度を前記重みに応じて重みづけすることにより、前記重みづけ色温度を算出する
   請求項２に記載の画像処理装置。
9. 前記画像の色情報から色温度を特定する色温度特定部
   をさらに備え、
   前記複数の光源のうち、前記色温度特定部が特定した色温度に予め定められた値より近い色温度に対応する１以上の光源を選択して、ユーザに提示する提示部
   をさらに備える請求項２から８のいずれか一項に記載の画像処理装置。
10. 前記光源情報指定部は、選択された１以上の光源の中から、前記光源および前記重みを前記ユーザに指定させる
    請求項９に記載の画像処理装置。
11. 前記光源情報指定部は、前記複数の光源および前記複数の光源のそれぞれの重みの組み合わせを、ユーザに複数指定させ、
    前記調整値決定部は、前記複数の光源および重みの第１の組み合わせに基づく第１色温度から、前記複数の光源および重みの第２の組み合わせに基づく第２色温度までの間で、動画に含まれる複数の画像に対応する重みづけ色温度を時間順で決定し、決定した重みづけ色温度に基づいて、前記複数の画像に適用するホワイトバランス調整値を決定する
    請求項２から１０のいずれか一項に記載の画像処理装置。
12. 前記光源情報指定部は更に、色温度の時間変化量を示す時間変化情報をユーザに指定させ、
    前記調整値決定部は、前記時間変化量に応じて、前記第１色温度から前記第２色温度までの間で、動画に含まれる複数の画像に対応する重みづけ色温度を決定する
    請求項１１に記載の画像処理装置。
13. 前記調整値決定部は、前記動画に含まれる画像から色温度を特定し、特定した色温度に基づいて、前記指定された複数の組み合わせの中から、前記第１の組み合わせおよび前記第２の組み合わせの少なくとも一方を選択する
    をさらに備える請求項１１または１２に記載の画像処理装置。
14. 前記動画において前記ホワイトバランス調整値の変化を開始させる開始タイミングを特定する変化タイミング特定部
    をさらに備え、
    前記調整値決定部は、特定された前記開始タイミングに対応する画像に続く複数の画像に対応する重みづけ色温度を時間順で決定する
    請求項１１から１３のいずれか一項に記載の画像処理装置。
15. 前記調整値決定部は、指定された前記複数の光源にそれぞれ対応する複数のｄｕｖ値を前記重みに応じて重みづけすることにより重みづけｄｕｖ値を算出し、前記重みづけ色温度および前記重みづけｄｕｖ値に基づいて、ホワイトバランス調整値を決定する
    請求項２から１４のいずれか一項に記載の画像処理装置。
16. 複数の光源および前記複数の光源のそれぞれの重みをユーザに指定させる光源情報指定段階と、
    指定された前記複数の光源に対応するホワイトバランス指標値を前記重みに応じて重みづけして、重みづけした前記ホワイトバランス指標値に基づいて、ホワイトバランス調整値を決定する調整値決定段階と、
    前記調整値決定段階で決定された前記ホワイトバランス調整値を用いて、画像にホワイトバランス調整を施すホワイトバランス調整段階と
    を備える画像処理方法。
17. コンピュータに、
    複数の光源および前記複数の光源のそれぞれの重みをユーザに指定させる光源情報指定ステップと、
    指定された前記複数の光源に対応するホワイトバランス指標値を前記重みに応じて重みづけして、重みづけした前記ホワイトバランス指標値に基づいて、ホワイトバランス調整値を決定する調整値決定ステップと、
    前記調整値決定ステップで決定された前記ホワイトバランス調整値を用いて、画像にホワイトバランス調整を施すホワイトバランス調整ステップと
    を実行させるプログラム。

Images