JP2017118254A - 画像処理装置、画像処理プログラム、画像処理方法 - Google Patents

Abstract

【課題】ＷＢ用のゲインのロック解除後にちらつきを抑制しながらＷＢを短時間で追従させる画像処理装置等を提供する。【解決手段】ＷＢゲインＧｓとヒステリシスゲインＧｈとをフレーム毎に算出するＡＷＢゲイン演算部３１と、Ｇｈを用いてＷＢ補正を行うＷＢ補正部３４と、ロック中はＷＢ補正部３４に固定ゲインＧｆでＷＢ補正を行わせる制御部と、ロック解除後にＷＢゲインＧｓ（ｎ）と修正ヒステリシスゲインＧｈ’（ｎ−１）とを重み付け加算して修正ヒステリシスゲインＧｈ’（ｎ）を算出するゲイン調整部３２と、を備え、制御部は、フレームｎに対するＷＢ補正をＧｈ’（ｎ）を用いてＷＢ補正部３４に行わせる画像処理装置。【選択図】図２

Description

本発明は、動画像のホワイトバランス補正を行う画像処理装置、画像処理プログラム、画像処理方法に関する。

従来より、動画像のホワイトバランス（ＷＢ）を自動的に補正するオートホワイトバランス（ＡＷＢ）処理が行われている。このとき、もしフレーム単位で最適なＷＢゲインを算出して、算出したＷＢゲインを用いてＡＷＢ処理を行うと、画像の色や明るさがフレーム毎に変化してちらつきとして知覚されてしまい、画像が見難くなってしまう。このために、ＡＷＢ処理では、複数フレームのＷＢゲインに基づいて求めたヒステリシスゲイン（フレーム毎の値の上下動を抑制したＷＢゲイン）を用いてＷＢ補正が行われている。

ところで、例えば特開２００３−３４８６０１号公報には、動画撮影モードにおいて、動画撮影開始時にＡＷＢ処理を行った後は、動画撮影中の定期的なＡＷＢ処理を実施せずにＷＢゲインを固定すると共に、ＡＥ評価値を監視して、ＡＥ評価値が規定値以上変動した場合に、ＷＢゲインの固定を自動的に解除してＡＷＢ処理を再実行するオートホワイトバランス制御方法および電子カメラが記載されている。これにより、制御部の処理負担を軽減して、電子カメラ等の低価格化を図ることができるとされている。

そして、上記特開２００３−３４８６０１号公報に記載の技術は、ちらつき軽減を目的としたものではないが、ＷＢゲインを固定することで、ＷＢゲインがフレーム毎に変動することによるちらつきを抑制する効果が期待できる。さらに、シーン変化に応じてＷＢゲインの固定を自動的に解除することで、シーン毎に適したホワイトバランスを設定することができる。

特開２００３−３４８６０１号公報

しかしながら、上記特開２００３−３４８６０１号公報に記載の技術では、ＷＢゲインをロック（固定）した状態からロックを解除した状態へ移行すると、ロック解除直後にはＷＢゲインがフレーム間で大きく変化して、ちらつきとして目立ってしまう。

本発明は上記事情に鑑みてなされたものであり、ホワイトバランス用のゲインのロックが解除された後に、ちらつきを抑制しながら、ホワイトバランスが短時間で追従するようにすることができる画像処理装置、画像処理プログラム、画像処理方法を提供することを目的としている。

本発明のある態様による画像処理装置は、動画像を構成する１つのフレームのホワイトバランスゲインＧｓを算出することと、時系列的な複数フレームのホワイトバランスゲインＧｓに基づきヒステリシスゲインＧｈを算出することと、をフレーム毎に行うオートホワイトバランスゲイン演算部と、前記ヒステリシスゲインＧｈを用いてホワイトバランス補正を行うホワイトバランス補正部と、ロック指示が行われてからロック解除指示が行われるまでのロック中は、ロック指示時点のヒステリシスゲインＧｈを固定ゲインＧｆとして、この固定ゲインＧｆにより、前記ホワイトバランス補正部にホワイトバランス補正を行わせる制御部と、前記ロック解除指示がなされた後に、前記ヒステリシスゲインＧｈを補正して修正ヒステリシスゲインＧｈ’を算出するものであり、フレームの番号を時系列に従って整数ｎにより表したときに、フレーム（ｎ−１）の修正ヒステリシスゲインＧｈ’（ｎ−１）とフレームｎのホワイトバランスゲインＧｓ（ｎ）との変化率Ｄが大きいほど値が大きくなる０以上１以下の重みαを用いて、フレームｎに対する修正ヒステリシスゲインＧｈ’（ｎ）を、
Ｇｈ’（ｎ）＝α×Ｇｈ’（ｎ−１）＋（１−α）×Ｇｓ（ｎ）
により算出するゲイン調整部と、を具備し、前記制御部は、フレームｎに対するホワイトバランス補正を、フレームｎのヒステリシスゲインＧｈ（ｎ）に代えて、前記修正ヒステリシスゲインＧｈ’（ｎ）を用いて行わせるように前記ホワイトバランス補正部を制御する。

本発明のある態様による画像処理プログラムは、動画像を構成する１つのフレームのホワイトバランスゲインＧｓを算出することと、時系列的な複数フレームのホワイトバランスゲインＧｓに基づきヒステリシスゲインＧｈを算出することと、をフレーム毎に行うオートホワイトバランスゲイン演算ステップと、前記ヒステリシスゲインＧｈを用いてホワイトバランス補正を行うホワイトバランス補正ステップと、ロック指示が行われてからロック解除指示が行われるまでのロック中は、ロック指示時点のヒステリシスゲインＧｈを固定ゲインＧｆとして、この固定ゲインＧｆにより、前記ホワイトバランス補正ステップにホワイトバランス補正を行わせる制御ステップと、前記ロック解除指示がなされた後に、前記ヒステリシスゲインＧｈを補正して修正ヒステリシスゲインＧｈ’を算出するものであり、フレームの番号を時系列に従って整数ｎにより表したときに、フレーム（ｎ−１）の修正ヒステリシスゲインＧｈ’（ｎ−１）とフレームｎのホワイトバランスゲインＧｓ（ｎ）との変化率Ｄが大きいほど値が大きくなる０以上１以下の重みαを用いて、フレームｎに対する修正ヒステリシスゲインＧｈ’（ｎ）を、
Ｇｈ’（ｎ）＝α×Ｇｈ’（ｎ−１）＋（１−α）×Ｇｓ（ｎ）
により算出するゲイン調整ステップと、をコンピュータに実行させるためのプログラムであって、前記制御ステップは、フレームｎに対するホワイトバランス補正を、フレームｎのヒステリシスゲインＧｈ（ｎ）に代えて、前記修正ヒステリシスゲインＧｈ’（ｎ）を用いて行わせるように前記ホワイトバランス補正ステップを制御するステップである。

本発明のある態様による画像処理方法は、動画像を構成する１つのフレームのホワイトバランスゲインＧｓを算出することと、時系列的な複数フレームのホワイトバランスゲインＧｓに基づきヒステリシスゲインＧｈを算出することと、をフレーム毎に行うオートホワイトバランスゲイン演算ステップと、前記ヒステリシスゲインＧｈを用いてホワイトバランス補正を行うホワイトバランス補正ステップと、ロック指示が行われてからロック解除指示が行われるまでのロック中は、ロック指示時点のヒステリシスゲインＧｈを固定ゲインＧｆとして、この固定ゲインＧｆにより、前記ホワイトバランス補正ステップにホワイトバランス補正を行わせる制御ステップと、前記ロック解除指示がなされた後に、前記ヒステリシスゲインＧｈを補正して修正ヒステリシスゲインＧｈ’を算出するものであり、フレームの番号を時系列に従って整数ｎにより表したときに、フレーム（ｎ−１）の修正ヒステリシスゲインＧｈ’（ｎ−１）とフレームｎのホワイトバランスゲインＧｓ（ｎ）との変化率Ｄが大きいほど値が大きくなる０以上１以下の重みαを用いて、フレームｎに対する修正ヒステリシスゲインＧｈ’（ｎ）を、
Ｇｈ’（ｎ）＝α×Ｇｈ’（ｎ−１）＋（１−α）×Ｇｓ（ｎ）
により算出するゲイン調整ステップと、を具備し、前記制御ステップは、フレームｎに対するホワイトバランス補正を、フレームｎのヒステリシスゲインＧｈ（ｎ）に代えて、前記修正ヒステリシスゲインＧｈ’（ｎ）を用いて行わせるように前記ホワイトバランス補正ステップを制御するステップである。

本発明の画像処理装置、画像処理プログラム、画像処理方法によれば、ホワイトバランス用のゲインのロックが解除された後に、ちらつきを抑制しながら、ホワイトバランスが短時間で追従するようにすることができる。

本発明の実施形態１における画像処理装置が適用された撮像装置の構成を示すブロック図。 上記実施形態１における画像処理部のホワイトバランス調整機能に係る構成を示すブロック図。 上記実施形態１における画像処理装置が適用された撮像装置の作用を示すフローチャート。 上記実施形態１において、ホワイトバランス用のゲインのロック中および前後におけるゲイン変化の様子の一例を示すタイミングチャート。 上記実施形態１において、ロック解除直後のフレームの適用ゲインを算出する様子を示す線図。 上記実施形態１において、ロック解除直後のフレームの適用ゲインを算出する際に用いる選択ゲインの選択方法を説明するための図。 上記実施形態１において、画像に適用するゲインを算出する際に用いる重みαの例を示す線図。 上記実施形態１において、ロック指示がなされたときとロック解除指示がなされたときとで被写体輝度の差分が生じている様子を示す線図。 上記実施形態１において、重みαを係数ｋにより変化させる様子を示す線図。 上記実施形態１において、重みαを変化させる係数ｋを、ロック指示がなされたときとロック解除指示がなされたときとの被写体輝度の差分により変化させる例を示す線図。 上記実施形態１において、ロック解除直後のフレームの次のフレームに適用する修正ヒステリシスゲインを算出する様子を示す線図。 上記実施形態１において、ホワイトバランスがロック中であることを示すロック中表示の一例を示す図。 上記実施形態１において、ホワイトバランスが調整済みであることを示す調整済み表示の一例を示す図。 上記実施形態１において、ホワイトバランスが調整中であることを示す調整中表示の一例を示す図。

以下、図面を参照して本発明の実施の形態を説明する。
［実施形態１］

図１から図１４は本発明の実施形態１を示したものであり、図１は画像処理装置が適用された撮像装置の構成を示すブロック図である。

この撮像装置は、図１に示すように、レンズ１１と、レンズ駆動部１２と、レンズ駆動制御回路１３と、撮像素子１４と、撮像回路１５と、アナログ／デジタル変換部（Ａ／Ｄ変換部）１６と、バス１７と、ＳＤＲＡＭ１８と、画像処理部１９と、動画コーデック２０と、メモリインタフェース（メモリＩ／Ｆ）２１と、記録媒体２２と、ＬＣＤドライバ２３と、ＬＣＤ２４と、電子ビューファインダ（ＥＶＦ）２５と、アイセンサ２６と、ＡＥ処理部２７と、フラッシュメモリ２８と、操作部２９と、マイクロコンピュータ３０と、を備えている。

レンズ１１は、被写体の光学像を撮像素子１４の撮像領域に結像する撮像光学系である。このレンズ１１は、例えば、焦点位置（ピント位置）を調節してフォーカシングを行うためのフォーカスレンズと、通過する光束の範囲を制御するための光学絞りと、を備えている。

レンズ駆動部１２は、アクチュエータ等の駆動源を含み、フォーカスレンズをレンズ１１の光軸方向に移動させ、光学絞りの開口径を変化させる。

レンズ駆動制御回路１３は、マイクロコンピュータ３０からの指令に基づき、レンズ駆動部１２を介してフォーカスレンズを駆動することによりフォーカス位置を調整し、光学絞りを駆動することにより絞り値を調整する。

撮像素子１４は、レンズ１１により結像された被写体の光学像を光電変換して撮像を行うことによりアナログ画像信号を生成し出力する撮像部であり、例えば、原色ベイヤー配列のカラーフィルタを備えたカラー撮像素子として構成されている。

撮像回路１５は、撮像素子１４から読み出されたアナログ画像信号に対して、リセットノイズ等を低減した上で波形整形を行い、さらに目的の明るさとなるようにゲインアップを行う。

Ａ／Ｄ変換部１６は、撮像回路１５から出力されたアナログ画像信号をデジタル画像信号（適宜、画像データという）に変換する。

バス１７は、撮像装置内のある場所で発生した各種のデータや制御信号を、撮像装置内の他の場所へ転送するための転送路である。本実施形態におけるバス１７は、Ａ／Ｄ変換部１６と、ＳＤＲＡＭ１８と、画像処理部１９と、動画コーデック２０と、メモリＩ／Ｆ２１と、ＬＣＤドライバ２３と、ＥＶＦ２５と、アイセンサ２６と、ＡＥ処理部２７と、マイクロコンピュータ３０と、に接続されている。

Ａ／Ｄ変換部１６から出力された画像データは、バス１７を介して転送され、ＳＤＲＡＭ１８に一旦記憶される。

ＳＤＲＡＭ１８は、Ａ／Ｄ変換部１６から出力された画像データ、画像処理部１９により処理されもしくは処理途中の画像データ、動画コーデック２０により処理されもしくは処理途中の画像データ、等の各種データを一時的に記憶する記憶部である。

画像処理部１９は、画像データに各種の画像処理を行い、表示用あるいは記録用の画像を作成するものである。例えば、画像処理部１９は、デモザイキング処理、色再現処理、ノイズ低減処理などの画像処理を行う。さらに、この画像処理部１９は、画像のホワイトバランスを調整するホワイトバランス調整部としての機能を備えており、このホワイトバランス調整機能に係る構成や作用については、図２や図３等を参照して後で説明する。

動画コーデック２０は、動画像データを、ＭｏｔｉｏｎＪＰＥＧやＭＰＥＧなどの適宜の処理方式で圧縮伸張するものである。なお、静止画像については、この動画コーデック２０が圧縮伸張部を兼ねても良いし、動画コーデック２０とは別途にＪＰＥＧ処理部等を設けても構わない。この動画コーデック２０により処理された動画像データは、マイクロコンピュータ３０によりヘッダ等を付加されて、メモリＩ／Ｆ２１を介して記録媒体２２に動画像ファイルとして記録される。

メモリＩ／Ｆ２１は、記録媒体２２へ画像データを記録する制御を行う記録制御部であり、さらに、記録媒体２２からの画像データの読み出しも行う。

記録媒体２２は、画像処理部１９により記録用に処理された画像データ（動画像データ、静止画像データ等）を不揮発に記憶する記録部であり、例えば撮像装置に着脱できるメモリカード等により構成されている。従って、記録媒体２２は、撮像装置に固有の構成である必要はない。

ＬＣＤドライバ２３は、ＳＤＲＡＭ１８に記憶されている画像データを読み出して映像信号へ変換し、ＬＣＤ２４を駆動制御して映像信号に基づく画像をＬＣＤ２４に表示させる。

ＬＣＤ２４は、上述したようなＬＣＤドライバ２３の駆動制御により、画像を表示すると共に、この撮像装置に係る各種の情報を表示する表示部である。

ＥＶＦ２５は、接眼レンズ等を介して画像を拡大して観察するものであり、画像データに係る画像を表示すると共に、この撮像装置に係る各種の情報を表示する表示部である。

ここに、ＬＣＤ２４またはＥＶＦ２５において行われる撮像装置に係る各種の情報の表示には、ホワイトバランスがロック中であるか、調整中であるか、または調整済みであるかを示す表示が含まれている。

アイセンサ２６は、ＥＶＦ２５の近傍に配設されていて、近接する物体があるか否かを検出するためのセンサである。例えば、ＥＶＦ２５を接眼観察しているときには、このアイセンサ２６により、近接する物体（ユーザの眼）があることが検出される。さらに、アイセンサ２６は、後述するように、動画撮影モードが設定されているときには、ホワイトバランスをロックし、あるいはロック解除する操作をユーザが行うための操作部としても用いられる。

ＡＥ処理部２７は、Ａ／Ｄ変換部１６から出力された画像データに基づき、被写体輝度を測定し、例えばＡＰＥＸシステムにおけるＢＶ値を算出するものである。ここで算出されたＢＶ値は、マイクロコンピュータ３０による自動露出（ＡＥ）制御、すなわち、レンズ１１の光学絞りの制御、光学シャッタまたは電子シャッタによる露光時間の制御、設定されているＩＳＯ感度等に基づく輝度ゲインの制御などに用いられる。

フラッシュメモリ２８は、マイクロコンピュータ３０により実行される処理プログラム（画像処理装置により画像処理方法を実行するためのプログラムである画像処理プログラムを含む）と、この撮像装置に係る各種の情報と、を不揮発に記憶する記憶媒体である。ここに、フラッシュメモリ２８が記憶する情報としては、例えば、撮像装置を特定するための機種名や製造番号、画像処理に用いるパラメータ、テーブル、関数、あるいはユーザにより設定された設定値などが幾つかの例として挙げられる。このフラッシュメモリ２８が記憶する情報は、マイクロコンピュータ３０により読み取られる。

操作部２９は、この撮像装置に対する各種の操作入力を行うためのものであり、撮像装置の電源をオン／オフするための電源ボタン、画像の撮影指示に用いられるレリーズボタン、記録画像の再生を行うための再生ボタン、撮像装置の設定等を行うためのメニューボタン、項目の選択操作に用いられる十字キーや選択項目の確定操作に用いられるＯＫボタン等の操作ボタンを含んでいる。

ここに、レリーズボタンは、静止画像の撮影指示に用いられると共に、動画像の記録開始および記録終了を指示するために用いられるようになっており、例えば１ｓｔ（ファースト）レリーズスイッチおよび２ｎｄ（セカンド）レリーズスイッチを有して構成されている２段式操作ボタンとして構成されている。

また、メニューボタンや十字キー、ＯＫボタン等を用いて設定できる項目には、撮影モード（静止画撮影モード、動画撮影モード等）、記録モード（記録画素数や圧縮形式、圧縮率など）、再生モードなどが含まれている。この操作部２９に対して操作が行われると、操作内容に応じた信号がマイクロコンピュータ３０へ出力される。

マイクロコンピュータ３０は、撮像装置を統括的に制御する制御部である。マイクロコンピュータ３０は、操作部２９からユーザの操作入力を受けると、あるいはアイセンサ２６から検出結果が入力されると、フラッシュメモリ２８に記憶されている処理プログラムに従って、フラッシュメモリ２８から処理に必要なパラメータ等を読み込んで、操作内容に応じた各種シーケンスを実行する。

例えば、マイクロコンピュータ３０は、静止画撮影モードが設定されているときに、アイセンサ２６により近接する物体があると検出されたか否かに基づき接眼観察を行っているか否かを判定する。また、マイクロコンピュータ３０は、動画撮影モードが設定されているときに、アイセンサ２６の検出結果に基づき、ユーザからのロック指示の入力が行われ、あるいはユーザからのロック解除指示の入力が行われたと判定する。ここに、ロック指示は、ホワイトバランス用のゲインを固定するための指示、ロック解除指示はホワイトバランス用のゲインの固定を解除するための指示である。

具体的に、動画撮影モードにおいて、手などの物体をアイセンサ２６に近付けることにより、１回目に近接する物体があると検出された場合にロック指示の入力とし、２回目に近接する物体があると検出された場合にロック解除指示の入力とする、などである。

ただし、アイセンサ２６を用いる入力指示の方法はこれに限るものではない。例えば、アイセンサ２６の近傍で手のひらを振ることにより、近接する物体の有無が連続して切り替わったと検出された場合にロック指示またはロック解除指示の入力とするようにしても良い。これにより、意図しない物体がアイセンサ２６に近付いた場合の誤動作などを確実に回避することができる。

ユーザからのロック指示およびロック解除指示の入力は、アイセンサ２６により行うことができるだけでなく、さらに、操作部２９に設けられたボタンやスイッチ、タッチパネル等によっても行うことができるようになっている。ただし、動画撮影時にボタン等を操作すると画像がぶれることがあるために、非接触でロック指示およびロック解除指示を行うことができるアイセンサ２６を用いることで、こうしたぶれを回避すると良い。

なお、撮像装置にリモートコントローラが付属する場合には、ロック指示およびロック解除指示の入力をリモートコントローラを介して行うようにしても良い。あるいは、スマートフォンに撮像装置を遠隔操作するためのアプリをインストールすることで、ロック指示およびロック解除指示の入力をスマートフォンから行うようにしても構わない。

次に、図２は画像処理部１９のホワイトバランス調整機能に係る構成を示すブロック図である。

画像処理部１９は、ホワイトバランス調整機能に係る構成として、オートホワイトバランス（ＡＷＢ）ゲイン演算部３１と、ゲイン調整部３２と、光源色適合度判定部３３と、ホワイトバランス補正部３４と、輝度測定部３５と、を備えている。

画像処理部１９におけるホワイトバランス調整機能は、静止画像と動画像との何れに対しても用いられるが、以下では主として動画像に対して用いられるときを例に挙げて説明する。

ＡＷＢゲイン演算部３１は、動画像を構成する１つのフレームのホワイトバランス（ＷＢ）ゲインＧｓを算出することと、時系列的な複数フレームのＷＢゲインＧｓに基づきヒステリシスゲインＧｈを算出することと、をフレーム毎に行う。

すなわち、ＡＷＢゲイン演算部３１は、カラー画像を構成するＲＧＢ各成分の内の、Ｒ成分に対して適用されるゲインＧｒおよびＢ成分に対して適用されるゲインＧｂを算出する。Ｒ成分およびＢ成分のみに対してゲインが算出されるのは、画像の明るさは別の輝度調整回路等で調整すれば足りることから、輝度相当成分であるＧ成分を変化させないようにするためである（従って、Ｇ成分に対するゲインＧｇはＧｇ＝１であるということもできる）。以下では、これらのゲインＧｒ，Ｇｂを代表して、単にゲインＧなどと述べる。

ゲインＧを算出するに際して、ＡＷＢゲイン演算部３１は、まず、フレーム単位で取得される動画像データにおける、１フレームの画像データに基づき、該１フレームの画像における白色の被写体を白色として表示するのに適したＷＢゲインＧｓを算出する。すなわち、ＡＷＢゲイン演算部３１は、動画像データを構成するフレームの番号を時系列に従って整数ｎにより表したときに、ｎ番目のフレームｎに対するＷＢゲインＧｓ（ｎ）を算出することを、フレーム毎に行う。

次に、ＡＷＢゲイン演算部３１は、例えば、現フレームｎのＷＢゲインＧｓ（ｎ）および過去の１つ以上のフレームｎ−１，ｎ−２，…のＷＢゲインＧｓ（ｎ−１），Ｇｓ（ｎ−２），…に基づいて、現フレームｎの画像データに適用するヒステリシスゲインＧｈ（ｎ）を算出する。

一例として、ＡＷＢゲイン演算部３１は、現フレームｎのＷＢゲインＧｓ（ｎ）と、前フレーム（ｎ−１）のヒステリシスゲインＧｈ（ｎ−１）と、に基づいて、現フレームｎのヒステリシスゲインＧｈ（ｎ）を算出する（ヒステリシスゲインＧｈ（ｎ−１）は前フレーム（ｎ−１）のＷＢゲインＧｓ（ｎ−１）を用いて算出されているために、この算出法を用いれば、現フレームｎのヒステリシスゲインＧｈ（ｎ）は、現フレームおよび過去の１つ以上のフレームのＷＢゲインＧｓに基づいて算出されていることになる）。この例に限らず、ヒステリシスゲインＧｈは、公知の適宜の算出方法を用いて構わないが、フレーム毎にゲイン値が上下動するのを抑制しながら撮影シーンのホワイトバランスの変化に追従するような方法を採用すると良い。

ＡＷＢゲイン演算部３１は、ホワイトバランスがロックされているロック中（ホワイトバランスがロックされている期間を、適宜、ロック期間という）も含めて、このようなヒステリシスゲインＧｈ（ｎ）の算出をフレーム毎に行う。

ゲイン調整部３２は、ロック解除指示が行われてホワイトバランスのロック期間が終了した後に、画像に適用するヒステリシスゲインＧｈを補正して修正ヒステリシスゲインＧｈ’を算出するものである。

このゲイン調整部３２によるゲイン値の調整は、ロック解除指示後の、光源色適合度判定部３３によりホワイトバランスが調整された状態であると判定されるまでの期間（以下では適宜、調整中期間という）行われる。従って、この調整中期間以外は、ゲイン調整部３２の動作が停止するように、マイクロコンピュータ３０により制御される。これにより、ゲイン調整部３２が動作しないために、処理負荷の軽減、および消費電力の削減を図ることができる。

ここで、図４は、ホワイトバランス用のゲインのロック中および前後におけるゲイン変化の様子の一例を示すタイミングチャートである。なお、図４の横軸は、時間の経過をフレーム番号により示している。

マイクロコンピュータ３０によりロック指示が行われるフレームｎｌまでは、ゲインＧｒ，Ｇｂは撮影シーンに併せて変化している。そして、ロック指示が行われたフレームｎｌからロック解除指示が行われたフレームｎ０までのロック中は、マイクロコンピュータ３０が、ロック指示時点のヒステリシスゲインを図５に示す固定ゲインＧｆとして、この固定ゲインＧｆにより、ホワイトバランス補正部３４にホワイトバランス補正を行わせるように制御する。従って、ロック指示が行われたフレームｎｌのゲインＧｒ，Ｇｂが、ロック解除指示が行われるフレームｎ０まで維持される。フレームｎ０よりも後は、再びゲインＧｒ，Ｇｂが撮影シーンに併せて変化する。

このとき、図５の点線に示すように、フレームｎｌからフレームｎ０までのロック中もＡＷＢゲイン演算部３１によるヒステリシスゲインＧｈ（ｎ）の算出が行われている。このとき、ロック解除指示が行われたフレームｎ０のヒステリシスゲインＧｈ（ｎ０）は、ロック中に適用されていた固定ゲインＧｆとはゲイン値が所定値（例えば、色の変化が生じたと認識されるような所定値）以上異なっていることがあるために、ロック解除指示後にヒステリシスゲインＧｈを直ちに適用すると、ホワイトバランスの変化が大きくなってちらつきとして認識されてしまう。

こうしたちらつきを軽減するために行われるのが、ゲイン調整部３２によるヒステリシスゲインＧｈのゲイン値の調整であり、この調整により修正ヒステリシスゲインＧｈ’が算出される。このゲイン調整部３２がどのようにして修正ヒステリシスゲインＧｈ’を算出するのかについては、後で詳細に説明する。

光源色適合度判定部３３は、フレーム毎に、ホワイトバランスが調整された状態（光源色に適合している状態）であるか否かを判定する。光源色適合度判定部３３は、例えば、フレーム画像に適用されたホワイトバランス用のゲインの時間的な変化が小さくなって一定の値に漸近しているときに、光源色に適合していると判定することができる。ただし、その他の適宜の方法を用いて光源色に適合しているか否かを判定しても構わない。

ホワイトバランス補正部３４は、マイクロコンピュータ３０の制御に基づき、ロック期間および上述した調整中期間を除いて、ＡＷＢゲイン演算部３１により算出されたヒステリシスゲインＧｈを用いてホワイトバランス調整を行う。また、ホワイトバランス補正部３４は、マイクロコンピュータ３０の制御に基づき、ロック期間は固定ゲインＧｆを用いてホワイトバランス調整を行う。さらに、ホワイトバランス補正部３４は、マイクロコンピュータ３０の制御に基づき、上述した調整中期間は、ゲイン調整部３２により調整された修正ヒステリシスゲインＧｈ’を用いてホワイトバランス調整を行う。

輝度測定部３５は、フレーム画像の被写体輝度を測定する。ここで測定された被写体輝度は、後で図８〜図１０等を参照して説明するように、修正ヒステリシスゲインＧｈ’を算出する際に用いられる重みαを補正するために用いられる。

なお、画像処理装置が例えば撮像装置に適用されている場合には、上述したように、被写体輝度を測定するＡＥ処理部２７が設けられているために、輝度測定部３５を省略して、ＡＥ処理部２７により測定された被写体輝度を用いるようにしても構わない（この場合には、ＡＥ処理部２７が輝度測定部を兼ねることになる）。

次に、図３は、画像処理装置が適用された撮像装置の作用を示すフローチャートである。この図３に示す処理は、主として、フラッシュメモリ２８に記憶された処理プログラムを実行するマイクロコンピュータ３０の制御により、画像処理部１９を含む撮像装置内の各部の動作として行われる。

図示しないメイン処理において、撮像装置が動画撮影モードに設定されてＬＣＤ２４等にライブビュー表示を行っているときに、例えばレリーズボタンが押されることで動画の記録開始が指示されると、この処理に入って、処理中に用いるフラグａｄｊを０に初期化する（ステップＳ０）。なお、図３においては、等号「＝」を、プログラミングにおける使用法と同様にして用いている。すなわち、「ａｄｊ＝」は、「？」が付いている場合を除いて、「＝」の右辺の値をフラグａｄｊに代入することを示している。

ここに、フラグａｄｊは、上述したゲイン調整部３２によりゲイン値の調整が行われる調整中期間であるか否かを示すフラグであり、０であるときには調整中期間でないことを示し、１であるときには調整中期間であることを示している。

また、この初期化の時点では、マイクロコンピュータ３０の制御により、ゲイン調整部３２の動作は停止されている。

そして、動画の記録が開始される（ステップＳ１）。

ＡＷＢゲイン演算部３１は、上述したように、動画像を構成するフレーム画像が取得される毎に、取得されたフレームのみに係るＷＢゲインＧｓと、取得されたフレームと過去のフレームとに係るヒステリシスゲインＧｈと、を算出する（ステップＳ２）。

ここで算出されたヒステリシスゲインＧｈは、マイクロコンピュータ３０の制御に基づいて、例えばＳＤＲＡＭ１８（あるいは、画像処理部１９もしくはマイクロコンピュータ３０内の図示しないメモリ部等でも良い。以下同様。）に一時的に記憶される（ステップＳ３）。

そして、操作部として機能するアイセンサ２６（あるいは操作部２９、以下同様）を介したユーザからの入力指示に基づいて、マイクロコンピュータ３０が、ホワイトバランスをロックするためのロック指示が行われたか否かを判定する（ステップＳ４）。

ここでロック指示が行われていないと判定された場合には、フラグａｄｊが１であるか否かを判定する（ステップＳ４Ａ）。

例えばこの図３に示す処理を開始した直後等は、上述したステップＳ０においてａｄｊ＝０に設定されているために、ここではフラグａｄｊが１でないと判定されることになる。

この場合には、ホワイトバランス補正部３４は、ヒステリシスゲインＧｈ（ｎ）を用いてフレームｎに対するホワイトバランス補正を行う（ステップＳ１３Ａ）。

そして、図１３に示すような調整済み表示２４ａを、ステップＳ１３Ａにおいてホワイトバランス調整されたフレーム画像に対して重畳し、表示部である例えばＬＣＤ２４に表示する（ステップＳ１６）。

ここに、図１３は、ホワイトバランスが調整済みであることを示す調整済み表示２４ａの一例を示す図である。この図１３に示す表示例では、オートホワイトバランスを実行するモードに設定されていることを示す「ＡＷＢ」の文字が表示されているが、後述する図１２のロック中表示２４ｌに示すようなロック中であることを示す文字「−Ｌ」は付加されていない。さらに、文字色と文字部分背景色も、図１２のロック中表示２４ｌに示すような反転色ではなく、通常の色である。

その後、例えばレリーズボタンが再度押されたか否かに基づき、動画の記録終了が指示されたか否かを判定する（ステップＳ１８）。

ここで動画の記録終了が指示されていないと判定された場合には、ステップＳ２へ戻って上述したような処理を行う。

このような、ステップＳ２，Ｓ３，Ｓ４，Ｓ４Ａ，Ｓ１３Ａ，Ｓ１６，Ｓ１８のループ処理（ロック期間でも調整中期間でもない通常期間の処理）を行っている最中に、例えばアイセンサ２６等の操作部を介してロック指示が行われた場合には、上述したステップＳ４においてロック指示が行われたと判定される。

この場合には、もしゲイン調整部３２が動作中であるときにはマイクロコンピュータ３０がゲイン調整部３２の動作を停止するように制御してからロック期間の処理に入り、ロック指示が行われた時点で取得されている最新のヒステリシスゲインＧｈを固定ゲインＧｆとして例えばＳＤＲＡＭ１８に保存する（ステップＳ５）。

そして、マイクロコンピュータ３０の制御に基づき、ホワイトバランス補正部３４が、取得されたフレーム画像に対して、固定ゲインＧｆを用いてホワイトバランス調整を行う（ステップＳ６）。

一方、ロック中であっても、上述したように、ＡＷＢゲイン演算部３１が、ＷＢゲインＧｓとヒステリシスゲインＧｈとを算出し（ステップＳ７）、算出されたヒステリシスゲインＧｈが例えばＳＤＲＡＭ１８に一時的に記憶される（ステップＳ８）。

続いて、ステップＳ６においてホワイトバランス調整が行われたフレーム画像が、表示部である例えばＬＣＤ２４に表示される。このＬＣＤ２４の表示画像には、例えばマイクロコンピュータ３０の制御に基づく画像処理部１９の重畳機能により、図１２に示すように、オートホワイトバランスがロック中であることを示すロック中表示２４ｌが重畳される（ステップＳ９）。

ここに、図１２は、ホワイトバランスがロック中であることを示すロック中表示２４ｌの一例を示す図である。この図１２に示す表示例では、オートホワイトバランスを実行するモードに設定されていることを示す「ＡＷＢ」の文字の後に、ロック中であることを示す文字「−Ｌ」が付加されると共に、文字色と文字部分背景色が、上述した図１３の調整済み表示２４ａとは反転された色となっている。

その後、アイセンサ２６等の操作部を介してロック解除指示が行われたか否かを判定する（ステップＳ１０）。

ここで、ロック解除指示が行われていないと判定された場合には、例えばレリーズボタンが再度押されたか否かに基づき、動画の記録終了が指示されたか否かを判定する（ステップＳ１１）。

そして、動画の記録終了が指示されていないと判定された場合には、ステップＳ６へ戻って上述したような処理を行う。

一方、ステップＳ１０において、ロック解除指示が行われたと判定された場合には、フラグａｄｊに１を設定する（ステップＳ１０Ａ）。

その後、ステップＳ２へ戻ってＷＢゲインＧｓとヒステリシスゲインＧｈとを算出し、ステップＳ３においてヒステリシスゲインＧｈを記憶し、ステップＳ４の判定を行う。

ステップＳ１０においてロック解除指示が行われたと判定された直後であれば、このステップＳ４において、ロック指示が行われていないと判定されることになる。この場合には、さらに、ステップＳ４Ａの処理を行い、フラグａｄｊが１であるか否かを判定する。

ロック解除指示が行われた直後であれば、上述したステップＳ１０Ａにおいてａｄｊ＝１に設定されているために、このステップＳ４Ａではフラグａｄｊが１であると判定される。

すると、調整中期間の処理に入り、マイクロコンピュータ３０がゲイン調整部３２の動作を開始させて、ゲイン調整部３２が修正ヒステリシスゲインＧｈ’を算出する（ステップＳ１２）。

ここでまず、ロック解除された直後のフレーム（ｎ０＋１）に対する修正ヒステリシスゲインＧｈ’の算出処理について、図５を参照して説明する。図５は、ロック解除直後のフレームの適用ゲインを算出する様子を示す線図である。

ロック中も算出されているヒステリシスゲインＧｈ（ｎ）は、図５の点線に示すように、ロック中に適用されている固定ゲインＧｆとは異なる値を推移する。従って、ロック解除指示後にヒステリシスゲインＧｈ（ｎ）をもしそのまま適用すると、上述したようにちらつきとして認識されてしまうことがある。

そこで、ロック解除指示が行われたフレームｎ０のヒステリシスゲインＧｈ（ｎ０）と、ロック解除された直後のフレーム（ｎ０＋１）のＷＢゲインＧｓ（ｎ０＋１）と、ロック中に適用されていた固定ゲインＧｆと、に基づいて、フレーム（ｎ０＋１）に適用する適用ゲインＧａである修正ヒステリシスゲインＧｈ’（ｎ０＋１）を、ゲイン調整部３２が次のように算出する。

ゲイン調整部３２は、修正ヒステリシスゲインＧｈ’（ｎ０＋１）を算出するに際して、まず、ヒステリシスゲインＧｈ（ｎ０）とＷＢゲインＧｓ（ｎ０＋１）との何れか一方を、選択ゲインＧｃに設定する。

ここに、図６は、ロック解除直後のフレームの適用ゲインＧａを算出する際に用いる選択ゲインＧｃの選択方法を説明するための図である。なお、図６においてはフレーム番号の図示を省略している。

ゲイン調整部３２は、固定ゲインＧｆとヒステリシスゲインＧｈ（ｎ０）とＷＢゲインＧｓ（ｎ０＋１）とを、ゲイン値の順序に並べる。具体的に図６には、固定ゲインＧｆを中心として、ヒステリシスゲインＧｈ（ｎ０）とＷＢゲインＧｓ（ｎ０＋１）とがどのような順序になるかのパターン（１）〜（６）を示している。

固定ゲインＧｆがヒステリシスゲインＧｈ（ｎ０）とＷＢゲインＧｓ（ｎ０＋１）との間にない場合が、パターン（１）〜（４）に示されている。このときには、ヒステリシスゲインＧｈ（ｎ０）とＷＢゲインＧｓ（ｎ０＋１）との内の固定ゲインＧｆに順序が近い方（図６においてハッチングが付されている方）を選択ゲインＧｃとする。

また、固定ゲインＧｆがヒステリシスゲインＧｈ（ｎ０）とＷＢゲインＧｓ（ｎ０＋１）との間にある場合が、パターン（５），（６）に示されている。このときには、ヒステリシスゲインＧｈ（ｎ０）を選択ゲインＧｃとする。

こうして選択ゲインＧｃが決定されたら、ゲイン調整部３２は、重みαを用いて、修正ヒステリシスゲインＧｈ’（ｎ０＋１）を、次の数式１
［数１］
Ｇｈ’（ｎ０＋１）＝α×Ｇｆ＋（１−α）×Ｇｃ
により算出する。

ここに、ゲイン調整部３２は、重みαを、固定ゲインＧｆと選択ゲインＧｃとの変化率Ｄに基づいて、図７に示すような０以上１以下の値として設定するようになっている。ここに、図７は、画像に適用するゲインを算出する際に用いる重みαの例を示す線図である。

まず、変化率Ｄの計算方法の一例は、次の数式２である。
［数２］
Ｄ＝ａｂｓ｛１−（Ｇｆ／Ｇｃ）｝
ここに、ａｂｓは絶対値をとることを示している。

ただし、変化率Ｄの算出法は、この数式２を採用するに限るものではなく、例えば、次の数式３を採用しても構わない。ここに、数式２においては選択ゲインＧｃと固定ゲインＧｆとの差分（Ｇｃ−Ｇｆ）を選択ゲインＧｃで割っていたが、この数式３は、差分（Ｇｃ−Ｇｆ）を固定ゲインＧｆで割ったものとなっている。
［数３］
Ｄ＝ａｂｓ｛（Ｇｃ／Ｇｆ）−１｝

さらに、これらに限らず、例えば差分（Ｇｃ−Ｇｆ）の絶対値等を用いることもでき、この場合には変化率ではなく変化量となり、重みαを変化量の関数として設定すれば良い。

ゲイン調整部３２は、図７に示すように、変化率Ｄが所定の変化率Ｄ０未満（０≦Ｄ＜Ｄ０）の場合には、α＝１に設定する。このときには数式１により、Ｇｈ’（ｎ０＋１）＝Ｇｆとなって、ロック解除直後であっても固定ゲインＧｆが適用されることになる。これは、固定ゲインＧｆと選択ゲインＧｃとの変化率Ｄが小さい場合には、実質的にゲインを変化させる必要がないと判断して、フレーム単位でホワイトバランスが上下に変動するのを抑制するようにしているためである。

さらに、ゲイン調整部３２は、変化率Ｄが所定の変化率Ｄ０になったところでα＝０に設定し、その後は変化率Ｄが所定の変化率Ｄ０から大きくなるほど重みαの値が大きくなるように（つまり、単調増加するように）設定する。

これは、変化率Ｄが所定の変化率Ｄ０以上であればゲインを変化させる必要があると判断して、適切なゲインになるべく短いフレーム数で戻るように、Ｄ＝Ｄ０においてα＝０に設定している。ただし、変化率Ｄが大きい場合には、α（Ｄ）を１もしくは次に説明する上限値α０へ漸近させるように増加させて、フレーム間のゲイン変化量が大きくなり過ぎず適切な範囲内となるように抑制している。

また、Ｄ０≦Ｄにおいて単調増加するときの重みαの上限は、α自体の上限値である１．０としても良いが、１．０未満の所定の上限値α０（０＜α０＜１）を設けて、この上限値α０に漸近するようにしても構わない。

さらに、図７に示した例、あるいは後述する図９に示す例においては、Ｄ０≦Ｄにおけるαの単調増加が滑らかな曲線形状をなすようにしたが、変化率Ｄに応じて重みαを算出する際の演算負荷を軽減するために、直線の線分をつないで構成された折れ線等を用いても構わない。具体例として、（Ｄ，α）＝（Ｄ０，０）である点から、Ｄ０＜Ｄ１を満たす点（Ｄ，α）＝（Ｄ１，α０）までは直線でαが増加し、Ｄ１≦Ｄにおいてα＝α０の一定値をとるような折れ線を用いることが挙げられる。

なお、重みαは上述したように変化率Ｄに応じて変化するが、これに加えてさらに他の要因をパラメータとして変化するようにしても構わない。

ロック中における被写体輝度の変化量に応じて重みαを変化させる例を、図８〜図１０を参照して説明する。

まず、図８は、ロック指示がなされたときとロック解除指示がなされたときとで被写体輝度の差分が生じている様子を示す線図である。

ロック指示がなされたフレームｎｌの画像データに対して輝度測定部３５（またはＡＥ処理部２７、以下同様）により測定された被写体輝度をＢＶ（ｎｌ）、ロック解除指示がなされたフレームｎ０の画像データに対して輝度測定部３５により測定された被写体輝度をＢＶ（ｎ０）とすると、ロック期間の前後の被写体輝度の変化量を示す差分ΔＢＶは、次の数式４に示すようになる。
［数４］
ΔＢＶ＝ＢＶ（ｎ０）−ＢＶ（ｎｌ）

この差分ΔＢＶに応じた係数ｋを、例えば図１０に示すように算出する。ここに、図１０は、重みαを変化させる係数ｋを、ロック指示がなされたときとロック解除指示がなされたときとの被写体輝度の差分ΔＢＶにより変化させる例を示す線図である。

この図１０に示す例では、係数ｋを差分ΔＢＶの関数ｋ（ΔＢＶ）として、差分ΔＢＶが負であるとき、つまりロック期間の前後で被写体輝度が低下したとき（ΔＢＶ＜０のとき）には係数ｋが１をとり、差分ΔＢＶが正であるときには、差分ΔＢＶが大きくなるにつれて係数ｋが１から単調減少するようになっている。ここに、ΔＢＶ＜０のときには係数ｋを１のままとし、０＜ΔＢＶのときのみに係数ｋを減少させたのは、被写体が明るい方に変化するときの方が、暗い方に変化するときよりも、色の変化に敏感である特性を人間の眼がもっているためである。

このような係数ｋを用いて、重みα（Ｄ）を変化させる。ここに、図９は、重みαを係数ｋにより変化させる様子を示す線図である。

この図９に示す例では、基本重みα０（Ｄ）を予め用意して例えばフラッシュメモリ２８等に記憶しておき、ゲイン調整部３２が、差分ΔＢＶから係数ｋを算出して、例えば次の数式５に示すように、Ｄ０≦Ｄの範囲においてｋを基本重みα０（Ｄ）に乗算することで、重みα（Ｄ）を求めるようにしている。
［数５］
α（Ｄ）＝ｋ×α０（Ｄ）

こうして、ゲイン調整部３２は、差分ΔＢＶが大きい程、変化率Ｄに対する重みαの値が小さくなるように、重みαを０以上１以下の範囲内で補正している。

また、ここではゲイン調整部３２は、変化率Ｄに対する重みαの値を変化させる係数ｋを、ロック期間の前後の被写体輝度の差分ΔＢＶに応じて自動的に変化させたが、これに限るものではなく、例えば操作部を介したユーザからの操作入力に応じて変化させるようにしても良い。

例えば、ロック解除指示を操作部２９のロック解除指示ボタンの押下操作により行う場合に、ロック解除指示ボタンの押下時間ΔＴが所定の最短押下時間ΔＴ０よりもどれだけ長いか（つまり、ΔＴ−ΔＴ０）に応じて係数ｋを変化させるように、つまり、係数ｋを押下時間延長量（ΔＴ−ΔＴ０）の関数ｋ（ΔＴ−ΔＴ０）として変化させるように、しても良い。

あるいは、ロック解除指示ボタンに圧力検出部を設けて、ロック解除指示ボタンの押下圧力Ｐが所定の最低押下圧力Ｐ０よりもどれだけ大きいか（つまり、Ｐ−Ｐ０）に応じて係数ｋを変化させるように、つまり、係数ｋを押下圧力増加量（Ｐ−Ｐ０）の関数ｋ（Ｐ−Ｐ０）として変化させるように、しても構わない。

なお、図７に示したような重みα（Ｄ）、図９に示したような基本重みα０（Ｄ）、図１０に示したような係数ｋなどは、関数としてフラッシュメモリ２８に予め記憶させても良いが、例えば関数上の特定の点だけをテーブル等で記憶させて、所望の点に最も近い点の値を用いるか、あるいは補間演算で所望の点の値を求めるようにしても構わない。

次に、ロック解除された直後のフレームの次のフレーム（ｎ０＋２）、もしくはそれ以降のフレームであって、ステップＳ１４（あるいはさらにステップＳ１５）において光源色が適合中（ホワイトバランスが調整済み）であると判定されるまでの調整中期間に、ゲイン調整部３２が算出する修正ヒステリシスゲインＧｈ’について、図１１を参照して説明する。

図１１は、ロック解除直後のフレームの次のフレーム（ｎ０＋２）に適用する修正ヒステリシスゲインＧｈ’（ｎ０＋２）を算出する様子を示す線図である。

ロック解除直後のフレームよりも後のフレームの番号をｎ＝（ｎ０＋２），（ｎ０＋３），…としたときに、ゲイン調整部３２は、上述したような０以上１以下の重みα（例えば図７参照）を用いて、フレームｎに対する修正ヒステリシスゲインＧｈ’（ｎ）を、次の数式６
［数６］
Ｇｈ’（ｎ）＝α×Ｇｈ’（ｎ−１）＋（１−α）×Ｇｓ（ｎ）
により算出する。なお、図１１に示しているのは、ｎ＝（ｎ０＋２）のときの様子である。

ただし、重みαの値を変化させる変化率Ｄは、ここでは、１つ前のフレーム（ｎ−１）の修正ヒステリシスゲインＧｈ’（ｎ−１）と現フレームｎのＷＢゲインＧｓ（ｎ）との変化率であり、例えば次の数式７に示すように算出される。
［数７］
Ｄ＝ａｂｓ［１−｛Ｇｈ’（ｎ−１）／Ｇｓ（ｎ）｝］

あるいは、数式７に代えて、例えば次の数式８
［数８］
Ｄ＝ａｂｓ［｛Ｇｓ（ｎ）／Ｇｈ’（ｎ−１）｝−１］
に示すように算出しても良いこと（あるいは、重みαを変化量の関数として設定して、変化率に変えて変化量を用いても良いこと）などは、上述と同様である。

現フレームｎに対するＷＢゲインＧｓ（ｎ）が得られれば、前フレーム（ｎ−１）で用いられた修正ヒステリシスゲインＧｈ’（ｎ−１）と、重みαとを用いて、上述した数式６により、現フレームｎに適用する修正ヒステリシスゲインＧｈ’（ｎ）を算出することができる。

マイクロコンピュータ３０は、修正ヒステリシスゲインＧｈ’（ｎ）が算出された場合には、フレームｎ（例えば、ｎ＝（ｎ０＋１），（ｎ０＋２），…）に対するホワイトバランス補正を、フレームｎのヒステリシスゲインＧｈ（ｎ）に代えて、修正ヒステリシスゲインＧｈ’（ｎ）を用いて行わせるようにホワイトバランス補正部３４を制御する。これにより、ホワイトバランス補正部３４は、修正ヒステリシスゲインＧｈ’（ｎ）を用いてフレームｎに対するホワイトバランス補正を行う（ステップＳ１３）。

続いて、光源色適合度判定部３３が、フレームｎの画像のホワイトバランスが調整された状態であるか否か（光源色に適合しているか否か）を求める光源色適合度判定処理を行う（ステップＳ１４）。

そして、光源色適合度判定部３３による判定処理の結果が、ホワイトバランスが調整済みであることを示すものであるか否かを判定する（ステップＳ１５）。

ここで、ホワイトバランスが調整済みであると判定された場合には、フラグａｄｊを０に設定する（ステップＳ１５Ａ）。このときには、マイクロコンピュータ３０が、ゲイン調整部３２の動作を停止するように制御する。

続いて、上述したステップＳ１６の処理を行うことにより、図１３に示すような調整済み表示２４ａを、ステップＳ１３においてホワイトバランス調整されたフレーム画像に対して重畳し、表示部である例えばＬＣＤ２４に表示する。

また、ステップＳ１５において、ホワイトバランスがまだ調整済みでなく調整中であると判定された場合には、図１４に示すような調整中表示２４ｂを、ステップＳ１３においてホワイトバランス調整されたフレーム画像に対して重畳し、表示部である例えばＬＣＤ２４に表示する（ステップＳ１７）。ここに、図１４は、ホワイトバランスが調整中であることを示す調整中表示２４ｂの一例を示す図である。この調整中表示２４ｂは、例えば、調整済み表示２４ａと同様の表示を適宜の時間間隔で点滅させることにより、調整中であることを示す表示となっている。

なお、図１２〜図１４に示した表示は一例であってこれらの表示に限定されるものではなく、その他の表示を用いても勿論構わない。また、図１２〜図１４に示した表示は、他の一般的な各種の情報表示と同様に、表示のオン／オフをユーザが所望に設定することができるようにしても良い。

ステップＳ１６またはステップＳ１７の処理を行ったら、上述したステップＳ１８の処理を行って、動画の記録終了が指示されたか否かを判定する。

そして、動画の記録終了が指示されていないと判定された場合には、ステップＳ２へ戻って上述したような処理を行う。このときには、ステップＳ１５においてホワイトバランスが調整済みでないと判定された場合には、ａｄｊ＝１のままであるために、ステップＳ４Ａの判定によりステップＳ１２の処理（調整中期間の処理）へ進むことになる。一方、ステップＳ１５においてホワイトバランスが調整済みであると判定された場合には、ステップＳ１５Ａにおいてａｄｊ＝０に設定されているために、ステップＳ４Ａの判定によりステップＳ１３Ａの処理（ロック期間でも調整中期間でもない通常期間の処理）へ進むことになる。

一方、ステップＳ１１またはステップＳ１８において、動画の記録終了が指示されたと判定された場合には、マイクロコンピュータ３０が、動画データにヘッダ等を付加して、メモリＩ／Ｆ２１を介して記録媒体２２に、動画像ファイルとして記録する（ステップＳ１９）。

この動画像ファイルを記録する際に、マイクロコンピュータ３０は、ロック指示がなされたタイミングを示す情報と、ロック解除指示がなされたタイミングを示す情報と、固定ゲインＧｆ（Ｒ成分に対して適用されるゲインＧｒおよびＢ成分に対して適用されるゲインＧｂ）と、を動画像に関連付けて（例えばファイルヘッダ等に）記録するようにさらに制御する。

ここに、ロック指示およびロック解除指示がなされたタイミングを示す情報は、ロック開始フレーム番号およびロック終了フレーム番号であっても良いし、ロック開始時点を示すタイムコードおよびロック終了時点を示すタイムコードであっても構わない。

これにより、動画像ファイルに含まれる複数のフレーム画像の内の、どのフレーム画像がホワイトバランスのロック中に取得された画像であるかを簡単に判別することができる。

こうして動画像ファイルを記録したら、その後に、この処理から図示しないメイン処理へリターンする。

なお、上述ではロック期間が終了した後に修正ヒステリシスゲインＧｈ’を算出する例を説明したが、これに限定されるものではない。ロック期間終了後の調整中期間でなくても、例えば、光源色適合度判定部３３によりホワイトバランスが光源色と適合していないと判定された場合、あるいは光源色適合度判定部３３によりホワイトバランスと光源色との適合度が所定値以上乖離していると判定された場合などに、修正ヒステリシスゲインＧｈ’を算出するようにしても構わない。この場合には、適合していない（あるいは所定値以上乖離している）と判定されてから、再び光源色適合度判定部３３により光源色に適合していると判定されるまでの期間が調整中期間となる。

また、上述では動画を記録中にゲイン調整部３２によるゲイン調整を行ったが、これに加えて、例えばライブビュー時にゲイン調整部３２によるゲイン調整を行うようにしても構わない（逆に、消費電力低減のために、ライブビュー時にはゲイン調整部３２によるゲイン調整をオフするようにしても良い）。

このような実施形態１によれば、ロック解除指示がなされた後に、修正ヒステリシスゲインＧｈ’（ｎ）を数式６により算出し、算出した修正ヒステリシスゲインＧｈ’（ｎ）を用いてホワイトバランス補正部３４にフレーム画像のホワイトバランス補正を行わせるようにしたために、ホワイトバランス用のゲインのロックが解除された後に、ちらつきを抑制しながら、ホワイトバランスが短時間で追従するようにすることができる。これにより、画像の動的な変化に対する違和感を軽減することができる。

また、フレームｎ０でロック解除指示がなされた場合に、ゲイン調整部３２は、修正ヒステリシスゲインＧｈ’（ｎ０＋１）を数式１により算出するようにしたために、ロック解除指示直後におけるホワイトバランスの極端な変化を抑制しながら、望ましいホワイトバランスに近付くように適切に調整することができる。

特に、選択ゲインＧｃとしてヒステリシスゲインＧｈ（ｎ０）とＷＢゲインＧｓ（ｎ０＋１）との内の固定ゲインＧｆに順序が近い方を選択することにより、ロック中に適用されていた固定ゲインＧｆからのホワイトバランスの変化量を効果的に抑制することができる。また、固定ゲインＧｆに近い方の順序が特定できない場合に、ヒステリシスゲインＧｈ（ｎ０）をＷＢゲインＧｓ（ｎ０＋１）よりも優先して選択ゲインＧｃとするようにしたために、フレーム単位でホワイトバランスが上下に変動するのを効果的に抑制することができる。

さらに、ロック期間の前後の被写体輝度の差分ΔＢＶが大きい程、変化率Ｄに対する重みαの値が小さくなるように、重みαを０以上１以下の範囲内で補正するようにしたために、ロック中に被写体輝度が高い方へ変化して人間の眼のホワイトバランス変化に対する感受性が高くなっている場合でも、ちらつきを適切に抑制することができる。

また、操作部からの入力に応じて、変化率Ｄに対する重みαの値が変化するように、重みαを０以上１以下の範囲内で補正する場合には、ユーザがホワイトバランスの追従性を所望にコントロールすることができる。

加えて、変化率Ｄが所定の変化率Ｄ０未満の場合には、α＝１に設定するようにしたために、変化率Ｄが小さい場合のゲインの上下変動を抑制して、ちらつきを排除することができる。

そして、光源色適合度判定部３３によりホワイトバランスが調整された状態であると判定されたときにはゲイン調整部３２の動作を停止するようにしたために、処理負荷を軽減し、消費電力を削減することができる。

ホワイトバランスがロック中にロック中表示２４ｌを行うようにしたために、ユーザは、ロック中であることを視覚的に容易に確認することができる。

また、ホワイトバランスが調整中であるときに調整中表示２４ｂを行うようにしたために、ユーザは、調整中であることを視覚的に容易に確認することができる。

そして、ホワイトバランスが調整済みであるときに調整済み表示２４ａを行うようにしたために、ユーザは、調整済みであることを視覚的に容易に確認することができる。

さらに、ロック指示またはロック解除指示を入力するための操作部としてアイセンサ２６を用いることにより、非接触で操作を行うことができ、ボタン操作等を用いる場合のような画像のぶれを未然に回避することができる。特に、動画撮影時にはＬＣＤ２４が利用され、ＥＶＦ２５はほとんど利用されないようなカメラ等においては、アイセンサ２６の有効利用を図ることができる。

加えて、動画像を記録する際に、ロック指示がなされたタイミングを示す情報と、ロック解除指示がなされたタイミングを示す情報と、固定ゲインＧｆと、を動画像に関連付けて記録するようにしたために、ホワイトバランスのロック中に取得されたフレームを、画像記録後の所望の時点で簡単に判別することができる。

なお、上述した各部は、回路として構成されていても良い。そして、任意の回路は、同一の機能を果たすことができれば、単一の回路として実装されていても良いし、複数の回路を組み合わせたものとして実装されていても構わない。さらに、任意の回路は、目的とする機能を果たすための専用回路として構成されるに限るものではなく、汎用回路に処理プログラムを実行させることで目的とする機能を果たす構成であっても構わない。

また、上述では主として画像処理装置について説明したが、画像処理装置と同様の処理を行う画像処理方法であっても良いし、コンピュータに画像処理装置と同様の処理を行わせるための画像処理プログラム、該画像処理プログラムを記録するコンピュータにより読み取りできる一時的でない記録媒体、等であっても構わない。

さらに、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明の態様を形成することができる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除しても良い。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用ができることは勿論である。

１１…レンズ
１２…レンズ駆動部
１３…レンズ駆動制御回路
１４…撮像素子
１５…撮像回路
１６…Ａ／Ｄ変換部
１７…バス
１８…ＳＤＲＡＭ
１９…画像処理部
２０…動画コーデック
２１…メモリインタフェース（メモリＩ／Ｆ）
２２…記録媒体
２３…ＬＣＤドライバ
２４…ＬＣＤ
２４ａ…調整済み表示
２４ｂ…調整中表示
２４ｌ…ロック中表示
２５…電子ビューファインダ（ＥＶＦ）
２６…アイセンサ
２７…ＡＥ処理部
２８…フラッシュメモリ
２９…操作部
３０…マイクロコンピュータ
３１…ＡＷＢゲイン演算部
３２…ゲイン調整部
３３…光源色適合度判定部
３４…ホワイトバランス補正部
３５…輝度測定部

Claims (13)

1. 動画像を構成する１つのフレームのホワイトバランスゲインＧｓを算出することと、時系列的な複数フレームのホワイトバランスゲインＧｓに基づきヒステリシスゲインＧｈを算出することと、をフレーム毎に行うオートホワイトバランスゲイン演算部と、
   前記ヒステリシスゲインＧｈを用いてホワイトバランス補正を行うホワイトバランス補正部と、
   ロック指示が行われてからロック解除指示が行われるまでのロック中は、ロック指示時点のヒステリシスゲインＧｈを固定ゲインＧｆとして、この固定ゲインＧｆにより、前記ホワイトバランス補正部にホワイトバランス補正を行わせる制御部と、
   前記ロック解除指示がなされた後に、前記ヒステリシスゲインＧｈを補正して修正ヒステリシスゲインＧｈ’を算出するものであり、フレームの番号を時系列に従って整数ｎにより表したときに、フレーム（ｎ−１）の修正ヒステリシスゲインＧｈ’（ｎ−１）とフレームｎのホワイトバランスゲインＧｓ（ｎ）との変化率Ｄが大きいほど値が大きくなる０以上１以下の重みαを用いて、フレームｎに対する修正ヒステリシスゲインＧｈ’（ｎ）を、
   Ｇｈ’（ｎ）＝α×Ｇｈ’（ｎ−１）＋（１−α）×Ｇｓ（ｎ）
   により算出するゲイン調整部と、
   を具備し、
   前記制御部は、フレームｎに対するホワイトバランス補正を、フレームｎのヒステリシスゲインＧｈ（ｎ）に代えて、前記修正ヒステリシスゲインＧｈ’（ｎ）を用いて行わせるように前記ホワイトバランス補正部を制御することを特徴とする画像処理装置。
2. 前記ゲイン調整部は、フレームｎ０で前記ロック解除指示がなされた場合に、固定ゲインＧｆとヒステリシスゲインＧｈ（ｎ０）とホワイトバランスゲインＧｓ（ｎ０＋１）とをゲイン値の順序に並べたときに、固定ゲインＧｆがヒステリシスゲインＧｈ（ｎ０）とホワイトバランスゲインＧｓ（ｎ０＋１）との間にないときにはヒステリシスゲインＧｈ（ｎ０）とホワイトバランスゲインＧｓ（ｎ０＋１）との内の固定ゲインＧｆに順序が近い方を選択ゲインＧｃとし、固定ゲインＧｆがヒステリシスゲインＧｈ（ｎ０）とホワイトバランスゲインＧｓ（ｎ０＋１）との間にあるときにはヒステリシスゲインＧｈ（ｎ０）を選択ゲインＧｃとして、固定ゲインＧｆと選択ゲインＧｃとの変化率Ｄが大きいほど値が大きくなる０以上１以下の重みαを用いて、修正ヒステリシスゲインＧｈ’（ｎ０＋１）を、
   Ｇｈ’（ｎ０＋１）＝α×Ｇｆ＋（１−α）×Ｇｃ
   により算出し、
   前記制御部は、フレーム（ｎ０＋１）に対するホワイトバランス補正を、ヒステリシスゲインＧｈ（ｎ０＋１）に代えて、前記修正ヒステリシスゲインＧｈ’（ｎ０＋１）を用いて行わせるように前記ホワイトバランス補正部を制御することを特徴とする請求項１に記載の画像処理装置。
3. 前記フレームの被写体輝度を測定する輝度測定部をさらに具備し、
   前記ゲイン調整部は、ロック解除指示がなされたときの被写体輝度から、ロック指示がなされたときの被写体輝度を引いた差分ΔＢＶが大きい程、変化率Ｄに対する前記重みαの値が小さくなるように、該重みαを０以上１以下の範囲内で補正することを特徴とする請求項２に記載の画像処理装置。
4. ユーザからの操作入力を受ける操作部をさらに具備し、
   前記ゲイン調整部は、前記操作部からの入力に応じて、変化率Ｄに対する前記重みαの値が変化するように、該重みαを０以上１以下の範囲内で補正することを特徴とする請求項２に記載の画像処理装置。
5. 前記ゲイン調整部は、変化率Ｄが所定の変化率Ｄ０未満の場合には、α＝１に設定することを特徴とする請求項２に記載の画像処理装置。
6. フレーム毎にホワイトバランスが調整された状態であるか否かを判定する光源色適合度判定部をさらに具備し、
   前記制御部は、前記光源色適合度判定部によりホワイトバランスが調整された状態であると判定されたときには、前記ゲイン調整部の動作を停止するように制御することを特徴とする請求項１に記載の画像処理装置。
7. 前記ロック中に、前記ホワイトバランス補正部によりホワイトバランス補正が行われたフレームに、ホワイトバランスがロック中であることを示すロック中表示を行う表示部をさらに具備することを特徴とする請求項１に記載の画像処理装置。
8. フレーム毎にホワイトバランスが調整された状態であるか否かを判定する光源色適合度判定部をさらに具備し、
   前記表示部は、前記光源色適合度判定部によりホワイトバランスが調整されていない状態であると判定された場合には、ホワイトバランスが調整中であることを示す調整中表示をさらに行うことを特徴とする請求項７に記載の画像処理装置。
9. 前記表示部は、前記光源色適合度判定部によりホワイトバランスが調整された状態であると判定された場合には、ホワイトバランスが調整済みであることを示す調整済み表示をさらに行うことを特徴とする請求項８に記載の画像処理装置。
10. 近接する物体があるか否かを検出するためのアイセンサをさらに具備し、
    前記制御部は、静止画撮影モードが設定されているときに、前記アイセンサにより近接する物体があると検出されたか否かに基づき接眼観察を行っているか否かを判定し、動画撮影モードが設定されているときに、前記アイセンサの検出結果に基づき、ユーザからの前記ロック指示の入力が行われ、あるいはユーザからの前記ロック解除指示の入力が行われたと判定することを特徴とする請求項１に記載の画像処理装置。
11. 前記制御部は、前記動画像を記録する際に、前記ロック指示がなされたタイミングを示す情報と、前記ロック解除指示がなされたタイミングを示す情報と、前記固定ゲインＧｆと、を動画像に関連付けて記録するようにさらに制御することを特徴とする請求項１に記載の画像処理装置。
12. 動画像を構成する１つのフレームのホワイトバランスゲインＧｓを算出することと、時系列的な複数フレームのホワイトバランスゲインＧｓに基づきヒステリシスゲインＧｈを算出することと、をフレーム毎に行うオートホワイトバランスゲイン演算ステップと、
    前記ヒステリシスゲインＧｈを用いてホワイトバランス補正を行うホワイトバランス補正ステップと、
    ロック指示が行われてからロック解除指示が行われるまでのロック中は、ロック指示時点のヒステリシスゲインＧｈを固定ゲインＧｆとして、この固定ゲインＧｆにより、前記ホワイトバランス補正ステップにホワイトバランス補正を行わせる制御ステップと、
    前記ロック解除指示がなされた後に、前記ヒステリシスゲインＧｈを補正して修正ヒステリシスゲインＧｈ’を算出するものであり、フレームの番号を時系列に従って整数ｎにより表したときに、フレーム（ｎ−１）の修正ヒステリシスゲインＧｈ’（ｎ−１）とフレームｎのホワイトバランスゲインＧｓ（ｎ）との変化率Ｄが大きいほど値が大きくなる０以上１以下の重みαを用いて、フレームｎに対する修正ヒステリシスゲインＧｈ’（ｎ）を、
    Ｇｈ’（ｎ）＝α×Ｇｈ’（ｎ−１）＋（１−α）×Ｇｓ（ｎ）
    により算出するゲイン調整ステップと、
    をコンピュータに実行させるためのプログラムであって、
    前記制御ステップは、フレームｎに対するホワイトバランス補正を、フレームｎのヒステリシスゲインＧｈ（ｎ）に代えて、前記修正ヒステリシスゲインＧｈ’（ｎ）を用いて行わせるように前記ホワイトバランス補正ステップを制御するステップであることを特徴とする画像処理プログラム。
13. 動画像を構成する１つのフレームのホワイトバランスゲインＧｓを算出することと、時系列的な複数フレームのホワイトバランスゲインＧｓに基づきヒステリシスゲインＧｈを算出することと、をフレーム毎に行うオートホワイトバランスゲイン演算ステップと、
    前記ヒステリシスゲインＧｈを用いてホワイトバランス補正を行うホワイトバランス補正ステップと、
    ロック指示が行われてからロック解除指示が行われるまでのロック中は、ロック指示時点のヒステリシスゲインＧｈを固定ゲインＧｆとして、この固定ゲインＧｆにより、前記ホワイトバランス補正ステップにホワイトバランス補正を行わせる制御ステップと、
    前記ロック解除指示がなされた後に、前記ヒステリシスゲインＧｈを補正して修正ヒステリシスゲインＧｈ’を算出するものであり、フレームの番号を時系列に従って整数ｎにより表したときに、フレーム（ｎ−１）の修正ヒステリシスゲインＧｈ’（ｎ−１）とフレームｎのホワイトバランスゲインＧｓ（ｎ）との変化率Ｄが大きいほど値が大きくなる０以上１以下の重みαを用いて、フレームｎに対する修正ヒステリシスゲインＧｈ’（ｎ）を、
    Ｇｈ’（ｎ）＝α×Ｇｈ’（ｎ−１）＋（１−α）×Ｇｓ（ｎ）
    により算出するゲイン調整ステップと、
    を具備し、
    前記制御ステップは、フレームｎに対するホワイトバランス補正を、フレームｎのヒステリシスゲインＧｈ（ｎ）に代えて、前記修正ヒステリシスゲインＧｈ’（ｎ）を用いて行わせるように前記ホワイトバランス補正ステップを制御するステップであることを特徴とする画像処理方法。

Images