JP2013192121A - 撮像装置及び撮像方法 - Google Patents

Abstract

【課題】動画撮影のように画像が連続して変化するときでも、色再現性や階調性に違和感を生じさせることがなく、取得した画像の質を安定させることのできる撮像装置を提供する。
【解決手段】撮像装置は、ホワイトバランス評価値取得手段３４と、撮影画像を複数の分割領域に分割する領域分割手段２２と、複数の分割領域に対応する第1のホワイトバランス補正係数を算出する補正係数算出手段２２と、複数の分割領域に対応した第1のホワイトバランス補正係数を調整して第2のホワイトバランス調整手段２２と、現在のフレームと前回のフレームの撮影画像とから分割領域の境界が変化したか否かを検出する境界変化検出手段２２とを備えている。ホワイトバランス調整手段２２は、境界が変化した隣接する分割領域のそれぞれに対して第1のホワイトバランス補正係数の差が小さくなるように第2のホワイトバランス補正係数を設定する。
【選択図】図２

Description

本発明は、ホワイトバランス調整処理機能を有する撮像装置及び撮像方法の改良に関する。

従来から、デジタルカメラ等の撮像装置のホワイトバランス制御においては、撮像画面全体において均一な光源であれば、光源を推定して撮像画面全体に同じホワイトバランスを掛ける技術が広く用いられている。

しかしながら、撮像画面内に異なる種類の光源の照射エリアが存在する場合、撮像画面全体に適切なホワイトバランスを掛けることは難しく、色ずれが生じた撮像画像になってしまうという問題がある。
この種の問題を解決するために、撮像画面を小領域のエリアブロックに分割して、この小領域のエリアブロック毎にホワイトバランスを掛けることにより撮像画面全体に対して色ずれを生じさせない技術が知られている（特許文献１参照）。

例えば、特許文献１に開示の技術では、画面全体にわたってホワイトバランスの整った画像を得るために、入力されたカラー画像を複数の小画面に分割し、この分割された各小画面毎に、カラー画像を撮影した際の撮影光源の色温度を推定し、各小画面毎の推定色温度のヒストグラムを作成し、各小画面をグループ分けし、グループ毎に再度撮影光源の色温度を推定し、このグループ毎の色温度推定結果により、各グループ毎にホワイトバランス補正量を算出し、このグループ内の各小画面に対し、各グループ毎に算出されたホワイトバランス補正量によりそれぞれホワイトバランス補正を施している。

このように、従来のホワイトバランス制御では、一般に撮像した画像から明るさ成分や色成分を取得し、それに基づき次に撮像する画像の明るさ成分の量や色成分の割合を制御するフィードバック制御となっている。

ところが、静止画撮影のように撮影対象を瞬間的に固定させて撮影する状態においては、ホワイトバランス調整を良好に行うことができるが、動画撮影のように撮影対象が時間的に連続して変化する場合には、前回の画像の光源判定の結果がそのまま次回の画像に反映されるため、画像の変化部分に適切な補正を掛けることができず、色再現性や階調性に違和感が生ずるという問題がある。

本発明は、上記の事情に鑑みて為されたもので、動画撮影のように画像が連続して変化するときでも、色再現性や階調性に違和感を生じさせることがなく、取得した画像の質を安定させることのできる撮像装置及び撮像方法を提供することを目的とする。

本発明の撮像装置は、ホワイトバランス評価値取得手段と、撮影画像を複数の分割領域に分割する領域分割手段と、複数の分割領域について分割領域に対応するホワイトバランス評価値に基づいて対応した第1のホワイトバランス補正係数を算出する補正係数算出手段と、複数の分割領域に各分割領域に対応した第1のホワイトバランス補正係数を調整して第2のホワイトバランス補正係数を設定するホワイトバランス調整手段と、現在のフレームの撮影画像と前回のフレームの撮影画像とから分割領域の境界が変化したか否かを検出する境界変化検出手段とを備えている。ホワイトバランス調整手段は、境界が変化したことを検出した場合に、境界が変化した隣接する分割領域のそれぞれに対して第1のホワイトバランス補正係数の差が小さくなるように第2のホワイトバランス補正係数を設定する。

本発明によれば、前回のフレームと現在のフレームの撮影画像とにおいて光源に基づく領域の境界が変化した場合には、隣接する一方の領域と他方の領域とのホワイトバランス補正係数の差を小さくしたので、現在のフレームの撮影画像に対して適切なホワイトバランス調整を行うことができる。

図１は本発明の実施例に係るデジタルカメラの外観を示す概略図である。 図２は図１に示すデジタルカメラのシステム構成図である。 図３はＣＣＤの画素配列の一例を示す説明図である。 図４はホワイトバランス補正の一例を示すフローチャートである。 図５は日向領域と日陰領域との境界を説明するためのグラフである。 図６は日向領域と日陰領域との境界の一例を示す説明図である。 図７は注目画素への補正係数の設定の一例を示す説明図である。 図８は白抽出範囲を説明するためのグラフである。 図９は補間による補正係数の算出の一例を説明するための説明図である。 図１０は補正係数の調整の一例を概念的に説明するための説明図である。 図１１はホワイトバランスフィードバック制御の流れを示すフローチャートである。

以下、本発明の実施形態を図面を参照しつつ説明する。
図１（ａ）は、本発明の実施形態１に係る撮像装置の一例としてのデジタルスチルカメラ（以下、「デジタルカメラ」という）を示す正面図、図１（ｂ）は、その上面図、図１（ｃ）は、その背面図、図２は、図１（ａ），（ｂ），（ｃ）に示したデジタルカメラの内部のシステム構成の概要を示すブロック図である。

（デジタルカメラの外観構成）
図１（ａ），（ｂ），（ｃ）に示すように、本実施形態に係るデジタルカメラ１の上面側には、レリーズボタン（シャッタボタン）２、電源ボタン３、撮影・再生切替ダイアル４が設けられており、デジタルカメラ１の正面（前面）側には、撮影レンズ系５を有する鏡胴ユニット６、ストロボ発光部（フラッシュ）７、光学ファインダ８が設けられている。

デジタルカメラ１の背面側には、液晶モニタ（ＬＣＤ）９、前記光学ファインダ８の接眼レンズ部８ａ、広角側ズーム（Ｗ）スイッチ１０、望遠側ズーム（Ｔ）スイッチ１１、メニュー（ＭＥＮＵ）ボタン１２、確定ボタン（ＯＫボタン）１３等が設けられている。また、デジタルカメラ１の側面内部には、撮影した画像データを保存するためのメモリカード１４（図２参照）を収納するメモリカード収納部１５が設けられている。

（デジタルカメラのシステム構成）
図２に示すように、このデジタルカメラ１は、鏡胴ユニット６の撮影レンズ系５を通して入射する被写体画像が受光面上に結像する固体撮像素子としてのＣＣＤ２０、ＣＣＤ２０から出力される電気信号（アナログＲＧＢ画像信号）をデジタル信号に処理するアナログフロントエンド部（以下、「ＡＦＥ部」という）２１、ＡＦＥ部２１から出力されるデジタル信号を処理する信号処理部２２、データを一時的に格納するＳＤＲＡＭ２３、制御プログラム等が記憶されたＲＯＭ２４、鏡胴ユニット６を駆動するモータドライバ２５等を有している。

鏡胴ユニット６は、ズームレンズやフォーカスレンズ等を有する撮影レンズ系５、絞りユニット２６、メカシャッタユニット２７を備えており、撮影レンズ系５、絞りユニット２６、メカシャッタユニット２７の各駆動ユニット（図示を略す）は、モータドライバ２５によって駆動される。モータドライバ２５は、信号処理部２２の制御部（ＣＰＵ）２８からの駆動信号により駆動制御される。その信号処理部２２は画像作成手段として機能する。

ＣＣＤ２０は、図３に示すように、ＣＣＤ２０を構成する複数の画素２０ａ上にベイヤ配列のＲＧＢ原色フィルタ（以下、「ＲＧＢフィルタ」という）が配置されており、各画素からＲＧＢ３原色に対応した電気信号（アナログＲＧＢ画像信号）が出力される。

ＡＦＥ部２１は、ＣＣＤ２０を駆動するＴＧ（タイミング信号発生部）３０、ＣＣＤ２０から出力される電気信号（アナログＲＧＢ画像信号）をサンプリングするＣＤＳ（相関２重サンプリング部）３１、ＣＤＳ３１にてサンプリングされた信号のゲインを調整するＡＧＣ（アナログ利得制御部）３２、ＡＧＣ３２でゲイン調整された信号をデジタル信号（以下、「ＲＡＷ−ＲＧＢデータ」という）に変換するＡ／Ｄ変換部３３を備えている。

信号処理部２２は、ＡＦＥ部２１のＴＧ３０へ画面水平同期信号（ＨＤ）と画面垂直同期信号（ＶＤ）の出力を行い、これらの同期信号に合わせて、ＡＦＥ部２１のＡ／Ｄ変換部３３から出力されるＲＡＷ−ＲＧＢデータを取り込むＣＣＤインターフェース（以下、「ＣＣＤＩ／Ｆ」という）３４と、ＳＤＲＡＭ２３を制御するメモリコントローラ３５と、取り込んだＲＡＷ−ＲＧＢデータを表示や記録が可能なＹＵＶ形式の画像データに変換するＹＵＶ変換部３６と、表示や記録される画像データのサイズに合わせて画像サイズを変更するリサイズ処理部３７と、画像データの表示出力を制御する表示出力制御部３８と、画像データをＪＰＥＧ形式等で記録するデータ圧縮部３９と、画像データをメモリカード１４へ書き込み、又はメモリカード１４に書き込まれた画像データを読み出すメディアインターフェース（以下、「メディアＩ／Ｆ」という）４０と、操作部４１からの操作入力情報に基づき、ＲＯＭ２４に記憶された制御プログラムに基づいてデジタルカメラ１全体のシステム制御等を行う制御部（ＣＰＵ）２８を備えている。

操作部４１は、デジタルカメラ１（図１（ａ），（ｂ），（ｃ）参照）の本体に設けられているレリーズボタン２、電源ボタン３、撮影・再生切替ダイアル４、広角側ズームスイッチ１０、望遠側ズームスイッチ１１、メニューボタン１２、確定ボタン１３等からなり、撮影者の操作によって所定の動作指示信号が制御部２８に入力される。

ＳＤＲＡＭ２３には、ＣＣＤＩ／Ｆ３４に取り込まれたＲＡＷ−ＲＧＢデータが保存されると共に、ＹＵＶ変換部３６で変換処理されたＹＵＶデータ（ＹＵＶ形式の画像データ）が保存され、更に、データ圧縮部３９で圧縮処理されたＪＰＥＧ形式等の画像データが保存される。

なお、ＹＵＶデータのＹＵＶとは、輝度データ（Ｙ）と、色差（輝度データと青色（Ｂ）成分データの差分（Ｕ）と、輝度データと赤色（Ｒ）成分データの差分（Ｖ））の情報で色を表現する形式である。

（デジタルカメラのモニタリング動作、静止画撮影動作）
次に、デジタルカメラ１のモニタリング動作と静止画撮影動作について説明する。このデジタルカメラ１は、静止画撮影モード時には、以下に説明するようなモニタリング動作を実行しながら静止画撮影動作が行われる。

先ず、撮影者が電源ボタン３をＯＮし、撮影・再生切替ダイアル４を撮影モードに設定することにより、デジタルカメラ１が記録モードで起動する。電源ボタン３がＯＮされて、撮影・再生切替ダイアル４が撮影モードに設定されたことを制御部２８が検知すると、制御部２８はモータドライバ２５に制御信号を出力して、鏡胴ユニット６を撮影可能位置に移動させ、かつ、ＣＣＤ２０、ＡＦＥ部２１、信号処理部２２、ＳＤＲＡＭ２３、ＲＯＭ２４、液晶モニタ９等を起動させる。

そして、鏡胴ユニット６の撮影レンズ系５を被写体に向けることにより、撮影レンズ系５を通して入射される被写体画像がＣＣＤ２０の各画素の受光面上に結像する。そして、ＣＣＤ２０から出力される被写体画像に応じた電気信号（アナログＲＧＢ画像信号）は、ＣＤＳ３１、ＡＧＣ３２を介してＡ／Ｄ変換部３３に入力され、Ａ／Ｄ変換部３３により１２ビット（bit）のＲＡＷ−ＲＧＢデータに変換される。

このＲＡＷ−ＲＧＢデータは、信号処理部２２のＣＣＤＩ／Ｆ３４に取り込まれてメモリコントローラ３５を介してＳＤＲＡＭ２３に保存される。そして、ＳＤＲＡＭ２３から読み出されたＲＡＷ−ＲＧＢデータは、ＹＵＶ変換部３６で表示可能な形式であるＹＵＶデータ（ＹＵＶ信号）に変換された後に、メモリコントローラ３５を介してＳＤＲＡＭ２３にＹＵＶデータが保存される。

そして、ＳＤＲＡＭ２３からメモリコントローラ３５を介して読み出したＹＵＶデータは、表示出力制御部３８を介して液晶モニタ（ＬＣＤ）９へ送られ、撮影画像が表示される。液晶モニタ（ＬＣＤ）９に撮影画像を表示しているモニタリング時においては、ＣＣＤＩ／Ｆ３４による画素数の間引き処理により１／３０秒の時間で１フレームを読み出している。

なお、このモニタリング動作時は、電子ファインダとして機能する液晶モニタ（ＬＣＤ）９に撮影画像が表示されているだけで、まだレリーズボタン２が押圧（半押も含む）操作されていない状態である。

この撮影画像の液晶モニタ（ＬＣＤ）９への表示によって、撮影者が静止画を撮像するための構図の確認等をすることができる。なお、表示出力制御部３８からＴＶビデオ信号として出力して、ビデオケーブルを介して外部のＴＶ（テレビ）に撮影画像（動画像）を表示することもできる。

そして、信号処理部２２のＣＣＤＩ／Ｆ３４は、取り込まれたＲＡＷ−ＲＧＢデータより、ＡＦ（自動合焦）評価値、ＡＥ（自動露出）評価値、ＡＷＢ（オートホワイトバランス）評価値を算出する。そのＣＣＤＩ／Ｆ３４はホワイトバランス評価値取得手段としての役割を果たす。

ＡＦ評価値は、例えば高周波成分抽出フィルタの出力積分値や、近接画素の輝度差の積分値によって算出される。合焦状態にあるときは、被写体のエッジ部分がはっきりとしているため、高周波成分が一番高くなる。これを利用して、ＡＦ動作時（合焦検出動作時）には、撮影レンズ系５内の各フォーカスレンズ位置におけるＡＦ評価値を取得して、その極大になる点を合焦検出位置としてＡＦ動作が実行される。

ＡＥ評価値とＡＷＢ評価値は、ＲＡＷ−ＲＧＢデータにおけるＲＧＢ値のそれぞれの積分値から算出される。例えば、信号処理部２２はＣＣＤ２０の全画素の受光面２０ａに対応した画面を２５６個のエリアブロックに等分割（水平１６分割、垂直１６分割）し、それぞれのエリアのＲＧＢ積算値を算出する。

そして、制御部２８は、算出されたＲＧＢ積算値を読み出し、ＡＥ処理では、画面のそれぞれのエリアの輝度を算出して、輝度分布から適正な露光量を決定する。決定した露光量に基づいて、露光条件（ＣＣＤ２０の電子シャッタ回数、絞りユニット２６の絞り値、ＮＤフィルタ（図示を略す）の出入等）を設定する。また、ＡＷＢ処理では、ＲＧＢの分布から被写体色や光源色を判定し、光源の色に合わせたＡＷＢの制御値を決定する。このＡＷＢ処理により、ＹＵＶ変換部３６でＹＵＶデータに変換処理するときのホワイトバランスを合わせる。なお、ＡＥ処理とＡＷＢ処理は、モニタリング時には連続的に行われている。

そして、モニタリング動作時に、レリーズボタン２が押圧（半押しから全押し）操作されて静止画撮影動作が開始されると、合焦位置検出動作であるＡＦ動作と静止画記録処理が行われる。

即ち、レリーズボタン２が押圧（半押しから全押し）操作されると、制御部２８からモータドライバ２５への駆動指令により撮影レンズ系５のフォーカスレンズが移動し、例えば、いわゆる山登りＡＦと称されるコントラスト評価方式のＡＦ動作が実行される。

ＡＦ（合焦）対象範囲が無限から至近までの全領域であった場合、撮影レンズ系５のフォーカスレンズは、至近から無限、又は無限から至近までの間の各フォーカス位置に移動し、ＣＣＤＩ／Ｆ３４で算出されている各フォーカス位置における前記ＡＦ評価値を制御部２８が読み出す。そして、各フォーカス位置のＡＦ評価値が極大になる点を合焦位置としてフォーカスレンズを合焦位置に移動させ、合焦させる。

そして、ＡＥ処理が行われ、露光完了時点で、制御部２８からモータドライバ２５への駆動指令によりメカシャッタユニット２７が閉じられ、ＣＣＤ２０から静止画用のアナログＲＧＢ画像信号が出力される。そして、前記モニタリング時と同様に、ＡＦＥ部２１のＡ／Ｄ変換部３３によりＲＡＷ−ＲＧＢデータに変換される。

そして、このＲＡＷ−ＲＧＢデータは、信号処理部２２のＣＣＤＩ／Ｆ３４に取り込まれ、ＹＵＶ変換部３６でＹＵＶデータに変換されて、メモリコントローラ３５を介してＳＤＲＡＭ２３に保存される。そして、このＹＵＶデータはＳＤＲＡＭ２３から読み出されて、リサイズ処理部３７で記録画素数に対応するサイズに変換され、データ圧縮部３９でＪＰＥＧ形式等の画像データへと圧縮される。

圧縮されたＪＰＥＧ形式等の画像データは、ＳＤＲＡＭ２３に書き戻された後にメモリコントローラ３５を介してＳＤＲＡＭ２３から読み出され、メディアＩ／Ｆ４０を介してメモリカード１４に保存される。

以下、本発明に係る撮像装置のホワイトバランス補正処理の詳細について説明する。
（ホワイトバランス補正処理）
図４は本実施例に係る撮像装置のホワイトバランス補正処理を説明するためのフローチャートである。信号処理部２２は、撮影画像を輝度情報又は色情報の少なくとも１つの情報に応じて複数の分割領域に分割する領域分割手段としての役割を有し、この信号処理部２２により、 ＣＣＤ（撮像素子）２０の全画素の受光面２０ａは、既述したように、水平１６×垂直１６の２５６個の分割領域としてのエリアブロックａｉに等分割されている。

（ＲＧＢ積算値取得処理（Ｓ１））
ＣＣＤ２０からのＲＡＷ−ＲＧＢは、ＣＣＤＩ／Ｆ３４に取り込まれ、このエリアブロックａｉのそれぞれに対してＲＧＢ値を積算することにより、ＲＧＢ積算値が取得される（Ｓ１）。

なお、この実施例では、エリアブロックの個数を２５６個としたが、これに限られるものではなく、また、この実施例では、エリアブロックａｉを等分割に設定しているが、必ずしもこれに限られるものではない。なお、ｎ個のエリアブロックとしたとき、ｎ≧４を満たすことを条件とする。

（ＲＧＢ積算値処理（ホワイトバランス評価値取得処理）の一例）
このエリアブロックａｉは、画面上における撮影画像を２５６個に分割したものに相当するので、撮影画像が例えば約１０００万画素を有しているとすると、エリアブロックａｉの各画素の総個数は約３．９万画素である。

ＲＧＢ積算値は、このエリアブロックａｉのそれぞれについて、各エリアブロックａｉ内の画素全てのＲ成分、Ｇ成分、Ｂ成分のそれぞれについて加算平均して算出される。そして、このＲＧＢ積算値は、各エリアブロックａｉについて、Ｒ、Ｇ、Ｂ成分毎に８ビット情報として出力される。

なお、この実施例では、Ｒ、Ｇ、Ｂの比率は１：２：１となっているので、各エリアブロックａｉのＲ画素の個数は０．９７５万画素、Ｇ画素の個数は１／９５万画素、Ｂ画素の個数は０．９７５万画素である。

（日向領域／日陰領域の分割処理（Ｓ２））
信号処理部２２は、各エリアブロックａｉ毎に得られたＲＧＢ積算値を用いて、その輝度値Ｙ、赤成分の値Ｒ、青成分の値Ｂとの比Ｂ／Ｒを求め、領域分割条件に従って、各エリアブロックａｉを日向領域と日陰領域とに分割する（Ｓ２）。
なお、輝度値（輝度信号）Ｙ、色差信号Ｕ（Ｃｂ）、色差信号Ｖ（Ｃｒ）の算出には、例えば、以下の式を用いて行う。
Ｙ＝０．２９９×Ｒ＋０．５８７×Ｇ＋０．１４４×Ｂ
Ｕ＝−０．１６９×Ｒ−０．３１１６×Ｇ＋０．５００×Ｂ
Ｖ＝０．５００×Ｒ−０．４１８６×Ｇ−０．０８１３×Ｂ

日向領域／日陰領域の分割処理については、具体的には、例えば、図５に示すように、比Ｂ／Ｒに対する閾値Ｋと、輝度値Ｙに対する閾値Ｙthreとを設定し、輝度値Ｙが閾値Ｙthreよりも小さくかつ比Ｂ／Ｒが閾値Ｋよりも大きいときに日陰領域と判定する。それ以外は、日向領域と判定する。すなわち、各エリアブロックａｉ毎にその各エリアブロックａｉの輝度値Ｙ、Ｂ成分値、Ｒ成分値を用いて、Ｂ／Ｒ、Ｂ／Ｒ＞Ｋ、Ｙ＜Ｙthreの演算処理を行い、Ｂ／Ｒ＞ＫかつＹ＜Ｙthreのときはそのエリアブロックａｉは日陰領域、これ以外の条件が成立したとき、そのエリアブロックａｉは、日向領域と判定する。

ついで、この日向領域、日陰領域の分割後、日向領域と日陰領域とが隣接する境界において、日陰領域に属するエリアブロックを境界ブロックに設定する。
例えば、図６に示すように、撮影画像の一部である４×４＝１６個のエリアブロックを例に挙げて説明する。

この図６に示すエリアブロックａｉにおいて、ハッチングで示すエリアブロックａｉは、日陰領域のエリアブロック、残余のエリアブロックａｉは、日向領域のエリアブロックを示している。日向領域の境界と日陰領域の境界とは太線で示され、符合ａａ、ａｂ、ａｃ、ａｄは日向領域と日陰領域との境界に存在する日陰領域に属するエリアブロックを示している。

信号処理部２２は、前回のフレームの撮影画像と現在のフレーム画像とからそれぞれ得られた分割領域の境界ブロックを用いて、日向領域と日陰領域との境界が変化したか否かを検出する境界変化検出手段としての機能も有する。

なお、ここでは、画面を日向領域と日陰領域とに分割してエリアブロックａｉを設定しているが、本発明は、これに限られるものではなく、画面を屋外領域と屋内領域とに分けてエリアブロックａｉを設定する構成、画面を空領域とそれ以外の領域とに分けてエリアブロックａｉを設定する構成、画面を光源が異なる領域毎に分けてエリアブロックａｉを設定する構成等、ホワイトバランス調整において白が白として表示されない領域が極力少なくなるように画面を分割してエリアブロックａｉを設定する構成とするのが望ましい。

この実施例では、閾値Ｋの値はＫ＝２に設定されている。これは、Ｂ画素信号の積算値がＲ画素信号の積算値の２倍を意味する。また、閾値Ｙthreの値はＹthre＝１００に設定されている（なお、この値は、８ビットデータにより０ないし２５５に明度を分類したときの値である）。これらの閾値Ｋ、Ｙthreの値はＲＯＭ２４に記憶されている。また、演算式もＲＯＭ２４に記憶されている。

（補正係数の算出処理（Ｓ３））
ついで、信号処理部２２は、各エリアブロックａｉ毎に白いものが白くなるようにＷＢ補正係数Ｒgain、Ｂgainを算出する（Ｓ３）。
すなわち、信号処理部２２は、図７に示すように、画面全体に対して格子状に分割されたエリアブロックａｉを設定する。ついで、エリアブロックａｉ（ｉ＝１〜２５６）毎に取得したＲＧＢ積算値から、１つ又は複数のブロックのＲＧＢ積算値を組み合わせて第１のホワイトバランス補正係数としてのＷＢ補正係数を取得する。

ここでは、まず、日向領域と日陰領域とのそれぞれについて白抽出を行う。この白抽出は日向領域、日陰領域毎にエリアブロックａｉ単位で取得したＲＧＢ積算値からエリアブロックａｉのそれぞれについて、例えば、図８に示すＧ／Ｒ（ｘ軸）対Ｇ／Ｒ（ｙ軸）の色度座標において、白抽出範囲（ハッチングで示す）に含まれるエリアブロックａｉを白抽出エリアブロックとして記憶する。

信号処理部２２は、この白抽出ブロックを用いてＷＢ補正係数Ｒgain、Ｂgainを算出する。このＷＢ補正係数Ｒgain、Ｂgainは生の白抽出ブロックのホワイトバランス評価値である。
このＷＢ補正係数Ｒgain、Ｂgainを図７に示す注目画素Ｒ０〜Ｒ３、…、Ｒｉ、…、Ｒ２５５に設定する。 非注目画素の補正係数Ｒgain、Bgainは、以下のようにして求める。

例えば、図９に示すように、各エリアブロックａｉの中央を注目画素Ｒ０、Ｒ１、Ｒ１６、Ｒ１７として、各エリアブロックａｉで取得した補正係数Ｒgain、Bgainをそれぞれの注目画素Ｒ０、Ｒ１、Ｒ１６、Ｒ１７に設定する。
ついで、非注目画素Ｒ１７’はエリアブロックａｉの注目画素Ｒ０、Ｒ１、Ｒ１６、Ｒ１７と周辺の注目画素Ｒ０、Ｒ１、Ｒ１６、Ｒ１７に設定されている補正係数とこれらの注目画素からの距離（ｘ、ｙ）を用いて補間して求める。

すなわち、補正係数の算出対象とする非注目画素をＲ１７’とし、周辺の注目画素をＲ０、Ｒ１、Ｒ１６、Ｒ１７とした場合、Ｒ１７を「１」で正規化して、補正係数の算出対象となる非注目画素Ｒ１７’の位置をｘ、ｙで表し、以下の計算式によって補正係数を算出する。
Ｒgain＝（１−ｘ）（１−ｙ）Ｒ０＋ｘ（１−ｙ）Ｒ１＋（１−ｘ）ｙＲ２＋ｘｙＲ３
Ｂgain＝（１−ｘ）（１−ｙ）Ｂ０＋ｘ（１−ｙ）Ｂ１＋（１−ｘ）ｙＢ２＋ｘｙＢ３

そのＳ１ないしＳ３の処理により、現フレームの撮影画像の画面内の各画素毎に第１のホワイトバランス補正係数を求めることによって、次回のフレームの撮影画像のホワイトバランス補正係数が得られる。すなわち、信号処理部２２は、複数の分割領域のそれぞれについて、この分割領域に対応するホワイトバランス評価値に基づいて対応した第１のホワイトバランス補正係数を算出する補正係数算出手段として機能する。

（ホワイトバランス補正係数の調整処理（Ｓ４））
次に、信号処理部２２は、画面内の隣接する日向領域と日陰領域の境界が変化した場合には、各境界領域に隣接するエリアブロックａｉのＷＢ補正係数の差が小さくなるように日向領域のＷＢ補正係数又は日陰領域のＷＢ補正係数を調整する（図３のＳ４参照）。

すなわち、信号処理部２２は、ＷＢ補正係数Ｒgain、Ｂgainの調整を以下に説明するようにして行う。 ここでは、日向領域と日陰領域のＷＢ補正係数Ｒgain、Ｂgainの差が50%に抑えられるように制御する。例えば、隣接するブロックの日向領域の補正係数が2.0、日陰領域の補正係数が1.0の場合、両エリアブロックの補正係数の差は1.0である。

そこで、その日向領域と日陰領域との境界が変化したときには、補正係数の差が50％の0.5となるように制御する。例えば、日向領域の補正係数から0.25減算してその補正係数を1.75に、日陰領域の補正係数に0.25加算してその補正係数を1.25とする。この場合においては、補正係数の差を抑制するための重み付けの比率を日向領域と日陰領域ともに同じとし、目標とする補正係数の差0.5の50%にあたる0.25を加減算している。

図１０（ａ）は前回のフレームの撮像画像により得られた日陰領域と日向領域との関係を示し、図１０（ｂ）は今回のフレームの撮影画像により得られた日陰領域と日向領域との関係を示している。
日向領域と日陰領域との境界線Ｑが図９（ａ）に示す状態から、図９（ｂ）に示す状態に変化した場合には、ホワイトバランスの補正係数を図９（ａ）に示す値から図９（ｂ）に示す値に調整して、現フレームの画像に対してホワイトバランス調整を行う。

すなわち、信号処理部２２は、複数の分割領域のそれぞれに各分割領域に対応した第１のホワイトバランス補正係数を調整して第２のホワイトバランス補正係数を設定するホワイトバランス調整手段として機能する。

なお、日向領域と日陰領域のＷＢ補正係数に加減算する調整値の割合は、ブロック境界変化後の日向領域と日陰領域の面積に応じて異ならせても良い。
例えば、ブロック境界変化後の日向領域の面積が70％、日陰領域の面積が30％である場合、日向領域の補正係数から目標とする補正係数の差0.5の30％にあたる0.15を減算してその補正係数を1.85に、日陰領域の補正係数に目標とする補正係数の差0.5の70%にあたる0.35を加算してその補正係数を1.35とする。

また、いずれか一方のエリアブロックを基準に他方の補正係数を調整することにより境界領域の補正係数の差を小さくするようにしてもよい。例えば、日向領域の補正係数を2.0のままとし、日陰領域の補正係数を1.5に持ち上げても良い。

（ホワイトバランス補正係数の乗算処理（Ｓ５））
信号処理部２２は、各日向領域、日陰領域に対して対応するＷＢ補正係数を乗算する（Ｓ５）。
これにより、日向領域と日陰領域で照射される光源の色温度が異なる場合に、画面内で光源の比率が変化したときでも、それぞれの領域対して違和感の生じない良好なホワイトバランスを掛けることができる。

図１１は、そのホワイトバランス調整の一例を示すフローチャートである。
現在のフィールドの画像を複数のエリアブロック（例えば１６×１６）に分割し、分割エリアブロックごとに検波する（Ｓ１’）。
分割エリアブロックごとにＲＧＢ各色の画像信号を積算して、Ｒの積算値、Ｂの積算値、Ｇの積算値を求め、各分割エリアブロック毎に、Ｒの積算値とＧの積算値の比Ｒ／Ｇ、及び、Ｂの積算値とＧの積算値の比Ｂ／Ｇを求める（Ｓ２’）。

各分割エリアの積算値の分布状態に基づいて、光源種判別を行い、判別された光源種に適したホワイトバランス評価値を求める（Ｓ３’）。
検波したフィールドによって算出された補正量を次のフィールドに反映し、ホワイトバランス調整を施す（Ｓ４’）。

従来のホワイトバランス制御では、前回のフレームの撮影画像を用いてホワイトバランス評価値を求めて、ホワイトバランス補正係数を算出し、現在のフレームの撮影画像に対して、前回求めたホワイトバランス補正係数によりホワイトバランス調整を行うというフィードバック制御を行っている。

このため、動画撮影時に従来のホワイトバランス制御をそのまま適用すると、動画撮影では画像中で常に動きがあるため、前回のフレームの撮影画像の光源判定の結果をそのまま現在のフレームの撮影画像に用いて現在のフレームの撮影画像のホワイトバランス調整を行うと、画像中で変化があった部分に対して適切な補正をかけることができず、適切なホワイトバランス調整を行うことができないという不都合が生じる。

しかしながら、この実施例では、動画撮影時のホワイトバランス制御において、前回のフレームの撮影画像と現在のフレームの撮影画像とで光源に基づく領域の境界が変化した場合に、隣接する一方の日向領域と他方の日陰領域とのホワイトバランス補正係数（前回のフレームの撮影画像から求められるホワイトバランス補正係数）の差を小さくすることにしたので、現在のフレームの撮影画像に対して適切なホワイトバランス調整を行うことができる。

２０…撮像素子（ＣＣＤ）
２２…信号処理部（画像作成手段、領域分割手段、領域分割手段、補正係数算出手 段、ホワイトバランス調整手段、境界変化検出手段）
３４…ＣＣＤＩ／Ｆ（ホワイトバランス評価値取得手段）

特開２００２−２７１６３８号公報

Claims (6)

1. 被写体に対応した光を電気信号に変換して撮像信号として出力する撮像素子と、前記撮像信号に基づき前記被写体に対応した撮影画像を作成する画像作成手段とを備える撮像装置において、
   前記撮像信号から色情報を取得すると共に、前記色情報からホワイトバランス制御を行うためのホワイトバランス評価値を取得するホワイトバランス評価値取得手段と、
   前記撮影画像を輝度情報又は色情報の少なくとも１つの情報に応じて複数の分割領域に分割する領域分割手段と、
   前記複数の分割領域のそれぞれについて、当該分割領域に対応するホワイトバランス評価値に基づいて、対応した第1のホワイトバランス補正係数を算出する補正係数算出手段と、
   前記複数の分割領域のそれぞれに、各分割領域に対応した前記第1のホワイトバランス補正係数を調整して第2のホワイトバランス補正係数を設定するホワイトバランス調整手段と、
   現在のフレームの撮影画像と前回のフレームの撮影画像とからそれぞれ得られる分割領域の境界が変化したか否かを検出する境界変化検出手段とを備え、
   前記ホワイトバランス調整手段は、前記境界が変化したことを検出した場合に、前記境界が変化した隣接する分割領域のそれぞれに対して算出された第1のホワイトバランス補正係数の差が小さくなるように第2のホワイトバランス補正係数を設定することを特徴とする撮像装置。
2. 前記ホワイトバランス調整手段は、前記境界が変化したことを検出した場合に、前記境界が変化した隣接する分割領域のそれぞれに対して前回のフレームの撮影画像を用いて算出された第1のホワイトバランス補正係数の差が小さくなるように、現在のフレームの撮影画像に対するホワイトバランス制御において用いる前記第2のホワイトバランス補正係数を設定することを特徴とする請求項1に記載の撮像装置。
3. 前記領域分割手段は、前記撮影画像を日向領域と日陰領域とに分割することを特徴とする請求項1又は請求項2に記載の撮像装置。
4. 被写体に対応した光を電気信号に変換して撮像信号を取得するステップと、
   前記撮像信号に基づき前記被写体に対応した撮影画像を作成する画像作成ステップとを含み、
   該画像作成ステップは、前記撮像信号から色情報を取得すると共に、前記色情報からホワイトバランス制御を行うためのホワイトバランス評価値を取得するホワイトバランス評価値取得ステップと、
   前記撮影画像を輝度情報又は色情報の少なくとも１つの情報に応じて複数の分割領域に分割する領域分割ステップと、
   前記複数の分割領域のそれぞれについて当該分割領域に対応するホワイトバランス評価値に基づいて対応した第1のホワイトバランス補正係数を算出する補正係数算出ステップと、
   前記複数の分割領域のそれぞれに、各分割領域に対応した前記第1のホワイトバランス補正係数を調整して第2のホワイトバランス補正係数を設定するホワイトバランス調整ステップと、
   現在のフレームの撮影画像と前回のフレームの撮影画像とからそれぞれ得られる分割領域の境界が変化したか否かを検出する境界変化検出ステップとを備え、
   前記ホワイトバランス調整ステップは、前記境界変化検出ステップにより境界が変化したことが検出された場合に、前記境界に隣接する分割領域のそれぞれに対して算出された第1のホワイトバランス補正係数の差が小さくなるように第2のホワイトバランス補正係数を設定するステップを含むことを特徴とする撮像方法。
5. 前記ホワイトバランス調整ステップは、前記境界が変化したことが検出された場合に、前記境界が変化した隣接する分割領域のそれぞれに対して前回のフレームの撮影画像を用いて算出された第1のホワイトバランス補正係数の差が小さくなるように、現在のフレームの撮影画像に対するホワイトバランス制御において用いる前記第2のホワイトバランス補正係数を設定することを特徴とする請求項４に記載の撮像方法。
6. 前記領域分割ステップは、日向領域と日陰領域とを分割するステップであることを特徴とする請求項４に記載の撮像方法。