JP2015159344A - 画像処理装置、撮像装置、画像補正方法およびプログラム - Google Patents

Abstract

【課題】 色温度や明るさが異なる複数の領域が含まれる画像に対し画像補正を施す画像処理装置、撮像装置、画像補正方法およびプログラムを提供すること。
【解決手段】 画像処理装置２０は、画像の入力を受ける入力手段４２と、入力手段４２に入力された画像を照明状態の異なる複数の領域に分割する領域分割手段１１０と、領域分割手段１１０により分割された領域毎に補正係数を計算する計算手段１１６と、入力手段４２により時系列として与えられる画像間での動きを検出する動き検出手段（１１４，４４／３２）と、動き検出手段により検出された動きに基づいて、領域毎の補正係数が混合される領域間の境界部分を決定する境界決定手段１１２と、境界決定手段により決定された領域間の境界部分に基づいて、入力手段４２に入力された画像に対する画像補正係数データを設定する設定手段１１８とを含む。
【選択図】 図２

Description

本発明は、画像補正技術に関し、より詳細には、色温度や明るさが異なる複数の領域が含まれる画像に対し画像補正を施す画像処理装置、撮像装置、画像補正方法およびプログラムに関する。

従来、デジタルカメラにおいて、画面内に色温度の異なる種類の光源による複数の照射領域が存在する場合に、画面を領域分割して、日蔭や日向などの異種光源の領域ごとに最適なホワイトバランス補正を行う技術が知られている。このようなホワイトバランス補正技術としては、例えば、特開２００２−２７１６３８号公報（特許文献１）や特開２０１０−２１３２１３号公報（特許文献２）に記載された技術を挙げることができる。

しかしながら、上記従来技術のホワイトバランス補正技術では、画像処理によって最適な制御値を求めており、検波するフレームと補正するフレームとが同じフレームであることが前提となっている。つまり、入力されたフレームの検波を行い、フレームをメモリに蓄積して、ＣＰＵにより検波結果に基づいて光源の異なる領域ごとに最適なホワイトバランス補正係数を算出し、メモリに蓄積していたフレームにその補正係数を用いてホワイトバランス補正処理を適用することになる。

このように処理時間が長いため、上記従来技術では、フレーム遅延が大きく、静止画では連射の制約が大きくなり、あるいは動画ではフレームレートや画素数に制約が大きくなることになる。

また、日蔭や日向などの領域ごとに異なるホワイトバランス補正を行う場合、領域間の境界部分に色ずれが生じやすいため、境界部分を適切に処理する必要がある。これは、複数のカメラで撮像した画像をつなぎ合わせる場合に、露光条件が異なる画像間の境界部分についても同様のことが言える。

また、特開２０１２−２３５３７７号公報（特許文献３）は、動きに応じたホワイトバランス補正技術を開示する。特許文献３に記載の従来技術は、ストロボ発光時およびストロボ非発光時の画像データに基づくホワイトバランス補正値を、色温度の差分および動き量に基づいて補正するというものである。このため、境界部分以外の色温度が、他の領域の色温度の影響を受けてしまい、本来の色温度からずれてしまう。

上述した背景から、フレーム遅延を発生させずに、光源が異なる各領域に適した色合いとなる補正を、領域の境界における色味のズレを低減させながら適用することができる技術の開発が望まれていた。またその際に、光源の異なる各領域に対して、境界部分以外の色温度が他の領域の色温度の影響を受けてしまわないようにすることが望まれていた。さらに、色温度が異なる領域毎の色合いの調整の他、複数のカメラで撮像した画像をつなぎ合わせるような場合において、明るさが異なる領域の境界における明るさ補正を、ずれを低減させながら適用することができる技術の開発が望まれていた。

本発明は、上記従来技術における不充分な点に鑑みてなされたものであり、本発明は、画像補正係数算出処理による時間的制約を緩和しつつ、照明状態が異なる複数の領域毎に適した画像補正を、領域間の境界部分が自然な仕上がりとなるように施すことができる、画像処理装置、撮像装置、画像補正方法およびプログラムを提供することを目的とする。

本発明は、上記課題を解決するために、下記特徴を有する画像処理装置を提供する。本画像処理装置は、画像の入力を受ける入力手段と、上記入力手段に入力された画像を照明状態の異なる複数の領域に分割する領域分割手段と、上記領域分割手段により分割された領域毎に補正係数を計算する計算手段と、上記入力手段により時系列として与えられる画像間での動きを検出する動き検出手段と、上記動き検出手段により検出された動きに基づいて、上記領域毎の補正係数が混合される領域間の境界部分を決定する境界決定手段と、上記境界決定手段により決定された領域間の境界部分に基づいて、上記入力手段に入力された画像に対する画像補正係数データを設定する設定手段とを含む。

上記構成により、画像補正係数算出処理による時間的制約を緩和しつつ、照明状態が異なる複数の領域毎に適した画像補正を、領域間の境界部分が自然な仕上がりとなるように施すことができる。

第１の実施形態によるデジタルカメラのシステム構成を示すブロック図。 第１の実施形態によるホワイトバランス補正処理に関する機能ブロック図。 第１の実施形態におけるホワイトバランス補正の全体処理を示すフローチャート。 第１の実施形態における領域境界決定部が実行する、画像の動きに基づいた日向日陰境界部分の決定処理を示すフローチャート。 第１の実施形態における補正係数設定部が実行する、画素毎のホワイトバランス補正係数を演算し、設定する処理を示すフローチャート。 （Ａ）撮像画像および（Ｂ）撮像画像における矢印Ａ，Ａ’間におけるホワイトバランス補正係数の設定例を説明する。 内部パラメータおよび動き量に応じた境界部分の設定例を説明する図。 動き量および方向に応じた境界部分の設定例を説明する図。 特定の実施形態による画像処理に基づく動き検出処理を説明する図である。 （Ａ）撮像画像および（Ｂ）撮像画像の矢印Ａ，Ａ’間におけるホワイトバランス補正係数の比較のための例を説明する。 第２の実施形態によるデジタルカメラのシステム構成を示すブロック図。 第２の実施形態による信号処理部が実行する、明るさ補正処理を示すフローチャート。 （Ａ）２系統で撮像された合成画像および（Ｂ）合成画像の矢印Ｂ，Ｂ’間における明るさの分布を説明する図。

以下、本実施形態について説明するが、本実施形態は、以下に説明する実施形態に限定されるものではない。なお、以下に説明する第１の実施形態では、画像処理装置の一例として、被写体を撮像し、撮像された画像に対してホワイトバランス補正を施して画像を出力する、デジタルカメラ１０を一例に説明する。

（デジタルカメラのシステム構成）
以下、図１を参照しながら、第１の実施形態によるデジタルカメラ１０のシステム構成を説明する。図１に示すように、デジタルカメラ１０は、ＣＣＤ（Charge Coupled Device）１６と、ＡＦＥ（Analog Front End）１８と、信号処理部２０と、ＲＯＭ２２と、ＳＤＲＡＭ２４と、モータドライバ２６と、ディスプレイ２８と、操作部３０と、加速度センサ３２とを含み構成される。

ＣＣＤ（Charge Coupled Device）１６には、鏡胴ユニットに設置したレンズ系１２を通して入射される被写体画像が受光面上に結像される。ＣＣＤ１６では、固体撮像素子を構成する複数の画素上にＲＧＢ原色フィルタが配置されており、ＲＧＢ３原色に対応したアナログＲＧＢ画像信号が出力される。ＡＦＥ１８は、ＣＣＤ１６を駆動するタイミング信号を発生し、ＣＣＤ１６から出力される信号をサンプリングし、ゲイン調整をした後、デジタル撮像信号（ＲＡＷ−ＲＧＢデータ）に変換し、信号処理部２０に出力する。

鏡胴ユニットは、レンズ系１２、絞りユニットおよびメカニカルシャッタユニット１４を備えており、これらの駆動ユニットは、モータドライバ２６によって駆動される。モータドライバ２６は、信号処理部２０からの駆動信号により駆動制御される。ＲＯＭ２２には、制御プログラム等が記憶される。ＳＤＲＡＭ２４は、各種データを一時的に記憶する。

信号処理部２０は、ＣＰＵ４０と、ＣＣＤインタフェース（以下、インタフェースをＩ／Ｆと表記する場合がある。）４２と、ＩＳＰ（Image Signal Processor）４４と、メモリ・コントローラ５２とを備える。ＣＰＵ４０は、操作部３０からの操作入力に応答して、ＲＯＭ２２に記憶された制御プログラムに基づき、デジタルカメラ１０全体のシステム制御を行う。図１中、信号処理部２０におけるＣＰＵ４０と各要素との間のデータバスが破線で示されている。操作部３０は、デジタルカメラ１０の筐体に設けられているレリーズボタン、電源ボタン、メニューボタンなどであり、撮影者の操作によってＣＰＵ４０に操作入力する。

ＣＣＤＩ／Ｆ４２は、ＡＦＥ１８へ水平同期信号（ＨＤ）および垂直同期信号（ＶＤ）を出力し、これらの同期信号に合わせて、ＡＦＥ１８から出力されるＲＡＷ−ＲＧＢデータの入力を受ける。図１中、信号処理部２０におけるセンサとの同期信号が一点鎖線で表されている。メモリ・コントローラ５２は、ＳＤＲＡＭ２４を制御しており、ＳＤＲＡＭ２４へのデータの書き込み、ＳＤＲＡＭ２４からのデータの読み出しを行う。ＩＳＰ４４については、後述する。

信号処理部２０は、さらに、取り込んだＲＡＷ−ＲＧＢデータをＹＵＶデータに変換するＹＵＶ変換部４６と、画像サイズを変更するリサイズ部４８と、出力Ｉ／Ｆ５４とを備える。出力Ｉ／Ｆ５４は、メモリカード３４へ画像データを書き込み、またはディスプレイ２８に画像データを出力するインタフェースである。信号処理部２０は、さらに、圧縮部５０を備えることができ、圧縮部５０は、画像データをＪＰＥＧ（Joint Photographic Experts Group）形成やＭＰＥＧ（Moving Picture Experts Group）形式などに変換する。

ＳＤＲＡＭ２４には、ＣＣＤＩ／Ｆ４２に取り込まれたＲＡＷ−ＲＧＢデータ、ＹＵＶ変換部４６で変換処理されたＹＵＶデータ、圧縮部５０で圧縮処理されたＪＰＥＧ形式やＭＰＥＧ形式の画像データなどが保存される。

ＹＵＶデータは、輝度データ（Ｙ）と、色差（輝度データと青色（Ｂ）成分データとの差分（Ｕ）と、輝度データと赤色（Ｒ）成分データとの差分（Ｖ））の情報で色を表現する形式である。この画像変換をする際に、ＣＰＵ４０からＩＳＰ４４に対して、ホワイトバランスゲインが設定される。

ＩＳＰ４４は、ゲイン処理、ガンマ補正、色補正などを行う信号処理部２０の中心的な部分である。また、詳細は後述するが、画像のホワイトバランスの測定（ＡＷＢ（Auto White Balance）検波）や画像の明るさの測定（ＡＥ（Auto Exposure）検波）を行っている。ＣＰＵ４０は、その検波値を読み込み、ホワイトバランス補正および明るさ補正のための計算を行って、ＩＳＰ４４のゲイン処理やＣＣＤＩ／Ｆ４２を経由してＣＣＤに対する補正値の設定を行う。

加速度センサ３２は、デジタルカメラ１０がフレームレート（例えば３０ｆｐｓ）でどの程度動いたかを検出する力学センサである。この動き情報に基づいて、手振れ補正が行われる。さらに、本実施形態によるデジタルカメラ１０では、ホワイトバランス補正処理に際して動きを検出するために、加速度センサ３２を利用することができる。

（デジタルカメラの静止画撮影動作）
続いて、上述したデジタルカメラ１０による静止画撮影動作について説明する。デジタルカメラ１０では、静止画撮影モード時において、以下のようなモニタリング動作を実行しながら静止画撮影動作が行われる。

まず、撮影者が、電源ボタンを押し、撮影モードに設定すると、デジタルカメラ１０が記録モードで起動する。ＣＰＵ４０は、モータドライバ２６に制御信号を出力し、鏡胴ユニットを撮影可能位置に移動させ、かつ、ＣＣＤ１６、ＡＦＥ１８、信号処理部２０、ＲＯＭ２２、ＳＤＲＡＭ２４、ディスプレイ２８などを起動させる。

そして、鏡胴ユニットのレンズ系１２を被写体に向けることにより、レンズ系１２を介して被写体画像がＣＣＤ１６の受光面上に結像する。ＣＣＤ１６から出力される被写体画像に応じたアナログＲＧＢ画像信号は、ＡＦＥ１８に入力され、ＲＡＷ−ＲＧＢデータ（例えば１２ビット）に変換される。ＲＡＷ−ＲＧＢデータは、信号処理部２０のＣＣＤＩ／Ｆ４２に取り込まれ、ＩＳＰ４４で画像処理が施され、ＹＵＶ変換部４６でＹＵＶデータ（例えば８ビット）に変換される。そして、リサイズ部４８でサイズ変換された後、メモリ・コントローラ５２にてＳＤＲＡＭ２４に保存される。

このように、本実施形態によるデジタルカメラ１０では、ＩＳＰ４４で、画像データを一旦保存せずに、同期信号にて信号処理を完了させてしまうことにより、信号処理部２０でのスループットを向上させている。

ＳＤＲＡＭ２４からメモリ・コントローラ５２を介して読み出されたＹＵＶデータは、出力Ｉ／Ｆ５４を介してディスプレイ２８へ出力され、画像がディスプレイ２８上に表示される。これにより、撮影者は、静止画を撮影するための構図を確認することができる。

信号処理部２０では、ＣＣＤＩ／Ｆ４２で取り込まれたＲＡＷ−ＲＧＢデータより、ＡＥ（自動露出）評価値およびＡＷＢ（オートホワイトバランス）評価値が算出される。ＡＥ評価値およびＡＷＢ評価値は、ＲＡＷ−ＲＧＢデータにおけるＲＧＢ値それぞれの積分値から算出される。例えば、ＣＣＤ１６の全画素の受光面に対応した画面が所定数ブロックに等分割（例えば水平１６分割、垂直１６分割で２５６ブロック）された後、ブロック毎のＲＧＢ積算値が評価値として算出される。

ＣＰＵ４０は、算出されたＲＧＢ積算値を読み出し、適正なホワイトバランスになるようなホワイトバランスゲインを算出する。さらに、ＡＷＢ処理では、ＲＧＢの分布から被写体の光源の色に合わせたＡＷＢの制御値を決定する。このＡＷＢ処理により、ＹＵＶ変換部４６でＹＵＶデータに変換処理する際のホワイトバランスを合わせる。また、ＡＥ処理では、画面のそれぞれのブロックの輝度を算出して、輝度分布から適正な露光量を決定する。決定した露光量に基づいて、露光条件（ＣＣＤ１６の露光時間、絞りユニットの絞り値、アナログゲインなど）を設定する。なお、ＡＥ処理およびＡＷＢ処理は、モニタリング時には連続的に行われている。

上記モニタリング動作時に、レリーズボタンが押圧（半押しから全押し）操作されると、ＣＰＵ４０からモータドライバ２６への駆動指令によりレンズ系１２のフォーカスレンズが移動し、ＡＦ動作が実行され、静止画記録処理が行われる。ＡＦ動作としては、例えば、いわゆる山登りＡＦと称されるコントラスト評価方式を採用することができる。

そして、上述したＡＥ処理が行われ、露光完了時点で、ＣＰＵ４０からモータドライバ２６への駆動指令によりメカニカルシャッタユニット１４が閉じられ、ＣＣＤ１６から静止画用のアナログＲＧＢ画像信号が出力される。そして、モニタリング時と同様に、ＡＦＥ１８によりＲＡＷ−ＲＧＢデータに変換され、信号処理部２０のＣＣＤＩ／Ｆ４２に取り込まれる。続いて、ＩＳＰ４４で画像処理が行われ、ＹＵＶ変換部４６でＹＵＶデータに変換されて、リサイズ部４８で記録画素数に対応するサイズに変換され、メモリ・コントローラ５２を介してＳＤＲＡＭ２４に保存される。そして、このＹＵＶデータがＳＤＲＡＭ２４から読み出されて、圧縮部５０でＪＰＥＧ形式などの画像データへと圧縮される。圧縮された画像データは、ＳＤＲＡＭ２４を経由して、出力Ｉ／Ｆ５４を介してメモリカード３４に保存される。

以上、静止画撮影動作の流れについて説明したが、動画撮影動作においても、圧縮の形式がＪＰＥＧ形式の代わりに例えばＭＰＥＧ形式などの動画形式に変更されるほかは同様の動作となる。以下、静止画撮影動作について説明するが、本実施形態によるホワイトバランス補正技術は、動画にも適用可能である。

（ホワイトバランス補正処理）
上述したように、本実施形態によるデジタルカメラ１０の撮影動作においては、画像処理によってホワイトバランス補正が行われる。このとき、検波する画像フレーム（以下、単にフレームと参照する。）と、補正するフレームとが同一であることが前提であると、フレームデータのメモリ蓄積が必要となり、処理に大きな時間がかかってしまう。ひいては、フレーム遅延が大きくなり、静止画撮影動作では連射の制約が大きくなる。また動画撮影動作でも、フレームレートを速くできない、一定のフレームレートを維持しようとすると解像度を小さくしなければならない、あるいは、一定のフレームレートおよび解像度を維持しようとすると高性能のハードウェアが必要となるなど、制約が大きくなる。さらに、フレームをメモリに蓄積しているため、メモリ分のコストが増大し、システム全体としての複雑性も増大してしまう。

また、フレームデータの蓄積を行わずに、検波するフレームと補正するフレームとを異ならせ、フレーム間のブランク時間にホワイトバランス補正係数の計算処理を行うことにより、大幅に処理時間を短縮し、フレーム遅延を短縮することができる。しかしながら、その場合、フレーム間で画像に動きあると、過去のフレームで検波した結果に基づいて最適な補正係数が計算され現在のフレームに適用されるため、日蔭や日向など色温度の異なる領域間の境界において、色味のズレが生じ易くなる。

そこで、本実施形態によるデジタルカメラ１０では、フレーム間での動きを検出し、検出された動きに応じて、色温度の異なる領域毎のホワイトバランス補正係数を混合させる境界部分（混合領域）を決定する構成を採用する。この構成により、検波するフレームと補正するフレームとが異なったとしても、フレーム間で検出された動きに応じて境界における補正係数のブレンディングが行われる。このため、検波および補正のフレームにかかる制約を緩和しながら、領域境界周辺でホワイトバランスが不自然な仕上がりとなってしまうことを防止できる。

以下、図２〜図１０を参照しながら、第１の実施形態によるデジタルカメラが実行する、ホワイトバランス補正処理について説明する。図２は、第１の実施形態によるホワイトバランス補正処理に関する機能ブロック図である。図２に示す機能ブロック１００は、ブロック評価部１０２と、ホワイトバランス計算部１０４と、ホワイトバランス補正部１０６とを含み構成される。

ブロック評価部１０２は、全画素の受光面に対応した画面を所定数のブロックに分割し、ＣＣＤＩ／Ｆ４２が同期信号に応じてＣＣＤ１６から入力を受けたＲＡＷ−ＲＧＢデータから、ブロック毎のＲＧＢ積算値を算出する。ブロック評価部１０２は、典型的には、図１に示した信号処理部２０のＣＣＤＩ／Ｆ４２の一部として構成される。ブロック評価部１０２は、本実施形態における評価手段を構成する。

ホワイトバランス計算部１０４は、ブロック評価部１０２により評価されたブロック毎のＲＧＢ積算値に基づき、最終的な画素毎のホワイトバランス補正係数を算出し、ホワイトバランス補正部１０６に対し設定する。ホワイトバランス計算部１０４は、典型的には、図１に示した信号処理部２０のＣＰＵ４０およびＩＳＰ４４の組み合わせで構成される。例えば、ＣＰＵ４０が、画像全域に定義されるメッシュ（ブロックと一致してもよいし、異なってもよい。）毎の補正係数を計算し、ＩＳＰ４４に設定され、ＩＳＰ４４がメッシュ毎の補正係数を補間して画素毎の補正係数を算出する。

ホワイトバランス補正部１０６は、ＣＣＤＩ／Ｆ４２がＣＣＤ１６から入力を受けたＲＡＷ−ＲＧＢデータのＲ，Ｂデータそれぞれに対して、画素毎のホワイトバランス補正係数を乗算し、補正をかける。ホワイトバランス補正部１０６は、典型的には、図１に示した信号処理部２０のＩＳＰ４４として構成される。ホワイトバランス補正部１０６は、本実施形態による画像補正手段を構成する。

典型的な実施形態では、ＣＣＤＩ／Ｆ４２に取り込まれた第１時点のフレーム（Ｎ）の画像からブロック評価部１０２がＡＷＢ評価値を算出する。そして、算出されたＡＷＢ評価値に基づいて、ホワイトバランス計算部１０４が画素毎の補正係数を計算し、第１時点から遅れた第２の時点のフレーム（Ｎ＋１）に対して補正がかけられる。説明する実施形態では、一旦メモリに保存せずに、同期信号にて、ＲＡＷ−ＲＧＢデータに対する信号処理を完了させる。

ホワイトバランス計算部１０４は、より詳細には、日向／日陰領域分割部１１０と、領域境界決定部１１２と、動き検出部１１４と、領域補正係数計算部１１６と、補正係数設定部１１８とを含み構成される。

日向／日陰領域分割部１１０は、ブロック毎のＡＷＢ評価値に基づき、入力された画像における日向領域および日陰領域を認識し、領域を分割する。領域補正係数計算部１１６は、分割された日向領域および日陰領域毎にホワイトバランス補正係数を計算する。

ここで、日向領域および日陰領域は、色温度（照明状態）が異なる領域であり、このような複数の領域がある場合には、日向もしくは日陰に合わせて画像全面に補正をかけたとしても、全体にわたり自然な色を再現することは困難である。説明する実施形態では、事前定義された識別アルゴリズムに基づき、日向領域および日陰領域を認識して領域分割し、分割された日向領域および日陰領域毎にホワイトバランス補正係数を設定する。日向／日陰領域分割部１１０および領域補正係数計算部１１６は、それぞれ、本実施形態における領域分割手段および計算手段を構成する。

動き検出部１１４は、時系列として与えられるフレーム間での動きを検出する。動き検出部１１４は、特定の実施形態においては、画像処理に基づいて、フレーム間での動きを検出することができる。画像処理に基づく動き検出方法については、後述する。また、他の特定の実施形態では、動き検出部１１４は、加速度センサ３２などの力学センサの出力に基づいて、フレーム間での動きを検出することができる。動き検出部１１４が検出する動き情報としては、動きの量および方向の両方または一方とすることができる。

領域境界決定部１１２は、動き検出部１１４により検出された動きに基づいて、日向および日陰領域毎の補正係数を混合する境界部分を決定する。領域境界決定部１１２は、動き量が得られる場合は、動き量に応じた大きさで境界部分を決定することができる。また、さらに、動きの方向が得られる場合は、動き量に応じた大きさで、動きの方向に応じて日向および日陰の領域のいずれかの側へ偏らせるようにして、境界部分を決定することができる。領域境界決定部１１２は、本実施形態における領域決定手段を構成する。

補正係数設定部１１８は、得られた日向領域に属するブロック、日陰領域に属するブロック、日向領域用の補正係数、日陰領域用の補正係数、境界部分に属するブロックに基づいて、画素毎のホワイトバランス補正係数データを設定する。上述したように、画面がメッシュに分割され、まずメッシュ単位でそのメッシュが属する領域の補正係数が設定される。境界部分に属するメッシュには、日向領域用の補正係数および日陰領域用の補正係数を位置関係に基づいて加重平均した補正係数が設定される。そして、すべてのメッシュに補正係数が設定された後、メッシュ毎の補正係数から、線形補間により、画素毎の補正係数が算出される。補正係数設定部１１８は、本実施形態における設定手段を構成する。

以下、図３、図４および図５に示すフローチャート、並びに図６、図７および図８を参照しながら、第１の実施形態によるホワイトバランス補正処理について、より詳細に説明する。図３は、第１の実施形態におけるホワイトバランス補正の全体処理を示すフローチャートである。

図３に示す処理は、ステップＳ１００から開始される。ステップＳ１０１では、ブロック評価部１０２は、ＲＡＷ−ＲＧＢデータを、所定ブロック単位で等分割し、分割されたブロックそれぞれに対してＲＧＢ値を積算し、ＡＷＢ評価値を取得する。なお、ブロックの分割数は、特に限定されるものではなく、すべてのブロックが等面積かつ同形状に等分割されることが好ましいが、等分割であることも必ずしも要するものではない。ここで、ブロック各々が有する各画素は、対応する被写体部分のＲ、ＧまたはＢ成分の情報を記録されており、ＡＷＢ評価値であるＲＧＢ積算値は、このブロック各々において全画素のＲ成分、Ｇ成分、Ｂ成分各々を加算平均して算出される。

ステップＳ１０２では、ホワイトバランス計算部１０４は、取得した全ブロック分のＲＧＢ積算値を加算して得られる画面全体のＲＧＢ積算値、シャッタ速度（Ｔｖ）、絞り値（Ａｖ）および感度（Ｓｖ）に基づいて、曇天シーン判定を行うことができる。なお、曇天シーン判定は、撮影画像全体について判定を行う処理である。

ステップＳ１０３では、ホワイトバランス計算部１０４は、ブロック各々について青空領域判定を行うことができる。この青空領域判定では、ブロックのうち、Ｂ成分が高いブロックが青空領域であると判定される。

ステップＳ１０４では、日向／日陰領域分割部１１０は、ＲＧＢ積算値およびＲＧＢ積算値から計算できる輝度値（Ｙ）に基づいて、ブロック各々について、日向領域および日陰領域に分類を行う。説明する実施形態においては、日向領域および日陰領域からなる２種類の領域に分類することにより、画面全体を２つの領域に分割するものとするが、特に限定されるものではない。より一般化して、撮像画像をｎ個のブロックに分割した場合において、ブロックを統合することでｍ（ｎ＞ｍ≧２を満たす）の領域に分割することができる。

ここで、日向／日陰領域分割の具体的な方法について一例を用いて説明する。日向／日陰領域分割には、ブロック毎の輝度値（Ｙ）、および赤成分値（Ｒ）と青成分値（Ｂ）との比であるＢ／Ｒを用いて、所定分割条件に従って、日向領域および日陰領域を分類することができる。ここでは、分割条件としては、輝度値（Ｙ）が所定閾値未満（例えば輝度値（Ｙ）が４０％未満など）であり、かつ、Ｂ／Ｒが所定閾値（例えばＢの積算値がＲの積算値の２倍より大きいなど）を超えるブロックが日陰と判定される。それ以外のブロックは、日向と判定される。このとき、青空に対して日陰領域の補正係数が適用されないように、青空領域と判定され、かつ、日陰領域とされたブロックを日向領域に変更するようにしてもよい。さらに、ある程度まとまった領域とするために、大きな領域内で分散した微小領域を大きな領域に属するものに変更するようにしてもよい。

ステップＳ１０５では、領域境界決定部１１２は、動き検出部１１４により測定された動きに基づいて、日向領域および日陰領域が隣接し合う境界において、日向日陰境界ブロックを決定する。

図６（Ａ）は、撮像画像を例示する。図６（Ｂ）は、図６（Ａ）に示した撮像画像の矢印Ａ，Ａ’間の１次元でのホワイトバランス補正係数の設定例を説明するグラフである。図６（Ａ）に示す撮像画像では、１枚の画像中に日陰領域および日向領域が存在しており、このような場合、日陰領域には日陰領域用の補正係数を、日向領域には日向領域用の補正係数を設定することが好ましい。各領域毎に適切な補正係数をそのまま適用すると、図６（Ｂ）に実線で示すように、ホワイトバランス補正係数は、矩形の関数形で適用されることになる。実線で示す形状でホワイトバランス補正係数を適用すると、実際は、日陰領域および日向領域の境界において色温度が極端に変化することになり、違和感のある画像となってしまう。そこで、通常、破線で示すように、境界部分で補正係数の加重平均を行って、境界の色味のズレを目立たないようにすることが行われる。

上述したように検波するフレームと、補正するフレームとが異なる場合、フレーム間で画像が一定以上動いた場合は、検波した画像と補正を行う画像とで境界がずれしまい、破線で示す固定幅のブレンディングでは境界部が目立ってしまう場合がある。上述したステップＳ１０５で行われる日向日陰境界ブロックの決定処理は、この補正係数をブレンディングする境界部分の範囲を、動きに応じて決定するための処理である。好適な実施形態では、動きの測定結果に応じて、動きが大きければ大きいほど混合領域が広がるように、境界部分を一点鎖線および二点鎖線で示すように広げることができる。

図４は、本実施形態における領域境界決定部１１２が実行する、画像の動きに基づいた日向日陰境界部分の決定処理を示すフローチャートである。図４に示す処理は、図３に示したステップＳ１０５で呼び出されて、ステップＳ２００から開始される。ステップＳ２０１では、領域境界決定部１１２は、動き検出部１１４により動き測定を行う。画像処理または加速度センサ３２により、動きが測定され、領域境界決定部１１２に測定結果が伝達される。ステップＳ２０２およびステップＳ２０３では、測定された動きに基づいて処理を分岐させる。

ステップＳ２０２およびステップＳ２０３で、測定された動きが、所定の下限および上限の範囲内にあると判定さられた場合（ステップＳ２０２でＹＥＳ、ステップＳ２０３でＹＥＳ）は、ステップＳ２０４へ処理が進められる。ステップＳ２０４では、領域境界決定部１１２は、内部パラメータを「モード１」に設定し、ステップＳ２０７へ処理を進める。

一方、ステップＳ２０２およびステップＳ２０３で、測定された動きが、所定の上限以上であると判定された場合（ステップＳ２０２でＹＥＳ、ステップＳ２０３でＮＯ）は、ステップＳ２０５へ処理が分岐される。ステップＳ２０５では、領域境界決定部１１２は、内部パラメータを「モード２」に設定し、ステップＳ２０７へ処理を進める。また一方、ステップＳ２０２で、測定された動きが所定の下限以下であると判定された場合（ＮＯ）は、ステップＳ２０６へ処理が分岐される。ステップＳ２０６では、領域境界決定部１１２は、内部パラメータを「モード０」に設定し、ステップＳ２０７へ処理を進める。

ステップＳ２０７では、内部パラメータに応じて、境界部分の決定方法の分岐処理が行われる。ステップＳ２０７で、内部パラメータが「モード０」であると判定された場合（モード０）は、ステップＳ２０８へ処理が分岐される。この場合は、動きが無い場合に対応するので、ステップＳ２０８では、領域境界決定部１１２は、既定の１ブロックの範囲の境界部分を決定し、ステップＳ２１１で本処理を終了し、図３に示した処理へ戻す。

図７（Ａ）は、内部パラメータが「モード０」の場合に設定される１ブロックの境界部分を例示する図である。図７においては、日向領域、日陰領域および境界部分が太線で区分されている。「モード０」の場合、図７（Ａ）に示すように、撮影画像において日陰領域および日向領域の境界に１ブロックの境界部分が設定される。このとき、日陰領域に面した日向領域に属する１ブロックが境界部分に決定されてもよいが、好ましくは、日向領域に面した日陰領域に属する１ブロックが決定される。

これに対して、ステップＳ２０７で、内部パラメータが「モード１」であると判定された場合（モード１）は、ステップＳ２０９へ処理が進められる。ステップＳ２０９では、領域境界決定部１１２は、測定された動きに応じた大きさおよび偏りをもって境界部分を決定し、ステップＳ２１１で本処理を終了し、図３に示した処理へ戻す。すなわち、日向／日陰の境界部分の幅は、１ブロックよりも大きくなる。

図７（Ｂ）〜図７（Ｄ）は、パラメータが「モード１」の場合に動きの測定結果に応じて設定される境界部分を例示する図である。図７（Ｂ）〜図７（Ｄ）は、それぞれ、動き量が「小」、「中」および「大」の三段階の場合について境界部分の決定方法を例示する。「モード１」の場合、図７（Ｂ）〜図７（Ｄ）に示すように、撮影画像において日陰領域および日向領域の境界に、動き量が大きくなるにつれて順次ブロック単位で幅を広げて、境界部分が決定される。

なお、図７（Ｂ）〜図７（Ｄ）では、境界部分の両端を順次広げることとした。しかしながら、広げ方は特に限定されるものではなく、動きの方向も取得できる特定の実施形態では、図８（Ａ）〜図８（Ｃ）に示すように、動きの向きと同じ方向に境界部分の範囲を広げて行くこともできる。これにより、画像の動きの方向に合わせて、自然な仕上がりとすることができる。

これに対して、ステップＳ２０７で、内部パラメータが「モード２」であると判定された場合（モード２）は、ステップＳ２１０へ処理が分岐される。ステップＳ２１０では、領域にかかわらず画面全体に一様なホワイトバランスをかけるため、ここでは、境界部分を決定せず、ステップＳ２１１で本処理を終了し、図３に示した処理へ戻す。「モード２」は、測定された動きが所定の上限を超えていると判定された場合のモードである。動きが大きい場合には、色温度の異なる領域のズレが大きいため、逆に境界が目立つという副作用のほうが大きくなるからである。説明する実施形態では、例外処理として、日陰と日向領域で色温度を変更するのではなく、画面全体に一様なホワイトバランス補正係数を設定することとしている。

再び、図３を参照すると、ステップＳ１０６では、ホワイトバランス計算部１０４は、ブロック各々について、Ｇ／ＲおよびＧ／Ｂに基づいて、緑領域であるか否かを判定することができる。緑領域の判定では、Ｇ成分がＲ成分およびＢ成分と比較して大きい領域が緑領域と判定される。

ステップＳ１０７では、ホワイトバランス計算部１０４は、輝度値（Ｙ）が高いほどホワイトバランスを抑圧するような日陰ホワイトバランス抑圧係数を算出することができる。例えば、雨が降った後に晴れた環境下において太陽光が照射されている濡れた地面（黒っぽくなっている）のような被写体を撮影した場合、比較的高輝度であるにも関わらず日陰領域と判定されてしまうことがある。日陰ホワイトバランス抑圧係数により、少し暗い日向領域を日陰領域であると判定してしまい、日陰ホワイトバランスをかけることで、色が付いてしまうというような現象を抑制することができる。

ステップＳ１０８では、領域補正係数計算部１１６は、白いものが白くなるようなホワイトバランス補正係数をブロック毎に算出する。ここでは、まず、日向領域および日陰領域のそれぞれに対して白抽出が行われる。この白抽出は、各領域毎にＲＧＢ積算値から、ブロック各々についてのＧ／Ｒ、Ｇ／Ｂを求め、Ｇ／Ｒ対Ｇ／Ｂの色座標上において、黒体輻射カーブが表される白抽出範囲に含まれるブロックを白抽出ブロックとして記憶する。白抽出範囲は、日向領域と日陰領域とで白抽出範囲が異なってもよい。

日向領域および日陰領域のそれぞれにおいて、白抽出ブロックが抽出されると、例えば平均輝度値が高い領域を重視するような重み付けを行って、白抽出ブロックの平均Ｇ／Ｒと平均Ｇ／Ｂを算出する。そして、算出された平均Ｇ／Ｒおよび平均Ｇ／Ｂが黒体輻射カーブの範囲内に含まれるように補正し、ホワイトバランス補正係数とする。また、このとき、ステップＳ１０２において曇天シーンと判定された場合、違和感のないホワイトバランス処理を行うため、日向領域の補正係数と、日陰領域の補正係数との差が小さくなるように設定してもよい。

ステップＳ１０９では、ホワイトバランス計算部１０４は、被写体の明るさ（Ｌｖ）に応じて日向領域用の補正係数と、日陰領域用の補正係数との加重平均をして、日陰領域における補正係数の強度調整を行うことができる。被写体の明るさ（Ｌｖ）によって日陰領域のホワイトバランス補正係数の強度を調整することによって、例えば屋外より比較的暗い室内や、日向日陰がはっきりとしないシーンにおいて、日向領域、日陰領域毎にホワイトバランスをかけても違和感が生じないようになる。さらに被写体の明るさ（Ｌｖ）が大きい場合に、日陰領域用と日向領域用の補正係数の差が一定の範囲内に収まるようにリミット処理を行ってもよい。

ステップＳ１１０では、補正係数設定部１１８は、ここまでの処理で決定された日向領域用のホワイトバランス補正係数と日陰領域用のホワイトバランス補正係数とを用いて、各画素毎のホワイトバランス補正係数データを演算し、設定する。

図５は、第１の実施形態における補正係数設定部１１８が実行する画素毎のホワイトバランス補正係数を演算し、設定する処理を示すフローチャートである。図５に示す処理は、図３に示したステップＳ１１０で呼び出されて、ステップＳ３００から開始される。

ステップＳ３０１では、補正係数設定部１１８は、内部パラメータに応じて、補正係数の計算方法の分岐処理が行われる。ステップＳ３０１で、内部パラメータが「モード０」または「モード１」であると判定された場合（モード０／１）は、ステップＳ３０２へ処理が分岐される。この場合は、動きが基準範囲内である場合に対応するので、ステップＳ３０２では、補正係数設定部１１８は、日向領域、日陰領域および、動きに応じてステップＳ１０５で決定された境界部分それぞれに属するメッシュ各々に対し、メッシュ毎のホワイトバランス補正係数を設定する。

まず、日向領域に対応するメッシュには日向領域のホワイトバランス補正係数をそのまま用いることができる。日陰領域に対応するメッシュには、強度調整後の日陰領域用のホワイトバランス補正係数が設定される。境界部分に属するメッシュについては、隣接する日陰領域および日向領域のメッシュに設定された補正係数が位置座標に応じて補間された値が設定される。

なお、人間の目に敏感な緑が違和感を生じさせないように、日陰領域かつ緑領域に対応するメッシュには、日向領域を例えば７０％、日陰領域を例えば３０％として加重平均を行い、ホワイトバランス補正係数を設定してもよい。

ステップＳ３０３では、補正係数設定部１１８は、メッシュ毎のホワイトバランス補正係数に基づき、補間により、各画素毎のホワイトバランス補正係数を設定する。説明する実施形態では、ＡＷＢ評価値のブロックと同メッシュ数で、メッシュの格子点ごとにＲＧＢの各ゲイン量が設定可能となっており、メッシュ間は、バイリニア法等によりゲイン量が補間される。

まず、各メッシュの中央を注目画素とし、日向領域、日陰領域それぞれにおいて算出したホワイトバランス補正係数Ｇａｉｎ_Ｒ，Ｇａｉｎ_Ｂがメッシュの注目画素に設定される。非注目画素の補正係数Ｇａｉｎ_Ｒ、Ｇａｉｎ_Ｂは、当該メッシュの注目画素と周辺メッシュの注目画素とに設定されている補正係数と、当該画素からの距離に基づく補間によって求められる。

境界部分は、補正係数をブレンディングする領域であるため、境界部分が広ければ広いほど、図６（Ｂ）に示した境界部分での傾きが小さくなり、色温度の切り替わり部がより広い領域で滑らかに億なわれることを意味する。

これに対して、ステップＳ３０１で、内部パラメータが「モード２」であると判定された場合（モード２）は、ステップＳ３０４へ処理が分岐される。この場合は、動きが大きすぎる場合に対応するので、ステップＳ３０４では、上述した日向／日陰領域、領域毎の補正係数をキャンセルし、日向領域および日陰領域を含む画面全体に対し、一様なホワイトバランス補正係数を設定する。

ここで、画面全体の一様なホワイトバランス補正係数の決定方法に関し、種々の方法が考えられるため、数例について説明する。第１の方法は、日陰領域および日向領域のうちの面積が大きい方のホワイトバランス補正係数を用いる方法である。第２の方法は、日陰領域および日向領域の面積比を計算し、面積比に応じて日向用と日陰用とのホワイトバランス補正係数を平均したものを用いる方法である。第３の方法は、ＡＷＢの検波値を用いるにあたり、ブロックごとの積分値を利用せずに、画面全体の積分値を利用して、ホワイトバランス補正係数を決定する方法である。

ステップＳ３０３またはステップＳ３０４の処理が済むと、ステップＳ３０５で、本処理が終了し、図３に示した処理へ戻される。ここで、図３を再び参照すると、ステップＳ１１０で、画素毎の補正係数データが設定されると、ステップＳ１１１で本処理を終了する。以降、ホワイトバランス補正部１０６により、ＲＡＷ−ＲＧＢデータのＲ、Ｂデータそれぞれに対して、画素毎に算出したホワイトバランス補正係数Ｇａｉｎ_Ｒ、Ｇａｉｎ_Ｂを乗算が行われ、ホワイトバランス補正が適用されることになる。

（画像処理に基づく動き検出処理）
以下、図９を参照しながら、上述した画像処理に基づく動き検出方法について説明する。図９は、特定の実施形態による画像処理に基づく動き検出処理を説明する図である。上述したように、ＣＣＤＩ／Ｆ４２よりＣＣＤ１６からの画像データ（ＲＡＷ−ＲＧＢデータ）が入力されると、ＩＳＰ４４に画像データが渡される。ＩＳＰ４４は、渡された画像データに基づき、現在のフレームが、前フレームに対してどの程度の動きがあったかを測定する。

簡便な動き測定方法としては、図９に示すように、撮影画像を小さなブロックに分割し、前（Ｎ−１）フレームに対して、現（Ｎ）フレームのブロック毎の各ＲＧＢ積分値の差分（Ｆ（Ｎ−１）−Ｆ（Ｎ））を算出し、その差分の全ブロックの合計として動き量を計測することができる。このとき、差分を求めるため、ブロック毎のＲＧＢ積算値が複数フレーム分メモリ上に保持される。

さらに、他の実施形態では、フレーム間の差分や動き量をもっと高精度に算出するために、オプティカルフローを計算することもできる。この場合、フローベクトルの総和から、動き量および動き方向を得ることができる。

また、オプティカルフローを適用する場合、ハードウェア性能によっては、時間（Ｎ−１）のフレームデータの積分値と時間（Ｎ）のフレームデータの積分値との差分（Ｆ（Ｎ）−Ｆ（Ｎ−１））に基づいて、時間（Ｎ＋１）のフレームデータに補正を適用することになる可能性がある。このような場合、さらに他の実施形態では、ＩＴＵ−Ｔ（International Telecommunication Union - Telecommunication standardization sector）Ｈ．２６４の動画圧縮技術で採用されているフレーム間予測の技術などを用いて、動き量の測定の精度の向上をはかってもよい。

（加速度センサに基づく動き検出処理）
手ぶれ補正で使用される加速度センサ３２では、どの方向にどの程度カメラが動いたのかを検知可能である。このため、特定の実施形態では、加速度センサ３２からの出力に基づき、所定の基準時点での動き量および動き方向を計測することができる。加速度センサ３２を用いることにより、計算負荷の高いオプティカルフロー演算を実施せずに、高精度に動きの量および方向が測定できるため、計装コストを削減することができる。

（第１の実施形態による利点）
以上説明した第１の実施形態によれば、検出されたフレーム間での動きに応じて、色温度の異なる領域毎のホワイトバランス補正係数を混合させる境界部分（混合領域）を決定している。このため、検波するフレームと補正するフレームとを異ならせても、画像の動きに応じて混合領域が増減されるため、領域間の境界部分が自然な仕上がりとなるように補正を施すことができる。よって、補正係数計算のための時間的な制約を緩和しながら、領域境界周辺でホワイトバランスが不自然な仕上がりとなってしまうことを好適に防止することができる。

他の考えられ得る方法として、図１０に示すように、混合領域の幅を変えるのではなく、領域毎の色温度（補正係数）の差を狭めるという手法を採用することもできる。そうすると、境界部分の色ずれを低減できるが、しかしながら、反対に境界部分以外の領域の色温度が他の領域の色温度の影響を受けて本来の色温度からずれてしまうという不充分な点がある。第１の実施形態によるホワイトバランス補正は、この点からも優れているといえる。

（合成画像における明るさ補正）
上述までは、単一のレンズ系１２で撮像された撮像画像に対するホワイトバランス補正を例として、第１の実施形態による画像補正係数計算処理について説明した。以下、図１１〜図１３を参照して、複数のレンズ系をそれぞれ通して撮像された撮像画像を合成した合成画像における明るさ補正を例として、第２の実施形態による画像補正係数計算処理について説明する。複数のレンズ系による撮像画像を合成した合成画像においては、合成する境界部分で明るさのズレが生じる可能性がある。以下に説明する第２の実施形態は、このような境界部分での明るさのズレを緩和する明るさ補正処理に関するものである。

図１１は、第２の実施形態によるデジタルカメラ６０のシステム構成を説明する図である。なお、第２の実施形態は、第１の実施形態と共通する部分があるため、以下、相違点を中心に説明する。また、第１の実施形態と同様の役割を有する手段に対しては、同一符番を付すものとする。

図１１に示すように、第２の実施形態によるデジタルカメラ６０は、２系統のレンズ系１２Ａ，１２Ｂ、絞りユニットおよびメカニカルシャッタユニット１４Ａ，１４Ｂ、ＣＣＤ１６Ａ，１６ＢおよびＡＦＥ１８Ａ，１８Ｂを含み構成される。

第２の実施形態によるデジタルカメラ６０は、さらに、２つのＡＦＥ１８Ａ，１８Ｂと、信号処理部２０との間に、画像合成部６２を備えている。ＡＦＥ１８Ａ，１８Ｂは、それぞれ、ＣＣＤ１６Ａ，１６Ｂから出力される信号をサンプリングおよびゲイン調整し、デジタル撮像信号（ＲＡＷ−ＲＧＢデータ）を画像合成部６２に出力する。

画像合成部６２には、２系統各々で同時に撮影された右画像および左画像の２枚の撮像画像のデジタル撮像信号が入力される。画像合成部６２は、一旦、２枚の撮像画像のＲＡＷ−ＲＧＢデータをＳＤＲＡＭ２４に格納する。画像合成部６２は、ＳＤＲＡＭ２４から１ライン毎に画像データを読み出す際に、左画像の次に右画像を続けて順番に読み出すことで、左画像および右画像を一つの大きな合成画像として信号処理部２０に出力する。

なお、説明の便宜上、右画像および左画像の２系統とするが、上画像および下画像の場合や、全天球カメラでは右半球画像および左半球画像の場合もある。さらに、２以上の系統での撮像画像が合成されてもよい。

信号処理部２０では、合成された画像を１枚の撮像画像として、第１の実施形態と同様に、ＩＳＰ４４で画像処理が施され、ＹＵＶ変換部４６でＹＵＶデータに変換され、リサイズ部４８でサイズ変換された後、メモリ・コントローラ５２にてＳＤＲＡＭ２４に保存される。

図１２は、第２の実施形態による信号処理部２０が実行する、明るさ補正処理を示すフローチャートである。図１２に示す処理は、ステップＳ４００から開始され、ステップＳ４０１では、信号処理部２０は、それぞれの系統で自動露出のフィードバック制御を行う。

信号処理部２０では、第１の実施形態と同様に、ＣＣＤＩ／Ｆ４２で取り込まれたＲＡＷ−ＲＧＢデータより、ＡＥ評価値が算出される。第２の実施形態では、ＡＥ評価値としては、２つのＣＣＤ１６Ａ，１６Ｂ各々からの撮像画像が合成された合成画像におけるブロック毎のＲＧＢ積算値が算出される。このとき、全ブロックのうち左半分のブロックの輝度値（Ｙ）の積算値が左用系統の明るさ、右半分のブロックの輝度値（Ｙ）の積算値が右用の系統の明るさとなる。ＡＥ処理では、各々の輝度値（Ｙ）の積算値が適正な明るさ（つまり積算値の目標値）に近づくように、各系統の露光条件の制御値（露光時間、絞りユニットの絞り値、アナログゲインなど）をフィードバック制御する。

ステップＳ４０２では、信号処理部２０は、合成画像において、左用系統に対応する左半分のブロックを左領域とし、右用の系統に対応する右半分のブロックを左領域とし、合成画像を領域分割する。ステップＳ４０３では、左領域および右領域の境界における明るさを測定する。具体的には、図１３（Ａ）に示すように、左右領域の境界部分の所定ブロックの輝度値を読み込む。このとき、境界部分のブロックの明るさを読み込めばよいため、上記ステップＳ４０１のＡＥ制御の動作に合わせて輝度値を読み込んでもよい。また、境界部分は、左右ともに１ブロックとすることができるが、定義されるメッシュ数に応じて、ブロック数を多くしてもよい。

図１３（Ａ）は、２系統で撮像された合成画像を例示する。図１３（Ｂ）は、図１３（Ａ）に示した合成画像の矢印Ｂ，Ｂ’間の明るさの１元分布を示すグラフである。図１３（Ａ）に示す合成画像では、１枚の合成画像中に左領域および右領域があり、ステップＳ４０１では、各領域での評価に基づいてＡＥ制御が行われる。

各系統でのＡＥ制御は、画像全体や中心を測光して、明るさが目標値に近づくように露光条件の制御値を決定する。そのため、全体としては左右で同じ明るさになっても、図６（Ｂ）に実線で示すように、合成にかかる境界部分で明るさに段差が生じる可能性がある。つまり、左右領域で境界ブロックの輝度値に差がある可能性がある。その他、ＣＣＤ１６の感度のばらつきや、ＡＥ制御の分解能不足など様々な要因によっても、境界部分で明るさに段差が生じ得る。一方で、２つの撮像画像の境界は、同一被写体位置に一致するように設計されているので、本来は連続性を有する部分である。

そこで、ステップＳ４０４では、信号処理部２０は、図１３（Ｂ）に破線、一点鎖線および二点鎖線で示すように、測定した動きに基づき、上記左右領域の境界で測定した明るさをブレンドする広さを変えて境界部分を決定する。なお、第２の実施形態では、右用系統と左用系統とが組み合わさって単一のハードウェアとして構成されているため、加速度センサ３２を使用する場合は、１つあればよい。

ステップＳ４０５では、信号処理部２０は、決定された境界部分および測定された左右の境界の明るさに基づき、画素毎の明るさ補正係数データを設定する。測定された左右の境界ブロックで明るさに差がある場合、左領域では、決定された境界部分の左端位置から、左右の境界位置で左右領域の明るさの中間値になるように明るさを調整する明るさ補正係数が設定される。右領域でも同様に、決定された境界部分の右端位置から、左右の境界位置で明るさの中間値になるように明るさ補正係数が設定される。

以降、ＩＳＰ４４により、ＲＡＷ−ＲＧＢデータのＲ、Ｇ、Ｂデータそれぞれに対して、画素毎に算出した明るさ補正係数のゲイン処理が行われ、明るさ補正が適用されることになる。ホワイトバランス補正のときと同様に、動き量に応じて明るさのブレンドする範囲を変更することによって、明るさの段差が目立たなくなるようになる。そして、ステップＳ４０６で、本処理を終了する。

なお、上述の説明では、明るさ補正について説明したが、画像合成する第２の実施形態においても、第１の実施形態と同様にホワイトバランス補正の行うことができる。

以上説明した実施形態によれば、画像補正係数算出処理による時間的制約を緩和しつつ、色温度や明るさなど照明状態（照明光源やストロボなどの人工光のほか太陽光などの自然光によるものを含む。）が異なる複数の領域毎に適した画像補正を、領域間の境界部分が自然な仕上がりとなるように施すことができる、画像処理装置、撮像装置、画像補正方法およびプログラムを提供することができる。

なお、上記機能部は、アセンブラ、Ｃ、Ｃ＋＋、Ｃ＃、Ｊａｖａ（登録商標）などのレガシープログラミング言語やオブジェクト指向プログラミング言語などで記述されたコンピュータ実行可能なプログラムにより実現でき、ＲＯＭ、ＥＥＰＲＯＭ、ＥＰＲＯＭ、フラッシュメモリ、フレキシブルディスク、ＣＤ−ＲＯＭ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ブルーレイディスク、ＳＤカード、ＭＯなど装置可読な記録媒体に格納して、あるいは電気通信回線を通じて頒布することができる。また、上記機能部の一部または全部は、例えばフィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）などのプログラマブル・デバイス（ＰＤ）上に実装することができ、あるいはＡＳＩＣ（特定用途向集積）として実装することができ、上記機能部をＰＤ上に実現するためにＰＤにダウンロードする回路構成データ（ビットストリームデータ）、回路構成データを生成するためのＨＤＬ（Hardware Description Language）、ＶＨＤＬ（VHSIC（Very High Speed Integrated Circuits） Hardware Description Language））、Ｖｅｒｉｌｏｇ−ＨＤＬなどにより記述されたデータとして記録媒体により配布することができる。

これまで本発明の実施形態について説明してきたが、本発明の実施形態は上述した実施形態に限定されるものではなく、他の実施形態、追加、変更、削除など、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。

１０，６０…デジタルカメラ、１２…レンズ系、１４…メカニカルシャッタユニット、１６…ＣＣＤ、１８…ＡＦＥ、２０…信号処理部、２２…ＲＯＭ、２４…ＳＤＲＡＭ、２６…モータドライバ、２８…ディスプレイ、３０…操作部、３２…加速度センサ、４０…ＣＰＵ、４２…ＣＣＤＩ／Ｆ、４４…ＩＳＰ、４６…ＹＵＶ変換部、４８…リサイズ部、５０…圧縮部、５２…メモリ・コントローラ、５４…出力Ｉ／Ｆ、６２…画像合成部、１００…機能ブロック、１０２…ブロック評価部、１０４…ホワイトバランス計算部、１０６…ホワイトバランス補正部、１１０…日向／日陰領域分割部、１１２…領域境界決定部、１１４…動き検出部、１１６…領域補正係数計算部、１１８…補正係数設定部

特開２００２−２７１６３８号公報 特開２０１０−２１３２１３号公報 特開２０１２−２３５３７７号公報

Claims (20)

1. 画像補正のための画像処理装置であって、
   画像の入力を受ける入力手段と、
   前記入力手段に入力された画像を照明状態の異なる複数の領域に分割する領域分割手段と、
   前記領域分割手段により分割された前記領域毎に補正係数を計算する計算手段と、
   前記入力手段により時系列として与えられる画像間での動きを検出する動き検出手段と、
   前記動き検出手段により検出された動きに基づいて、前記領域毎の補正係数が混合される領域間の境界部分を決定する境界決定手段と、
   前記境界決定手段により決定された前記領域間の境界部分に基づいて、前記入力手段に入力された画像に対する画像補正係数データを設定する設定手段と
   を含む、画像処理装置。
2. 前記入力手段に入力された第１画像を構成する複数のブロック毎に評価値を評価する評価手段と、
   前記第１画像から遅れた第２画像に対し、前記画像補正係数データに基づき画像補正を施す画像補正手段と
   をさらに含み、前記計算手段は、前記第１画像の前記複数のブロック毎の評価値に基づき前記領域毎の補正係数を計算する、請求項１に記載の画像処理装置。
3. 前記入力手段は、同期信号に基づき撮像素子からの撮像画像の入力を受け、前記画像補正手段は、前記同期信号に基づき撮像画像を処理する、請求項２に記載の画像処理装置。
4. 前記動き検出手段は、画像処理によって前記画像間での動きを検知する手段である、請求項１〜３のいずれか１項に記載の画像処理装置。
5. 前記動き検出手段は、前記入力手段に入力された画像を構成する複数のブロック毎の評価値の前後画像間の差分に基づき前記画像間での動きを検出する手段である、請求項４に記載の画像処理装置。
6. 前記動き検出手段は、力学センサの出力に基づいて前記画像間での動きを検知する手段である、請求項１〜３のいずれか１項に記載の画像処理装置。
7. 前記動きは、動き量を含み、前記境界決定手段は、前記動き量に応じた大きさで境界部分を決定する、請求項１〜６のいずれか１項に記載の画像処理装置。
8. 前記動きは、動きの方向を含み、前記境界決定手段は、前記動きの方向に応じて、前記領域分割手段により分割されたいずれか一方の領域に偏らせて境界部分を決定する、請求項１〜７のいずれか１項に記載の画像処理装置。
9. 前記設定手段は、前記動き検出手段により検出された動きが基準以上の場合に、前記照明状態の異なる複数の領域を含めて全体に対し一様な画像補正係数データを設定する、請求項１〜８のいずれか１項に記載の画像処理装置。
10. それぞれ異なる光学系を通して撮像された複数の撮像画像をつなぎ合わせ合成画像を生成する画像合成手段をさらに含み、前記照明状態の異なる複数の領域は、前記合成画像における前記複数の撮像画像それぞれに対応する領域である、請求項１〜９のいずれか１項に記載の画像処理装置。
11. 領域間で異なる前記照明状態が色温度であり、かつ、前記画像補正係数データがホワイトバランス補正係数データであるか、または、領域間で異なる前記照明状態が明るさであり、かつ、前記画像補正係数データが明るさ調整補正係数データである、請求項１〜１０のいずれか１項に記載の画像処理装置。
12. それぞれ異なる光学系を通して撮像された複数の撮像画像をつなぎ合わせて合成画像を生成する画像合成手段と、
    前記画像合成手段により合成された合成画像における各々の光学系に対応する各領域に基づいて各光学系の露光条件を制御する制御手段と、
    前記画像合成手段により時系列として与えられる画像間での動きを検出する動き検出手段と、
    前記動き検出手段により検出された動きに基づいて、前記領域間で明るさが混合される領域間の境界部分を決定する境界決定手段と、
    前記領域間の境界部分に基づいて明るさ補正係数データを設定する設定手段と
    を含む、画像処理装置。
13. 被写体に対応した光を電気信号に変換して撮像信号として出力する撮像素子と、
    前記撮像信号に基づき前記被写体に対応した撮影画像の入力を受ける入力手段と、
    前記入力手段に入力された撮像画像を照明状態の異なる複数の領域に分割する領域分割手段と、
    前記領域分割手段により分割された前記領域毎に補正係数を計算する計算手段と、
    前記入力手段により時系列として与えられる撮像画像間での動きを検出する動き検出手段と、
    前記動き検出手段により検出された動きに基づいて、前記領域毎の補正係数が混合される領域間の境界部分を決定する境界決定手段と、
    前記境界決定手段により決定された前記領域間の境界部分に基づいて、前記入力手段に入力された撮像画像に対する画像補正係数データを設定する設定手段と
    を含む、撮像装置。
14. 画像処理装置が実行する画像補正方法であって、前記画像処理装置が、
    入力された画像を照明状態の異なる複数の領域に分割するステップと、
    前記分割するステップで分割された前記領域毎に補正係数を計算するステップと、
    時系列として与えられる画像間での動きを検出するステップと、
    前記検出するステップで検出された動きに基づいて、前記領域毎の補正係数が混合される領域間の境界部分を決定するステップと、
    前記境界部分を決定するステップで決定された前記領域間の境界部分に基づいて、入力された画像に対する画像補正係数データを設定するステップと
    を含む、画像補正方法。
15. 前記画像補正方法は、前記画像処理装置が、
    前記計算するステップ前に、入力された第１画像を構成する複数のブロック毎に評価値を評価するステップと、
    前記設定するステップ後に、前記第１画像から遅れた第２画像に対し、前記画像補正係数データに基づき画像補正を施すステップと
    をさらに含み、前記計算するステップは、前記画像処理装置が、前記第１画像の前記複数のブロック毎の評価値に基づき前記領域毎の補正係数を計算するステップである、請求項１４に記載の画像補正方法。
16. 前記画像補正方法は、前記画像処理装置が、同期信号に基づき撮像素子からの撮像画像の入力を受けるステップをさらに含み、
    前記画像補正を施すステップは、前記画像処理装置が、前記同期信号に基づき撮像画像を処理するステップである、請求項１５に記載の画像補正方法。
17. 前記動きは、動き量を含み、前記境界部分を決定するステップは、前記動き量に応じた境界部分の大きさを決定するステップを含む、請求項１４〜１６のいずれか１項に記載の画像補正方法。
18. 前記動きは、動きの方向を含み、前記境界部分を決定するステップは、前記動きの方向に応じた前記境界部分を偏らせる方向を決定するステップを含む、請求項１４〜１７のいずれか１項に記載の画像補正方法。
19. 前記画像補正方法は、前記画像処理装置が、それぞれ異なる光学系を通して撮像された複数の撮像画像をつなぎ合わせて合成画像を生成するステップをさらに含み、前記照明状態の異なる複数の領域は、前記合成画像における前記複数の撮像画像それぞれに対応する領域である、請求項１４〜１８のいずれか１項に記載の画像補正方法。
20. 画像補正のための画像処理装置を実現するためのプログラムであって、前記プログラムは、コンピュータまたはプログラマブル・デバイスを、
    画像の入力を受ける入力手段、
    前記入力手段に入力された画像を照明状態の異なる複数の領域に分割する領域分割手段、
    前記領域分割手段により分割された前記領域毎に補正係数を計算する計算手段、
    前記入力手段により時系列として与えられる画像間での動きを検出する動き検出手段、
    前記動き検出手段により検出された動きに基づいて、前記領域毎の補正係数が混合される領域間の境界部分を決定する境界決定手段、および
    前記境界決定手段により決定された前記領域間の境界部分に基づいて、前記入力手段に入力された画像に対する画像補正係数データを設定する設定手段
    として機能させるためのプログラム。