JP2014066958A

JP2014066958A - 撮像装置

Info

Publication number: JP2014066958A
Application number: JP2012213627A
Authority: JP
Inventors: Kazuhiro Kojima; 和浩小島; Atsushi Kiyama; 淳木山
Original assignee: Xacti Corp
Current assignee: Xacti Corp
Priority date: 2012-09-27
Filing date: 2012-09-27
Publication date: 2014-04-17

Abstract

【課題】スイングパノラマにて合成されるべき各入力画像の露出を適正化する。
【解決手段】カメラをスイングさせながら複数の入力画像を順次撮影する。各入力画像に切り出し領域ＣＲを設定し、各入力画像の切り出し領域ＣＲ内の画像をスイング方向に沿ってつなぎ合わせることでパノラマ合成画像を生成する。輝度評価部は、スイング方向が右方向であるときには各入力画像の切り出し領域ＣＲの右側にＡＥ評価領域（３３０Ｒ’）を設定する一方、スイング方向が左方向であるときには各入力画像の切り出し領域ＣＲの左側にＡＥ評価領域（３３０Ｌ’）を設定して、ＡＥ評価領域内の被写体輝度を評価する。ＡＥ評価領域には次フレーム以降の切り出し領域ＣＲの対応領域が含まれる。露出制御部は、その評価結果に基づき各入力画像の露出制御を行う。
【選択図】図１７

Description

本発明は、デジタルカメラ等の撮像装置に関する。

スイングパノラマとも呼ばれるパノラマ撮影機能がデジタルカメラに搭載されることも多い。スイングパノラマでは、カメラを水平や垂直方向に振りながら複数の入力画像の順次撮影を行い、複数の入力画像をイメージモザイキング法によって貼りあわせ合成することで各入力画像よりも画角の広いパノラマ合成画像を生成する。図２６（ａ）及び（ｂ）において、符号９００はパノラマ合成画像として取得されるべき全景を表し、矩形領域９０１、９０２は、夫々、第ｉ番目、第（ｉ＋１）番目の入力画像の撮影時における撮影領域を表し、符号９０５は、被写体の１つである太陽を表している（ｉは整数）。図２６（ａ）及び（ｂ）の例では、パノラマ撮影中、図面の右方向に向かってカメラがスイングされている。一般的には例えば、各入力画の中央に切り出し領域ＣＲを設定して各入力画像から切り出し領域ＣＲ内の画像（画像信号）を切り出し、切り出した各画像をスイング方向に沿ってつなぎ合わせることでパノラマ合成画像９１０（図２７参照）を得る。

一方、デジタルカメラには、通常、撮影画像の露出の適正化を図る露出制御機能が設けられている。尚、特許文献１において以下のような方法も提案されている。最初の静止画像（入力画像）の撮影時にＩＳＯ感度を最大に設定して撮影を行い、以降の静止画像の撮影時には前記ＩＳＯ感度を最大に設定したままで且つ撮影された前記最初の静止画像の露出に合うようにシャッタ速度を設定する（特許文献１の請求項１０参照）。

特開２００８−２８９０９５号公報

パノラマ撮影中の露出制御方法として、パノラマ撮影中には、露出条件（絞り値、シャッタ速度、撮影感度など）を固定しておくという第１制御方法も検討される。但し、露出条件を固定した場合、撮影終了時近辺の露出が異常になることがある。例えば、露出条件を固定した状態において、撮影領域の明るさがカメラのスイング方向に沿って徐々に暗くなるようなシーンをパノラマ撮影すると、撮影開始時近辺の領域は適正露出で撮影されるが、撮影終了時近辺は露出アンダーで撮影され、結果、得られるパノラマ合成画像に適正露出の画像領域と露出アンダーの画像領域が混在することになる。

動画像撮影用の露出制御として一般的に利用されるコンティニアスＡＥを、パノラマ撮影中の露出制御に適用する方法（以下、第２制御方法という）も検討される。第２制御方法では、パノラマ撮影中に逐次測光処理を行い、各時刻の測光処理結果に基づき露出条件を更新してゆく（特許文献１の方法は、この第２制御方法に近い）。典型的なコンティニアスＡＥでは、現フレームの撮影領域の全体がＡＥ評価領域として設定され、ＡＥ評価領域内の輝度（即ち撮影領域の全体輝度）に応じて次フレームの露出条件が決定される。

但し、第２制御方法を採用した場合、以下のような不都合が生じることがある。
図２６（ａ）又は（ｂ）に示すように、パノラマ撮影中の或る特定時刻において太陽９０５が切り出し領域ＣＲの左側（即ちスイング方向の反対側）に位置している場合、当該特定時刻又は特定時刻後に得られる入力画像からは太陽を含まない画像信号（図２６（ａ）又は（ｂ）の切り出し領域ＣＲ内の画像信号）しか切り出されないのにかかわらず、特定時刻又は特定時刻後での測光処理の結果が高輝度の太陽９０５の影響を受けるため、当該特定時刻又は特定時刻後の露出が不必要に低露出とされる。即ち、パノラマ合成画像に含められる、図２６（ａ）、（ｂ）の切り出し領域ＣＲ内の画像が異常に暗くなる。従って例えば、切り出し領域ＣＲの左側に位置する白飛び領域（太陽９０５の画像領域に相当）に引っ張られたような露出制御が特定時刻及び特定時刻以後にも行われる（白飛び領域の影響を受けて過度に露出が低くされる）。黒潰れ領域が存在する場合も同様である。

露出の適正化が重要であることは言うまでもない。

そこで本発明は、合成されるべき複数の入力画像の露出適正化に寄与する撮像装置を提供することを目的とする。

本発明に係る撮像装置は、撮影によって被写体の画像を取得する撮像素子と、測光処理を用いて被写体輝度を評価する輝度評価部と、前記輝度評価部の評価結果に基づき撮影における露出制御を行う露出制御部と、を備えた撮像装置であって、当該撮像装置の動きを伴いながら前記撮像素子にて順次取得される複数の入力画像を合成することで各入力画像よりも画角の広い出力画像を生成する合成処理部と、当該撮像装置の動き方向を検出する動き検出部と、を更に備え、前記輝度評価部は、前記動き方向に応じて、各入力画像に対する前記被写体輝度の評価条件を変更することを特徴とする。

撮像装置の動き方向に応じて、各入力画像の露出制御の元となる被写体輝度の評価条件を適応的に変化させることにより、スイング方向に適した露出制御を行うことが可能となる。例えば、被写体輝度の評価領域の位置をスイング方向に適した位置に設定したり、評価時の重み付けをスイング方向に適したものにするといったことが可能となる。結果、スイング方向に適した各入力画像の露出制御が実現可能となる。

本発明に係る他の撮像装置は、撮影によって被写体の画像を取得する撮像素子と、撮影によって取得される画像内に評価領域を設定し、測光処理を用いて前記評価領域の被写体輝度を評価する輝度評価部と、前記輝度評価部の評価結果に基づき撮影における露出制御を行う露出制御部と、を備えた撮像装置であって、当該撮像装置の動きを伴いながら前記撮像素子にて順次取得される複数の入力画像の夫々に切り出し領域を設定し、各入力画像の切り出し領域内の画像信号を合成することで各入力画像よりも画角の広い出力画像を生成する合成処理部を更に備え、前記輝度評価部は、前記切り出し領域に応じて各入力画像に前記評価領域を設定することを特徴とする。

上述の第２制御方法の如く、単純に各入力画像の全体領域を評価領域に設定すると、第２制御方法の説明で述べたような不適切な露出制御（過度の低露出又は高露出等）が行われることがある。上記の如く、切り出し領域に応じて評価領域を設定することにより、切り出し領域の被写体輝度に適応した評価結果を得ることができ、切り出し領域の被写体輝度に適応した適切な露出制御を実現可能となる。

本発明によれば、合成されるべき複数の入力画像の露出適正化に寄与する撮像装置を提供することが可能である。

本発明の実施形態に係るカメラの概略全体ブロック図である。本発明の実施形態に係る撮像部の内部構成図である。カメラの概略的な外観を被写体と共に示した図である。スイング方向を説明するための図である。画像上の各方向を定義付ける図である。スイング方向に応じた入力画像列の様子を示す図である。カメラに内包される、露出制御に関わる部位のブロック図である。時系列に並ぶ複数の入力画像を示す図である。入力画像に単位ブロック及びＡＥ評価領域が設定される様子を示す図（ａ）（ｂ）と、ブロック評価値とＡＥ評価値との関係を示す図（ｃ）である。スポット測光方式を用いた被写体輝度の評価方法を説明するための図である。スポット測光方式の変形例を説明するための図である。中央重点測光方式を用いた被写体輝度の評価方法を説明するための図である。マルチ分割測光方式を用いた被写体輝度の評価方法を説明するための図である。全景及び撮影領域間の関係を示す図（ａ）と、各時刻における全景、撮影領域及び切り出し領域間の関係を示す図（ｂ）（ｃ）である。全景を形成する各領域を示す図（ａ）と、全景を形成する各領域と或る時刻の撮影領域との関係を示す図（ｂ）である。パノラマ合成画像の例を示す図である。スイング方向に応じたＡＥ評価領域の設定例を示す図である。本発明の第１実施例に係り、スイング方向に応じたＡＥ評価領域を示す図である。本発明の第２実施例に係り、スイング方向に応じたＡＥ評価領域を示す図である。本発明の第３実施例に係り、スイング方向に応じたＡＥ評価領域を示す図である。本発明の第３実施例において問題視するパノラマ合成画像の例を示す図である。本発明の第３実施例に係る露出制御の動作フローチャートである。本発明の第３実施例に係り、被写体輝度と露出量の関係を示す図である。本発明の第４実施例に係り、或る領域内の被写体輝度の変化の様子を示す図である。本発明の第５実施例に係るＡＥ評価領域を示す図である。従来のパノラマ撮影に係り、各時刻における全景、撮影領域及び切り出し領域間の関係を示す図である。図２６（ａ）及び（ｂ）に対応するパノラマ合成画像を示す図である。

以下、本発明の実施形態の例を、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。尚、本明細書では、記述の簡略化上、情報、信号、物理量、状態量又は部材等を参照する記号又は符号を記すことによって該記号又は符号に対応する情報、信号、物理量、状態量又は部材等の名称を省略又は略記することがある。

図１は、本発明の実施形態に係るカメラ１の概略全体ブロック図である。撮像装置であるカメラ１は、静止画像及び動画像を撮影及び記録可能なデジタルビデオカメラ、又は、静止画像のみを撮影及び記録可能なデジタルスチルカメラである。また、カメラ１は、携帯電話機などの携帯端末に搭載されるものであっても良い。カメラ１は、符号１１〜１６によって参照される各部位を備える。表示部１３は、カメラ１の外部に設けられた表示装置であっても良い。

撮像部１１は、撮像素子を用いて被写体の撮影を行う。図２は、撮像部１１の内部構成図である。撮像部１１は、光学系３５と、絞り３２と、ＣＣＤ（Charge Coupled Device）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどから成る撮像素子（固体撮像素子）３３と、ドライバ３４と、を有している。光学系３５は、撮像部１１の光軸方向に移動可能な、撮像部１１の画角調整用のズームレンズ３０及び焦点合わせ用のフォーカスレンズ３１を含む。ドライバ３４は、主制御部１２からの制御信号に基づき、レンズ３０及び３１の位置並びに絞り３２の開度（即ち絞り値）を制御する。撮像素子３３は、水平及び垂直方向に複数の受光画素が配列されることによって形成され、各受光画素は、光学系３５及び絞り３２を介して入射した被写体像（被写体の光学像）を光電変換することで、被写体像の信号を撮像部１１の出力信号として出力する。

主制御部１２は、信号処理回路、ＣＰＵ（Central Processing Unit）、ＲＯＭ(Read Only Memory)及びＲＡＭ（Random Access Memory）等にて形成され、撮像部１１の出力信号に対して所定の信号処理を施すことで、撮像部１１による被写体の撮影画像の画像信号を生成する。表示部１３は、液晶ディスプレイパネル等の表示画面を有する表示装置であり、主制御部１２の制御の下、任意の映像を表示する。記録媒体１４は、カード状半導体メモリや磁気ディスク等の不揮発性メモリであり、主制御部１２による制御の下、撮影画像の画像信号等を記録する。操作部１５は、ユーザからの各種操作を受け付ける。タッチパネルを用いて操作部１５が形成されうる。カメラ動き検出部１６は、カメラ１の動きを検出する。

図３は、カメラ１の概略的な外観を、カメラ１の被写体ＳＵＢと共に示した図である。図３では、被写体ＳＵＢの例として１人の人物を示しているが、被写体ＳＵＢは１以上の任意の被写体から成る。一点鎖線ＡＸ_OPTは、撮像部１１（光学系３５）の光軸を表す。本実施形態では、説明の便宜上、被写体ＳＵＢを含む各被写体は実空間上で静止しているものとする。カメラ１の撮影画像は動画像として表示部１３に表示され、撮影者は、表示部１３の表示内容を確認しながら各種の撮影操作を行うことができる。以下では、撮影部１１にて撮影された静止画像（即ち、撮像素子３３の出力信号に基づく静止画像）を入力画像と呼ぶ。

カメラ動き検出部１６の動きの検出対象には、カメラ１のヨー方向の回転運動、カメラ１のピッチ方向の回転運動及びカメラ１の並進運動が含まれる。ヨー方向、ピッチ方向の回転運動は、夫々、カメラ１の光学中心を固定した状態でカメラ１及び光軸ＡＸ_OPTを水平方向、垂直方向に回転させる運動である。カメラ１の並進運動は、カメラ１及び光軸ＡＸ_OPTを水平又は垂直方向に平行移動させる運動である。水平方向は左右方向に対応し、垂直方向は上下方向に対応する。

以下では、カメラ１の動き方向をスイング方向と呼び、スイング方向を以下のように定義する。図４（ａ）及び（ｂ）に示す如く、被写体ＳＵＢに正対させたカメラ１を右方向に回転させるヨー方向の回転運動若しくは右方向に平行移動させる並進運動又はそれらの組み合わせ運動によるスイング方向は、右方向である。図４（ｃ）及び（ｄ）に示す如く、被写体ＳＵＢに正対させたカメラ１を左方向に回転させるヨー方向の回転運動若しくは左方向に平行移動させる並進運動又はそれらの組み合わせ運動によるスイング方向は、左方向である。上及び下方向についても同様である（図４（ｅ）〜（ｈ）参照）。以下では、スイング方向が右、左、上、下方向である状態でカメラ１が運動することを、夫々、カメラ１が右、左、上、下方向に動くなどと表現する。

カメラ動き検出部１６は、少なくとも、スイング方向が右、左、上及び下方向の何れであるのかを分類して検出することができる（或いは、スイング方向が右及び左方向のどちらであるのかのみ、又は、スイング方向が上及び下方向のどちらであるのかのみを分類して検出する）。動き検出部１６は、スイング方向を５段階以上に分類して検出できても良いし、カメラ１の動きの速度（大きさ）を検出できても良い。勿論、動き検出部１６は、カメラ１が静止しているか否かを検出することもできる。動き検出部１６は、カメラ１の動きに応じた信号を出力する動きセンサ（角加速度センサ、加速度センサなど）を用いて、スイング方向等の検出を行っても良い。或いは、動き検出部１６は、撮像素子３３の出力信号に基づき、スイング方向等の検出を行っても良い。撮像素子３３の出力信号に基づく動き検出方法は公知であるので、詳細な説明を割愛する。例えば、代表点マッチング法を用いて導出したフレーム間（時間的に隣接する入力画像間）のオプティカルフローを用いて当該検出を行うことができる。

図５の画像３００は、撮像素子３３の有効画素領域内に結像される画像に基づく、任意の入力画像（静止画像）である。Ｘ軸及びＹ軸は、夫々、入力画像３００の水平及び垂直方向に平行な軸であり、入力画像３００の中心Ｏにて互いに直交する。入力画像３００においても、右、左、上及び下方向が定義される。カメラ１から見て光軸ＡＸ_OPTより右、左、上、下側に被写体ＳＵＢが位置するとき、その被写体ＳＵＢを撮影することで得た入力画像３００上において、被写体ＳＵＢは中心Ｏよりも、夫々、右、左、上、下側に位置することになる。

カメラ１が右方向に動いている期間中に取得された入力画像列上では、図６（ａ）に示す如く、時間の経過と共に被写体ＳＵＢが左方向に向かって動き、カメラ１が左方向に動いている期間中に取得された入力画像列上では、図６（ｂ）に示す如く、時間の経過と共に被写体ＳＵＢが右方向に向かって動く。上及び下についても同様である。入力画像列とは、時系列上に並ぶ複数の入力画像の集まりを指す。入力画像列上において被写体ＳＵＢが動く方向を画像流れ方向と呼ぶ。画像流れ方向はスイング方向の逆方向である。

図７は、カメラ１の一部ブロック図であり、符号２１〜２５によって参照される各部位が主制御部１２に設けられる。信号処理部２１は、入力画像を表す撮像素子３３の出力信号に対して所定の信号処理（デジタル化、信号増幅、デモザイキング処理、ノイズ低減処理等）を施す。

入力画像の露出条件は露出制御値によって指定され、露出制御値は、絞り制御値、シャッタ速度制御値及び感度制御値から成る。入力画像の撮影時における絞り値（Ｆ値）、シャッタ速度、及び感度（以下、撮影感度ともいう）は、夫々、絞り制御値、シャッタ速度制御値、感度制御値に従う。即ち、絞り値、シャッタ速度及び撮影感度にて規定される露出値は露出制御値に従う。絞り値、シャッタ速度又は撮影感度を調整することで入力画像の明るさ（輝度）を調整することができる。シャッタ速度は、入力画像の画像信号を得るための撮像素子３３の露光時間の逆数を指す。撮影感度は、ＩＳＯ感度（International Organization for Standardization）によって規定された感度）又はＩＳＯ感度に応じた感度であり、撮影感度の調整によって、入力画像における輝度信号を含む画像信号の増幅率が調整される。即ち、信号処理部２１は、上記信号処理の中で、撮像素子３３の出力信号そのもの又は撮像素子３３の出力信号に基づく画像信号を増幅することができ、撮影感度が増大すれば、その増幅の大きさも増大して、上記信号処理後の入力画像の明るさが増大する。

露出情報取得部２２は、現在の露出条件（即ち、現在の絞り値、シャッタ速度及び撮影感度）と所定の目標輝度を含む露出情報を取得する。輝度評価部２３は、測光処理によって任意の領域における被写体輝度を評価して、評価結果を含んだ評価輝度情報を出力する。被写体輝度は、実空間における被写体の明るさを表す。

露出制御部２４は、露出情報取得部２２及び輝度評価部２３から供給される露出情報及び評価輝度情報に基づき、上記露出制御値を設定することで、入力画像の撮影における露出制御（入力画像の露出を適正にするための制御）を実現する。上述の如く露出値（露出量）は露出制御値に従うため、或る入力画像に対する露出制御値の設定は、当該入力画像の露出値の設定又は制御と同義であると考えても良く、露出制御は露出値の制御に相当すると考えても良い。図８を参照し、露出制御部２４は、入力画像Ｉ［ｉ］に関する露出情報及び評価輝度情報に基づき、入力画像Ｉ［ｉ＋ｎ］の撮影時の露出制御値を設定することができる（ｉは整数、ｎは自然数）。任意の整数ｉに関し、入力画像Ｉ［ｉ］は時刻ｔ_iにて撮影及び取得された入力画像である。従って、入力画像Ｉ［ｉ＋ｎ］は時刻ｔ_i+nにて撮影及び取得された入力画像である。時刻ｔ_i+1は時刻ｔ_iよりも後の時刻である。

図７のパノラマ合成部（合成処理部）２５は、パノラマ撮影期間（合成対象期間）中に何れかの方向へのカメラ１の動きを伴いながら撮影された複数の入力画像を、公知のイメージモザイキング法を用いて合成することにより各入力画像の画角よりも広い画角を有するパノラマ合成画像（出力画像）を生成する。但し、合成部２５は、信号処理部２１による信号処理が施された後の入力画像の画像信号を用いてパノラマ合成画像を生成する。ユーザは、操作部１５を介してパノラマ撮影期間の開始及び終了時点を指定できる。

輝度評価部２３はカメラ動き検出部１６に連動した輝度評価を行うことができるが、その説明の前に、輝度評価部２３の基本的な機能の説明を行う。輝度評価部２３は、撮像素子３３の有効画素領域内に（従って入力画像内に）複数の単位ブロックを設定する。以下では、図９（ａ）に示す如く、入力画像内に複数の単位ブロックが設定されると考える。入力画像は撮像素子３３上に結像される画像であるので、入力画像に対するブロック又は領域の設定は、撮像素子３３に対するブロック又は領域の設定と同義である。

輝度評価部２３は、単位ブロックごとに、測光処理によって単位ブロック内の被写体輝度を評価し、評価した被写体輝度の値を持つブロック評価値を生成する。輝度評価部２３は、図９（ｂ）及び図９（ｃ）に示す如く、入力画像内にＡＥ評価領域を設定し、ＡＥ評価領域内に属する１以上の単位ブロックについての１以上のブロック評価値に基づき、ＡＥ評価領域内の被写体輝度に応じたＡＥ評価値を求めて評価輝度情報（図７も参照）に含める。輝度評価部２３にて導出される任意の情報は評価輝度情報に含められうる。図９（ｂ）では、ＡＥ評価領域が単一の矩形領域になっているが、ＡＥ評価領域は互いに分離した複数の領域を含みうるし、ＡＥ評価領域の形状は矩形に限定されない。

輝度評価部２３は、ＡＥ評価領域に属する単位ブロックを採用単位ブロックとして取り扱う。或る入力画像に関し、ＡＥ評価領域に属する採用単位ブロックの個数がＪであるとし、第ｊ番目の採用単位ブロックについてのブロック評価値及び重みを夫々記号Ｖ_j及びｗ_jにて表し、且つ、ＡＥ評価値を記号ＥＶ_AEにて表す（Ｊ及びｊは自然数）。そうすると、ＡＥ評価値ＥＶ_AEは、下記式（１）に従って求められる。重みｗ_jは０より大きな値を持つ（重みｗ₁〜ｗ_Jの一部はゼロでありうる）。このように、輝度評価部２３は、ＡＥ評価領域に属する単位ブロックについてのブロック評価値の重み付け加算（式（１）の右辺の分子の演算）を介して、ＡＥ評価値を求める。但し、全ブロック評価値の重み付け平均によってＡＥ評価値が求められると考えても構わない。この場合、ＡＥ評価領域に属さない単位ブロックに対する重みがゼロに設定される。

露出制御部２４は、入力画像ごとに求められるＡＥ評価値が所定の目標値と一致するように、露出制御値を順次設定（更新）してゆくことができる。

測光処理において、輝度評価部２３は、単位ブロックごとの被写体輝度に応じた信号を出力する露出計を用いて各ブロック評価値を得る。輝度評価部２３は、撮像素子３３を露出計として用いて撮像素子３３の出力信号からブロック評価値（従ってＡＥ評価値）を求めても良いし、撮像素子３３とは別にカメラ１に設けられた露出計（不図示）を用いてブロック評価値（従ってＡＥ評価値）を求めても良い。

輝度評価部２３は、順次取得される各入力画像にＡＥ評価領域を設定して各入力画像のＡＥ評価領域内の被写体輝度を評価し、露出制御部２４は、各評価結果（各入力画像のＡＥ評価値）に応じた露出制御を行うが、この際、輝度評価部２３は、カメラ動き検出部１６にて検出されたスイング方向に応じて、被写体輝度の評価条件を変更することができる。該評価条件の変更によって評価輝度情報が変化するため、該評価条件の変更は露出制御に影響を与える。スポット測光方式、中央重点測光方式又はマルチ分割測光方式の測光処理を行う場合を例に挙げて、スイング方向に応じた、被写体輝度の評価条件の変更方法を説明する。

［スポット測光方式］
輝度評価部２３にてスポット測光方式が採用された場合における、輝度評価部２３の動作について説明する。この場合、入力画像Ｉ［ｉ］に、互いに分離されない単一の部分領域（スポット領域）がＡＥ評価領域として入力画像Ｉ［ｉ］に設定される。輝度評価部２３は、時刻ｔ_iにおいてカメラ１が静止しているならば、図１０（ａ）に示す如く、入力画像Ｉ［ｉ］の所定位置に配置された部分領域３３０をＡＥ評価領域として入力画像Ｉ［ｉ］に設定するが、時刻ｔ_iにおいてスイング方向が右方向、左方向であるならば、夫々、図１０（ｂ）の部分領域３３０Ｒ、図１０（ｃ）の部分領域３３０ＬをＡＥ評価領域として入力画像Ｉ［ｉ］に設定することができる。輝度評価部２３は、ＡＥ評価領域に属する各単位ブロックに対して“１”の重みｗ_jを設定すれば良い（それ以外の単位ブロックにはゼロの重みｗ_jが設定される）。

図１０（ｄ）に、入力画像Ｉ［ｉ］上に部分領域３３０、３３０Ｒ及び３３０Ｌを合わせて示す。入力画像Ｉ［ｉ］上において、部分領域３３０Ｒの位置は部分領域３３０の位置よりも右にあり、部分領域３３０Ｌの位置は部分領域３３０の位置よりも左にある。つまり、スイング方向が右方向であるときに設定される部分領域３３０Ｒは、部分領域３３０及び３３０Ｌから見て右方向（即ちスイング方向）に位置しており、スイング方向が左方向であるときに設定される部分領域３３０Ｌは、部分領域３３０及び３３０Ｒから見て左方向（即ちスイング方向）に位置している。このように、輝度評価部２３は、カメラ１の動きの有無及びスイング方向に応じてＡＥ評価領域の位置を変化させることができる。

任意の領域である注目領域に関し、注目領域の位置とは、当該注目領域の中心位置又は重心位置を指す。注目領域は、例えば、単位ブロック、ＡＥ評価領域若しくは部分領域、又は、後述の切り出し領域である。

尚、部分領域３３０、３３０Ｒ及び３３０Ｌは上述の位置関係等を満たす限り、図１１に示すような比較的大きな領域であっても良く、この場合の測光方式は部分測光方式とも呼ばれる。

［中央重点測光方式］
輝度評価部２３にて中央重点測光方式が採用された場合における、輝度評価部２３の動作について説明する。この場合、輝度評価部２３は、図１２（ａ）〜（ｃ）に示す如く、入力画像Ｉ［ｉ］の中心と中心が一致するＡＥ評価領域３４０を設定する。ＡＥ評価領域３４０の位置及び大きさをカメラ１の動きの有無及びスイング方向に応じて変化させることも可能であるが、ここでは、そのような変化は無いとする。中央重点測光方式において、輝度評価部２３は、入力画像の中心から離れるにつれて適応する重みｗ_jを減衰させていくが、この際、入力画像の中心よりもスイング方向に位置する領域に対する重みｗ_jの減衰率を、入力画像の中心よりもスイング方向の逆方向に位置する領域に対する重みｗ_jの減衰率よりも低くする。

簡略化した具体例を説明する。ＡＥ評価領域３４０は、入力画像Ｉ［ｉ］の中心に位置する単位ブロック３５０と、単位ブロック３５０から単位距離だけ右、左、上、下に離れた単位ブロック３５１、３５２、３５３、３５４を内包する。単位ブロック３５０〜３５４に対して設定される重みｗ_jを夫々重みｗ３５０〜ｗ３５４と呼ぶ。時刻ｔ_iにおいてカメラ１が静止している場合、輝度評価部２３は、図１２（ａ）に示す如く、重みｗ３５０を重みｗ３５１〜３５４よりも大きく設定し且つ重みｗ３５１〜３５４を互いに同じにする。

時刻ｔ_iにおいてスイング方向が右方向である場合、輝度評価部２３は、図１２（ｂ）に示す如く、カメラ１が静止しているときの重みｗ３５１及びｗ３５２を基準として、重みｗ３５１を増大させ且つ重みｗ３５２を減少させる（従って、重みｗ３５１は重みｗ３５２よりも大きくなる）。逆に、時刻ｔ_iにおいてスイング方向が左方向である場合、輝度評価部２３は、図１２（ｃ）に示す如く、カメラ１が静止しているときの重みｗ３５１及びｗ３５２を基準として、重みｗ３５１を減少させ且つ重みｗ３５２を増大させる（従って、重みｗ３５２は重みｗ３５１よりも大きくなる）。スイング方向が右又は左方向であるとき、カメラ１が静止しているときを基準として、重みｗ３５３及びｗ３５４は不変であって良い。重みｗ３５０は、常に不変であって良い。

［マルチ分割測光方式］
輝度評価部２３にてマルチ分割測光方式が採用された場合における、輝度評価部２３の動作について説明する。この場合、入力画像Ｉ［ｉ］に、互いに分離した複数の部分領域が設定され、複数の部分領域の合成領域がＡＥ評価領域として機能する。設定される複数の部分領域が入力画像全体に亘って隙間なく存在する場合、マルチ分割測光方式は全面測光方式とも言える。各部分領域は２以上の単位ブロックを包含しうるが、今、説明の具体化のため、図１３（ａ）に示す如く、ＡＥ評価領域を形成する複数の部分領域が９つの単位ブロック３７１〜３７９であると考える。ここで、単位ブロック３７５は入力画像Ｉ［ｉ］の中心に位置し、単位ブロック３７５の左上、左、左下、上、下、右上、右、右下に、夫々、単位ブロック３７１、３７２、３７３、３７４、３７６、３７７、３７８、３７９が位置しているものとする。また、単位ブロック３７１〜３７９に対して設定される重みｗ_jを夫々重みｗ３７１〜ｗ３７９と呼ぶ。

カメラ１が静止しているとき、重みｗ３７１〜ｗ３７９の夫々は０より大きな所定値を持つ。そして、時刻ｔ_iにおいてスイング方向が右方向である場合、輝度評価部２３は、カメラ１が静止しているときの重みｗ３７１〜ｗ３７３及びｗ３７７〜ｗ３７９を基準として、重みｗ３７１〜ｗ３７３を減少させ（例えばゼロにまで減少させ）且つ重みｗ３７７〜ｗ３７９を増大させ、重みｗ３７７〜ｗ３７９を重みｗ３７１〜ｗ３７３よりも大きくすると良い。逆に、時刻ｔ_iにおいてスイング方向が左方向である場合、輝度評価部２３は、カメラ１が静止しているときの重みｗ３７１〜ｗ３７３及びｗ３７７〜ｗ３７９を基準として、重みｗ３７１〜ｗ３７３を増大させ且つ重みｗ３７７〜ｗ３７９を減少させ（例えばゼロにまで減少させ）、重みｗ３７１〜ｗ３７３を重みｗ３７７〜ｗ３７９よりも大きくすると良い。

上述のスイング方向に応じたＡＥ評価領域の位置設定及び重み設定は、パノラマ合成画像の明るさの適正化に寄与する。その理由は、入力画像の合成方法の説明を含む以下の説明から明らかとなる。

［パノラマ合成］
図１４（ａ）において、符号４００が付された実線四角枠内は、パノラマ合成画像に含められるべき、実空間上の全景を表しており、符号ＳＲが付された実線四角枠内の領域は、パノラマ撮影期間中の或る時刻における撮像部１１の撮影領域を表している。上述したように、パノラマ撮影期間は、パノラマ合成画像の元になる複数の入力画像の撮影期間である。以下では、説明の簡略化上、特に記述無き限り、パノラマ撮影期間中において、スイング方向は右方向であって且つカメラ１は一定速度で運動するものとする。また、以下の説明における入力画像は、特に記述無き限り、パノラマ撮影期間中に撮影された入力画像であるとする。

時刻ｔ_iにおける撮影領域ＳＲを特に記号ＳＲ［ｉ］にて表す。図１４（ｂ）及び（ｃ）に、時刻ｔ_i及びｔ_i+1における撮影領域ＳＲ［ｉ］及びＳＲ［ｉ＋１］を、全景４００上に重畳して示す。撮影領域ＳＲ［ｉ］及びＳＲ［ｉ＋１］内の撮影画像が、夫々、入力画像Ｉ［ｉ］及びＩ［ｉ＋１］として取得される。パノラマ合成部２５は、パノラマ撮影期間中の各入力画像に切り出し領域（合成対象領域）ＣＲを設定して、各入力画像の切り出し領域ＣＲ内の画像信号を合成及び記録することで、パノラマ合成画像を生成及び記録する。記録とは、特に記述無き限り、図１の記録媒体１４への記録を指す。

パノラマ合成部２５は、入力画像上の切り出し領域ＣＲの位置及び大きさを複数の入力画像間で互いに異ならせることも可能であるし、また、各入力画像の画像信号に基づき各入力画像に設定される切り出し領域ＣＲの位置及び大きさを動的に変更することも可能であるが、ここでは、説明の簡略化上、入力画像上に切り出し領域ＣＲの位置及び大きさが常に一定であるとし、且つ、切り出し領域ＣＲの垂直方向の大きさは入力画像のそれと同じであって且つ切り出し領域ＣＲの水平方向の大きさは入力画像のそれよりも小さく且つ切り出し領域ＣＲの中心と入力画像の中心は一致しているものとする。切り出し領域ＣＲは矩形領域である。但し、切り出し領域ＣＲの形状は矩形に限定されない。

更に、説明の具体化のため、パノラマ撮影期間中に撮影される複数の入力画像が入力画像Ｉ［１］〜Ｉ［１３］であるとする。図１５（ａ）において、領域Ｈ［１］〜Ｈ［１３］は、夫々、入力画像Ｉ［１］〜Ｉ［１３］の切り出し領域ＣＲに収まる、全風景４００内の領域である。上述の想定下では、時刻ｔ₁〜ｔ₁₃における撮影領域ＳＲの中心は、夫々、領域Ｈ［１］〜Ｈ［１３］の中心に位置する。各時刻の撮影領域ＳＲには、領域Ｈ［１］〜Ｈ［１３］の内の複数の領域が内包される。具体的には、入力画像Ｉ［ｉ］の撮影時の撮影領域ＳＲには領域Ｈ［ｉ−４］〜Ｈ［ｉ＋４］が含まれる。図１４（ｂ）はｉ＝５である状況に対応し、撮影領域ＳＲ［５］には領域Ｈ［１］〜Ｈ［９］が含まれる（図１５（ｂ）も参照）。尚、領域Ｈ［９］には被写体の１つである太陽が含まれている。

パノラマ合成部２５は、入力画像Ｉ［１］〜Ｉ［１３］の切り出し領域ＣＲ内の画像信号を水平方向につなぎ合わせて得た画像を、パノラマ合成画像として生成することができる。但し、パノラマ合成部２５は、入力画像Ｉ［１］の切り出し領域ＣＲの左側の領域の画像信号と、入力画像Ｉ［１３］の切り出し領域ＣＲの右側の領域の画像信号を、パノラマ合成画像の左端及び右端に含めるようにする。これにより、図１６に示すパノラマ合成画像４１０を得ることができる。

パノラマ撮影期間中に上述のスポット測光方式（部分測光方式）を適用する場合、輝度評価部２３は、各入力画像において、ＡＥ評価領域の位置が切り出し領域ＣＲの位置から見てスイング方向に位置するように、スイング方向に応じて各入力画像におけるＡＥ評価領域の位置を設定する。ここでは、パノラマ撮影期間中のスイング方向が右方向であることを想定しているため、図１１の部分領域３３０ＲのようなＡＥ評価領域３３０Ｒ’（図１７（ａ）参照）が各入力画像に設定されることになる。図１７（ａ）には、入力画像Ｉ［ｉ］におけるＡＥ評価領域３３０Ｒ’が全景４００上に示されている。仮に、スイング方向が左方向であったならば、図１１の部分領域３３０ＬのようなＡＥ評価領域３３０Ｌ’ （図１７（ｂ）参照）が各入力画像に設定されることになる。

入力画像Ｉ［ｉ］上において、ＡＥ評価領域３３０Ｒ’の位置は切り出し領域ＣＲの位置よりも右にあり、ＡＥ評価領域３３０Ｌ'の位置は切り出し領域ＣＲの位置よりも左にある。つまり、スイング方向が右方向であるときに設定されるＡＥ評価領域３３０Ｒ’は、領域ＣＲ及び３３０Ｌ’から見て右方向（即ちスイング方向）に位置しており、スイング方向が左方向であるときに設定されるＡＥ評価領域３３０Ｌ'は、領域ＣＲ及び３３０Ｒ’から見て左方向（即ちスイング方向）に位置している。尚、入力画像Ｉ［ｉ］上において、ＡＥ評価領域３３０Ｒ'又は３３０Ｌ'は、切り出し領域ＣＲの一部又は全部を包含していても良い。

パノラマ撮影期間中に上述の中央重点測光方式又はマルチ分割測光方式を適用する場合、輝度評価部２３は、各入力画像に複数の単位ブロック（図１２（ａ）の単位ブロック３５０〜３５４や図１３の単位ブロック３７１〜３７９）から成るＡＥ評価領域を設定して、単位ブロックごとにブロック評価値を取得し、複数の単位ブロックに対して求めた複数のブロック評価値の重み付け加算（上記式（１）の右辺の分子の演算）を介して入力画像ごとにＡＥ評価値を求める。入力画像ごとの重み付け加算において（即ち、１つのＡＥ評価値を求めるための重み付け加算において）、輝度評価部２３は、複数のブロック評価値に適用する重みｗ_jの値をスイング方向に応じて変化させる。

変化の方法は、図１２（ａ）〜（ｃ）及び図１３を参照して上述した通りである。即ち例えば、切り出し領域ＣＲの位置から見てスイング方向に位置する単位ブロックを第１ブロックと呼び、切り出し領域ＣＲの位置から見てスイング方向の逆方向に位置する単位ブロックを第２ブロックと呼んだ場合、輝度評価部２３は、第１ブロックについてのブロック評価値に適用する重みｗ_jを、第２ブロックについてのブロック評価値に適用する重みｗ_jよりも大きくする（但し、特に例えば中央重点測光方式では、第１ブロック及び切り出し領域ＣＲ間の距離と第２ブロック及び切り出し領域ＣＲ間の距離は同じであるとする）。スイング方向が右方向である場合、図１２（ｂ）の単位ブロック３５１及び３５２が夫々第１及び第２ブロックの例であり、また、図１３の単位ブロック３７８及び３７２が夫々第１及び第２ブロックの例である。

何れの測光方式を用いた場合でも且つ後述の何れの実施例においても、露出制御部２４は、各入力画像に対応するＡＥ評価値に基づきパノラマ撮影期間中の露出制御を行うことができる（入力画像Ｉ［ｉ］の取得時の測光処理にて得たＡＥ評価値に基づき、入力画像Ｉ［ｉ＋ｎ］（典型的には例えば入力画像Ｉ［ｉ＋１］）の撮影における露出制御を行うことができる（ｎは自然数））。

上述の如く、スイング方向に応じて被写体輝度の評価条件を適応的に変化させれば（ＡＥ評価領域及び／又は重みｗ_jを変化させれば）、スイング方向に適した露出制御が可能となる。具体的には例えば、スイング方向が右方向である場合に、切り出し領域ＣＲの右側にＡＥ評価領域を設定することにより又は切り出し領域ＣＲの右側に対する重みｗ_jを左側に対する重みｗ_jに比べて大きくすることにより、上述の第２制御方法で説明したような、スイング方向の逆側に位置する白飛び領域や黒潰れ領域（パノラマ合成画像の形成に寄与しない領域）に引っ張られたような露出制御が抑制され、また、未来の切り出し領域ＣＲ内の被写体輝度に適応した条件に向けて露出条件を変更してゆくことが可能となる。結果、適正な明るさを有するパノラマ合成画像を得ることが可能となる。

以下、上述の構成及び動作を基本とした幾つかの実施例を説明する。以下の任意の実施例において、特に記述無き限り且つ矛盾無き限り、上述の各説明事項が各実施例にも適用される。

＜＜第１実施例＞＞
第１実施例を説明する。第１実施例では、切り出し領域ＣＲと切り出し領域ＣＲの周辺領域を用いて露出制御を行う。具体的には、輝度評価部２３は、スイング方向が右方向であるとき、図１８（ａ）に示すＡＥ評価領域４３０Ｒを各入力画像に設定し、スイング方向が左方向であるとき、図１８（ｂ）に示すＡＥ評価領域４３０Ｌを各入力画像に設定する。ＡＥ評価領域４３０Ｒ及び４３０Ｌが持つ特徴は図１７（ａ）及び（ｂ）のＡＥ評価領域３３０Ｒ’及び３３０Ｌ’と同様であるため、上述と同様の作用及び効果が奏される。

即ち、スイング方向が右方向であるときに設定されるＡＥ評価領域４３０Ｒは、切り出し領域ＣＲ及び４３０Ｌから見て右方向（即ちスイング方向）に位置しており、スイング方向が左方向であるときに設定されるＡＥ評価領域４３０Ｌは、領域ＣＲ及び４３０Ｒから見て左方向（即ちスイング方向）に位置している。各入力画像において、ＡＥ評価領域４３０Ｒは、切り出し領域ＣＲの一部又は全部と、切り出し領域ＣＲの右側の所定領域を包含する。各入力画像において、ＡＥ評価領域４３０Ｌは、切り出し領域ＣＲの一部又は全部と、切り出し領域ＣＲの左側の所定領域を包含する。

＜＜第２実施例＞＞
第２実施例を説明する。第２実施例に係る輝度評価部２３は、スイング方向が右方向であるとき、図１９（ａ）に示すＡＥ評価領域４４０Ｒを各入力画像に設定し、スイング方向が左方向であるとき、図１９（ｂ）に示すＡＥ評価領域４４０Ｌを各入力画像に設定する。スイング方向が右方向であるときに設定されるＡＥ評価領域４４０Ｒは、切り出し領域ＣＲ及び４４０Ｌから見て右方向（即ちスイング方向）に位置しており、スイング方向が左方向であるときに設定されるＡＥ評価領域４４０Ｌは、領域ＣＲ及び４４０Ｒから見て左方向（即ちスイング方向）に位置している。

スイング方向が右方向であると限定して考える。入力画像Ｉ［ｉ］に設定されるＡＥ評価領域４４０Ｒは、入力画像Ｉ［ｉ＋ｎ］の切り出し領域ＣＲに対応する領域（即ち領域Ｈ［ｉ＋ｎ］；図１５（ａ）参照）と一致する、又は、入力画像Ｉ［ｉ＋ｎ］の切り出し領域ＣＲに対応する領域を内包する。上述したように、ｎは自然数である。

図１９（ａ）は、ｉ＝５且つｎ＝４である場合に対応する。ｉ＝５且つｎ＝４である場合、入力画像Ｉ［５］に対し、入力画像Ｉ［９］の切り出し領域ＣＲに対応する領域Ｈ［９］を含んだＡＥ評価領域４４０Ｒが設定される（図１５（ａ）及び（ｂ）も参照）。上述したように、領域Ｈ［９］には太陽が存在している。露出制御部２４は、入力画像Ｉ［５］のＡＥ評価領域４４０Ｒについて求められたＡＥ評価値（即ち、入力画像Ｉ［５］の取得時の測光処理により得られた、ＡＥ評価領域４４０Ｒ内の被写体輝度の評価結果）に基づき、入力画像Ｉ［９］に対する露出制御値の設定及び露出制御を行うことができる。

露出制御において、絞り値を変更する機械動作や、撮像素子３３への入射光量を減少させるＮＤフィルタ（不図示）を撮像部１１の光路上に挿入する又は光路上から除去する機械動作が行われうる。このような機械動作には、比較的大きな時間が必要になることもある。第２実施例によれば、ｎフレーム後の切り出し領域ＣＲの輝度情報を利用して、ｎフレーム後に最適な露出設定を予め準備及び実行することが可能となり、上記のような機械動作を確実に入力画像Ｉ［ｉ＋ｎ］の撮影に間に合わせることが可能となる。尚、入力画像Ｉ［ｉ＋ｎ］に対する露出制御値を設定した後、実際に、入力画像Ｉ［ｉ＋ｎ］に対する露出制御の実行を開始するタイミングは、入力画像Ｉ［ｉ］の撮影後且つ入力画像Ｉ［ｉ＋ｎ］の撮影前の任意のタイミングであって良い。

＜＜第３実施例＞＞
第３実施例を説明する。第３実施例に係る輝度評価部２３は、スイング方向が右方向であるとき、図２０（ａ）に示すＡＥ評価領域４６０Ｒを各入力画像に設定し、スイング方向が左方向であるとき、図２０（ｂ）に示すＡＥ評価領域４６０Ｌを各入力画像に設定する。スイング方向が右方向であるときに設定されるＡＥ評価領域４６０Ｒは、切り出し領域ＣＲ及び４６０Ｌから見て右方向（即ちスイング方向）に位置しており、スイング方向が左方向であるときに設定されるＡＥ評価領域４６０Ｌは、領域ＣＲ及び４６０Ｒから見て左方向（即ちスイング方向）に位置している。

入力画像Ｉ［ｉ］に設定されるＡＥ評価領域４６０Ｒは、入力画像Ｉ［ｉ＋１］〜Ｉ［ｉ＋ｎ］の切り出し領域ＣＲに対応する領域（即ち領域Ｈ［ｉ＋１］〜Ｈ［ｉ＋ｎ］；図１５（ａ）参照）の合成領域と一致する、又は、該合成領域を内包する。第３実施例における“ｎ”は２以上の整数である。

図２０（ａ）は、ｉ＝５且つｎ＝４の場合に対応しており、上述したように、領域Ｈ［９］には太陽が存在している（図１５（ａ）参照）。この場合において例えば、切り出し領域ＣＲが領域Ｈ［９］に相当する入力画像Ｉ［９］への露出制御を、領域Ｈ［９］の被写体輝度のみに基づき行ったならば、入力画像Ｉ［９］から抽出される切り出し領域ＣＲの明るさは入力画像Ｉ［９］の切り出し領域ＣＲにとって適正なものとなる。しかし、領域Ｈ［９］の太陽の輝度が非常に高いために、入力画像Ｉ［９］から抽出される切り出し領域ＣＲにおいて太陽以外の山や雲の画像上の明るさが随分と暗くなり、結果、図２１に示すようなパノラマ合成画像４１０’が得られることもある。パノラマ合成画像４１０’では、入力画像Ｉ［９］用の露出値が他の入力画像よりも大幅に低く抑えられた結果、太陽の下の山や雲だけが、他の部分の山や雲よりも随分と暗くなっている。パノラマ合成画像における明るさの連続性をも考慮して各入力画像の露出制御を行った方が好ましい。

これを考慮して、第３実施例では、以下のような被写体輝度評価及び露出制御を行う。スイング方向が右方向であると限定して考える。また、説明の具体化のため、ｉ＝５且つｎ＝４の場合を考え、入力画像Ｉ［５］が取得されたときに行われる露出制御値の設定方法を説明する。図２２は、その設定動作のフローチャートである。ｉ＝５且つｎ＝４であるため、入力画像Ｉ［５］に設定されるＡＥ評価領域４６０Ｒは、入力画像Ｉ［６］〜Ｉ［９］の切り出し領域ＣＲに対応する領域（即ち領域Ｈ［６］〜Ｈ［９］；図１５（ａ）及び（ｂ）参照）を含む（図２２のステップＳ３１及びＳ３２）。

輝度評価部２３は、入力画像Ｉ［５］に設定されるＡＥ評価領域４６０Ｒの内、入力画像Ｉ［６］〜Ｉ［９］の切り出し領域ＣＲに対応する領域（即ち領域Ｈ［６］〜Ｈ［９］）を、夫々、第１〜第４単位ブロックと捉え、第１〜第４単位ブロックのブロック評価値（被写体輝度に応じた輝度評価値）を求める。ここでは、第１、第２、第３、第４単位ブロックのブロック評価値を、夫々、輝度評価値Ｖ_H[6]、Ｖ_H[7]、Ｖ_H[8]、Ｖ_H[9]と呼ぶ（図２２のステップＳ３３）。ここにおける輝度評価値Ｖ_H[6]〜Ｖ_H[9]は、入力画像Ｉ［６］〜Ｉ［９］の取得時の測光処理によって得られる値ではなく、入力画像Ｉ［５］の取得時の測光処理によって得られる値である。

露出制御部２４は、輝度評価値Ｖ_H[6]〜Ｖ_H[9]を用いて、入力画像Ｉ［６］〜Ｉ［９］の夫々に対する露出制御値を設定する。これにより例えば、輝度評価値Ｖ_H[6]〜Ｖ_H[9]を考慮して、入力画像Ｉ［６］〜Ｉ［９］から切り出される切り出し領域ＣＲ内の各画像輝度がパノラマ合成画像上で連続性を持つように、入力画像Ｉ［６］〜Ｉ［９］の露出制御値を決定することができる（図２１のパノラマ合成画像４１０’のような不自然なパノラマ合成画像の生成が抑制される）。より具体的には例えば、“Ｖ_H[6]＝Ｖ_H[7]＝Ｖ_H[8]＜＜Ｖ_H[9]” であるならば、図２３に示す如く、入力画像Ｉ［６］の撮影時から入力画像Ｉ［９］の撮影時にかけて、露出制御値を徐々に低露出側に変更していくと良い。露出制御値の低露出側への変更は、絞り値の増大、シャッタ速度の上昇（即ち露光時間の減少）又は撮影感度の減少により実現される。

上記のような露出制御を実現するために、以下のような処理を行うと良い。
第３実施例の第１、第２、第３、第４単位ブロックに適用される重みを、夫々、記号ｗ₆、ｗ₇、ｗ₈、ｗ₉にて表すと、輝度評価部２３は、下記式（２）に従って、入力画像Ｉ［６］〜Ｉ［９］に対する制御用評価値ＥＶ_FOR[6]〜ＥＶ_FOR[9]を個別に求める（式（２）における“ｍ”は、６、７、８又は９である）。露出制御部２４は、対応する制御用評価値を用いて、入力画像Ｉ［６］〜Ｉ［９］の夫々の露出制御値を設定する（図２２のステップＳ３４）。即ち、露出制御部２４は、制御用評価値ＥＶ_FOR[6]を用いて入力画像Ｉ［６］に対する露出制御値の設定及び露出制御を行い、制御用評価値ＥＶ_FOR[7]を用いて入力画像Ｉ［７］に対する露出制御値の設定及び露出制御を行う。入力画像Ｉ［８］及びＩ［９］についても同様である。

式（２）における重みｗ₆〜ｗ₉は、ゼロより大きな所定値を持つ。入力画像Ｉ［６］撮影時における露出制御値を、領域Ｈ［６］の被写体輝度に重きを置きつつも、領域Ｈ［７］〜Ｈ［９］の被写体輝度をも考慮して設定するために、制御用評価値ＥＶ_FOR[6]の算出時における重みｗ₆〜ｗ₉の内、重みｗ₆を重みｗ₇〜ｗ₉よりも大きく設定しておくと良い。同様に、制御用評価値ＥＶ_FOR[7]の算出時における重みｗ₆〜ｗ₉の内、重みｗ₇を重みｗ₆、ｗ₈及びｗ₉よりも大きく設定しておくと良い。ＥＶ_FOR[8]及びＥＶ_FOR[9]の算出時の重みも同様である。

＜＜第４実施例＞＞
第４実施例を説明する。入力画像Ｉ［ｉ］の取得時の測光処理によって領域Ｈ［ｉ＋ｎ］の被写体輝度を評価し、その評価結果のみに基づき入力画像Ｉ［ｉ＋ｎ］の切り出し領域ＣＲ内の被写体輝度を予測して入力画像Ｉ［ｉ＋ｎ］の露出制御を行うと、その露出制御が適切にならないこともある。特に、全景４００中に明るさが変動する被写体（例えば、発光ダイオードやネオン照明）が含まれていると、このような不適切さが顕在化する。入力画像Ｉ［ｉ］の取得時には暗かった領域Ｈ［ｉ＋ｎ］の被写体が、入力画像Ｉ［ｉ＋ｎ］の取得時には明るくなるかもしれないからである。第４実施例では、明るさが変動する被写体にも適応した露出制御を説明する。

第４実施例では、上述の第１、第２又は第３実施例で述べた方法に従い、スイング方向に応じて各入力画像のＡＥ評価領域が設定される。説明の具体化のため、スイング方向を右方向に限定し、各入力画像に図２０（ａ）のＡＥ評価領域４６０Ｒが設定されることを想定する。そうすると、入力画像Ｉ［５］〜Ｉ［８］の夫々に設定されるＡＥ評価領域４６０Ｒには、入力画像Ｉ［９］の切り出し領域ＣＲに対応する領域Ｈ［９］が含まれる。更に、領域Ｈ［９］に明るさの変動する照明が存在すると仮定する（図１５（ａ）の領域Ｈ［９］における太陽がネオン照明等であると考えれば良い）。

輝度評価部２３は、入力画像Ｉ［５］、Ｉ［６］、Ｉ［７］、Ｉ［８］の取得時の測光処理により、入力画像Ｉ［５］、Ｉ［６］、Ｉ［７］、Ｉ［８］の取得時の領域Ｈ［９］の被写体輝度を評価する。この評価によって得られた、入力画像Ｉ［５］、Ｉ［６］、Ｉ［７］、Ｉ［８］の取得時の領域Ｈ［９］の被写体輝度（即ち、時刻ｔ₅、ｔ₆、ｔ₇、ｔ₈における領域Ｈ［９］の被写体輝度）を、夫々、記号Ｖ_H[9]t5、Ｖ_H[9]t6、Ｖ_H[9]t7、Ｖ_H[9]t8にて表す。露出制御部２４は、被写体輝度Ｖ_H[9]t5、Ｖ_H[9]t6、Ｖ_H[9]t7及びＶ_H[9]t8に基づき、入力画像Ｉ［９］の取得時における領域Ｈ［９］の被写体輝度（即ち、時刻ｔ₉における領域Ｈ［９］の被写体輝度）を予測し、予測被写体輝度を用いて、入力画像Ｉ［９］に対する露出制御値の設定及び露出制御を行う（予測被写体輝度に適した露出制御を入力画像Ｉ［９］に対して行えば良い）。

例えば、図２４（ａ）に示す如く、時刻ｔ₅〜ｔ₈間において領域Ｈ［９］の被写体輝度が周期的に変動する場合、その周期的な変動が時刻ｔ₈及びｔ₉間にも継続すると仮定して、入力画像Ｉ［９］の取得時における領域Ｈ［９］の被写体輝度を予測すれば良い。或いは例えば、図２４（ｂ）に示す如く、時刻ｔ₅〜ｔ₈間において領域Ｈ［９］の被写体輝度が単調減少する場合、その単調減少が時刻ｔ₈及びｔ₉間にも継続すると仮定して、入力画像Ｉ［９］の取得時における領域Ｈ［９］の被写体輝度を予測すれば良い。単調増加の場合も同様である。周期的な変動や単調な変動（減少又は増加）が観測されない場合には、被写体輝度Ｖ_H[9]t5、Ｖ_H[9]t6、Ｖ_H[9]t7及びＶ_H[9]t8の平均値又は加重平均値を、入力画像Ｉ［９］の取得時における領域Ｈ［９］の被写体輝度として予測しても良い。

上述の如く、第４実施例では、第１〜第（ｎ−１）入力画像に設定される各ＡＥ評価領域に第ｎ入力画像の切り出し領域ＣＲに対応する領域を含め、第１〜第（ｎ−１）入力画像の各ＡＥ評価領域内の被写体輝度の評価結果（上述の具体例ではＶ_H[9]t5〜Ｖ_H[9]t8）に基づき、第ｎ入力画像に対する露出制御を行う。上述の具体例では、入力画像Ｉ［５］〜Ｉ［８］が第１〜第（ｎ−１）入力画像に相当し、入力画像Ｉ［９］が第ｎ入力画像に相当するが、第４実施例における“ｎ”は３以上の任意の整数でよい。このような露出制御を行うことで、明るさが変動する被写体にも適応した、適正なパノラマ合成画像を生成することが可能となる。

＜＜第５実施例＞＞
第５実施例を説明する。スイング方向に応じて被写体輝度の評価条件を変更する幾つかの方法例を上述してきたが、第５実施例では、スイング方向に応じて該変更を行わない、或いは、該変更を行わなくても良い。

第５実施例に係る輝度評価部２３は、スイング方向に依存せず、図２５に示すＡＥ評価領域４８０を各入力画像に設定する。但し、輝度評価部２３は、切り出し領域ＣＲに応じて各入力画像にＡＥ評価領域４８０を設定する。より詳細には、輝度評価部２３は、各入力画像において、当該入力画像に設定される切り出し領域ＣＲの位置及び大きさに応じた位置及び大きさを持ったＡＥ評価領域４８０を設定する。例えば、各入力画像において、ＡＥ評価領域４８０は、当該入力画像に設定される切り出し領域ＣＲと一致する又は当該切り出し領域ＣＲの一部又は全部を包含し、且つ、当該入力画像の全体領域よりも小さい。スイング方向に関係なく、切り出し領域ＣＲとＡＥ評価領域４８０の位置関係は固定されていても良い。

第５実施例では、ＡＥ評価領域が切り出し領域ＣＲのみ又は切り出し領域ＣＲとその周辺領域に限定される。従って、第５実施例によっても、上述の第２制御方法で説明したような、スイング方向の逆側に位置する白飛び領域や黒潰れ領域（パノラマ合成画像の形成に寄与しない領域）に引っ張られたような露出制御が抑制され、結果、適正な明るさを有するパノラマ合成画像を得ることが可能となる。

＜＜変形等＞＞
本発明の実施形態は、特許請求の範囲に示された技術的思想の範囲内において、適宜、種々の変更が可能である。以上の実施形態は、あくまでも、本発明の実施形態の例であって、本発明ないし各構成要件の用語の意義は、以上の実施形態に記載されたものに制限されるものではない。上述の説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。上述の実施形態に適用可能な注釈事項として、以下に、注釈１〜注釈３を記す。各注釈に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。

［注釈１］
スイング方向が右又は左方向であるときを想定して幾つかの実施例を説明したが、スイング方向が上又は下方向であるときも、上述と同様の主旨に従って、切り出し領域ＣＲ、重みｗ_j及び露出制御値の設定を含む上述の各処理が行われる。例えば、スイング方向が上方向ならば、スイング方向が右方向であることを想定した上述の各説明文の“右”、“左”を、夫々、“上”、“下”に読み替えればよい。

［注釈２］
各入力画像に設定される切り出し領域ＣＲの位置及び大きさは、スイング方向に応じて変化しても良い。

［注釈３］
主制御部１２又はカメラ１である対象装置を、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって構成することができる。対象装置にて実現される機能の全部又は一部である任意の特定の機能をプログラムとして記述して、該プログラムを対象装置に搭載可能なフラッシュメモリに保存しておき、該プログラムをプログラム実行装置（例えば、対象装置に搭載可能なマイクロコンピュータ）上で実行することによって、その特定の機能を実現するようにしてもよい。上記プログラムは任意の記録媒体（不図示）に記憶及び固定されうる。上記プログラムを記憶及び固定する記録媒体（不図示）は対象装置と異なる機器（サーバ機器等）に搭載又は接続されても良い。

１カメラ
１１撮像部
１６カメラ動き検出部
２３輝度評価部
２４露出制御部
２５パノラマ合成部
３３撮像素子

Claims

撮影によって被写体の画像を取得する撮像素子と、
測光処理を用いて被写体輝度を評価する輝度評価部と、
前記輝度評価部の評価結果に基づき撮影における露出制御を行う露出制御部と、を備えた撮像装置であって、
当該撮像装置の動きを伴いながら前記撮像素子にて順次取得される複数の入力画像を合成することで各入力画像よりも画角の広い出力画像を生成する合成処理部と、
当該撮像装置の動き方向を検出する動き検出部と、を更に備え、
前記輝度評価部は、前記動き方向に応じて、各入力画像に対する前記被写体輝度の評価条件を変更する
ことを特徴とする撮像装置。
前記輝度評価部は、各入力画像に評価領域を設定して、各入力画像の評価領域内の被写体輝度を評価し、前記露出制御部は、その評価結果に基づき各入力画像に対する露出制御を行い、
前記輝度評価部は、前記動き方向に応じて、各入力画像における前記評価領域を変化させる
ことを特徴とする請求項１に記載の撮像装置。
前記合成処理部は、前記複数の入力画像の夫々に切り出し領域を設定して、各入力画像の切り出し領域内の画像信号を合成することで前記出力画像を生成し、
前記輝度評価部は、各入力画像において、前記評価領域の中心又は重心位置が前記切り出し領域の中心又は重心位置から見て前記動き方向に位置するように、前記動き方向に応じて各入力画像における前記評価領域の位置を設定する
ことを特徴とする請求項２に記載の撮像装置。
前記複数の入力画像は、第１入力画像及び前記第１入力画像よりも後に撮影される第２入力画像を含み、
前記輝度評価部は、前記第１入力画像内に、前記第２入力画像の切り出し領域に対応する領域を含んだ評価領域を設定し、前記露出制御部は、前記輝度評価部による、前記第１入力画像の評価領域内の被写体輝度の評価結果に基づき、前記第２入力画像に対する露出制御を行う
ことを特徴とする請求項３に記載の撮像装置。
前記複数の入力画像は、基準入力画像及び前記基準入力画像よりも後に撮影される第１〜第ｎ入力画像を含み（ｎは２以上の整数）、
前記輝度評価部は、前記基準入力画像に設定される評価領域に前記第１〜第ｎ入力画像の切り出し領域に対応する第１〜第ｎ領域を含めて、前記第１〜第ｎ領域における夫々の被写体輝度に応じた第１〜第ｎ輝度評価値を取得し、
前記露出制御部は、前記第１〜第ｎ輝度評価値に応じて、前記第１〜第ｎ入力画像に対する露出制御を行う
ことを特徴とする請求項３に記載の撮像装置。
前記輝度評価部は、前記第１〜第ｎ輝度評価値の重み付け加算を介して、前記第１〜第ｎ入力画像の夫々に対する制御用評価値を個別に求め、前記露出制御部は、前記第ｉ入力画像に対する制御用評価値を用いて前記第ｉ入力画像に対する露出制御を行う（ｉは自然数）
ことを特徴とする請求項５に記載の撮像装置。
前記複数の入力画像は、第１〜第ｎ入力画像を含み（ｎは３以上の整数）、第（ｉ＋１）入力画像は、第ｉ入力画像よりも後に撮影され（ｉは自然数）、
前記輝度評価部は、第１〜第（ｎ−１）入力画像に設定される各評価領域に前記第ｎ入力画像の切り出し領域に対応する領域を含め、前記露出制御部は、前記輝度評価部による、前記第１〜第（ｎ−１）入力画像の各評価領域内の被写体輝度の評価結果に基づき、前記第ｎ入力画像に対する露出制御を行う
ことを特徴とする請求項３に記載の撮像装置。
前記輝度評価部は、各入力画像に複数のブロックから成る評価領域を設定して、前記ブロックごとに前記ブロック内の被写体輝度に応じたブロック評価値を取得し、前記複数のブロックに対して求めた複数のブロック評価値の重み付け加算を介して前記入力画像ごとに出力評価値を求め、前記露出制御部は、各入力画像に対する出力評価値を用いて前記露出制御を行い、
前記輝度評価部は、前記重み付け加算において前記複数のブロック評価値に適用する重みを、前記動き方向に応じて変化させる
ことを特徴とする請求項１に記載の撮像装置。
前記合成処理部は、前記複数の入力画像の夫々に切り出し領域を設定して、各入力画像の切り出し領域内の画像信号を合成することで前記出力画像を生成し、
前記複数のブロックは、前記切り出し領域から見て前記動き方向に位置する第１ブロックと、前記切り出し領域から見て前記動き方向の逆方向に位置する第２ブロックを含み、
前記輝度評価部は、前記重み付け加算において、前記第１ブロックについてのブロック評価値に適用する重みを、前記第２ブロックについてのブロック評価値に適用する重みよりも大きくする
ことを特徴とする請求項８に記載の撮像装置。
撮影によって被写体の画像を取得する撮像素子と、
撮影によって取得される画像内に評価領域を設定し、測光処理を用いて前記評価領域の被写体輝度を評価する輝度評価部と、
前記輝度評価部の評価結果に基づき撮影における露出制御を行う露出制御部と、を備えた撮像装置であって、
当該撮像装置の動きを伴いながら前記撮像素子にて順次取得される複数の入力画像の夫々に切り出し領域を設定し、各入力画像の切り出し領域内の画像信号を合成することで各入力画像よりも画角の広い出力画像を生成する合成処理部を更に備え、
前記輝度評価部は、前記切り出し領域に応じて各入力画像に前記評価領域を設定する
ことを特徴とする撮像装置。
前記輝度評価部は、各入力画像において、前記切り出し領域の位置及び大きさに基づき、前記切り出し領域の一部又は全部を含み且つ前記入力画像の全体よりも小さな領域を前記評価領域に設定する
ことを特徴とする請求項１０に記載の撮像装置。