JP2017220834A - 撮像装置、撮像方法およびプログラム - Google Patents

Abstract

【課題】 パノラマ撮像を行う際に、ユーザに煩わしさを感じさせることなく、局所的ではない範囲に対応した撮像パラメータを設定することできる撮像装置を提供する。【解決手段】 パノラマ撮像モードにおいて、撮像手段が第１の方向に移動している間に測定を行い、この測定の結果に基づいて撮像パラメータを決定し、撮像手段が第１の方向と異なる第２の方向に沿って移動する間に決定された撮像パラメータを用いて、パノラマ用の複数の画像を撮像するものであって、測定を行う際の撮像手段の撮像範囲が、パノラマ合成用の複数の画像の撮像範囲の少なくとも一部と重複することを特徴とする。【選択図】 図３

Description

本発明は、複数の画像を撮像して合成するパノラマ撮像の機能に関するものである。

撮像装置を移動させながら複数の画像を取得し、取得した画像をつなぎ合わせることで合成し、大きな画像を生成するパノラマ撮像の機能が知られている。複数の画像を合成することにより、より大きな画像を生成することができるが、合成に用いる各々の画像の撮像設定が異なると、つなぎ目の両側の明るさや色調などが異なり、不自然なパノラマ画像を生成してしまう可能性がある。

そこで、パノラマ撮像を行う際のＡＦやＡＥなどの撮像パラメータを固定することが知られている。ただし、パノラマ撮像で得られた画像は画角が広いため、状況の異なる様々な被写体が画角に含まれやすくなる。そのため、１回の撮像で得られた画像から撮像パラメータを決定してしまうと、局所的な領域に対してのみ適切な撮像パラメータとなってしまい、合成された画像全体が不自然な明るさやピント状態となってしまうことがある。

上記の課題を解決するために、特許文献１に、直接パノラマ画像の合成に用いる画像を取得する本撮像の前に、プレ撮像して広い範囲の被写体の画像信号を取得し、取得した画像信号に基づいて本撮像の撮像パラメータを決定する方法が開示されている。

特開２０１３−１６２１８８号公報

しかし、特許文献１に記載の方法は、ユーザが意識的に本撮像と同じ方向で同じ撮像範囲のパンニング動作を本撮像の前に行わなければならず、ユーザにとって操作が煩雑となる。そのため、本撮像の前に、ユーザに煩わしさを感じさせることなく、かつ、局所的ではない範囲に対応した撮像パラメータを設定できる方法が求められる。

本発明は、撮像を行う撮像手段と、測定手段と、前記測定手段による測定の結果に基づいて前記撮像手段が撮像する際の撮像パラメータを決定する決定手段と、を有し、パノラマ撮像モードにおいて、前記測定手段は、前記撮像手段が第１の方向に移動している間に、少なくとも第１の測定を行い、前記決定手段は、前記第１の測定の結果に基づいて、前記撮像パラメータを決定し、前記撮像手段は、前記第１の方向と異なる第２の方向に沿って移動する間に、前記決定手段で決定された撮像パラメータを用いて、パノラマ合成用の複数の画像を撮像し、前記第１の測定を行う際の前記撮像手段の撮像範囲は、前記パノラマ合成用の前記複数の画像の撮像範囲の少なくとも一部と重複することを特徴とする撮像装置を提供するものである。

本発明によれば、パノラマ撮像を行う際に、ユーザに煩わしさを感じさせることなく、局所的ではない範囲に対応した撮像パラメータを設定することできる。

本発明におけるデジタルカメラの機能構成を説明するための図である。 本発明におけるパノラマ撮像でのユーザの動きを説明するための図である。 第１の実施形態のパノラマ撮像のプロセスを説明するためのフローチャートである。 本発明におけるベクトル抽出を説明するための図である。 本発明における位置合わせを説明するための図である。 本発明における合成処理を説明するための図である。 第２の実施形態のパノラマ撮像のプロセスを説明するためのフローチャートである。 第３の実施形態のパノラマ撮像のプロセスを説明するためのフローチャートである。 第４の実施形態のパノラマ撮像のプロセスを説明するためのフローチャートである。 第５の実施形態のパノラマ撮像のプロセスを説明するためのフローチャートである。 デジタルカメラを水平方向だけでなく垂直方向にも動かして、パノラマ撮像を行う例を説明するための図である。

以下では、デジタルカメラを例として、本発明の実施に好ましい実施形態を説明する。なお、デジタルカメラを挙げて説明するが、本発明は以下で説明される構成に限定されるものではない。

（第１の実施形態）
図１は、本発明の実施形態に係るデジタルカメラ１００の機能構成を示すブロック図である。制御部１０１は、例えばＣＰＵやＭＰＵなどのシグナルプロセッサである。制御部１０１は、デジタルカメラ１００が備える各ブロックの動作プログラムをＲＯＭ１０２より読み出し、ＲＡＭ１０３に展開して実行することによりデジタルカメラ１００が備える各ブロックの動作を制御する。ＲＯＭ１０２は、記録媒体としての書き換え可能な不揮発性メモリであり、デジタルカメラ１００が備える各ブロックの動作プログラムに加え、各ブロックの動作に必要なパラメータ等を記憶する。制御部１０１は、ＲＯＭ１０２から動作プログラムなど、制御に必要なパラメータなどを読み出しながらデジタルカメラ１００の動作上に必要な制御を行う。たとえば、後述するように、制御部１０１が、撮像部１０５に対して撮像の開始と終了について指令を出す。または、画像処理部１０６に対して、予めの設定に基づいて、画像処理の指令を出す。ＲＡＭ１０３は、書き換え可能な揮発性メモリであり、デジタルカメラ１００が備える各ブロックの動作において出力されたデータの一時的な記憶領域として用いられる。

光学系１０４は、被写体像を撮像部１０５に結像する。撮像部１０５は、例えばＣＣＤやＣＭＯＳセンサ等の撮像素子であり、光学系１０４により撮像素子に結像された光学像を光電変換し、得られた画像信号を画像処理部１０６に出力する。また、制御部１０１が光学系１０４を動かしながら、画像信号の変化を分析することにより測距を行い、測距の結果に基づいて光学系１０４を制御することで、焦点調整を行うことができる。

画像処理部１０６は、撮像部１０５から出力された画像、あるいはＲＡＭ１０３に記憶されている画像データに対して、ホワイトバランス調整、色補間、フィルタリングなど、様々な画像処理を適用する。この画像処理部１０６は、特定の処理を行う回路を集めた集積回路（ＡＳＩＣ）で構成される。あるいは、制御部１０１がＲＯＭ１０２から読み出したプログラムに従って処理することで、制御部１０１が画像処理部１０６の機能の一部または全部を兼用するようにしてもよい。制御部１０１が画像処理部１０６の全ての機能を兼用する場合には、画像処理部１０６をハードウェアとして有する必要はなくなる。

内蔵メモリ１０７は、画像処理部で処理された画像を記録する。なお、内蔵メモリの代わりに、メモリカードなどを用いてもよい。また、制御部１０１による指示で、処理しようとする画像を画像処理部１０６に出力する。

表示部１０８は、液晶ディスプレイ（ＬＣＤ）や有機ＥＬディスプレイ等の表示デバイスより構成される。表示部１０８は、撮像部１０５で取り込まれた被写体像を、制御部１０１を経由して取得し、リアルタイムに表示する、あるいは内蔵メモリ１０７に記録された画像を表示するなど、様々な情報を表示する。

装置動き検出部１０９はジャイロセンサによって構成され、デジタルカメラ１００の動きを検出するデバイスであり、デジタルカメラ１００の単位時間当たりの角度変化、すなわち角速度に基づいてヨー方向とピッチ方向の動きを検出する。なお、ジャイロセンサの代わりに画像の動きベクトルに基づきデジタルカメラの動きを検出してもよい。

操作部１１０には、スイッチやボタン、タッチパネルなどを設け、ユーザが操作部へ直接操作することにより、デジタルカメラへの制御を実現する。本発明では、スイッチＳＷ−１とスイッチＳＷ−２と２つを設け、たとえば、デジタルカメラの撮像のボタンの半押し状態と全押し状態とがスイッチＳＷ−１とスイッチＳＷ−２に対応付けられている。

図２は、操作部１１０を操作してパノラマ撮像モードを選択し、パノラマ撮像を行うときのユーザの動きを示している。領域２０１〜２０３は、以下の説明をわかりやすくするために示した領域であり、必ずしも独立な被写体などを意味するわけでない。以下では、ユーザがパノラマ撮像の本撮像をするとき、ユーザが矢印２１２と矢印２１３とに沿って、左から右へパンニング動作をすると仮定し、本実施形態におけるパンニング動作を詳細に説明する。

静止画撮像では、主要な被写体にピントを合わせるため、主要な被写体が画角の中央に配置されるようにカメラを移動させた状態で測距を行い、それから任意の画角となるようにカメラの位置をシフトさせる方法が知られている。そこで、本実施形態においても、デジタルカメラ１００がパノラマ撮像の本撮像（パノラマ合成用の複数画像の撮像）の前の期間に、測距を行う構成としている。こうすることで、パノラマ撮像の範囲に含まれる主要な被写体に対して測距を行い、この主要な被写体に対して確実にピントを合わせた合成画像を得ることができるようにしている。たとえば、図２において、ユーザは最初にデジタルカメラを主要な被写体を含む領域２０２に向けて測距を行い、その後、デジタルカメラをパノラマ撮像の開始位置である領域２０１に向くように移動する。それから、ユーザがカメラの撮像方向を反転させ、矢印２１２と矢印２１３とに沿って右方向へパンニング動作が行われている間に、パノラマ撮像を行う。

本実施形態では、領域２０２に対して測距を行った後の、パノラマ撮像の開始位置である領域２０１に向かって矢印２１１に沿ってデジタルカメラ１００をパンニングしている間に、デジタルカメラ１００が複数回にわたって測光を行うことを特徴とする。ユーザにとってみれば、主要な被写体に対して予め測距を行い、それからパノラマ撮像の開始位置まで、パノラマ撮像時のパンニング動作に対して逆の方向にパンニング動作を行うことは自然な操作であるため、ユーザに与える煩わしさは大幅に低減される。また、このパノラマ撮像の開始位置に向かうパンニング動作中に得られた複数の画像の画角（撮像範囲）は、パノラマ撮像の本撮像で得られる一部の画像の画角（撮像範囲）とおおよそ重複する。そのため、パノラマ撮像の開始位置に向かうパンニング動作中に得られた複数の画像に対して測光を行うことで、パノラマ撮像の全範囲とまではいかないが、パノラマ撮像に含まれる比較的広い範囲に対して測光を行うことができる可能性が高くなる。

次に、第１の実施形態でパノラマ撮像のプロセスについて、図３のフローチャートを用いて詳細に説明する。

まず、ステップＳ３０１で、ユーザが操作部１１０を操作することによって入力したパノラマ撮像のパンニング方向を、制御部１０１がパノラマ撮像の正方向としてＲＡＭ１０３に記憶させる。ここでは、ユーザがパノラマ撮像の際のパンニング方向を選択できる構成としているが、この正方向が予め固定されており、ユーザが任意のパンニングの方向を選択できない構成であってもよい。ステップＳ３０２で、制御部１０１はスイッチＳＷ−１がＯＮであることを検出できたら、ステップＳ３０３に進む。制御部１０１はＳＷ−１がＯＮになるまではこのステップＳ３０２を繰り返す。ステップＳ３０３で、制御部１０１が光学系１０４と撮像部１０５を用いて、焦点検出のための測距を行う。

次に、ステップＳ３０４で、装置動き検出部１０９がステップＳ３０１で設定した正方向の逆方向へパンニング動作しているかどうかを判定する。パノラマ撮像の開始位置に向かうパンニング動作中に得られたデジタルカメラ１００が取得した画像の画角が、パノラマ撮像の本撮像で取得した画像の画角に含まれなければ、このパンニング動作中に得られた測光結果を用いる意味はない。これを踏まえると、正方向と逆方向へ移動するパンニング動作において、正方向と垂直な方向における画角の位置のずれがないことが理想的である。しかし、垂直な方向における画角の位置ずれを完全にゼロにすることが難しいため、一定の許容範囲を設けるべく、次のような処理をする。まず、予め正方向と垂直な方向において変位ベクトルのベクトル成分の閾値を定める。装置動き検出部１０９が検出したデジタルカメラの変位ベクトルの正方向におけるベクトル成分がマイナス、かつ、正方向と垂直な方向におけるベクトル成分の総和が閾値以下であれば、逆方向へパンニング動作をしていると判断する。または、装置動き検出部１０９が検出したデジタルカメラの変位ベクトルとステップＳ３０１で設定した正方向に沿うベクトルとがなす角度を検出し、検出した角度が所定範囲内であれば、逆方向へパンニング動作をしていると判断する。なお、この所定範囲は正方向０度に対して逆方向である１８０度を基準として、誤差の絶対値が実験的に求めたα以下となる範囲である。

なお、このとき、ユーザが正方向０度に対して逆方向である１８０度となる方向から大きく外れた方向にデジタルカメラ１００を動かしてしまうことを防止するため、ユーザがデジタルカメラ１００を動かすべき方向を表示部１０８に表示するようにしてもよい。あるいは、ユーザが正方向０度に対して逆方向である１８０度となる方向から大きく外れた方向にデジタルカメラ１００を動かした場合に、表示部１０８にその旨を表示したり、不図示のスピーカから音声でその旨を報知するように構成してもよい。

ステップＳ３０５では、制御部１０１は、撮像部１０５で生成され画像処理部１０６に入力された画像信号を用いて測光を行う。その一例として、制御部１０１が画像信号を用いて画面の明るさの評価値を算出する方法について説明する。

制御部１０１は、画像処理部１０６に入力された画像信号を複数のブロックに分割する。１つ１つのブロックに対し、各ブロックの輝度信号の平均値の算出を行う。各々のブロックに含まれる各画素の輝度信号の算出方法として、Ｒ、Ｇ、Ｂ信号値を抽出し、式（１）で示した変換式を用いて、Ｒ、Ｇ、Ｂ信号値から各画素の輝度信号Ｂｃｙを算出する方法が一般的に使われている。
Ｂｃｙ＝０．２９９Ｒ＋０．５８７Ｇ＋０．１１４Ｂ ・・・式（１）

全ブロック数をｎ、各ブロックで得られた輝度信号Ｂｃｙの平均値をＢｙ、各ブロックの重みづけ係数をｗとすると、画面の明るさの評価値Ｅｙは式（２）を用いて算出できる。重みづけ係数ｗの与え方の一例としては、主要被写体を予めの設定に基づいて検出し、検出した主要被写体と重畳するブロックに、より大きい重みづけ係数を与える。

ここで算出した画面の明るさＥｙを、測光の結果として、後述するステップＳ３０８で、露出値などの撮像パラメータの算出に用いる。

ステップＳ３０６で、スイッチＳＷ−１がＯＮでなければ、制御部１０１が処理を終了させる。ステップＳ３０６で、スイッチＳＷ−１がＯＮであれば、ステップＳ３０７に進み、スイッチＳＷ−２がＯＮかどうかを判断する。スイッチＳＷ−２がＯＮでなければ、Ｓ３０４に戻る。スイッチＳＷ−２がＯＮであれば、ステップＳ３０８に進む。ステップＳ３０８で、装置動き検出部１０９が、正方向へのパンニング動作であると判定したら、ステップＳ３０９に進む。ステップＳ３０９では、ステップＳ３０３の測距の結果とステップＳ３０５の測光の結果とに基づいて、制御部１０１が、ピント位置、および、シャッタースピードやＩＳＯ感度（撮像感度）や絞り値を含む露出値などの撮像パラメータを決定する。なお、ここで言うシャッタースピードには、遮光羽根を備えた機構のシャッターによる露光時間だけでなく、撮像素子における電荷蓄積時間を含む。

なお、ステップＳ３０５では複数の画像の信号を取得したので、ここで、複数の画像の測光の結果に重みづけ係数を与えて、露出値の演算を行ってもよい。たとえば、ユーザが注目したい被写体が写ったときに、ゆっくりパンニング動作をする傾向があるので、装置動き検出部１０９で検出した移動速度が遅いときに、撮像部１０５が取得した画像の信号により大きい重みづけ係数を与える。

ステップＳ３１０で、撮像部１０５が合成処理に用いる複数の画像を撮像する本撮像を行う。ステップＳ３１０で撮像した画像の画角は、ステップＳ３０５での測光する際の撮像部１０５の画角と少なくとも一部が重なる。ステップＳ３１１でスイッチＳＷ−２がＯＮである限り、制御部１０１が、撮像部１０５に繰り返し本撮像を行わせる。ステップＳ３１１でスイッチＳＷ−２がＯＮでなくなったら、ステップＳ３１２に進み、本撮像を中止して合成処理を行う。合成処理では、一般的に、画像間の特徴量を抽出し、動きベクトルを検出して位置合わせを行い、各画像の一部を切り出して合成する。以下に、合成処理の詳細を説明する。

図４に、時間的に連続して取得した２つの画像を示す。図４（ａ）は、ベクトル検出画像（２つの画像のうち時間的に後の画像）であり、ベクトル検出領域群を４２０で示している。ベクトル検出領域群４２０に含まれるそれぞれのベクトル検出領域４２１に含まれる画像は、ベクトル検出を行うときのテンプレート画像として用いられ、各テンプレート画像に対して１つのベクトルを求める。

画像処理部１０６は、画像の間の動きベクトルの検出を行う。動きベクトルの検出方法は公知の方法でよく、一例としてテンプレートマッチング方式が挙げられる。この方法では、画像の間のズレ量を所定の範囲のテンプレートを設定して比較し、比較値が最も小さくなる位置（画像間で最も相関が高い位置）のズレ量をベクトルとして検出する。

テンプレートマッチングについて説明する。テンプレートマッチングを行う際には、移動量を検出するためにベクトル検出画像のベクトル検出領域群からテンプレート４２１ａを決定する。本実施形態では、ベクトル検出領域群を画像の一部の領域のみに設定しているため、画像全体から動きベクトルを検出する場合に比べて、動きベクトルの検出に要する演算負荷を軽減することができる。このテンプレート４２１ａは、コントラストが予め設定した基準値以上と判定された小領域に対応するベクトル検出領域に対してのみ設定されてもよい。基準画像４００とベクトル検出画像４０１の画像の対応領域（同じ被写体が写っている範囲）を点線４５１から４５２までの間で示している。ベクトル検出画像から決定したテンプレート４２１ａの領域と、基準画像上においてテンプレート４２１ａに対応する基準画像の領域とをベクトル探索開始位置とする。基準画像上において、ベクトル検出画像におけるテンプレート４２１ａの座標と同じ座標となる基準画像の領域を、領域４３１と仮定する。そして、領域４３１を中心として領域４３１よりも広く設定したベクトル探索範囲４４１において、テンプレート４２１ａと比較演算を行い、もっとも相関が高い位置とベクトル探索開始位置とのズレを動きベクトルとして検出する。この操作を、設定されたテンプレート画像の全てに対して行い、テンプレート画像の数に対応する個数の動きベクトルを検出する。

次に、検出した動きベクトルを用いて、位置合わせ処理を行う。位置合わせ処理は、図５を用いて説明する。

位置合わせ処理を行うために、画像間の変形量を補正するための位置合わせ係数を算出する。撮像時、並進成分に加え手振れが発生することで回転やあおりの成分が発生し、その結果、画像５０２のように画像が回転やあおりの影響を受けた画像が取得される場合がある。このような場合に並進成分や回転成分、あおり成分を幾何変形によって補正するための係数として、変換係数を算出する。この幾何変形を行う変換係数を位置合わせ係数と呼ぶ。例えば、幾何変形前の画像５０２を模式的に表したものが枠５０３であり、幾何変形後の画像５０２を模式的に表したものが枠５０４である。矢印５１１に相当する位置合わせ係数Ａは一般的に式（３）で表され、画像の座標をＩ（ｘ座標，ｙ座標）とすると式（２）の演算を行うことで、枠５０３から枠５０４への幾何変形が行われる。

位置合わせ係数を算出するために、位置合わせの基準とする画像と、補正対象の画像との２つの画像を設定する。そして、テンプレートマッチングによりベクトルを算出する。

続いて求めたベクトル群を用いて、幾何変換係数を求める。例えば、式（４）のように、位置合わせ対象画像の特徴点の座標Ｉに所定の変換係数Ａを掛けることで求めた座標Ｉ´と、基準画像の特徴点の座標との差分εが最も小さくなる変換係数Ａを求める。

この変換係数Ａを求める手法としては、ニュートン法やガウスニュートン法等、公知の最適化手法を用いて求める。求められた変換係数Ａを位置合わせ係数として採用する。

最後に、位置合わせ処理を行った画像に対して、画像間の境界付近を合成する処理を行う。画像の合成処理について図６を用いて説明する。図６の画像６０１〜６０３は、位置合わせ処理を行った後の画像である。この３つの画像の境界部で順次合成処理を行う。

画像６０１と画像６０２とを合成する場合、画像６０１の水平の中心位置のライン６２１を境界として合成処理を行う。具体的にはライン６２１から左の領域に画像６０１を出力し、ライン６２１から右の領域に画像６０２を出力し、ライン６２１上は両方の画像の画素情報をミックスしてつなぎ目を自然に見せる処理を行う。あるいは、ライン上に画像６０１と画像６０２との画素情報を５０％ずつ合成した値を出力し、ラインからの距離が離れるに従ってラインの左側では画像６０１を、ラインの右側では画像６０２の割合を大きくしながら合成処理を行う。合成後の画像は、合成画像６１１となる。

続いて、合成画像６１１と画像６０３との合成処理を行う。このときは１つ前の画像６０２の水平中心のライン６２２を境界とした合成処理を行う。合成後の画像は合成画像６１２となる。このように、順次位置合わせをした後に画像の合成を行う。画像６０２、画像６０３に対して画像合成を行うことで画像６０１に対して領域６３１の領域分だけ画角を拡大することができる。

このように第１の実施形態によれば、パノラマ撮像の本撮像の前の期間に、本撮像と同様な動作でプレ撮像をしなくても、測距を行う位置からパノラマ撮像を開始する位置への移動を利用して測光を行う。こうして、ユーザの操作の利便性の向上を図りながら、広い範囲に対して測光することができ、適切な撮像パラメータを設定することができる。

なお、第１の実施形態では、撮像部１０５で生成された画像を用いて測距および測光を行ったが、撮像部１０５とは別に測光センサや測距センサを有し、これらを用いて測距および測光を行う構成としても構わない。

（第２の実施形態）
第２の実施形態では、第１の実施形態と異なり、逆方向へのパンニング動作を始める前に、測光を行い、逆方向へのパンニング動作をしている最中に、測距を行う。図７を用いて、第２の実施形態について説明する。図７のステップＳ７０１、Ｓ７０２、Ｓ７０４、Ｓ７０６乃至Ｓ７１２と、図３のステップＳ３０１、Ｓ３０２、Ｓ３０４、Ｓ３０６乃至Ｓ３１２は同じ処理である。なお、第１の実施形態と同様な部分は、説明を省略する。

ステップＳ７０２で、スイッチＳＷ−１をＯＮであることを検知すると、ステップＳ７０３で、測光を行う。第１の実施形態のステップＳ３０５と同様に、制御部１０１が、画像処理部１０６に入力された画像に対して、前述したように、画面の明るさなどを算出し、その結果を、ステップＳ７０８の撮像パラメータの決定に用いる。ただし、第１の実施形態と異なり、複数の画像の信号でなく、１枚の画像の信号に対して測光処理を行う。

ステップＳ７０４で、装置動き検出部１０９が逆方向へのパンニング動作を検出すると、ステップＳ７０５に移り、制御部１０１が測距を行う。第１の実施形態でのステップＳ３０３と異なり、ステップＳ７０７で、スイッチＳＷ−２がＯＮにならない限り、複数回繰り返し測距を行う。

ステップＳ７０３での測光とステップＳ７０５での測距との結果を、ステップＳ７０９での撮像パラメータの決定に用いる。その一例として、ステップＳ７０５での測距の結果を用いて、本撮像における焦点距離の算出について説明する。複数回の測距の結果に重みづけ係数を与えて、複数回の測距の結果から本撮像における焦点距離を算出する。重みづけ係数の決め方としては、たとえば、主被写体を判断し、主被写体が写る画像に与える重みづけ係数を大きくしてよい。また、測距の結果と位置との関係をＲＡＭ１０３に記憶し、本撮像において、１つの焦点を用いるのでなく、位置によって焦点を変化させるようにパノラマ用の画像群を取得してもよい。

このように、第２の実施形態によれば、パノラマ撮像の本撮像の前の期間に、本撮像と同様な動作でプレ撮像をしなくても、測光を行う位置からパノラマ撮像を開始する位置への移動を利用して測距を行う。こうして、ユーザの操作の便利化を図りながら、広い範囲に対して測距することができ、より適切な撮像パラメータを得ることができる。

（第３の実施形態）
以下では、図８を用いて、第３の実施形態を説明する。図８のステップＳ８０１、Ｓ８０２、Ｓ８０３、Ｓ８０６乃至Ｓ８１２と、図３のステップＳ３０１、Ｓ３０２、Ｓ３０４、Ｓ３０６乃至Ｓ３１２は同じ処理である。なお、第１の実施形態または第２の実施形態と同様な部分は、説明を省略する。第１の実施形態では、測距を１回行い、測光を複数回行う。第２の実施形態では、測光を１回行い、測距を複数回行う。第３の実施形態では、第１の実施形態および第２の実施形態と異なり、複数回にわたり、測距と測光の両方を行う。

ステップＳ８０２で、スイッチＳＷ−１がＯＮであることを検知すると、ステップＳ８０３で、デジタルカメラ１００が逆方向へ移動していると判断できたら、制御部１０１がステップＳ８０４で測距を行うとともに、ステップＳ８０５で測光を行う。ステップＳ８０５での測光を経て、ステップＳ８０６でスイッチＳＷ−１がＯＮであることが検知され、かつ、ステップＳ８０７でスイッチＳＷ−２がＯＮでないことが検知されたら、ステップＳ８０４に戻り、再び測距と測光とを行う。こうして、複数回にわたり、広い範囲に対して測距と測光とを行う。

第１の実施形態と第２の実施形態と同じように、複数回の測距の結果を用いて、予め設定した方法の下で、本撮像における撮像パラメータなどを決定する。前述と同じように、予め設定した計算方法に従い、測距の結果と測光の結果とに重みづけ係数を与えてもよい。

本実施形態によれば、広い範囲に対して、複数回にわたって、測距と測光と両方の測定を行うことにより、パノラマ撮像を行うときに、複数回の測距と複数回の測光と２種類の測定の結果を考慮したうえで、適切な撮像パラメータを決定することができる。

（第４の実施形態）
第４の実施形態では、測距を行う測距位置とパノラマ撮像の開始位置に応じてパノラマ撮像の終了位置を算出して、終了位置をユーザに提示する、または、終了位置で自動に撮像が終了するという点で、第１の実施形態と異なる。以下に、図９を用いて、第１の実施形態との相違点を中心に、第４の実施形態について説明する。図９のステップＳ９０１乃至Ｓ９０７、Ｓ９２４乃至Ｓ９１２と、図３のステップＳ３０１乃至Ｓ３０７、Ｓ３１０乃至Ｓ３１２は同じ処理である。第１の実施形態と同様なところは省略する。

測距のときのデジタルカメラ１００の位置を、測距位置と呼ぶ。図２で示したようにパノラマ撮像を行うとき、この測距位置は、図２の領域２０２を向いているときの位置に相当する。装置動き検出部１０９が、角速度情報を取得することで、制御部１０１が、デジタルカメラの現在の位置と測距位置との相対距離を算出することができる。

ステップＳ９０７で装置動き検出部１０９が正方向へのパンニング動作を検出し、ステップＳ９０８の撮像パラメータの設定を経て、ステップＳ９２１で、制御部１０１が、自動終了モードに設定されているかどうかを判断する。自動終了モードに設定されていないと判断した場合、ステップＳ９２２に進み、制御部１０１が、装置動き検出部１０９が取得した速度情報で、デジタルカメラの現在の位置と測距位置との相対距離を算出する。制御部１０１が、算出した相対位置に基づいて、ステップＳ９２２で測距位置を表示部１０８に表示させる。これは、ユーザの撮像の補助のためのもので、ユーザが不要だと判断すれば、デジタルカメラ１００の設定で消してもよい。

ステップＳ９２１で、自動終了モードに設定されていると判断する場合、ステップＳ９３１に進み、終了位置の算出を行う。ここでの終了位置は、後述ステップＳ９３６で、デジタルカメラが到達したら、パンニング動作が自動に終了するという位置である。終了位置は、ステップＳ９２０で検出した測距位置に応じて、設定するのが好ましい。たとえば、一例として、測距位置で取得した画像を、パノラマ画像の真ん中に配置されるようにするため、測距位置とステップＳ９３３で正方向へ移動し始める位置との距離と、測距位置と終了位置との距離とが等しくなるように終了位置を設定する。

上述したような設定にしたがって、終了位置を算出すると、ステップＳ９３２で、表示部１０８が終了位置を表示する。次に、ステップＳ９３３で、正方向へのパンニング動作が検出されたら、ステップＳ９３４で、撮像部１０５がパノラマ撮像用の画像を取得する。最後に、ステップＳ９３５で、制御部１０１は、スイッチＳＷ−２がＯＦＦと判断し、または、ステップＳ９３６で装置動き検出部１０９を通して終了位置に到達したと判断した場合、ステップＳ９１２に進み、合成処理を行う。なお、以上の説明で、測距と測光とを入れ替えても構わない。

第４の実施形態によれば、測距位置を表示することにより、ユーザがより良い構図のパノラマ画像を取得することができる。また、終了位置に到達することでパノラマ撮像が自動に終了することにより、より利便性の高い撮像方法を提供することができる。

（第５の実施形態）
第５の実施形態は、正方向を設定する代わりに、装置動き検出部１０９でデジタルカメラの動き方向を検出することにより、パンニング動作の方向を特定する。以下では、図１０を用いて、第１の実施形態との相違点を中心に、第４の実施形態について説明する。図１０のステップＳ１００２、Ｓ１００３、Ｓ１００５乃至Ｓ１００７、Ｓ１０１０乃至Ｓ１０１２と、図３のステップＳ３０２、Ｓ３０３、Ｓ３０５乃至Ｓ３０７、Ｓ３１０乃至Ｓ３１２は同じ処理である。第１の実施形態と同様なところは省略する。

ステップＳ１００２で制御部１０１はスイッチＳＷ−１がＯＮと確認できたら、ステップＳ１００３で測距を行う。次にステップＳ１００４に進み、装置動き検出部１０９が、デジタルカメラ１００現在のパンニング方向を第１の方向として検出し、ステップＳ１００５で測光を行う。ステップＳ１００９では、ステップＳ１００４で検出した第１の方向の逆方向へパンニング動作をしているかどうかを判定する。第１の方向と逆方向のパンニング動作が行われたと判定されると、制御部１０１は、ステップＳ１００５で得られた測光結果に基づく撮像パラメータの設定を行い、ステップＳ１０１０でパノラマ撮像用の本撮像を行う。他の動作や処理などは、第１の実施形態と同様である。

なお、以上の説明で、測距と測光とを入れ替えても構わない。

第５の実施形態によれば、正方向を設定しなくても、最初に装置の動き方向を検出することにより、パンニング動作の方向を特定し、さらに利便性のよい撮像方法を提供できる。

なお、第１から第５の実施形態では、デジタルカメラ１００を水平に移動させることでパノラマ撮像を行う例をあげて説明をしたが、これに限られるものではない。図１１は、デジタルカメラを水平方向だけでなく垂直方向にも動かして、パノラマ撮像を行う例を説明するための図である。

図１１（ａ）は、パノラマ撮像時のデジタルカメラ１００のパンニング動作を示す。図１１（ｂ）は、パノラマ撮像の前に、ユーザの指示によって主要な被写体に対して予め測距あるいは測光を行い、パノラマ撮像の開始位置までデジタルカメラ１００を移動させる様子を示す図である。図１１（ａ）および（ｂ）からわかるように、パノラマ撮像時のデジタルカメラ１００のパンニング動作の方向と、パノラマ撮像の開始位置までデジタルカメラ１００を移動させる際のデジタルカメラ１００の移動方向は、必ずしも逆方向でなくてもよい。図１１に示すように、これらの方向に角度が付いている場合であっても、パノラマ撮像の開始位置までデジタルカメラ１００を移動させる際に、パノラマ撮像に含まれる比較的広い撮像範囲に対して測光あるいは測距を行うことができる可能性は高くなる。

（その他の実施形態）
以上の実施形態は、デジタルカメラでの実施をもとに説明したが、デジタルカメラに限定するものではない。たとえば、撮像素子が内蔵した携帯機器などで実施してもよく、画像を取得することができるネットワークカメラなどでもよい。

また、実施例では撮像装置内部でパノラマ合成処理を行っているが、パノラマ合成は撮像装置外部の例えばＰＣなどで行ってもよい。

なお、本発明は、上述の実施形態の１つ以上の機能を実現するプログラムを、ネットワークまたは記憶媒体を介してシステムまたは装置に供給し、そのシステムまたは装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し作動させる処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ デジタルカメラ
１０１ 制御部
１０２ ＲＯＭ
１０３ ＲＡＭ
１０４ 光学系
１０５ 撮像部
１０６ 画像処理部
１０７ 内蔵メモリ
１０８ 表示部
１０９ 装置動き検出部
１１０ 操作部

Claims (14)

1. 撮像を行う撮像手段と、
   測定手段と、
   前記測定手段による測定の結果に基づいて前記撮像手段が撮像する際の撮像パラメータを決定する決定手段と、
   を有し、
   パノラマ撮像モードにおいて、前記測定手段は、前記撮像手段が第１の方向に移動している間に、少なくとも第１の測定を行い、
   前記決定手段は、前記第１の測定の結果に基づいて、前記撮像パラメータを決定し、
   前記撮像手段は、前記第１の方向と異なる第２の方向に沿って移動する間に、前記決定手段で決定された撮像パラメータを用いて、パノラマ合成用の複数の画像を撮像し、
   前記第１の測定を行う際の前記撮像手段の撮像範囲は、前記パノラマ合成用の前記複数の画像の撮像範囲の少なくとも一部と重複することを特徴とする撮像装置。
2. 前記測定手段は、前記撮像手段が前記第１の方向に移動している間に、前記撮像手段で撮像された複数の画像を用いて前記第１の測定を行うものであり、
   前記第１の測定を行う間に撮像された画像は前記パノラマ合成に用いないことを特徴とする請求項１に記載の撮像装置。
3. 前記測定手段は、前記撮像手段が前記第１の方向に移動する前に、前記第１の測定とは異なる第２の測定を行うことを特徴とする請求項１または２に記載の撮像装置。
4. 前記測定手段は、前記撮像手段が前記第１の方向に移動している間に、前記第１の測定に加えて、前記第１の測定とは異なる第２の測定を行うことを特徴とする請求項１または２に記載の撮像装置。
5. 前記決定手段は、前記第１の測定の結果に加え、前記第２の測定の結果に基づいて、前記撮像パラメータを決定することを特徴とする請求項３または４に記載の撮像装置。
6. 前記第１の測定は、測光または測距であることを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
7. 前記第１の測定と前記第２の測定の１つが測光であり、もう１つが測距であることを特徴とする請求項３乃至５のいずれか１項に記載の撮像装置。
8. 前記撮像パラメータは、露出値を含むことを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
9. 前記測定手段は、前記撮像手段の動きベクトルが前記第１の方向の成分を含み、かつ、前記第１の方向に対して垂直な方向の成分が閾値以下である場合に、前記第１の測定を行うことを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。
10. 前記撮像手段は、前記撮像手段が第１の方向へ移動した後に反転して前記第２の方向に移動した場合に、前記パノラマ合成用の複数の画像を撮像することを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。
11. 前記第２の方向が予め定められており、
    前記測定手段は、前記撮像手段の動きベクトルが、前記第２の方向に沿う第２の変位ベクトルに対してなす角度が予め定められた範囲内である場合に、前記第１の測定を行うことを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。
12. 前記撮像手段は、前記撮像手段が、前記測定手段が前記第２の測定を行ったときの前記撮像手段の位置に応じて設定された位置に達すると、前記パノラマ合成用の画像の撮像を終了することを特徴とする請求項３に記載の撮像装置。
13. 撮像手段を有する撮像装置の撮像方法であって、
    撮像を行う撮像ステップと、
    測定ステップと、
    前記測定ステップにおける測定の結果に基づいて、前記撮像において撮像する際の撮像パラメータを決定する決定ステップと、
    を含み、
    パノラマ撮像モードにおいて、前記測定ステップにおいて、前記撮像手段が第１の方向に移動している間に、少なくとも第１の測定を行い、
    前記決定ステップにおいて、前記第１の測定の結果に基づいて、前記撮像パラメータを決定し、
    前記撮像ステップにおいて、前記第１の方向と異なる第２の方向に沿って移動する間に、前記決定において決定された撮像パラメータを用いて、パノラマ合成用の複数の画像を撮像し、
    前記第１の測定を行う際の前記撮像ステップにおける撮像範囲は、前記パノラマ合成用の前記複数の画像の撮像範囲の少なくとも一部と重複することを特徴とする撮像方法。
14. 撮像手段を有する撮像装置のコンピュータに動作させるプログラムであって、
    前記コンピュータに、
    撮像を行う撮像ステップと、
    測定ステップと、
    前記測定ステップにおける測定の結果に基づいて、前記撮像において撮像する際の撮像パラメータを決定する決定ステップと、
    を行わせ、
    パノラマ撮像モードにおいて、前記測定ステップにおいて、前記撮像手段が第１の方向に移動している間に、少なくとも第１の測定を行い、
    前記決定ステップにおいて、前記第１の測定の結果に基づいて、前記撮像パラメータを決定し、
    前記撮像ステップにおいて、前記第１の方向と異なる第２の方向に沿って移動する間に、前記決定において決定された撮像パラメータを用いて、パノラマ合成用の複数の画像を撮像し、
    前記第１の測定を行う際の前記撮像ステップにおける撮像範囲は、前記パノラマ合成用の前記複数の画像の撮像範囲の少なくとも一部と重複することを特徴とするコンピュータのプログラム。

Images