JP2011055084A - 撮像装置及び電子機器 - Google Patents

Abstract

【課題】簡素な処理で貼り合わせ画像が生成可能な撮像装置及び電子機器等を提供すること。
【解決手段】撮像装置は、被写体を結像する光学系と、光学系により結像した被写体像を撮像する撮像素子と、撮像素子の撮像により得られた撮像情報の読み出しを制御する読み出し制御部と、撮像装置の並進移動情報及び回転移動情報の少なくとも一方であるモーション情報を取得するモーション情報取得部と、を含む。読み出し制御部は、モーション情報に基づいて、今回のフレーム画像領域Ｆ２と前回のフレーム画像領域Ｆ１との重なり領域Ｒ１２を検出し、検出された重なり領域を除いた画像領域ＦＮ２の撮像情報を撮像素子から読み出す。
【選択図】 図２

Description

本発明は、撮像装置及び電子機器等に関する。

パノラマ画像の撮影手法として、被写体を複数のフレームで撮像し、撮像された複数のフレーム画像を貼り合わせてパノラマ画像（貼り合わせ画像）を生成する手法がある。この画像の貼り合わせ処理においては、高度な画像処理技術が必要となる。そのため、画像処理の効率が悪く、高価な画像処理エンジンが必要となるという課題がある。

例えば、パノラマ画像の生成手法として相関処理を用いた手法がある。この手法では、パターンマッチングや動きベクトルによるフレーム画像間の相関処理を行って、フレーム画像間の重なり領域（重複領域）を検出する。しかしながら、この手法では、相関処理のための画像処理エンジンの負荷が大きくなってしまう。

また、パノラマ画像の生成手法として特許文献１に開示される手法がある。この手法では、角速度センサでカメラ（撮像装置）の回転移動を検出し、加速度センサでカメラの並進移動を検出する。そして、検出結果によりフレーム画像間の移動量を算出して重なり領域を予測し、その予測に基づいて複数の画像を張り合わせてパノラマ画像を生成する。しかしながら、この手法では、撮像素子の撮像情報をフレーム毎に全画素読み出す必要があり、撮像情報の読み出しに時間がかかってしまう。そのため、カメラの移動が速い場合に画像が欠陥してしまう可能性がある。

特許３８１７３０２号公報

本発明の幾つかの態様によれば、簡素な処理で貼り合わせ画像が生成可能な撮像装置及び電子機器等を提供できる。

本発明の一態様は、被写体を結像する光学系と、前記光学系により結像した被写体像を撮像する撮像素子と、前記撮像素子の撮像により得られた撮像情報の読み出しを制御する読み出し制御部と、撮像装置の並進移動情報及び回転移動情報の少なくとも一方であるモーション情報を取得するモーション情報取得部と、を含み、前記読み出し制御部は、前記モーション情報に基づいて、今回のフレーム画像領域と前回のフレーム画像領域との重なり領域を検出し、検出された前記重なり領域を除いた画像領域の撮像情報を前記撮像素子から読み出す撮像装置に関係する。

本発明の一態様によれば、撮像装置のモーション情報が取得され、そのモーション情報に基づいて、今回のフレーム画像領域と前回のフレーム画像領域との重なり領域が検出され、検出された重なり領域を除いた画像領域の撮像情報が撮像素子から読み出される。これにより、簡素な画像処理で貼り合わせ画像を生成することが可能になる。

また、本発明の一態様では、前記読み出し制御部は、今回のフレーム画像領域である第ｉ（ｉは自然数）のフレーム画像領域と第ｉ−１のフレーム画像領域以前の過去のフレーム画像領域との重なり領域を、前記モーション情報に基づいて検出し、検出された前記重なり領域を除いた画像領域の撮像情報を前記撮像素子から読み出してもよい。

このようにすれば、前回よりも前のフレーム画像領域との重なり領域をさらに検出し、その重なり領域を除いた画像領域の撮像情報を読み出すことができる。これにより、さらに処理データ量を削減し、画像処理の負荷を低減できる。

また、本発明の一態様では、前記モーション情報取得部は、前記撮像素子により連続して撮像動作が行われる場合に、前記モーション情報として、前回の撮像動作から今回の撮像動作までの撮像装置の並進移動情報及び回転移動情報の少なくとも一方を取得し、前記読み出し制御部は、前記モーション情報に基づいて、前回のフレーム画像領域に対する今回のフレーム画像領域の移動量を求め、求めた移動量に基づいて今回のフレーム画像領域と前回のフレーム画像領域との重なり領域を検出してもよい。

このようにすれば、前回の撮像動作から今回の撮像動作までの撮像装置のモーション情報が取得されることで、そのモーション情報に基づいて、今回のフレーム画像領域と前回のフレーム画像領域との重なり領域を検出できる。

また、本発明の一態様では、前記被写体までの距離情報を取得する距離情報取得部を含み、前記読み出し制御部は、前記距離情報と前記モーション情報に基づいて、今回のフレーム画像領域と前回のフレーム画像領域との重なり領域を検出してもよい。

このようにすれば、撮像装置から被写体までの距離が変化した場合であっても、取得された距離情報に基づいて今回のフレーム画像領域と前回のフレーム画像領域との重なり領域を検出できる。

また、本発明の一態様では、前記読み出し制御部は、前記光学系の焦点距離情報と前記モーション情報に基づいて、今回のフレーム画像領域と前回のフレーム画像領域との重なり領域を検出してもよい。

このようにすれば、撮像装置の焦点距離が変化した場合であっても、取得された焦点距離情報に基づいて今回のフレーム画像領域と前回のフレーム画像領域との重なり領域を検出できる。

また、本発明の一態様では、貼り合わせ画像を生成する画像処理部を含み、前記画像処理部は、前記読み出し制御部により読み出された撮像情報に基づく複数のフレーム画像を、前記モーション情報に基づいて貼り合わせる処理を行って、パノラマ画像を生成してもよい。

このようにすれば、モーション情報に基づいてフレーム画像を貼り合わせることで、簡素な画像処理でパノラマ画像を生成できる。これにより、ハードウェアの構成を簡素化等が実現できる。

また、本発明の一態様では、前記読み出し制御部は、仮想座標系における前回のフレーム画像領域の基準点の座標を、前記モーション情報に基づいて座標変換し、前記仮想座標系における今回のフレーム画像領域の基準点の座標を求め、求めた基準点の座標に基づいて今回のフレーム画像領域と前回のフレーム画像領域との重なり領域を検出してもよい。

このようにすれば、撮像装置のモーション情報に基づいて、仮想パノラマ座標系におけるフレーム画像領域の基準点の座標変換を行うことができる。そして、その座標変換によりフレーム画像領域の基準点の座標を求めることで、今回のフレーム画像領域と前回のフレーム画像領域との重なり領域を検出できる。

また、本発明の一態様では、前記読み出し制御部は、前記撮像素子により連続して撮像動作が行われる場合に、前記撮像動作により得られる最初のフレーム画像である第１のフレーム画像を基準として前記仮想座標系を設定してもよい。

このようにすれば、最初の撮像動作において仮想座標系を設定し、設定した仮想座標系においてフレーム画像領域を順次座標変換することで、フレーム画像領域の重なり領域を検出できる。

また、本発明の一態様では、前記被写体までの距離情報を取得する距離情報取得部を含み、前記距離情報取得部は、前記第１のフレーム画像に対応する距離情報を取得し、取得された距離情報からの変化分を前記モーション情報により取得して第２のフレーム画像以降のフレーム画像に対応する距離情報を取得し、前記読み出し制御部は、前記距離情報取得部により取得された距離情報から前回のフレーム画像領域に対する今回のフレーム画像領域の拡大率または縮小率を求め、求めた前記拡大率または縮小率に基づいて仮想座標系における前回のフレーム画像の基準点の座標を座標変換し、前記仮想座標系における今回のフレーム画像の基準点の座標を求め、求めた基準点の座標に基づいて今回のフレーム画像領域と前回のフレーム画像領域との重なり領域を検出してもよい。

このようにすれば、距離情報に基づいて重なり領域を検出できる。すなわち、最初のフレーム画像に対応する距離情報からの変化分をモーション情報により取得することで、第２のフレーム画像以降に対応する距離情報を取得できる。そして、その距離からフレーム画像領域の拡大率または縮小率を求め、その拡大率または縮小率に基づいてフレーム画像領域の基準点の座標変換を行うことで、フレーム画像領域の重なり領域を検出できる。

また、本発明の一態様では、表示部を制御する表示制御部を含み、前記表示制御部は、前記仮想座標系に対応する表示領域を前記表示部に表示し、前記撮像素子により連続して撮像動作が行われる場合に、前記撮像動作により得られたフレーム画像を前記表示領域の対応する領域に順次表示してもよい。

このようにすれば、撮像動作により得られたフレーム画像が表示領域の対応する領域に順次表示されることで、例えば撮影者が表示部を見ながら容易に貼り合わせ画像を完成させることができる。

また、本発明の一態様では、前記光学系の焦点距離を制御する焦点距離制御部を含み、前記焦点距離制御部は、前記撮像素子により連続して撮像動作が行われる場合に、注目被写体が撮像される撮像動作において、前記注目被写体が第１の解像度で撮像されるように前記焦点距離を第１の焦点距離に調整し、背景が撮像される撮像動作において、前記背景が前記第１の解像度より低い第２の解像度で撮像されるように前記焦点距離を前記第１の焦点距離より短い第２の焦点距離に調整してもよい。

このようにすれば、背景よりも注目被写体を高解像度に撮像し、注目被写体よりも背景を広い画角で撮影できる。これにより、注目被写体を鮮明に撮像し、背景の撮像を素早く終了できる。

本実施形態の撮像装置の動作説明図。 読み出し制御の動作説明図。 読み出し制御の動作説明図。 本実施形態の撮像装置の構成例。 モーション情報とフレーム画像領域の並進移動との対応関係についての説明図。 モーション情報とフレーム画像領域の回転移動との対応関係についての説明図。 並進移動と回転移動のアフィン変換の説明図。 並進移動と回転移動のアフィン変換の説明図。 並進移動と回転移動のアフィン変換の説明図。 距離情報とフレーム画像領域の拡大縮小との対応関係についての説明図。 焦点距離情報とフレーム画像領域の拡大縮小との対応関係についての説明図。 拡大縮小のアフィン変換の説明図。 距離情報と重なり領域の関係についての説明図。 本実施形態の表示制御の具体例。 本実施形態の焦点距離制御の具体例。 本実施形態の撮像装置のハードウェア構成例。

以下、本発明の好適な実施の形態について詳細に説明する。なお以下に説明する本実施形態は特許請求の範囲に記載された本発明の内容を不当に限定するものではなく、本実施形態で説明される構成の全てが本発明の解決手段として必須であるとは限らない。

１．構成例
本実施形態では、例えば撮像装置により撮像された複数のフレーム画像を貼り合わせてパノラマ画像等の貼り合わせ画像を生成する。このように、複数のフレーム画像を貼り合わせてパノラマ画像等を生成する場合、画像処理等の負荷が大きくなるという課題がある。例えば、図１に示すように、撮影者が撮像装置１００（カメラ）を動かしながら被写体を連続的に撮像（撮影）し、撮像しようとする領域ＶＰ（以下適宜、仮想平面ＶＰと記載する）を網羅することでパノラマ画像が取得される。このとき、連続する撮像によりフレーム画像Ｆ１、Ｆ２が取得されたとする。このＦ１、Ｆ２を貼り合わせる処理において、例えばパターンマッチングの手法を用いて重なり領域Ｒ１２（重複領域）を検出すると、相関処理等により画像処理の負荷が増大してしまう。

そこで、本実施形態では、撮像装置のモーション情報を用いて、フレーム画像の重なり領域を除いた画像を取得し、取得した画像を貼り合わせる。例えば、図２に示すように、フレーム画像Ｆ１が撮像され、Ｆ１との重なり領域Ｒ１２を含むフレーム画像Ｆ２が撮像される。この重なり領域Ｒ１２は、撮像装置のモーション情報により仮想平面（領域）ＶＰにおけるフレーム画像Ｆ２の位置を特定することで求められる。そして、撮像装置１００の撮像素子からは、フレーム画像Ｆ２のうちの重なり領域Ｒ１２を除いた画像ＦＮ２（太線で示す領域の画像）の撮像情報（画素値）が読み出される。そして、仮想平面ＶＰにおけるフレーム画像Ｆ１、Ｆ２の位置に基づいてＦ１、ＦＮ２の貼り合わせを行う。

また、図３に示すように、フレーム画像Ｆ３との重なり領域Ｒ３４だけでなく、それ以前のフレーム画像Ｆ２との重なり領域Ｒ２４を含むフレーム画像Ｆ４が撮像されたとする。この場合、撮像素子からは、Ｆ４のうちの重なり領域Ｒ２４、Ｒ３４を除いた画像ＦＮ４（太線で示す領域の画像）の撮像情報が読み出される。そして同様に、読み出された画像が貼り合わされる。

このように本実施形態では、撮像素子から読み出す情報量を減らすことで、画像処理の処理量を削減できる。また、モーション情報を用いて画像を貼り合わせることで、パターンマッチングの手法等と比べて簡素な画像処理でパノラマ画像を生成できる。

図４に、このような本実施形態の手法を実現する撮像装置の構成例を示す。この撮像装置は、撮像部２０、処理部３０、操作部６０、記憶部７０、制御部８０、表示部９０、情報記憶媒体９８を含む。なお、これらの構成要素の一部（例えば操作部、制御部、表示部等）を省略したり、他の構成要素を追加したりするなどの種々の変形実施が可能である。

図４では、撮像装置としてデジタルカメラを想定している。但し本実施形態はデジタルカメラに限定されず、例えば、デジタルビデオカメラ、携帯電話機、携帯情報端末、携帯型ゲーム機、防犯カメラ等の種々の撮像装置（広義には、電子機器）に適用できる。

撮像部２０（画像取得部）は、画像処理の対象となる画像を取得するためのものである。具体的には、撮像部２０は、光学系２２、撮像素子２４、フォーカス制御部２６、焦点距離制御部２８を含む。なお、これらの構成要素の一部（例えば、フォーカス制御部、焦点距離制御部）を省略したり、他の構成要素を追加したりするなどの種々の変形実施が可能である。

光学系２２（光学手段、結像光学系）は、被写体の像を結像させるためのものであり、レンズ等の光学素子により構成できる。撮像素子２４（撮像手段、光電変換素子）は、光学系２２により結像された被写体像（イメージ）を撮像するための素子である。撮像素子２４は、例えばＣＭＯＳイメージセンサ等のイメージセンサ（光電変換素子）により構成でき、被写体像を光電変換して撮像情報を出力する。フォーカス制御部２６（オートフォーカス制御部、フォーカス駆動部）は、被写体像のピント調整を行うためのものである。例えば、撮像素子２４により得られた画像から焦点位置を検出し、光学系２２を駆動してピント調整することで実現される。焦点距離制御部２８（ズーム制御部）は、光学系２２の焦点距離を調整するためのものであり、例えば光学系を駆動してズームやワイドなどの画角調整を行う。

処理部３０（画像処理装置）は、本実施形態の種々の処理を行うものである。その機能は、例えば画像処理用ＩＣや、各種プロセッサ（ＣＰＵ）とソフトウェアとの組み合わせなどにより実現できる。処理部３０は、撮像情報の読み出し制御や、読み出し制御により得られた画像を貼り合わせる処理などを行う。

操作部６０は、電子カメラを例にとれば、シャッター、各種操作ボタン、各種ダイアルなどにより実現されるものである。あるいは、タッチパネルディスプレイにより操作部６０の機能を実現してもよい。

記憶部７０は、処理部３０や制御部８０のワーク領域となるものであり、画像データ等の各種データを記憶する。記憶部７０の機能は、ＲＡＭやＨＤＤ（ハードディスクドライブ）などにより実現できる。

制御部８０（制御装置）は、撮像装置全体の制御処理を行うものであり、各種ＡＳＩＣやマイクロコンピュータなどのプロセッサにより実現できる。

表示部９０（画像出力部）は、画像処理後の画像を表示するためのものであり、例えば電子カメラが備える表示部などにより実現できる。表示部は、例えば液晶パネルや有機ＥＬパネル等の電気光学パネルにより実現されるものであり、スルー画像等のフレーム画像や、パノラマ画像を表示する。

情報記憶媒体９８（コンピュータにより読み取り可能な媒体）は、プログラムやデータなどを格納するものであり、その機能は、メモリーカード、ＨＤＤ、光ディスク（ＣＤ、ＤＶＤ）、あるいはＲＯＭ等のメモリなどにより実現できる。処理部３０や制御部８０は、情報記憶媒体９８に格納されるプログラム（データ）に基づいて本実施形態の種々の処理を行う。すなわち情報記憶媒体９８には、本実施形態の各部としてコンピュータ（操作部、処理部、記憶部、出力部を備える装置）を機能させるためのプログラム（各部の処理をコンピュータに実行させるためのプログラム）が記憶される。

処理部３０は、読み出し制御部３２、モーション情報取得部３６、距離情報取得部４２、画像処理部４４、表示制御部４６、焦点距離情報取得部４８を含む。なお、これらの構成要素の一部（例えば、距離情報取得部、表示制御部、焦点距離情報取得部等）を省略したり、他の構成要素を追加したりするなどの種々の変形実施が可能である。

読み出し制御部３２は、撮像素子２４による撮像により得られた撮像情報の読み出しを制御する。撮像素子２４から読み出された撮像情報は、貼り合わせ処理のために画像処理部４４に出力される。

撮像情報は、撮像素子２４の各画素の画素値（例えば輝度値）であり、被写体像を撮像することで得られた画素値である。例えばＣＭＯＳイメージセンサの場合、読み出し対象の画素からアナログの信号（例えば電圧信号）が読み出される。読み出された信号は、図示しないＡＦＥ（アナログフロントエンド回路、Ａ／Ｄ変換回路）により画素値のデータ（画像データ）に変換される。そして、その画素値のデータが撮像情報として画像処理部４４に出力される。

読み出し制御部３２は、モーション情報に基づいて、今回のフレーム画像領域（フレーム、フレーム画像）と前回のフレーム画像領域との重なり領域を検出し、検出された重なり領域を除いた画像領域の撮像情報を読み出す（撮像情報の読み出しを制御する）。

例えば、前述の図２に示すように、仮想座標系（ｘ，ｙ）（仮想パノラマ座標系）において、今回のフレーム画像Ｆ２の領域と前回のフレーム画像Ｆ１の領域との重なり領域Ｒ１２を検出する。そして、撮像素子２４により得られたＦ２に対応する撮像情報のうち、新たに撮影された画像ＦＮ２の領域に対応する画素の撮像情報を読み出し、すでに撮影された重なり領域Ｒ１２に対応する画素の撮像情報は読み出さない。なお以下では、画像Ｆ１、Ｆ２、ＦＮ２等の領域を、適宜、フレーム画像領域Ｆ１、Ｆ２、画像領域ＦＮ２等と記載する。

より具体的には、読み出し制御部３２は、今回のフレーム画像領域である第ｉ（ｉは自然数）のフレーム画像領域（例えば図３に示すＦ４）と第ｉ−１のフレーム画像領域以前の過去のフレーム画像領域（例えば図３に示すＦ１〜Ｆ３）との重なり領域を、モーション情報に基づいて検出する。

フレーム画像領域は、仮想座標系（ｘ，ｙ）における画像領域（例えば矩形領域）であり、撮像により得られたフレーム画像（撮像画像）に対応する画像領域である。今回のフレーム画像領域、前回のフレーム画像領域は、それぞれ今回の撮像動作、前回の撮像動作により得られたフレーム画像に対応する。このとき、パノラマ画像を撮影するための連続した撮像動作（一連の撮像動作、順次撮像動作）が行われる場合に、前回の撮像動作は、今回の撮像動作よりも前に行われた撮像動作である。また、過去のフレーム画像領域は、連続する撮像動作の最初の撮像動作（第１の撮像動作）から今回の撮像動作までの撮像動作により得られたフレーム画像に対応する。

前述の図１に示すように、仮想座標系（ｘ，ｙ）は仮想平面ＶＰ（仮想パノラマ平面）における座標系であり、フレーム画像領域の重なり領域を検出するために設定されるものである。この仮想平面ＶＰは、貼り合わせ画像（モザイク合成画像）を撮影するために、撮影者が撮影を想定した平面である。すなわち、撮像装置１００から被写体までの距離をＳ（例えば、単位は[m]：メートル）とすれば、仮想平面ＶＰは、撮像装置１００から距離Ｓに設定される仮想的な平面である。フレーム画像領域は、この仮想平面ＶＰにおける撮像装置１００の画角（撮像領域、撮像エリア）に対応する。

読み出し制御部３２は、撮像装置１００の並進移動情報（並進運動情報、平行移動情報、並進移動ベクトル）及び回転移動情報（回転角度情報、回転運動情報）の少なくとも一方であるモーション情報に基づいて、重なり領域を検出する。

具体的には、読み出し制御部３２は、仮想座標系における前回のフレーム画像領域の基準点の座標を、モーション情報に基づいて座標変換し、仮想座標系における今回のフレーム画像の基準点の座標を求める。そして、求めた基準点の座標に基づいて今回のフレーム画像領域と前回のフレーム画像領域との重なり領域を検出する。

フレーム画像領域の基準点（複数の基準点）は、フレーム画像領域の領域内に設定される。例えば、前述の図２に示すように、フレーム画像領域が矩形の画像領域である場合、フレーム画像領域Ｆ１の基準点としてＦ１の頂点Ａ１、Ｂ１、Ｃ１、Ｄ１が設定される。そして、モーション情報をパラータとして含む変換行列（行列）を求め、求めた変換行列により基準点Ａ１、Ｂ１、Ｃ１、Ｄ１の座標変換（アフィン変換）を行う。この座標変換により、フレーム画像領域Ｆ２の基準点Ａ２、Ｂ２、Ｃ２、Ｄ２の座標が求められる。これらの基準点の座標からＦ１、Ｆ２の各辺の交点を求めることで、Ｆ１とＦ２の重なり領域Ｒ１２を検出する。

なお、読み出し制御部３２は、座標変換処理部３４を含む。そして、座標変換処理部３４が、上記の変換行列を求める処理や、フレーム画像領域の基準点の座標変換を行う。また、座標変換処理部３４は、過去のフレーム画像領域の基準点の座標を記憶してもよい。そして、読み出し制御部３２は、記憶された過去のフレーム画像領域の基準点の座標に基づいて、今回のフレーム画像領域との重なり領域を検出してもよい。

モーション情報取得部３６は、撮像装置１００の並進移動情報及び回転移動情報の少なくとも一方をモーション情報として取得（検出）する。すなわち、並進移動情報と回転移動情報のいずれか一方または両方を取得する。具体的には、モーション情報として、前回の撮像動作から今回の撮像動作までの撮像装置の並進移動情報（並進移動量）や回転移動情報（回転移動量）を取得する。

具体的には、モーション情報取得部３６は、３次元のモーション情報を取得する。図１に示すように、撮像装置１００の存在する空間の座標系（直交座標系）を（Ｘ，Ｙ，Ｚ）とする。この座標系において、例えば、Ｘ軸、Ｙ軸、Ｚ軸に沿った方向（第１、第２、第３の方向に沿った方向）に、それぞれ距離ＤＸ、ＤＹ、ＤＺ（例えば、単位は[m]：メートル）の並進移動（並進運動）が行われる。あるいは、Ｘ軸、Ｙ軸、Ｚ軸に沿った方向を回転軸として、それぞれ回転角ＤθＸ、ＤθＹ、ＤθＺ（例えば、単位はラジアン）の回転移動（回転運動）が行われる。そして、これらの距離や回転角に対応する情報がモーション情報として取得される。なお、本実施形態では、上記のモーション情報ＤＸ、ＤＹ、ＤＺ、ＤθＸ、ＤθＹ、ＤθＺのうちの一部が取得されてもよく、全部が取得されてもよい。

より具体的には、モーション情報取得部３６は、モーション情報検出部３８を含み、記憶部７０は、モーション情報記憶部７２を含む。

モーション情報検出部３８（モーションセンサ）は、撮像装置の並進移動及び回転移動の少なくとも一方を検出（センシング）する。そして、撮像装置の位置情報（座標情報）及び角度情報（回転角度情報）の少なくとも一方を取得する。例えば、モーション情報検出部３８は、加速度センサ、角速度センサにより構成される。そして、加速度センサが並進移動を検出し、加速度センサの出力値を積分（時間積分）することで位置情報が取得される。また、角速度センサが回転移動を検出し、角速度センサの出力値を積分（時間積分）することで角度情報が取得される。

モーション情報記憶部７２は、モーション情報検出部３８により取得された情報を記憶する。記憶される情報は、各撮像動作（各フレーム、各撮像タイミング）において取得された位置情報（座標データ）及び角度情報（角度データ）の少なくとも一方である。

そして、モーション情報取得部３６は、今回の撮像動作における位置情報をモーション情報検出部３８から取得し、前回の撮像動作における位置情報をモーション情報記憶部７２から取得する。モーション情報取得部３６は、これらの位置情報の差分値をもとめることで、前回の撮像動作から今回の撮像動作までの撮像装置の並進移動情報を取得する。同様に、モーション情報取得部３６は、角度情報の差分値を求めることで、前回の撮像動作から今回の撮像動作までの撮像装置の回転移動情報を取得してもよい。

ここで、読み出し制御部３２は、過去のフレーム画像領域との重なり領域の検出を、モーション情報記憶部７２に記憶された情報に基づいて検出してもよい。すなわち、過去のフレーム画像領域の基準点の座標を、記憶された情報から求めてもよい。あるいは、座標変換処理部３４が、過去のフレーム画像領域の基準点の座標を記憶しておいてもよい。なお、本実施形態では、移動情報、距離情報、焦点距離情報の一部に基づいて重なり領域が検出されてもよく、全部に基づいて重なり領域が検出されてもよい。

なお、本実施形態では、モーション情報検出部３８が省略されてもよく、モーション情報記憶部７２が省略されてもよい。例えば、モーション情報検出部３８が省略され、他の手法によりモーション情報が取得されてもよい。また、本実施形態では、モーション情報記憶部７２が、各撮像動作におけるモーション情報を記憶してもよい。

距離情報取得部４２は、被写体までの距離情報（測距情報）を取得（測距）する。例えば、フォーカス制御部２６からのフォーカス情報（例えば、フォーカスレンズの駆動量）や、焦点距離制御部２８からの焦点距離情報（例えば、ズームレンズの駆動量）により距離情報を求める。あるいは、操作部６０を介して撮影距離の情報が入力されてもよい。

焦点距離情報取得部４８は、光学系２２の焦点距離情報を取得する。例えば、焦点距離制御部２８から焦点距離情報を取得する。

読み出し制御部３２は、上記の距離情報や焦点距離情報に基づいてフレーム画像領域の重なり領域を検出する。すなわち、距離情報や焦点距離情報をパラメータとして含む変換行列を求め、その変換行列によりフレーム画像領域の基準点の座標変換を行う。なお、本実施形態では、モーション情報、距離情報、焦点距離情報の一部に基づいて重なり領域が検出されてもよく、全部に基づいて重なり領域が検出されてもよい。

画像処理部４４は、撮像により得られた複数のフレーム画像を貼り合わせる処理（モザイク合成、パノラマ画像の生成）を行う。具体的には、モーション情報により仮想座標系におけるフレーム画像領域の座標が求められ、貼り合わせ画像において、その座標に対応する位置にフレーム画像が合成される。

例えば、画像処理部４４は、パノラマ画像に対応するアドレス空間をもつＶＲＡＭを含む。このアドレス空間は、仮想座標系（ｘ，ｙ）に対応するアドレスにより構成される。そして、フレーム画像領域に対応するアドレスに対して撮像情報により得られた画素値を書き込むことで、フレーム画像の貼り合わせが行われる。なお、本実施形態では、距離情報、焦点距離情報に基づいて貼り合わせ処理が行われてもよい。また、本実施形態では、フレーム画像領域の重なり領域の一部（例えば境界部分）についても撮像情報が読み出されてもよい。そして、その一部を用いてパターンマッチングを行うことで貼り合わせの精度を向上させてもよい。

表示制御部４６は、仮想座標系に対応する表示領域を表示部９０に表示する制御を行う。表示領域は、例えばパノラマ画像に対応する表示領域であり、例えば矩形の表示領域である。なお、表示制御部４６の機能は、制御部８０により実現されてもよい。

２．本実施形態の手法
２．１．フレーム画像領域の並進移動、回転移動
図５、図６を用いて、カメラ（撮像装置）のモーション情報とフレーム画像領域の並進移動、回転移動との対応関係について説明する。なお、以下では、モーション情報を加速度センサと角速度センサにより検出する場合を例に説明する。但し本実施形態では、他の手法によりモーション情報を取得してもよい。

図５に、フレーム画像領域の並進移動（並進移動量）との対応関係について示す。図５に示すように、仮想パノラマ座標系（仮想座標系）の原点Ｏ（基準座標）は、パノラマ撮影開始の第１のフレーム（撮像期間、撮像タイミング）におけるカメラの光軸と、仮想パノラマ平面との交点に設定される。そして、原点Ｏで直交するｘ軸、ｙ軸が設定される。例えば、ｘ軸は水平線と平行な座標軸であり、ｙ軸は水平線に垂直な座標軸である。但し本実施形態では、原点ＯはＦ１の領域内の他の点に設定されてもよい。

カメラの座標系（Ｘ，Ｙ）の原点Ｏ（０，０）は、第１のフレームにおけるカメラの基準点に設定される。例えば、カメラの基準点は、イメージャ（撮像素子）の撮像面と光軸との交点である。Ｘ軸、Ｙ軸は、ｘ軸、ｙ軸に平行に設定される。

例えば、第１〜第３のフレームにおいて、カメラ１００が座標（Ｘ１，Ｙ１）から（Ｘ２，Ｙ２）、（Ｘ２，Ｙ２）から（Ｘ３，Ｙ３）に移動したとする。（Ｘ１，Ｙ１）は、例えば（０，０）に設定される。そうすると、加速度センサの出力値により、第１、第２のフレーム間の並進運動量（ＤＸ１，ＤＹ１）＝（Ｘ２−Ｘ１，Ｙ２−Ｙ１）と、第２、第３のフレーム間の並進運動量（ＤＸ２，ＤＹ２）＝（Ｘ３−Ｘ２，Ｙ３−Ｙ２）が求められる。

フレーム画像領域Ｆ１〜Ｆ３の座標を、例えば各領域の中心点（対角線の交点）（ｘ１，ｙ１）〜（ｘ３，ｙ３）で表す。（ｘ１，ｙ１）は、例えば（０，０）に設定される。そうすると、カメラ１００の並進運動に対応して、Ｆ２はＦ１に対して（Ｄｘ１，Ｄｙ１）＝（ｘ２−ｘ１，ｙ２−ｙ１）＝（ＤＸ１，ＤＹ１）だけ並進移動する。Ｆ３はＦ２に対して（Ｄｘ２，Ｄｙ２）＝（ｘ３−ｘ２，ｙ３−ｙ２）＝（ＤＸ２，ＤＹ２）だけ並進移動する。

図６に、フレーム画像領域の回転角度（回転移動量）との対応関係について示す。カメラ座標系のＺ軸は、カメラ１００の光軸と平行であり、仮想パノラマ座標系の平面に垂直であるものとする。そうすると、カメラ１００の光軸周りの回転角度（回転移動情報）は、Ｚ軸周りの回転角度により表される。

例えば、カメラ１００が回転移動して、第１〜第３のフレームにおいてＺ軸周りの角度がθＺ１〜θＺ３になったとする。ここでθＺ１は、例えば０に設定される。そうすると、角速度センサの出力値により、第１、第２のフレーム間の回転角度ＤθＺ１＝θＺ２−θＺ１（回転移動量）と、第２、第３のフレーム間の回転角度ＤθＺ２＝θＺ３−θＺ２が求められる。

第１〜第３のフレームにおいて、フレーム画像領域Ｆ１〜Ｆ３の光軸周りの角度をθ１〜θ３とする。ここでθ１は、例えば０に設定される。そうすると、カメラ１００の回転角度に対応して、Ｆ２はＦ１に対して光軸（基準点）を中心（回転軸）として回転角度Ｄθ１＝θ２−θ１＝ＤθＺ１だけ回転移動する。Ｆ３はＦ２に対して光軸を中心として回転角度Ｄθ２＝θ３−θ２＝ＤθＺ２だけ回転移動する。

なお、カメラ１００がＸ軸またはＹ軸周りに回転した場合、フレーム画像領域は並進移動する。例えば、カメラ１００のＸ軸周り、Ｙ軸周りの回転運動をＤθＸ、ＤθＹで表すと、フレーム画像領域はＤｙ＝Ｓ×ｓｉｎＤθＸ、Ｄｘ＝Ｓ×ｓｉｎＤθＹだけ並進移動する。ここでＳは、カメラ１００から仮想パノラマ座標系（被写体）までの距離である。

本実施形態では、被写体までの距離を測距する測距手段により測距情報（距離情報）が取得され、レンズとイメージャ間の焦点距離を制御することで焦点距離情報が取得される。図１０等で後述のように、これらの情報によりフレーム画像領域の大きさが決定される。また、撮影する画像サイズ（画素数）は、例えばイメージャの画素数や操作部からの操作情報により設定される。この画像サイズにより、フレーム画像領域に対応する画素数が設定される。そのため、これらの測距情報、焦点距離情報、画像サイズと、上記のモーション情報を用いることで、撮影画像（フレーム画像、撮像素子）の各画素に対する仮想パノラマ座標系における座標を算出できる。本実施形態では、この座標の算出を仮想パノラマ座標系におけるアフィン変換により行う。

２．２．並進移動、回転移動のアフィン変換
図７〜図９を用いて、仮想パノラマ座標系における並進移動、回転移動のアフィン変換（座標変換）について説明する。以下では、第１、第２のフレーム間のアフィン変換を例に説明するが、他のフレーム間のアフィン変換についても同様である。なお、本実施形態では、アフィン変換以外の座標変換により仮想パノラマ座標系における座標変換が行われてもよい。

図７に示すように、フレーム画像領域Ｆ１の頂点の座標をＡ（ｘ１，ｙ１）〜Ｄ（ｘ４，ｙ４）とし、Ｆ１と光軸の交点の座標をＯ（ｘ０，ｙ０）とする。また、フレーム画像領域Ｆ２の頂点の座標をＡ”（ｘ１”，ｙ１”）〜Ｄ”（ｘ４”，ｙ４”）とし、Ｆ２と光軸の交点の座標をＥ”（ｘ０”，ｙ０”）、とする。

また、加速度センサから検出した並進運動量により、フレーム画像領域の並進移動が、＋Ｘ軸方向へＤｘ１＝ａ、＋Ｙ軸方向へＤｙ１＝−ｂであったとする。また、角速度センサから検出した回転角度により、フレーム画像領域の回転角度が、光軸との交点Ｅ”を中心として反時計回りに角度Ｄθ１＝θであったとする。

このとき、図８に示すように、原点Ｏを中心として反時計回りに各点Ａ〜Ｄを角度θだけ回転させるとする。そうすると、回転後の各点Ａ’（ｘ１’，ｙ１’）〜Ｄ’（ｘ４’，ｙ４’）の座標は、下式（１）に示す行列式により求められる。なお、ｎは整数であり、下式（１）においてｎ＝１〜４である。

並進移動後のＦ２の各点Ａ”〜Ｄ”、Ｅ”の座標は、下式（２）に示す行列式によりＡ’〜Ｄ’、Ｏを並進移動することにより求められる。下式（２）においてｎ＝０〜４である。

フレーム画像領域Ｆ１、Ｆ２の重なり領域Ｒ１２は、Ｆ１の辺とＦ２の辺との交点を求めることで求められる。具体的には、Ｆ１の隣り合う点（基準点、頂点）を結んでできる直線４本Ａ−Ｂ，Ｂ−Ｃ，Ｃ−Ｄ，Ｄ−Ａの方程式を求める。例えば、ＡとＢを結んでできる直線は、下式（３）により求められる。Ｂ−Ｃ，Ｃ−Ｄ，Ｄ−Ａについても同様に求められる。

同様に、Ｆ２の隣り合う点を結んでできる直線４本Ａ”−Ｂ”，Ｂ”−Ｃ”，Ｃ”−Ｄ”、Ｄ”−Ａ”を求める。例えば、Ａ”とＢ”を結んでできる直線は、下式（４）により求められる。Ｂ”−Ｃ”，Ｃ”−Ｄ”、Ｄ”−Ａ”についても同様に求められる。

そして、これらの直線の交点を求めることで、Ｆ１の直線４本×Ｆ２の直線４本の合計１６通りの交点の座標を求められる。求めた１６通りの交点の座標のうち、Ｆ１及びＦ２上にあるものをＦ１、Ｆ２の各辺の交点とする。例えば、Ａ−ＢとＡ”−Ｂ”の場合、上式（３）、（４）の連立方程式により求めた交点の座標が、ｘ１≦ｘ≦ｘ２、ｙ１≦ｙ≦ｙ２（または、ｘ１”≦ｘ≦ｘ２”、ｙ１”≦ｙ≦ｙ２”）の条件を満たせば、辺の交点とする。なお、傾きが等しい直線同士については平行となり交わることは無いため、計算が行われなくてもよい。

前述の図７の場合、Ｂ−ＣとＣ”−Ｄ”の交点の座標、Ａ−ＢとＣ”−Ｄ”の交点の座標が求められ、これらの交点と頂点Ｂにより重なり領域Ｒ１２が特定される。そして、このＲ１２（または、Ｆ２からＲ１２を除いた領域）とイメージャの画素のアドレスとを対応させることで、撮像情報を読み出す領域が設定される。

ここで、上述のように、パノラマ画像の撮影において、イメージャの全画素の撮像情報を読み出し、パターンマッチング等により画像を貼り合わせる手法がある。しかしながら、この手法では、処理データ量が多く、高度な画像処理が必要であるという課題がある。

この点、本実施形態によれば、ＤＸ１、ＤＹ１、ＤθＺ１等のカメラのモーション情報が取得され、そのモーション情報に基づいて今回のフレーム画像領域Ｆ２と前回のフレーム画像領域Ｆ１との重なり領域Ｒ１２が検出され、そのＲ１２をＦ１から除いた画像領域の撮像情報が読み出される。

これにより、簡素な画像処理でパノラマ画像を生成できる。すなわち、フレーム間の画像において、重畳している部分の画像領域を読み出さないため、処理データ量を削減し、処理時間を短縮できる。さらに、処理データ量が削減されたことで消費電力を抑制することもできる。

また、本実施形態では、読み出された撮像情報に基づく複数のフレーム画像として、Ｆ１、Ｆ２のフレーム画像が得られる。そして、これらのフレーム画像が、モーション情報に基づいて求められた基準点Ａ〜Ｄ、Ａ”〜Ｄ”の座標を用いて貼り合わされ、パノラマ画像が生成される。

このようにすれば、相関処理等の高度な処理と比べて、簡素な画像処理でパノラマ画像を生成できる。これにより、ハードウェアの構成を簡素化できる。

また、連続する撮像によりＦ１〜Ｆ４のフレーム画像が得られた場合に、今回のフレーム画像領域Ｆ４と過去のフレーム画像領域Ｆ３〜Ｆ１との重なり領域が検出され、その重なり領域をＦ４から除いた画像領域の撮像情報がイメージャから読み出される。

このようにすれば、撮像情報を読み出す領域をさらに小さくできるため、より処理データ量を削減し、処理時間を短縮できる。

具体的には、本実施形態では、前回から今回の撮像動作までのモーション情報として、並進運動量ＤＸ１、ＤＹ１、回転角度ＤθＺ１が取得される。そして、Ｆ１に対するＦ２の移動量Ｄｘ１＝ＤＸ１＝ａ、Ｄｙ１＝ＤＹ１＝−ｂ、Ｄθ１＝ＤθＺ１＝θが求められ、その移動量に基づいてＲ１２が検出される。

このようにすれば、モーション情報に基づいてＲ１２を検出できる。すなわち、撮像動作間のカメラのモーション情報からフレーム画像領域間の移動量を求め、その移動量によりＲ１２を検出できる。

より具体的には、仮想パノラマ座標系におけるＦ１の基準点Ａ〜Ｄの座標が、モーション情報Ｄｘ１＝ａ、Ｄｙ１＝−ｂ、Ｄθ１＝θに基づいてアフィン変換され、仮想パノラマ座標系におけるＦ２の基準点Ａ”〜Ｄ”の座標が求められる。そして、Ａ〜Ｄ、Ａ”〜Ｄ”の座標により各辺の交点が求められることでＲ１２が検出される。

このようにすれば、モーション情報を仮想パノラマ座標系におけるフレーム画像領域の変換に置き換えることができる。そして、そのフレーム画像領域の変換をアフィン変換により表し、そのアフィン変換により座標変換を行うことで、変換後のフレーム画像領域の頂点の座標を求めることができる。

本実施形態では、連続して撮像動作が行われる場合に、最初のフレーム画像である第１のフレーム画像を基準として仮想パノラマ座標系が設定される。これは、例えば、フレーム画像領域Ｆ１の領域内に仮想パノラマ座標系の原点Ｏ（０，０）が設定され、Ｆ１の回転角度がθ１＝０に設定されることに対応する。あるいは、後述するように、最初のフレームにおいて被写体距離Ｓ（カメラから仮想パノラマ座標系までの距離）が測距されることに対応する。

このようにすれば、パノラマ撮影の撮影開始時に仮想パノラマ座標系を設定し、設定された仮想パノラマ座標系においてフレーム画像領域を順次アフィン変換することで、重なり領域を検出できる。

なお、上記においては、今回のフレーム画像領域と前回のフレーム画像領域との重なり領域について説明した。但し、本実施形態では、今回のフレーム画像領域とそれ以前の過去のフレーム画像領域との重なり領域が検出されてもよい。

２．３．フレーム画像領域の拡大、縮小
図１０を用いて、被写体距離（距離情報）とフレーム画像領域の拡大、縮小との関係について説明する。なお、以下ではフレーム画像領域Ｆ１からＦ２への変換を例に説明するが、他のフレーム画像領域間の変換についても同様である。

図１０に示すように、Ａ点で撮影した撮影範囲をフレーム画像領域Ｆ１、Ｂ点で撮影した撮影範囲をフレーム画像領域Ｆ２とする。このとき、カメラ１００を持つ高さは変えず（Ｘ，Ｙ座標は変えず）、Ｚ＝Ｚ１のＡ点からＺ＝Ｚ２のＢ点へ後退移動したとする。そうすると、加速度センサにより並進移動量ＤＺ１＝Ｚ２−Ｚ１が取得される。Ａ点における被写体距離Ｓは測距部により測距されているため、Ｂ点における被写体距離Ｓ’はＳ’＝Ｓ＋ＤＺ１により取得される。

Ａ点とＢ点で同じ焦点距離であるとすると、Ａ点とＢ点で画角は変わらない。また、イメージャの有効画像サイズ（対角Ｄ’、水平Ｈ’、垂直Ｖ’）は変わらないとする。このとき、Ｆ１の撮影水平範囲Ｈ１、撮影垂直範囲Ｖ１、Ｆ２の撮影水平範囲Ｈ２、撮影垂直範囲Ｖ２は、下式（５）、（６）により求められる。

上式（５）、（６）より、被写体距離によるフレーム画像領域の座標の拡大及び縮小の関係は、下式（７）により表される。

ここで、上記ｆ、Ｄ’、Ｈ’、Ｖ’の単位は、例えば[mm]：ミリメートルであり、Ｓ１、Ｓ２、Ｈ１、Ｖ１、Ｈ２、Ｖ２の単位は、例えば[m]：メートルである。

なお、図１０では、カメラ１００が後退移動され、撮影領域が拡大（Ｓ’／Ｓ＞１）される場合について説明した。但し、本実施形態では、カメラ１００が前進移動され、撮影領域が縮小（Ｓ’／Ｓ＜１）されてもよい。

図１１を用いて、焦点距離情報とフレーム画像領域の拡大、縮小との関係について説明する。被写体距離Ｓと、イメージャの有効画像サイズは変わらないものとする。焦点距離ｆで撮影した撮影範囲をフレーム画像領域Ｆ１、焦点距離ｆ’で撮影した撮影範囲をフレーム画像領域Ｆ２とする。そうすると、焦点距離が変わったことで画角が変わるため、Ｆ１の撮影水平範囲Ｈ１、撮影垂直範囲Ｖ１、Ｆ２の撮影水平範囲Ｈ２、撮影垂直範囲Ｖ２は、下式（８）、（９）により求められる。

上式（８）、（９）より、焦点距離によるフレーム画像領域の座標の拡大及び縮小の関係は、下式（１０）により表される。なお、下式（１０）において、ｆ／ｆ’＞１の場合には拡大であり、ｆ／ｆ’＜１の場合には縮小である。

２．４．拡大、縮小のアフィン変換
図１２に示すように、Ｆ１の頂点の座標をＡ（ｘ１，ｙ１）〜Ｄ（ｘ４，ｙ４）とし、Ｆ２の頂点の座標をＡ’（ｘ１’，ｙ１’）〜Ｄ’（ｘ４’，ｙ４’）とする。上式（７）、（１０）より、被写体距離及び焦点距離の変更によるアフィン変換は、下式（１１）に示す行列式で表される。なお、下式（１１）において、ｎ＝１〜４である。

上式（１１）のアフィン変換は、光軸を中心とした拡大縮小の座標変換である。ｆ／ｆ’×Ｓ’／Ｓ＞１の場合は拡大変換であり、０＜ｆ／ｆ’×Ｓ’／Ｓ＜１の場合は縮小変換である。

ここで、並進移動、回転移動、拡大縮小によるアフィン変換をまとめると、上式（１）、（２）、（１１）より、下式（１２）に示す行列式で表される。下式（１２）において、（ｘｎ，ｙｎ）は変化前の座標であり、（ｘｎ’，ｙｎ’）は変換後の座標である。３次元目の１は、計算の便宜上加えたものである。

上式（１２）において、演算順序は拡大縮小変換、回転移動変換、並進移動変換である。拡大縮小変換、回転移動変換については、パノラマ画像を撮影する間、変換の基準（中心点、基準点）を一定にする。例えば、最初のフレーム画像領域Ｆ１の変換において、対角線の交点を変換の基準にした場合、Ｆ２以降の各フレーム画像領域の変換においても対角線の交点を変換の基準とする。

上記のように、本実施形態によれば、被写体距離Ｓが取得され、その被写体距離Ｓとモーション情報ＤＺ１、Ｄｘ＝ＤＸ１、Ｄｙ＝ＤＹ１、θ＝ＤθＺ１に基づいて、今回のフレーム画像領域Ｆ１と前回のフレーム画像領域Ｆ２との重なり領域が検出される。

このようにすれば、カメラが前進後退することでフレーム間で被写体距離が変化し、その被写体距離の変化によりフレーム画像領域が拡大縮小した場合であっても、拡大縮小に応じて重なり領域を検出できる。

具体的には、撮影時の最初のフレーム画像の被写体距離Ｓが取得され、その被写体距離Ｓからの変化分がモーション情報ＤＺ１により取得され、第２のフレーム画像の被写体距離Ｓ’＝Ｓ＋ＤＺ１が取得される。そして、その被写体距離Ｓ、Ｓ’からＦ１に対するＦ２の拡大率または縮小率Ｓ’／Ｓが求められ、そのＳ’／Ｓに基づいてＦ１の点Ａ〜Ｄの座標がアフィン変換される。このアフィン変換により、Ｆ２の点Ａ’〜Ｄ’の座標が求められ、点Ａ〜Ｄ、点Ａ’〜Ｄ’の座標に基づいてＦ１とＦ２の重なり領域が検出される。

このようにすれば、被写体距離とモーション情報に基づいて、第２のフレーム画像以降の被写体距離を取得できる。これにより、被写体距離に応じた拡大縮小変換を行うことで、今回のフレーム画像領域と前回のフレーム画像領域との重なり領域を検出できる。

また、本実施形態によれば、光学系の焦点距離ｆとモーション情報ＤＺ１、Ｄｘ＝ＤＸ１、Ｄｙ＝ＤＹ１、θ＝ＤθＺ１に基づいて、Ｆ１とＦ２との重なり領域が検出されてもよい。

このようにすれば、ズーム等により焦点距離が変化することでフレーム間で画角が変化し、その画角の変化によりフレーム画像領域が拡大縮小した場合であっても、拡大縮小に応じて重なり領域を検出できる。

２．５．距離情報と重なり領域の関係
図１３を用いて、距離情報と重なり領域の関係について説明する。図１３に示すように、カメラ１００を持っている高さは同じとしてＡ点からＢ点へａ（例えば、単位は[m]：メートル）だけ平行移動（Ｘ軸方向へ並進移動）したとする。

撮影距離Ｓ（距離情報）で撮影した時の、Ａ点とＢ点における撮影範囲を求める。Ａ点における撮影範囲をフレーム画像領域Ｆ１とし、Ｂ点における撮影範囲をフレーム画像領域Ｆ２とする。焦点距離はｆ固定とし、画角は変わらないものとする。イメージャの有効画像サイズ（対角Ｄ’、水平Ｈ’、垂直Ｖ’）も変わらないものとする。このとき、Ａ点とＢ点における水平撮影範囲Ｈ、垂直撮影範囲Ｖは、下式（１３）により同様に求められる。

距離ａの並進移動であることから、Ｆ１とＦ２の重なり領域Ｒ１２の水平範囲Ｈ、垂直範囲Ｖは、下式（１４）により求められる。

同様に、撮影距離Ｓ’で撮影した時の、Ａ点とＢ点における撮影範囲を求める。Ａ点における撮影範囲をフレーム画像領域Ｆ１’とし、Ｂ点における撮影範囲をフレーム画像領域Ｆ２’とする。このとき、Ａ点とＢ点における水平撮影範囲Ｈ、垂直撮影範囲Ｖは、下式（１５）により同様に求められる。

Ｆ１’とＦ２’の重なり領域Ｒ１２’の水平範囲Ｈ、垂直範囲Ｖは、下式（１６）により求められる。

ここで、上式（１４）と（１６）を比較すると、カメラ１００から被写体までの距離Ｓ、Ｓ’によって撮影範囲が変わるため、重なり領域の範囲も変わってしまうことが分かる。例えば、Ｓ’＞Ｓの場合、撮影距離Ｓにおける重なり領域の水平範囲よりも撮影距離Ｓ’における重なり領域の水平範囲の方が大きくなる。そのため、カメラ１００の撮影距離を取得することで、その撮影距離に基づいて重なり領域を検出できる。

２．６．仮想座標系の表示
図１４に、本実施形態の表示制御の具体例を示す。図１４に示すカメラ１００は、表示部２００、パノラマ撮影ボタン２２０、シャッターボタン２３０を含む。

例えば、パノラマ撮影ボタン２２０が押されてパノラマ撮影が指示されると、表示部２００に表示領域２１０が表示される。表示領域２１０は、例えば矩形の表示領域であり、撮影者が撮影しようとするパノラマ画像の撮影領域に対応するものである。その後シャッターボタン２３０が押されるとパノラマ画像の撮影が開始され、フレーム画像が順次撮影される。そして、撮影されたフレーム画像が表示領域２１０に順次表示される。例えば、図１４に示すように、フレーム画像Ｐ１〜Ｐ４が表示される。表示される位置は、Ｐ１〜Ｐ４の仮想パノラマ座標系におけるフレーム画像領域に対応している。

本実施形態によれば、撮影されたフレーム画像が表示領域２１０に順次表示されることで、撮影者が表示部２００を見ながら容易にパノラマ画像を完成させることができる。

２．７．焦点距離の調整
図１５に、本実施形態の焦点距離制御の具体例を示す。例えば、パノラマ画像の被写体として人を含み、その人の顔を注目被写体Ｏｂｊとする。注目被写体Ｏｂｊは、撮影者が鮮明に撮影しようとする被写体である。

本実施形態では、注目被写体Ｏｂｊを高解像度（第１の解像度）で撮影し、Ｏｂｊ以外の背景を低解像度（第２の解像度）で撮影する。例えば、撮影開始時の最初の撮像動作ではズーム撮影（望遠、第１の焦点距離）によりＯｂｊが撮影され、フレーム画像領域Ｆ１の範囲が撮影される。第２の撮像動作以降ではワイド撮影（広角、第２の焦点距離）により背景が撮影され、フレーム画像領域Ｆ２、Ｆ３、・・の範囲が撮影される。フレーム画像の撮影画素数が同じであれば、Ｆ１の方が高解像度に撮像される。あるいは、本実施形態では、顔認識処理が行われてもよく、撮影範囲内に注目被写体Ｏｂｊの顔があると認識された場合にズーム撮影が行われ、顔が認識されない場合にワイド撮影が行われてもよい。

本実施形態によれば、撮影者が重視する被写体をズーム撮影により高解像度に撮影し、重視しない部分の撮影をワイド撮影により素早く終了できる。顔認識処理を用いた場合には、最初のフレームで注目被写体を画角に納める等の操作を省略でき、複数の注目被写体にも容易に対応できる。

３．ハードウェア構成例
図１６に、本実施形態の撮像装置のハードウェア構成例を示す。この撮像装置は、撮像部３００、焦点距離入手部３１０、読み出し制御部３２０、撮影距離設定部３３０、画像処理部３４０、距離情報入手部３５０、カメラ移動情報認識部３６０、モーション情報記憶部３７０、モーション情報検出部３８０、撮像装置制御部３９０、画像記録部３９２、表示部３９４、電源部３９６を含む。なお、これらの構成要素の一部（例えば、撮影距離設定部、表示部）が省略されたり、他の構成要素が追加されたりする等の種々の変形実施が可能である。

撮像部３００は、レンズ３０２、イメージセンサ３０４を含む。撮像部３００は、図示しない絞りを含んでもよい。レンズ３０２は、ズームレンズ、フォーカスレンズなどにより構成される。

焦点距離入手部３１０は、例えばズーム制御部により構成され、撮像装置制御部３９０からの制御情報によりズームレンズ、フォーカスレンズの制御を行なう。また、制御により調整された焦点距離の情報を、読み出し制御部３２０に出力（フィードバック）する。

距離情報入手部３５０は、例えばオートフォーカス制御部により構成され、ピント調整により撮像装置から撮影範囲までの距離情報を取得する。取得した距離情報を読み出し制御部３２０に出力する。撮影距離設定部３３０（撮影距離定義部）は、例えばダイアル等の操作部により構成され、ダイアル操作により距離情報を設定する。本実施形態では、距離情報入手部３５０と撮影距離設定部３３０のいずれにより距離情報が取得されてもよく、いずれか一方の構成要素が省略されてもよい。

モーション情報検出部３８０（モーションセンサ）は、加速度センサ３８２、角速度センサ３８４を含み、これらのセンサにより撮像装置の並進移動や回転移動を検出する。モーション情報記憶部３７０（モーションセンサ記憶部）は、全フレームにおける撮像装置のモーションセンサの検出値（出力値）を記憶する。カメラ移動情報認識部３６０は、今回のモーションセンサの検出値と、モーション情報記憶部３７０に記憶された前回のモーションセンサの検出値との差分値により、撮像装置の移動方向と移動距離と回転方向と回転角度（モーション情報）を算出する。

読み出し制御部３２０は、焦点距離情報、距離情報、モーション情報をパラメータとして、今回撮像したフレーム画像領域と前回撮像したフレーム画像領域の座標を算出する。そして、それぞれのフレーム間において重複した領域を除いた領域をイメージセンサ３０４から読み出す。

画像処理部３４０は、イメージセンサ３０４からの画像信号（画像データ）に対して適切な画像処理を行う。例えば、読み出されたフレーム画像を貼り合わせてパノラマ画像を生成する。処理された画像信号は、撮像装置制御部３９０と距離情報入手部３５０へ送られる。なお、フレーム画像の貼り合わせは、読み出し制御部３２０により行われてもよい。

撮像装置制御部３９０（制御部）は、オートフォーカス制御、ズームレンズ駆動制御、絞り調整などの制御（統括）を行う。表示部３９４は、一般的なビューファインダにより構成され、画像情報や、その他の撮影情報が表示される。画像記録部３９２は、メモリに撮像画像を記憶したり、光学ディスクに撮像画像を記録したりする。電源部３９６は、撮像装置の各構成要素に電源を供給する。

その他、図示しない電源ボタン、シャッターボタン、または各種設定用の操作系を含んでもよい。

なお、本実施形態では、イメージセンサ３０４が撮像した撮像情報を、図示しないフレームバッファメモリに一旦記憶してから読み出してもよい。この場合、読み出し制御部３２０は、それぞれのフレーム間において重複した領域を除いた領域の画像情報を、イメージセンサ３０４からではなく、フレームバッファメモリのアドレスを制御してフレームバッファメモリから読み出すことになる。このフレームバッファメモリは、複数枚（複数のフレーム）の画像情報が記録可能な容量を有していることが望ましい。ここで、フレームバッファメモリは撮像部３００に含まれてもよく、撮像部３００と画像処理部３４０との間に配置されてもよい。

なお、上記のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義又は同義な異なる用語（貼り合わせ画像、撮像装置、仮想座標系、距離情報、座標変換等）と共に記載された用語（パノラマ画像、カメラ、仮想パノラマ座標系、撮影距離、アフィン変換等）は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また撮像部、処理部、撮像装置、電子機器等の構成、動作も本実施形態で説明したものに限定に限定されず、種々の変形実施が可能である。

２０ 撮像部、２２ 光学系、２４ 撮像素子、２６ フォーカス制御部、
２８ 焦点距離制御部、３０ 処理部、３２ 読み出し制御部、
３４ 座標変換処理部、３６ モーション情報取得部、４２ 距離情報取得部、
４４ 画像処理部、４６ 表示制御部、４８ 焦点距離情報取得部、６０ 操作部、
７０ 記憶部、７２ モーション情報記憶部、８０ 制御部、９０ 表示部、
９８ 情報記憶媒体、１００ 撮像装置、２１０ 表示領域、
Ｓ 距離情報、Ｆ１ フレーム画像領域、Ｒ１２ 重なり領域、ｘ，ｙ 仮想座標系、
ＶＰ 仮想平面、ＤＸ モーション情報、Ａ１〜Ｄ１ フレーム画像領域の基準点、
Ｏｂｊ 注目被写体

Claims (12)

1. 被写体を結像する光学系と、
   前記光学系により結像した被写体像を撮像する撮像素子と、
   前記撮像素子の撮像により得られた撮像情報の読み出しを制御する読み出し制御部と、
   撮像装置の並進移動情報及び回転移動情報の少なくとも一方であるモーション情報を取得するモーション情報取得部と、
   を含み、
   前記読み出し制御部は、
   前記モーション情報に基づいて、今回のフレーム画像領域と前回のフレーム画像領域との重なり領域を検出し、検出された前記重なり領域を除いた画像領域の撮像情報を前記撮像素子から読み出すことを特徴とする撮像装置。
2. 請求項１において、
   前記読み出し制御部は、
   今回のフレーム画像領域である第ｉ（ｉは自然数）のフレーム画像領域と第ｉ−１のフレーム画像領域以前の過去のフレーム画像領域との重なり領域を、前記モーション情報に基づいて検出し、検出された前記重なり領域を除いた画像領域の撮像情報を前記撮像素子から読み出すことを特徴とする撮像装置。
3. 請求項１又は２において、
   前記モーション情報取得部は、
   前記撮像素子により連続して撮像動作が行われる場合に、前記モーション情報として、前回の撮像動作から今回の撮像動作までの撮像装置の並進移動情報及び回転移動情報の少なくとも一方を取得し、
   前記読み出し制御部は、
   前記モーション情報に基づいて、前回のフレーム画像領域に対する今回のフレーム画像領域の移動量を求め、求めた移動量に基づいて今回のフレーム画像領域と前回のフレーム画像領域との重なり領域を検出することを特徴とする撮像装置。
4. 請求項１乃至３のいずれかにおいて、
   前記被写体までの距離情報を取得する距離情報取得部を含み、
   前記読み出し制御部は、
   前記距離情報と前記モーション情報に基づいて、今回のフレーム画像領域と前回のフレーム画像領域との重なり領域を検出することを特徴とする撮像装置。
5. 請求項１乃至４のいずれかにおいて、
   前記読み出し制御部は、
   前記光学系の焦点距離情報と前記モーション情報に基づいて、今回のフレーム画像領域と前回のフレーム画像領域との重なり領域を検出することを特徴とする撮像装置。
6. 請求項１乃至５のいずれかにおいて、
   貼り合わせ画像を生成する画像処理部を含み、
   前記画像処理部は、
   前記読み出し制御部により読み出された撮像情報に基づく複数のフレーム画像を、前記モーション情報に基づいて貼り合わせる処理を行って、パノラマ画像を生成することを特徴とする撮像装置。
7. 請求項１乃至６のいずれかにおいて、
   前記読み出し制御部は、
   仮想座標系における前回のフレーム画像領域の基準点の座標を、前記モーション情報に基づいて座標変換し、前記仮想座標系における今回のフレーム画像領域の基準点の座標を求め、求めた基準点の座標に基づいて今回のフレーム画像領域と前回のフレーム画像領域との重なり領域を検出することを特徴とする撮像装置。
8. 請求項７において、
   前記読み出し制御部は、
   前記撮像素子により連続して撮像動作が行われる場合に、前記撮像動作により得られる最初のフレーム画像である第１のフレーム画像を基準として前記仮想座標系を設定することを特徴とする撮像装置。
9. 請求項８において、
   前記被写体までの距離情報を取得する距離情報取得部を含み、
   前記距離情報取得部は、
   前記第１のフレーム画像に対応する距離情報を取得し、取得された距離情報からの変化分を前記モーション情報により取得して第２のフレーム画像以降のフレーム画像に対応する距離情報を取得し、
   前記読み出し制御部は、
   前記距離情報取得部により取得された距離情報から前回のフレーム画像領域に対する今回のフレーム画像領域の拡大率または縮小率を求め、求めた前記拡大率または縮小率に基づいて仮想座標系における前回のフレーム画像領域の基準点の座標を座標変換し、前記仮想座標系における今回のフレーム画像領域の基準点の座標を求め、求めた基準点の座標に基づいて今回のフレーム画像領域と前回のフレーム画像領域との重なり領域を検出することを特徴とする撮像装置。
10. 請求項７乃至９のいずれかにおいて、
    表示部を制御する表示制御部を含み、
    前記表示制御部は、
    前記仮想座標系に対応する表示領域を前記表示部に表示し、前記撮像素子により連続して撮像動作が行われる場合に、前記撮像動作により得られたフレーム画像を前記表示領域の対応する領域に順次表示することを特徴とする撮像装置。
11. 請求項１乃至１０のいずれかにおいて、
    前記光学系の焦点距離を制御する焦点距離制御部を含み、
    前記焦点距離制御部は、
    前記撮像素子により連続して撮像動作が行われる場合に、注目被写体が撮像される撮像動作において、前記注目被写体が第１の解像度で撮像されるように前記焦点距離を第１の焦点距離に調整し、背景が撮像される撮像動作において、前記背景が前記第１の解像度より低い第２の解像度で撮像されるように前記焦点距離を前記第１の焦点距離より短い第２の焦点距離に調整することを特徴とする撮像装置。
12. 請求項１乃至１１のいずれかに記載の撮像装置を含むことを特徴とする電子機器。

Images