JP2011035752A - 撮像装置 - Google Patents

Abstract

【課題】高精細な動画を撮像することができる撮像装置を提供する。
【解決手段】焦点距離を変更可能な光学系よって結像された被写体像を画像信号に変換し、前記画像信号を画像データとして出力する撮像部と、前記出力される画像データを静止画データ又は動画データとして記憶部に記憶する画像処理部と、を備えた撮像装置であって、前記画像処理部は、前記静止画データとして撮像される画像の画角内に、前記動画データとして撮像される画像の画角が合致する位置を検出する位置合わせ処理部を備えた。
【選択図】図１

Description

本発明は、動画と静止画とを合成することにより、高精細な動画を撮像することができる撮像装置に関するものである。

動画撮像が可能なデジタルカメラ（デジタルムービーカメラ）において、高精細な動画を撮像したいという要求がある。高精細な動画とは、高解像度でかつ高フレームレートな動画である。しかし、高解像度化と高フレームレート化とはトレードオフの関係にあり、両者を両立させることは難しいという課題がある。

また、動く被写体を動画で撮像する場合は、意図したとおりの画角で高精細に撮像することは通常難しい。レンズを望遠側に設定した状態で動く被写体を追いかけることは高度な撮像技術が必要となる。また、レンズを広角側に設定した状態で広い範囲を撮像すると、主要被写体の解像度が低下する。

このような課題を解決する手法として、動き検出回路２において、広角カメラブロック１で撮影された画像信号から動きが検出されると、動きが検出された範囲をカメラブロック１２で撮影し、このとき、その範囲を複数の部分画に分割して、望遠で撮影を行い、撮影された複数の部分画は、圧縮回路３へ供給されると共に、スイッチ回路８を介して画像合成回路９へ供給され、圧縮回路３では、複数の部分画のそれぞれに対してＤＣＴが施され、圧縮画像信号として記録媒体４へ記録され、画像合成回路９では、供給される複数の部分画がリアルタイムで合成され、合成された画像は、スイッチ回路７を介してモニタＴＶに表示される画像合成装置（特許文献１参照。）が開示されている。

また、モード選択スイッチ手段５でパノラマ撮影に設定すると、ファインダー内表示手段９を作動状態にし、その作動中に撮影されたコマ数のカメラの姿勢と現在の姿勢を方位磁石や角速度センサ等よりなる姿勢検出手段１１からＣＰＵ１０に入力して比較し、演算結果を表示手段９に表示し、撮影者がこの表示手段９の表示に従ってレリーズスイッチを押すと、前記比較結果によりフイルム給送手段８を動かし、フイルム給送量検知手段７のローラの回転に伴い、識別マーク写し込み手段６によりマークをフイルムに写し込み、このマークに応じて写真をつなぐことでパノラマ写真として鑑賞するパノラマ撮影可能なカメラ（特許文献２参照。）も開示されている。

特開２０００−３２３３７号公報 特開平０７−１９９３２１号公報

しかしながら、前述の特許文献１に記載の発明では、複数のカメラと大規模なシステムとが必要であるため、監視カメラなどに用途が限られているという問題がある。

また、特許文献２に記載の発明では、カメラの姿勢の変化のみで撮影の指示を表示するため、レンズを望遠側や広角側に設定した場合など、撮影範囲が大きく異なる状態では、正しい情報を取得できないという問題がある。

本発明はこのような課題に鑑みてなされたものであり、動画データと静止画データとを組み合わせて高精細な動画データを合成することができる撮像装置を提供することを目的とする。

本発明の一実施態様によると、焦点距離を変更可能な光学系よって結像された被写体像を画像信号に変換し、前記画像信号を画像データとして出力する撮像部と、前記出力される画像データを静止画データ又は動画データとして記憶部に記憶する画像処理部と、を備えた撮像装置であって、前記画像処理部は、前記静止画データとして撮像される画像の画角内に、前記動画データとして撮像される画像の画角が合致する位置を検出する位置合わせ処理部を備えたことを特徴とする。

本発明の一実施態様では、このように構成することによって、静止画データ中に動画データを位置合わせすることにより、比較的解像度の大きい静止画データと、この静止画データの画角に対応する比較的解像度の小さい（所定量以上のフレームレートを持った）動画データとを撮像することができる。

本発明によると、背景画像となる静止画データと、この静止画データの画角に対応する動画データとを容易に撮像することができるので、静止画データと動画データとの解像度が異なる場合でも位置合わせを行い合成画像を生成することができる。これにより、簡易な操作のみによって、ユーザは高精細な動画データを撮像することができる。

本発明の第１の実施形態の撮像装置の機能ブロック図である。 従来の撮像装置１０で動画を撮像する場合の説明図である。 本発明の第１の実施形態の撮像装置で動画を撮像する場合の説明図である。 本発明の第１の実施形態の撮像装置で動画を撮像する場合の説明図である。 本発明の第１の実施形態の撮像装置による撮像処理のフローチャートである。 本発明の第１の実施形態の撮像処理の具体的な一例を示す説明図である。 本発明の第１の実施形態の撮像処理の具体的な一例を示す説明図である。 本発明の第１の実施形態の撮像処理の具体的な一例を示す説明図である。 本発明の第２の実施形態の撮像装置による撮像処理のフローチャートである。 本発明の第２の実施形態の撮像処理の具体的な一例を示す説明図である。 本発明の第３の実施形態のトリミング処理の説明図である。 本発明の第４の実施形態のトリミング処理の説明図である。 本発明の第５の実施形態の背景画像の撮像処理の説明図である。

以下に、本発明の実施形態を説明する。

（第１の実施形態）
図１は、本発明の第１の実施形態の撮像装置（デジタルカメラ）１０の機能ブロック図である。

撮像装置１０は、撮像部１０１、画像処理部１０２、制御部１０３、カメラ姿勢検出部１０４、記憶部１０５、表示部１０６、指示情報出力部１０７及び入力部１０８を備える。

撮像部１０１は、被写体像を結像し、この像を光電変換によって電子データに変換することにより、被写体像を画像データとして撮像する。

画像処理部１０２は、撮像される画像データを、静止画データ又は動画データとして記憶部１０５に記憶するとともに、表示部１０６に表示する。

制御部１０３は、撮像部１０１、画像処理部１０２、指示情報出力部１０７等を制御する。

カメラ姿勢検出部１０４は、ユーザによる撮像方向の移動を検出する。カメラ姿勢検出部１０４は、例えば、加速度センサ、ジャイロセンサ、磁気センサ等によって構成される。

記憶部１０５は、撮像された画像データや撮像装置１０の動作に関わるプログラム等を記憶する。記憶部１０５は、撮像装置１０の内部に固定的に備えられるフラッシュメモリやＲＡＭ等の半導体メモリによって構成される記憶媒体と、記憶媒体にデータを記憶する及び記憶媒体からデータを取得するインターフェースと、を備える。

表示部１０６は、撮像された画像データや撮像装置１０の動作に関わる情報を表示する。表示部１０６は、例えば液晶パネル（ＬＣＤ）によって構成される。

指示情報出力部１０７は、ユーザが撮像した動画に対応する静止画の画角、又は、ユーザが撮像した静止画に対応する動画の範囲をユーザに指示するための情報を出力する。

入力部１０８は、ユーザからの操作の入力を受け付ける。入力部１０８は、例えば、撮像装置１０の電源のＯＮ／ＯＦＦを指示する電源ボタン、撮像装置１０に撮像を指示するシャッタボタン、モード切替などの撮像装置１０の制御を指示する制御ボタン等を備える。なお、これらはボタンではなく、いわゆる十字キーや、タッチパネル等によって構成されていてもよい。また、入力部１０８は、マイクのような音声が入力されるように構成されていてもよい。

撮像部１０１は、撮像レンズ（光学系）１１１、絞り機構１１２、撮像素子１１３、アナログフロントエンド（ＡＦＥ）１１４及びアナログ／デジタル変換部（Ａ／Ｄ変換部）１１５を備える。

所定の視野領域にある被写体からの光は、撮像レンズ１１１により集光され、撮像素子１１３に結像される。絞り機構１１２は、撮像レンズ１１１が集光した光の入射量を調整する。なお、撮像レンズ１１１は、画角が変更可能に構成されたいわゆるズームレンズである。

撮像素子１１３は、絞り機構１１２を通過した入射光を受光し、これを光電変換によって電気信号に変換する。ＡＦＥ１１４は、この電気信号に対して感度補正やホワイトバランスや読み出し領域選択を含む各処理を施す。Ａ／Ｄ変換部１１５は、ＡＦＥ１１４が出力したアナログ信号をデジタル信号に変換する。

画像処理部１０２は、画像処理部１０２は、位置合わせ処理部２０１及び合成処理部２０２を備える。

位置合わせ処理部２０１は、撮像された動画と撮像された静止画との画像上での位置を、パターンマッチング又はカメラ姿勢検出部１０４からの情報に基づいて決定する。合成処理部２０２は、静止画と動画との合成や画像の切り出し等を行う。

制御部１０３は、画角決定部３０１、撮像モード制御部３０２及びズーム制御部３０３を備える。

画角決定部３０１は、動画撮像時に取得したカメラ姿勢検出部１０４による撮像装置１０の撮像方向の移動と、撮像レンズ１１１の焦点距離の情報等に基づいて、撮像された動画がすべて包括されるような背景画像を撮像するための画角を算出する。

撮像モード制御部３０２は、撮像部１０１の撮像モードを制御する、撮像モードは、動画を撮像するモードと、静止画を撮像するモードとを含む。なお、動画モードでは、所定のフレームレートを確保するために解像度が静止画モードよりも低く設定される。

ズーム制御部３０３は、撮像レンズ１１１の焦点距離を制御することによりズームを実行する。これにより、撮像される画像データの画角が変更される。

以上のように構成された本発明の第１の実施形態の撮像装置１０の動作を説明する。

撮像装置１０によって高精細な動画を撮像したいという要求がある。高精細な動画とは、高解像度でかつ高フレームレートな動画であるが、これらはトレードオフの関係にある。

図２は、従来の撮像装置１０で動画を撮像する場合の説明図である。

図２（Ａ）は、比較的広い画角の背景中に主要被写体があり、この主要被写体が略水平方向に移動している例を示す。

このような被写体の動画を撮像する場合、次のような問題点が生ずる
広い画角の背景を含めた動画を撮像する場合は、撮像レンズ１００を広角側として、背景を含めた全体を動画モードで撮像する。この場合、動画モードでの解像度に限度があるため、図２（Ｂ）に示すように、主要被写体部分の解像度は低くなってしまう。そのため、主要被写体を高精細に撮像することができない。

一方、主要被写体部分のみを動画モードで撮像する場合は、撮像レンズ１００を望遠側の画角として、主要被写体の流し撮りを行う。流し撮りには高度なテクニックが必要とされる。そのため、この場合、図２（Ｃ）に示すように、手ぶれや位置ずれが発生し、主要被写体を鮮明に撮像することができなくなってしまう。また、画角が小さくなるので、背景はほとんど撮像されない。

このような問題点に対して、本発明の第１の実施形態は、ユーザが撮像した動画データと背景画像となる広角画像とを合成することにより、高精細な動画データを撮像することができるように構成した。

図３及び図４は、本発明の第１の実施形態の撮像装置１０で動画を撮像する場合の説明図である。

本発明の第１の実施形態では、図３（Ａ）に示すように、まず、ユーザが望遠側の画角で被写体を動画モードで撮像する。このとき、被写体の位置ずれや手ぶれなどがあってもかまわない。

動画モードでの撮像終了後、撮像装置１０は、撮像された動画に対応する画角をユーザに指示する。ユーザはこの指示を受けて、図３（Ｂ）に示すように、指示された広角側の画角で背景画像となる静止画を撮像する。

背景画像が撮像された後、撮像装置１０は、図４に示すように、これら動画データと静止画データとの位置あわせを行い、動画データと静止画データとを合成する。この結果、高精細な動画が得られる。

次に、本発明の第１の実施形態の、より具体的な動作を説明する。

図５は、本発明の第１の実施形態の撮像装置１０による撮像処理のフローチャートである。

まず、ユーザが、予め入力部１０８からの操作によって撮像モードを動画モードに設定する。撮像モード制御部３０２はこれを受けて、撮像部１０１を動画モードに設定する。この状態で、ユーザは入力部１０８を操作して、被写体を撮像する（Ｓ１０１）。

このときの被写体は、例えば移動被写体であり、ユーザは、撮像レンズの焦点距離を望遠側の所定の画角に設定して、被写体を中心とした動画の撮像を行う。

被写体の光学像は、前述したように撮像素子１１３、ＡＦＥ１１４及びＡ／Ｄ変換部１１５によってデジタル信号に変換される。このデジタル信号は、画像処理部１０２の制御によって、動画データとして記憶部１０５に記憶される。

このとき、カメラ姿勢検出部１０４が、カメラの姿勢データを取得し、記憶部１０５に記憶する（Ｓ１０２）。

これらステップＳ１０１及びＳ１０２の処理は、ユーザによって動画の撮像の終了が指示されるまで繰り返される（Ｓ１０３）。

動画の撮像の終了がユーザによって指示された場合は、画角決定部３０１が、背景画像となる静止画の画角を算出する（Ｓ１０４）。

この画角の算出は、画角決定部３０１が、カメラ姿勢検出部１０４によって取得されたカメラの姿勢データ及びズーム制御部３０３によって制御された撮像レンズの焦点距離等に基づいて、ステップＳ１０１で撮像された動画データの各フレームの画角がすべて包括されるような画角を算出する。

次に、指示情報出力部１０７は、画角決定部３０１によって算出された画角を示す指示情報を表示部１０６に表示する。ユーザは、この指示情報を参照して画角を設定し、背景画像となる静止画を撮像する（Ｓ１０５）。撮像された静止画は記憶部１０５に記憶される。

背景画像となる静止画が撮像された後、位置合わせ処理部２０１が、背景画像上での動画の位置を決定する（Ｓ１０６）。この決定に基づいて、合成処理部２０２が、背景画像と動画とを合成し、合成された各フレームをつなぎ合わせて、新たな動画データとして記憶部１０５に記憶する（Ｓ１０７）。また、この動画データは、ユーザの指示に基づいて、表示部１０６に表示される。

以上のような処理によって、撮像装置１０が、高解像度の背景画像中に比較的低解像度の動画データを合成して、高精細な動画データを作成する。

図６から図８は、本発明の第１の実施形態の撮像処理の具体的な一例を示す説明図である。

図６（Ａ）は、ユーザが、移動する被写体を、撮像画角内に収まるように動画モードで撮像する例を示す。なお、この例では、説明の簡略化のため、撮像される動画データは、３つのフレーム（第１フレーム、第２フレーム、第３フレーム）から構成される。

まず、ユーザは、移動被写体を、動画モードの撮像画角内に収まるように撮像装置１０を動かしながら、いわゆる流し撮りを行う。撮像された動画データは、画像処理部１０２の制御によって記憶部１０５に記憶される。

この結果、図６（Ｂ）に示すような第１フレーム、第２フレーム、第３フレームからなる動画データが記憶される。

このとき、移動被写体を撮像画角内の同じ位置とする必要はなく、手ぶれや位置ずれがあっても問題ない。

この動画モードでの撮像に、前述の図５のステップＳ１０２で説明したように、カメラ姿勢検出部１０４が、カメラの姿勢データを取得し、記憶部１０５に記憶する。

この動画モードでの撮像が終了した場合は、撮像装置１０は、背景画像を撮像するための広角側の画角を算出する（図７（Ａ））。算出された画角は、指示情報出力部１０７により、表示部１０６に表示する。

ユーザは、表示部１０６に表示された情報に基づいて、図７（Ｂ）に示すように、撮像レンズ１１１の画角を設定し、静止画モードにて背景画像を撮像する。

背景画像の撮像が終了した場合は、撮像装置１０の位置合わせ処理部２０１が、撮像された動画データと背景画像との位置合わせを行う。より具体的には、動画データの各フレームと静止画データとを参照して、それぞれのカメラ姿勢データの撮像方向やパターンマッチングなどに基づいて、静止画データ中のフレームの位置を決定する。

この位置合わせ処理の結果に基づいて、合成処理部２０２は、図８に示すように、動画データと背景画像とを合成する。合成された動画データは、記憶部１０５に記憶される。

このような処理によって、高解像度の背景画像と同じ解像度の動画データが合成される。

通常、流し撮りは、移動する被写体が撮像画角の略中央に留まるように撮像装置１０を移動させるという高度なテクニックが必要とされる。

以上のように、本発明の第１の実施形態では、撮像装置によって動画を撮像する場合に、移動被写体を撮像画角内の同じ位置に留める必要はなく、撮像された動画データに手ぶれや位置ずれがあっても、合成される動画データには影響がない。そして、合成される動画データは静止画モードで撮像される背景画像と同じ解像度なので、ユーザは高精細な動画を撮像することができる。

（第２実施形態）
次に、第２の実施形態について説明する。

前述の第１の実施形態では、動画モードで撮像を行った後、動画データに対応する背景画像を撮像した、これに対して第２の実施形態は、背景画像を撮像した後、動画データを撮像するように構成した。

なお、第１の実施形態と同一の構成には同一の符号を付し、その説明は省略する。

図９は、本発明の第２の実施形態の撮像装置１０による撮像処理のフローチャートである。

まず、ユーザは、予め入力部１０８の操作によって撮像モードを静止画モードに設定する。撮像モード制御部３０２はこれを受けて、撮像部１０１を静止画モードに設定する。この状態で、ユーザは背景画像となる静止画を撮像する（Ｓ２０１）。

このとき、ユーザは、入力部１０８の操作によって撮像レンズの焦点距離を広角側に設定して、所望の画角の静止画を撮像する。

この背景画像の光学像は、前述したように撮像素子１１３、ＡＦＥ１１４及びＡ／Ｄ変換部１１５によってデジタル信号に変換される。このデジタル信号は、画像処理部１０２の制御によって記憶部１０５に記憶される。

次に、画角決定部３０１は、カメラ姿勢検出部１０４から撮像装置１０の撮像方向を取得し、ズーム制御部３０３から撮像レンズ１１１の画角を取得する。画角決定部３０１は、これら撮像方向及び撮像レンズ１１１の画角に基づいて、ステップＳ２０１で撮像された背景画像の画角を求める。求めた背景画像の画角を記憶部１５に記憶する（Ｓ２０２）。

次に、ユーザは、入力部１０８の操作によって撮像モードを動画モードに設定し、撮像レンズの焦点距離を望遠側に設定して、被写体を中心とした動画を撮像する（Ｓ２０３）。

撮像装置１０は、ユーザによって動画の撮像の終了が指示されたか否かを判定する（Ｓ２０４）。撮像の終了が指示された場合はステップＳ２０８に移行する。撮像の終了が指示されていない場合は、ステップＳ２０６に移行する。

ステップＳ２０６では、現在撮像されている動画の画角が、ステップＳ２０２で求めた背景画像の画角の範囲内であるか否かを判定する。

具体的には、画角決定部３０１が、カメラ姿勢検出部１０４から撮像装置１０の撮像方向を取得し、ズーム制御部３０３から撮像レンズ１１１の画角を取得する。画角決定部３０１は、これら撮像方向及び撮像レンズ１１１の画角に基づいて、ステップＳ２０２で求めた背景画像の画角の範囲内に、現在撮像されている動画の画角が収まっているか否かを判定する。

背景画像の画角の範囲内に収まっていないと判定した場合は、ステップＳ２０５に移行し、画角決定部３０１は、指示情報出力部１０７にその旨を伝える。指示情報出力部１０７はこれを受けて、ユーザに撮像中の動画が背景画像の範囲に無い旨を、表示部１０６に表示する。そして、ステップＳ２０３に戻る。

この表示は、例えば、表示部１０６に、既に撮像され記憶部１０５に記憶された背景画像を示すとともに、現在撮像中の動画データの画角を、この背景画像中に枠線で示す。ユーザは、枠線が背景画像から外れると撮像中の動画データが背景画像の画角の範囲外となることを知ることができる。

背景画像の画角の範囲内に収まっていると判定した場合は、ステップＳ２０７に移行し、画像処理部１０２が、撮像された動画データを記憶部１０５に記憶する。

ステップＳ２０８では、位置合わせ処理部２０１が、背景画像上での動画の位置を決定する。この決定に基づいて、合成処理部２０２が、背景画像と動画とを合成し、新たな動画データとして記憶部１０５に記憶する（Ｓ２０９）。また、この動画データは、ユーザの指示に基づいて、表示部１０６に表示される。

以上のような処理によって、撮像装置１０が、高解像度の背景画像中に比較的低解像度の動画データを合成して、高精細な動画データを作成する。

次に、この第２の実施形態の撮像処理の具体的な一例を説明する。

まず、図９のステップＳ２０１において、ユーザは、背景画像を撮像する（図７（Ｂ））。そして、ユーザは、ステップＳ２０３からＳ２０７において、動画を撮像する（図６（Ａ）、（Ｂ））。

この動画の撮像中に、ステップＳ２０６において、背景画像の画角の範囲内に収まっているか否かが判定される。画角決定部３０１が、背景画像の画角の範囲内に収まっていないと判定した場合（図１０）は、指示情報出力部１０７は、撮像中の動画が背景画像の範囲に無い旨を表示部に１０６に出力する。

なお、指示情報出力部１０７は、撮像中の動画が背景画像の範囲に無い旨として、表示部に警告を表示したり、表示されている画像に枠を表示したり、サムネイルによって全体の構図を表示するなどの方法をとることができる。

撮像中の動画が背景画像の範囲に無い旨を通知されたユーザは、速やかに動画の撮像を終了する。

動画の撮像が終了した場合は、撮像装置１０の位置合わせ処理部２０１が、撮像された動画データと背景画像との位置合わせを行う。この位置合わせ処理の結果に基づいて、合成処理部２０２は、図８に示すように、動画データと背景画像とを合成する。合成された動画データは、記憶部１０５に記憶される。

このような処理によって、高解像度の背景画像と同じ解像度の動画データが合成される。

以上のように、本発明の第２の実施形態では、予め背景画像となる静止画データを撮像しておき、その後動画データを撮像する場合にも、前述の第１の実施の形態と同様に、ユーザが高度な撮像技術を備えていなくても、高精細な動画を撮像することができる。

（第３実施形態）
次に、第３の実施形態について説明する。

第３の実施形態は、前述の第１及び第２の実施形態に加えて、出力される動画データのトリミング処理を行う。なお、第１及び第２の実施形態と同一の構成には同一の符号を付し、その説明は省略する。

前述の第１の実施形態において、図５のステップＳ１０７で動画データが合成される。同様に前述の第２の実施形態において、図９のステップＳ２０９において、動画データが合成される。この合成される動画データは、背景画像と同じ解像度の動画である。

第３の実施形態は、この合成処理の後、主要被写体を中心として、必要な画角のみを切り出す切り出し処理を実行する。

図１１は、本発明の第３の実施形態のトリミング処理の説明図である。

切り出し処理は、合成処理部２０２が、主要被写体を中心とした任意の画角を設定する。そして、動画データの各フレームから、主要被写体を中心とした任意の画角を切り出す。切り出した各フレームをつなぎ合わせて、新たな動画データを生成する。この動画データを記憶部１０５に記憶する。

以上のように、第３の実施形態では、ユーザが動画データの撮像時に、手ぶれや位置ずれがあったとしても、トリミングされて合成される動画データは、主要被写体を中心とした動画データとすることができる。これにより、手ぶれや位置ずれのない高品位な流し撮り映像を得ることができる。

なお、主要被写体の選択や画角の設定は、合成処理部２０２が自動的に行ってもよいし、ユーザからの指示によって任意に設定してもよい。

（第４実施形態）
次に、第４の実施形態について説明する。

第４の実施形態は、前述の第３の実施形態において説明したトリミング処理において、より臨場感の高い映像を生成する処理を行う。なお、第１から第３の実施形態と同一の構成には同一の符号を付し、その説明は省略する。

図１２は、本発明の第４の実施形態のトリミング処理の説明図である。

前述の第３の実施形態の切り出し処理のように、合成処理部２０２が、主要被写体を中心とした任意の画角を切り出して、切り出した各フレームをつなぎ合わせて、新たな動画データを生成する。

この処理で、合成処理部２０２は、背景画像に対して、被写体の動きに合わせた処理を行う。具体的には、合成処理部２０２が、移動被写体撮像時の撮像装置１０の動きの早さをカメラ姿勢検出部１０４が取得した情報から取得して、背景の流れ度を算出する。そして、算出された流れ度に基づいて、背景画像に処理を行う。すなわち、流れ度に基づいて背景画像が移動しているように画像処理を行う。

そして、背景画像に画像処理を行った後、各フレームを合成して動画データを生成する。なお、動画データのフレームの一つを、静止画データとして記憶してもよい。

以上のように、第４の実施形態では、より臨場感が高い動画データ又は静止画データを生成することができる。

（第５実施形態）
次に、第５実施形態について説明する。

第５の実施形態は、前述の第１の実施形態において説明した背景画像の撮像処理が異なる。なお、第１から第４の実施形態と同一の構成には同一の符号を付し、その説明は省略する。

前述の第１の実施形態の図５のステップＳ１０４の処理において、画角決定部３０１が、背景画像となる静止画の画角を算出する。このとき、画角決定部３０１は、算出された画角が、撮像レンズ１１１が撮像できる画角よりも大きいと判定した場合は、背景画像を分割して撮像するように指示する。

図１３は、本発明の第５の実施形態の背景画像の撮像処理の説明図である。

前述の第１の実施形態の図５のステップＳ１０４の処理において、撮像レンズ１１１が撮像できる画角よりも大きいと判定した場合は、画角決定部３０１は、カメラ姿勢検出部１０４によって取得されたカメラの姿勢データ及びズーム制御部３０３によって制御された撮像レンズの焦点距離等に基づいて、複数の画像によって背景画像を撮像する指示を出力する。

指示情報出力部１０７は、この指示に基づいて、ユーザに対して、複数の撮像方向による複数の静止画を撮像する指示を、表示部１０６に表示する。

ユーザは、この指示情報を参照して画角を設定し、背景画像となる静止画を複数撮像する。撮像された静止画は記憶部１０５に記憶される。

記憶部１０５に記憶された複数の静止画は、合成処理部２０２が、一つの背景画像として合成し、新たに記憶部１０５に記憶する。

以上のように、第５の実施形態では、撮像レンズ１１１の広角側の画角を超える範囲の画角を背景画像として設定することができる。

以上のように、本発明の実施形態では、静止画と動画とを合成することにより、より高精細な動画データを生成することができ、また、主要被写体を中心として切り出すことによって、手ぶれや位置ずれなどの撮像の失敗の要素となる要因を排除することができる。

なお、カメラ姿勢検出部１０４は、加速度センサ、ジャイロセンサ、磁気センサ又はＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）等の位置情報を計測するセンサによって構成される。

なお、このような位置情報を計測するセンサを用いず、画像のパターンマッチングのみによってカメラ姿勢を検出するように構成してもよい。

また、指示情報出力部１０７によって出力される指示情報は、必ずしも表示部１０６への表示に限られず、例えば、音、振動、ランプの発光・点滅等によって指示を行ってもよい。

また、前述の実施形態では、静止画と動画とを合成して新たな動画として記憶したが、必ずしも新たな動画として記憶する必要はなく、元の画像データ（静止画及び動画）のみを記憶しておき、再生時に合成や切り出しを行うようにしてもよい。このようにすることによって、画像データのデータ量を減らすことができる。

また、移動被写体を撮像した動画データは、フレーム間差分等を用いて移動被写体のみを切り出し、背景部分を削除した動画データとして記憶してもよい。このようにすることによって、動画データのデータ量を減らすことができるとともに、画像合成処理での位置合わせの自由度が増す。

また、背景画像となる静止画は、一つの動画データに対して一つの背景画像に限らず、複数の背景画像をユーザの撮像処理によって用意しておき、これを切換えて合成してもよい。

例えば動画データに対して、一定間隔で背景画像を切換えるように動画データを合成してもよい。また、入力部１０８が取得した音声（人の声や音の条件）に応じて、撮像間隔を変更した背景画像を、適宜切換えるように構成してもよい。

例えば、大きく歓声が上がる場面で対応する背景画像に切換えるように合成処理を行うことにより、より臨場感の高い動画データを生成することができる。

また、撮像装置１０によって撮像される動画データの画角は、静止画データの画角よりも小さくする。また、動画データの画素数は、静止画データの画素数よりも小さくする。

具体的には、動画データを静止画データに合成した場合に、動画データ又は静止画データの画素数や画角を変更することなくそのままの画角及び解像度で合成することができるように、撮像部１０１の撮像レンズ１１１の画角及びＡ／Ｄ変換部１１５から出力され、画像処理部で変換される画素数を適宜設定する。

このようにすることによって、動画データと静止画データとを合成する場合の処理が簡易となり、撮像装置１０の負荷が小さくなる。

１０ 撮像装置
１０１ 撮像部
１０２ 画像処理部
１０３ 制御部
１０４ カメラ姿勢検出部
１０５ 記憶部
１０６ 表示部
１０７ 指示情報出力部
１１１ 撮像レンズ（光学系）
２０１ 位置合わせ処理部
２０２ 合成処理部
３０１ 画角決定部

Claims (9)

1. 焦点距離を変更可能な光学系よって結像された被写体像を画像信号に変換し、前記画像信号を画像データとして出力する撮像部と、
   前記出力される画像データを静止画データ又は動画データとして記憶部に記憶する画像処理部と、
   撮像中又は前記記憶部に記憶された前記静止画データ又は前記動画データを表示する表示部と、
   を備えた撮像装置であって、
   前記画像処理部は、前記静止画データとして撮像される画像の画角内に、前記動画データとして撮像される画像の画角が合致する位置を検出する位置合わせ処理部を備えたことを特徴とする撮像装置。
2. 前記記憶された動画データの各フレームを包括する画角の範囲を算出する画角決定部と、
   前記画角決定部によって算出された画角に関する情報を、前記表示部に出力する指示情報出力部と、
   を備え、
   前記画角決定部は、前記記憶された静止画データの画角の範囲内に、撮像中の動画データの各フレームの画角が包括されているか否かを判定し、
   撮像中の動画データのフレームの画角が、前記記憶された静止画データの画角に包括されないと判定した場合は、前記指示情報出力部は、その旨を前記表示部に出力することを特徴とする請求項１に記載の撮像装置。
3. 前記記憶された動画データの各フレームを包括する画角の範囲を算出する画角決定部と、
   前記画角決定部によって算出された画角に関する情報を、前記表示部に出力する指示情報出力部と、
   を備え、
   前記指示情報出力部は、前記表示部に表示される撮像中の静止画データ中に、前記記憶部に記憶された動画データの各フレームを包括する画角の範囲を表示することを特徴とする請求項１に記載の撮像装置。
4. 前記指示情報出力部は、前記表示部に、撮像中の動画データの各フレームの画角が、前記記憶部に記憶された静止画データの画角の範囲内であるかを表示することを特徴とする請求項２に記載の撮像装置。
5. 前記指示情報出力部は、前記表示部に、撮像中の静止画データの画角が、前記記憶部に記憶された動画データの各フレームの画角を包括する画角であるかを表示することを特徴とする請求項３に記載の撮像装置。
6. 前記画像処理部は、前記記憶された静止画データを、前記記憶された動画データの各フレームに合成して、新たな動画データを生成する画像合成部を備えることを特徴とする請求項１に記載の撮像装置。
7. 前記記憶部には、複数の前記静止データが記憶され、
   前記画像合成部は、前記記憶された複数の静止画データから一の静止画データを選択することを特徴とする請求項６に記載の撮像装置。
8. 音声を取得する音声取得部を備え、
   前記音声取得部が取得した音声の大きさに基づいて、前記記憶された複数の静止画から一の静止画データを選択することを特徴とする請求項６に記載の撮像装置。
9. 更に、撮像装置の姿勢および位置を取得するカメラ姿勢検出部を有し、
   前記画角決定部は、前記カメラ姿勢検出部が取得した情報に基づき画角の範囲を算出することを特徴とする請求項２および請求項３に記載の撮像装置。

Images