JP2014112796A - 撮像装置および撮像方法 - Google Patents

Abstract

【課題】ユーザーが意図した被写体を、綺麗にパノラマ画像の中に残す撮像装置を提供する。
【解決手段】撮像装置１は、撮像部１０と、受付部と、基準画像設定部と、画像合成部とを有する。撮像部１０は、パノラマ画像Ｐ１の生成のために、一定の方向に沿って連続する複数のフレーム画像Ｆ１〜Ｆ５を撮像する。受付部は、撮像部１０による連続撮像中に、ユーザーＵ１からの指示を受け付ける。基準画像設定部は、受付部がユーザーＵ１からの指示を受け付けた際に、撮像部１０により撮像されているフレーム画像Ｆ３を基準画像ＫＦとして設定する。画像合成部は、基準画像設定部により設定された基準画像ＫＦ（Ｆ３）の周辺に、他のフレーム画像を合成して、パノラマ画像Ｐ１を生成する。
【選択図】図３

Description

本発明は、パノラマ画像を生成する撮像装置および撮像方法に関する。

近年、通常の写真よりも幅広な撮影、いわゆるパノラマ撮影を行えるカメラがある。パノラマ撮影の際には、たとえば、カメラをスイングし、スイング中に撮影した画像を合成して、通常の写真よりもスイング方向に幅があるパノラマ画像が得られる。パノラマ画像に関しては、種々の改良がされている。パノラマ画像の撮影に際して、ユーザーが意図した被写体を、パノラマ画像中の幅方向の任意の位置に収めることは難しい。たとえば、パノラマ画像において、意図した被写体を画面の中央に収めるためには、当該被写体の側方からカメラのスイングを始めて、被写体を視野に収めた後、スイング開始から同じ量だけスイングする必要がある。

意図した被写体をパノラマ画像の任意の位置に収めるために、スイング量を示すカメラが提案されている（たとえば、特許文献１参照）。特許文献１記載の発明によれば、ユーザーは、予め、パノラマ画像のどの位置に意図した被写体を収めるかを指定できる。ユーザーがパノラマ画像の撮影のためにスイングを始め、意図した被写体が視野に入ったところで所定のボタンを押下すると、カメラは、ボタン押下された時点で被写体が撮影されたことを検知する。カメラは、スイング開始からボタン押下までの画像の幅と、予め指定された被写体の所望の位置とを考慮して、残りのスイング量を計算し、ディスプレイ等を通じてユーザーに示す。

特開２０１２−１０５１２２号公報

しかしながら、上記特許文献１記載の発明では、所望の位置に意図した被写体が配置されたパノラマ画像が得られるものの、意図した被写体が綺麗に表示されるとは限らない。なぜなら、パノラマ画像を形成する際には、カメラスイング中に撮影した複数のフレーム画像を合成するからである。当然、意図した被写体も、複数のフレーム画像を合成することにより形成されるので、フレーム画像間のつなぎ合わせより生じる歪が意図した被写体にも表れてしまう場合がある。これでは、折角意図した被写体を所望の位置に撮影できても、肝心の意図した被写体が綺麗ではない。

本発明は上記事情に鑑みてなされたものであり、ユーザーが意図した被写体を、綺麗にパノラマ画像の中に残す撮像装置および撮像方法を提供することを目的とする。

上記目的は、下記の手段によって達成される。

撮像装置は、撮像部と、受付部と、基準画像設定部と、画像合成部とを有する。撮像部は、パノラマ画像の生成のために、一定の方向に沿って連続する複数のフレーム画像を撮像する。受付部は、撮像部による連続撮像中に、ユーザーからの指示を受け付ける。基準画像設定部は、受付部がユーザーからの指示を受け付けた際に、撮像部により撮像されているフレーム画像を基準画像として設定する。画像合成部は、基準画像設定部により設定された基準画像の周辺に、他のフレーム画像を合成して、パノラマ画像を生成する。

撮像方法は、撮像ステップと、受付ステップと、基準画像設定ステップと、画像合成ステップとを有する。撮像ステップは、パノラマ画像の生成のために、一定の方向に沿って連続する複数のフレーム画像を撮像する。受付ステップは、撮像ステップにおける連続撮像中に、ユーザーからの指示を受け付ける。基準画像設定ステップは、受付ステップにおいてユーザーからの指示が受け付けられた際に、撮像ステップにおいて撮像されているフレーム画像を基準画像として設定する。画像合成ステップは、基準画像設定ステップにおいて設定された基準画像の周辺に、他のフレーム画像を合成して、パノラマ画像を生成する。

撮像装置および撮像方法によれば、一定の方向に連続する複数のフレーム画像の撮像中に、ユーザーから基準画像の指定を受け付け、指定された基準画像の周辺に他のフレーム画像を合成してパノラマ画像生成処理を行う。これにより、ユーザーが意図した被写体を綺麗に残してパノラマ画像を生成できる。

本発明の実施形態に係るカメラの概略構成を示すブロック図である。 第１実施形態のカメラにより実行される処理の手順を示すフローチャートである。 パノラマ画像の生成処理を行う様子を示す概念図である。 パノラマ画像の生成処理を行う様子を示す概念図である。 撮像部により撮像されるフレーム画像および表示部に表示される表示用画像の一例を示す図である。 基準画像の表示領域に基づきパノラマ画像を合成する様子を模式的に示す図である。 第２実施形態のカメラにより実行される処理の手順を示すフローチャートである。 測距位置に基づいて表示用画像における表示領域を決定する様子を模式的に示す図である。 パノラマ画像の合成に失敗した様子を示す図である。 パノラマ画像の基準画像および合成範囲を変更する様子を示す図である。

以下、添付した図面を参照して、本発明の実施形態を説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。また、図面の寸法比率は、説明の都合上誇張されており、実際の比率とは異なる場合がある。

（第１実施形態）
図１は、本発明の実施形態に係るカメラの概略構成を示すブロック図である。

図１に示すとおり、撮像装置としてのカメラ１は、撮像部１０、表示部２０、操作部３０、姿勢検出部４０、記録メディア５０および制御部６０を有する。

撮像部１０は、被写体を撮像し、画像（画像データ）を生成する。撮像部１０は、パノラマ画像を生成するために、連続した複数の画像（フレーム画像）を生成する。撮像部１０は、被写体を結像する光学系１１と、光学系１１により結像された被写体を撮像するＣＭＯＳセンサー１２とを有する。光学系１１は、ズーム用光学素子、絞りおよびフォーカス用光学素子を有し、これらは、ドライバ１３、１４、１５を介して制御部６０により制御される。ＣＭＯＳセンサー１２は、ＴＧ（タイミングコントローラ）１６を介して制御部６０により制御される。

表示部２０は、たとえば、液晶ディスプレイ（ＬＣＤ）や有機ＥＬディスプレイであり、画像や各種情報を表示する。表示部２０は、カメラ１の筐体（不図示）の背面に設けられ、撮像部１０により被写体を撮像して得られる画像データに基づく画像を表示する。表示部２０は、表示部ドライバ６８を介して制御部６０により制御される。

操作部３０は、シャッターボタン、上下左右キー、電源スイッチ、モードダイアル等であり、ユーザーからの各種指示の入力に使用される。また、操作部３０は、表示部２０のディスプレイにおいて、タッチパネル方式により実現されてもよい。

姿勢検出部４０は、カメラ１の動き、傾き等の姿勢の変化を検出する。姿勢検出部４０は、たとえば、ジャイロセンサー等の角速度センサーが用いられる。また、姿勢検出部４０として、加速度センサーや地磁気センサーが用いられてもよい。姿勢検出部４０は、カメラ１の姿勢変化の検出結果を示す信号を制御部６０に供給する。

記録メディア５０は、画像データを記録する。記録メディア５０は、カメラ１に挿脱可能に設けられ、撮像部１０により被写体を撮像して得られる画像データを記録する。記録メディア５０への画像データの記録および記録メディア５０からの画像データの消去は、メディアコントローラ６９を介して制御部６０により制御される。

制御部６０は、ＣＰＵ６１、ＶＲＡＭ６２、ＳＤＲＡＭ６３、ＥＥＰＲＯＭ６４、画像入力コントローラ６５、画像信号処理回路６６、圧縮処理回路６７、表示部ドライバ６８、およびメディアコントローラ６９を有し、これらは、バスを介して相互に通信可能に接続されている。

ＣＰＵ６１は、プログラムにしたがって上記各部の制御や各種の演算処理を行う。ＶＲＡＭ６２およびＳＤＲＡＭ６３は、作業領域として一時的にプログラムやデータを記憶する。ＥＥＰＲＯＭ６４は、各種プログラムや各種データを格納する。

画像入力コントローラ６５は、ＣＭＯＳセンサー１２からの出力信号を取り込んで、ＳＤＲＡＭ６３に書き込む。画像信号処理回路６６は、撮像中のフレーム画像データから表示用画像データを生成する表示用画像生成処理等の各種画像処理を実行する。

圧縮処理回路６７は、画像データの圧縮処理を実行する。表示部ドライバ６８は、表示部２０を制御する。メディアコントローラ６９は、記録メディア５０に対する画像データの記録や消去を制御する。

また、ＣＰＵ６１は、ＥＥＰＲＯＭ６４に記憶されているプログラムを実行することによって、受付部、基準画像設定部、画像合成部、割合記憶部として機能する。ここで、受付部は、撮像中にユーザーからの基準画像を指定するための指示を受け付ける。基準画像設定部は、操作部３０においてユーザーからの指示を受け付けた際に、撮像部１０により撮像されているフレーム画像を基準画像として設定する。画像合成部は、基準画像の周辺に他のフレーム画像を合成してパノラマ画像を生成する。割合記憶部は、表示用画像を生成する際に撮像中のフレーム画像から削除する一定の割合を記憶する。各部の具体的な処理内容については後述する。

なお、カメラ１は、上述した構成要素以外の構成要素を含んでいてもよく、あるいは、上述した構成要素のうちの一部が含まれていなくてもよい。

次に、本実施形態におけるカメラ１の動作について説明する。

カメラ１は、パノラマ画像生成のための複数のフレーム画像の連続撮像中に、ユーザーから基準画像の指定を受け付け、指定された基準画像の周辺に他のフレーム画像を合成してパノラマ画像生成処理を行う。

図２は、第１実施形態のカメラにより実行される処理の手順を示すフローチャートである。図２のフローチャートに示されるアルゴリズムは、カメラ１のＥＥＰＲＯＭ６４にプログラムとして記憶されており、ＣＰＵ６１により実行される。

図２に示すように、カメラ１は、ユーザーによる操作部３０のシャッターボタン押下等の操作に従い、パノラマ画像の生成を開始する（ステップＳ１０１）。

カメラ１は、撮像部１０を制御することにより、複数のフレーム画像を連続して生成しつつ、撮像部１０が撮像して得た画像データに基づく表示用画像を表示部２０に表示する（ステップＳ１０２）。ここで、ユーザーがカメラ１をスイングしたり直線移動させたりすることにより、カメラ１は、一定の方向に沿って連続した複数のフレーム画像を撮像できる。カメラ１は、ユーザーが適切にカメラを移動させられるように、表示部２０に移動方向等を示すガイドを表示してもよい。カメラ１は、連続撮像を行うために、たとえば、時系列で一定間隔毎にフレーム画像を撮像する。あるいは、カメラ１は、姿勢検出部４０から取得する信号に基づいて、カメラ１の姿勢や位置が一定量変化する毎に撮像してもよい。また、カメラ１は、撮像されたフレーム画像を解析することによりカメラ１の姿勢や位置の変化を検出し、カメラ１の姿勢や位置が一定量変化する毎に撮像してもよい。カメラ１は、撮像されたフレーム画像をＳＤＲＡＭ６３に記憶する。連続撮像処理について、詳細は後述する。

続いて、カメラ１は、受付部として、ユーザーによる基準画像を設定するための指示を受け付けたか否かを判断する（ステップＳ１０３）。ユーザーによる指示は、たとえば、撮像前のピント合わせに用いられる操作であるシャッターボタンの半押しや、タッチパネルへのタッチにより行われる。あるいは、ユーザーによる指示は、撮像中のカメラ１に振動を与えて撮像の妨げとならないように、音声認識による操作として行われてもよい。

ユーザーからの指示が受け付けられていない場合（ステップＳ１０３：ＮＯ）、カメラ１は、ステップＳ１０５の処理に進む。ユーザーからの指示が受け付けられた場合（ステップＳ１０３：ＹＥＳ）、カメラ１は、基準画像設定部として、指示を受け付けた時点で撮像部１０により撮像されているフレーム画像を、基準画像として設定する（ステップＳ１０４）。ここで、カメラ１は、ステップＳ１０４において、撮像部１０によって新たにフレーム画像を撮像し、新たに撮像したフレーム画像を基準画像として設定してもよい。カメラ１は、設定した基準画像をＳＤＲＡＭ６３に記憶する。基準画像設定処理について、詳細は後述する。

続いて、カメラ１は、フレーム画像の連続撮像が終了したか否かを判断する（ステップＳ１０５）。連続撮像の終了は、ユーザーによる操作部３０のシャッターボタン等の押下により判断される。あるいは、連続撮像の終了は、連続撮像の開始時からの経過時間が所定の時間に到達したことにより判断されてもよく、カメラ１の姿勢や位置の変化量が所定の量に到達したことにより判断されてもよい。連続撮像が終了していない場合（ステップＳ１０５：ＮＯ）、カメラ１は、ステップＳ１０２に戻り、フレーム画像の撮像を継続する。連続撮像が終了した場合（ステップＳ１０５：ＹＥＳ）、カメラ１はステップＳ１０６の処理に進む。

カメラ１は、画像合成部として、ステップＳ１０２において撮像された複数のフレーム画像と、ステップＳ１０４において設定された基準画像とに基づいて、パノラマ画像を生成する（ステップＳ１０６）。カメラ１は、基準画像をパノラマ画像生成の起点として、その周囲に複数のフレーム画像を合成することによりパノラマ画像を生成する。パノラマ画像生成処理について、詳細は後述する。

カメラ１は、ステップＳ１０６において生成したパノラマ画像を、表示部２０のディスプレイに表示する（ステップＳ１０７）。カメラ１は、生成したパノラマ画像を、ＳＤＲＡＭ６３または、記録メディア５０に保存して処理を終了する（ステップＳ１０８）。

次に、図２のフローチャートに示す各処理について、具体的な動作の例を説明する。

図３および図４は、パノラマ画像の生成処理を行う様子を示す概念図である。

図３および図４において、（Ａ）〜（Ｃ）はパノラマ画像の連続撮像処理を行う様子を上方から見た概略図である。（Ａ）はフレーム画像の連続撮像を開始する様子を示し、（Ｂ）は連続撮像中に基準画像を設定する様子を示し、（Ｃ）は連続撮像を終了する様子を示す。また、（Ｄ）は、基準画像の周辺に他のフレーム画像を合成してパノラマ画像を生成する様子を示す。

［連続撮像処理および基準画像設定処理］
まず、図２のステップＳ１０２およびステップＳ１０４に示す、連続撮像処理および基準画像設定処理について説明する。

図３（Ａ）に示すように、ユーザーＵ１は、パノラマ画像を生成するために、たとえば、カメラ１のシャッターボタンを押下してフレーム画像の撮像を開始する。撮像が開始されると、カメラ１は、フレーム画像Ｆ１を撮像し、ＳＤＲＡＭ６３に記憶する。

続いて、図３（Ｂ）に示すように、ユーザーＵ１はカメラ１を矢印の方向にスイングしながら連続撮像を行い、たとえば、人物等の最も撮像したい被写体がフレーム画像に収まる位置で、シャッターボタンを半分押下する。カメラ１は、フレーム画像Ｆ１に続いて、フレーム画像Ｆ２、Ｆ３を撮像し、ＳＤＲＡＭ６３に記憶する。また、カメラ１は、フレーム画像Ｆ３を撮像した時点でユーザーによる指示を受け付けているため、フレーム画像Ｆ３を基準画像ＫＦとして設定する。カメラ１は、Ｆ３が基準画像ＫＦである旨をＳＤＲＡＭ６３に記憶する。

続いて、図３（Ｃ）に示すように、ユーザーＵ１は、引き続きカメラ１を矢印の方向にスイングし、たとえば、撮像を終了したい位置でシャッターボタンを押下して連続撮像を終了する。カメラ１は、撮像終了までに撮像したフレーム画像Ｆ４、Ｆ５をＳＤＲＡＭ６３に記憶する。

［パノラマ画像合成処理］
次に、図２のステップＳ１０６に示すパノラマ画像合成処理について説明する。

図３（Ｄ）に示すように、カメラ１は、図（Ａ）〜（Ｃ）の工程においてＳＤＲＡＭ６３に記憶された基準画像ＫＦ（Ｆ３）と、フレーム画像Ｆ１、Ｆ２、Ｆ４、Ｆ５とに基づいて、パノラマ画像Ｐ１の合成を行う。

まず、カメラ１は、ステップ（１）として、基準画像ＫＦ（Ｆ３）をパノラマ画像の元となる原画像として設定する。次に、カメラ１は、ステップ（２）として、基準画像ＫＦを撮像する直前に撮像されたフレーム画像Ｆ２を、原画像として設定した基準画像ＫＦの左側に合成する。基準画像ＫＦとフレーム画像Ｆ２が重なる部分については、基準画像ＫＦの画像が残るように基準画像ＫＦを優先して合成を行う。続いて、カメラ１は、ステップ（３）として、ステップ（２）において合成された画像の左側に、フレーム画像Ｆ１をさらに合成する。ここでも、基準画像ＫＦとフレーム画像Ｆ１が重なる部分があれば、基準画像ＫＦの画像が残るように基準画像ＫＦを優先して合成を行う。

基準画像ＫＦの撮像前に撮像されたフレーム画像の合成が終了すると、カメラ１は、ステップ（４）として、基準画像ＫＦを撮像した直後に撮像されたフレーム画像Ｆ４を、ステップ（３）において合成された画像の右側（基準画像ＫＦの右側）に合成する。基準画像ＫＦとフレーム画像Ｆ４が重なる部分については、基準画像ＫＦの画像が残るように基準画像ＫＦを優先して合成を行う。続いて、カメラ１は、ステップ（５）として、ステップ（４）において合成された画像の右側に、フレーム画像Ｆ４をさらに合成する。ここでも、基準画像ＫＦとフレーム画像Ｆ５が重なる部分があれば、基準画像ＫＦの画像が残るように基準画像ＫＦを優先して合成を行う。ステップ（５）の処理が終了すると、パノラマ画像Ｐ１が完成する。カメラ１は、パノラマ画像Ｐ１を表示部２０に表示し、ＳＤＲＡＭ６３または記録メディア５０に記憶する。

図４は、図３と同様のパノラマ画像生成処理が行われる様子を示しており、基準画像ＫＦが指定される位置のみが異なる。

図３においては、撮像範囲の中央に相当するフレーム画像Ｆ３を基準画像ＫＦとして設定したが、図４においては、撮像範囲の中央ではないフレーム画像Ｆ４を基準画像ＫＦとして設定している。この場合において、カメラ１は、図３の場合と同様に、基準画像ＫＦとして設定されたフレーム画像Ｆ４を基準として、パノラマ画像の合成を行う。具体的には、図４（Ｄ）に示すように、ステップ（１）において、カメラ１は、基準画像ＫＦ（Ｆ４）をパノラマ画像の元となる原画像として設定する。次に、ステップ（２）〜（５）において、図３の場合と同様に、フレーム画像Ｆ３、Ｆ２、Ｆ１、Ｆ５の順番で合成処理を行う。これにより、パノラマ画像Ｐ２が完成する。カメラ１は、パノラマ画像Ｐ２を表示部２０に表示し、ＳＤＲＡＭ６３または記録メディア５０に記憶する。

［表示用画像］
上記において、たとえば、ユーザーＵ１が手に持ったカメラ１を横にスイングして連続撮像を行う場合、撮像されるフレーム画像は、手振れにより縦方向にずれている可能性が高い。その結果、図３（Ｄ）に示す処理により、基準画像を残しつつ、一定の方向に沿って連続したパノラマ画像を生成しようとすると、フレーム画像がずれた部分については画像が撮像されていないため、当該ずれた部分が欠けたパノラマ画像が生成されることになる。この場合、ユーザーが意図した被写体をパノラマ画像の中に残すことはできるが、一定の方向に沿って連続した綺麗なパノラマ画像を生成することはできず、好ましくない。

そこで、本実施形態においては、一定の方向に沿って連続して撮像されるフレーム画像について、一定の方向に交差する高さ方向の上下を一定の割合により削除した画像を、表示用画像として表示部２０に表示する。このような表示用画像を用いることにより、ユーザーが意図した被写体を残しつつ、一定の方向に沿って連続した綺麗なパノラマ画像を生成できる。以下、詳細について説明する。

まず、表示用画像について詳細に説明する。

図５は、撮像部により撮像されるフレーム画像および表示部に表示される表示用画像の一例を示す図である。図５において、（Ａ）は撮像部１０により撮像されるフレーム画像１００を示し、（Ｂ）は撮像されたフレーム画像１００と表示領域１１０との関係を示す。

図５（Ａ）、（Ｂ）に示すように、一定の方向に沿って連続して撮像されるフレーム画像１００は、一定の方向に交差する高さ方向の上下を一定の割合により削除した表示領域１１０と、当該表示領域１１０に含まれず削除される非表示領域１２０とから構成される。表示領域１１０は、表示用画像として表示部２０に表示される。非表示領域１２０は、表示部２０には表示されないが、フレーム画像１００の一部としてＳＤＲＡＭ６３に記憶される。

次に、表示用画像と生成されるパノラマ画像との関係について詳細に説明する。

図６は、基準画像の表示領域に基づきパノラマ画像を合成する様子を模式的に示す図である。図６において、（Ａ）は連続撮像されたフレーム画像Ｆ６１〜Ｆ６５と各フレーム画像の表示領域１１０を示し、（Ｂ）は基準画像ＫＦ（Ｆ６３）の表示領域１１０に基づいてパノラマ画像の合成範囲１３０を決定する様子を示す。また、（Ｃ）は合成範囲１３０に従って生成されたパノラマ画像Ｐ３を示す。

図６（Ａ）に示すように、連続撮像されたフレーム画像Ｆ６１〜Ｆ６５は、撮像範囲が上下にずれている。また、フレーム画像Ｆ６３が基準画像ＫＦとして設定されている。撮像範囲のずれは、画像解析によって得られる各フレーム画像における特徴点同士の位置比較や、姿勢検出部４０から得られる撮像中のカメラ１の姿勢や位置の変化に関する情報の解析といった一般的なパノラマ画像合成方法によって判断される。

ここで、連続撮像時において、ユーザーＵ１が撮像される画像を確認するために見ている表示部２０には、フレーム画像の表示領域１１０が表示用画像として表示されている。当然、ユーザーＵ１は、基準画像ＫＦを指定する際においても、表示部２０に表示された表示領域１１０を見ながら指定する。すなわち、ユーザーがパノラマ画像に残したい画像は、基準画像ＫＦの表示領域１１０に表示される画像のことである。したがって、基準画像ＫＦの表示領域１１０を残して、一定の方向に沿って連続した切れ目のないパノラマ画像を生成できれば、ユーザーが意図した被写体を残しつつ、一定の方向に沿って連続した綺麗なパノラマ画像を生成できることになる。

上記より、カメラ１は、図６（Ａ）に示すように、基準画像ＫＦの表示領域１１０を残しつつ、一定の方向に沿って連続した綺麗なパノラマ画像を生成するために、基準画像ＫＦの高さに合わせてパノラマ画像合成範囲１３０を決定する。ここで、フレーム画像Ｆ６２の上部やフレーム画像Ｆ６４の下部は、パノラマ画像合成範囲１３０に含まれているが、撮像範囲のずれにより、表示領域１１０においては途中で切れてしまっている。しかし、図６（Ｂ）に示すように、フレーム画像１００は、表示領域１１０だけでなく非表示領域１２０も記憶しているため、パノラマ画像合成範囲１３０に含まれる画像は、全てフレーム画像１００の一部として記憶されている。したがって、カメラ１は、基準画像ＫＦの表示領域１１０を部分基準画像ＫＦａとして設定し、フレーム画像１００においてパノラマ画像合成範囲１３０に含まれる部分を、図３（Ｄ）と同様の方法を用いて合成できる。

以上のように、第１実施形態のカメラ１によれば、一定の方向に沿って連続する複数のフレーム画像の撮像中に、ユーザーから基準画像ＫＦの指定を受け付け、指定された基準画像ＫＦの周辺に他のフレーム画像を合成してパノラマ画像生成処理を行う。これにより、ユーザーが意図した被写体を確実に残してパノラマ画像を生成できる。

また、カメラ１は、基準画像ＫＦについて、一定の方向に交差する高さ方向の上下を削除して表示部２０に表示された部分を部分基準画像ＫＦａとし、部分基準画像ＫＦａの周辺に、高さを合わせた他のフレーム画像の一部を合成してパノラマ画像を生成する。これにより、ユーザーが意図した被写体を確実に残しつつ（図６（Ｃ）の点線部分）、一定の方向に沿って連続した綺麗なパノラマ画像を生成できる。ユーザーが表示部２０において確認した部分基準画像ＫＦａは全体が残るので、パノラマ画像においてユーザーが最も注目する部分が、ユーザーが撮像時に確認した通りとなるので、ユーザーにとって満足のパノラマ画像が得られる。

なお、本実施形態において、基準画像ＫＦの周辺にフレーム画像を合成する際、基準画像ＫＦとフレーム画像が重なる部分については、基準画像ＫＦの画像が残るように基準画像ＫＦを優先して合成を行うものとして説明したが、これに限定されない。基準画像ＫＦの中心部については基準画像ＫＦの画像が残るように優先して合成し、基準画像ＫＦの周縁部については一般的なパノラマ画像の合成方法により、自然なパノラマとなるように他のフレーム画像と合成してもよい。あるいは、画像解析による顔認識等に基づいて基準画像ＫＦの中で主要部分を抽出し、当該主要部分の画像が残るように優先して他のフレーム画像と合成してもよい。

また、本実施形態において、撮像されたフレーム画像は全てパノラマ画像として合成されるものとして説明したが、これに限定されない。カメラ１は、たとえば、撮像のタイミングや撮像時の姿勢といった様々な条件に基づいて、撮像された全てのフレーム画像の中からパノラマ画像生成に必要なフレーム画像を選択できる。この場合、ユーザーから基準画像の設定を受け付けた時点で撮像していたフレーム画像については、基準画像ＫＦとなるためフレーム画像として選択される。また、連続撮像の間隔が大きい場合等において、ユーザーから基準画像の指示を受け付けた時点で撮像していたフレーム画像に相当するものがなければ、カメラ１は、指示を受け付けた時点でフレーム画像の撮像を行ってもよい。カメラ１は、撮像されたフレーム画像を基準画像ＫＦに設定する。

また、本実施形態において、一定の方向に沿って連続するフレーム画像を撮像するために、ユーザーがカメラ１をスイングするものとして説明したが、これに限定されない。カメラ１自身が移動するための機構を備えて、一定の方向に沿って移動しながら連続するフレーム画像を撮像してもよく、あるいは、カメラ１を一定の方向に沿って移動する車両等に搭載して、一定の方向に沿って連続するフレーム画像を撮像してもよい。

また、本実施形態において、連続するフレーム画像の撮像は、左から右の方向に沿って行うものとして説明したが、これに限定されない。連続するフレーム画像の撮像は、右から左、下から上、上から下、あるいは斜めの方向等、一定の方向であればいかなる方向に沿って行われてもよい。

（第２実施形態）
次に、第２実施形態のカメラ１について説明する。

第１実施形態においては、一定の方向に連続して撮像されるフレーム画像について、高さ方向の上下を一定の割合により削除して表示用画像として表示部２０に表示することにより、手振れの影響を抑えてユーザーの意図するパノラマ画像を生成している。しかし、撮像する被写体との距離やズーム倍率の設定状態等によって、手振れが画像に与える影響の度合いは異なる。たとえば、近距離に位置する人物を撮像するときは、表示用画像において被写体である人物が占める割合が大きいため、手振れにより撮像したい被写体が表示用画像の範囲外にずれやすく、手振れが画像に与える影響の度合いが大きくなる。一方、遠距離に位置する人物を撮像するときは、表示用画像において被写体である人物が占める割合が小さいため、手振れがあっても、撮像したい被写体が表示用画像の範囲外にずれにくく、手振れが画像に与える影響の度合いが小さくなる。このように、被写体との距離によって、手振れが画像に与える影響の度合いは異なり、表示用画像を生成する際にフレーム画像の高さ方向の上下を削除する一定の割合も、適切な値が異なる。そこで、第２実施形態においては、カメラ１は、被写体との距離やズーム倍率の設定状態等の撮像条件に応じて、表示用画像を生成する際のフレーム画像の高さ方向の上下を削除する割合を変更する。

以下においては、第１実施形態と重複する部分の説明は省略し、第１実施形態と異なる部分を中心に説明する。

第２実施形態に係るカメラ１の構成は、第１実施形態と同様である。

次に、第２実施形態におけるカメラ１の動作について説明する。

図７は、第２実施形態のカメラにより実行される処理の手順を示すフローチャートであり、図８は、測距位置に基づいて表示用画像における表示領域を決定する様子を模式的に示す図であり、図９は、パノラマ画像の合成に失敗した様子を示す図である。

図７のフローチャートに示されるアルゴリズムは、カメラ１のＥＥＰＲＯＭ６４にプログラムとして記憶されており、ＣＰＵ６１により実行される。図８において、（Ａ）は測距位置が遠い場合の表示領域を示し、（Ｂ）は測距位置が近い場合の表示領域を示す。図９において、（Ａ）は連続撮像されたフレーム画像Ｆ９１〜Ｆ９５と各フレーム画像の表示領域１１０を示し、（Ｂ）は基準画像ＫＦ（Ｆ９３）の表示領域１１０に基づいてパノラマ画像の合成範囲１３０を決定する様子を示す。また、（Ｃ）は合成範囲１３０に従って生成されたパノラマ画像Ｐ４を示す。

図７に示すように、カメラ１は、撮像部１０を制御して、オートフォーカス機能によるピント合わせ時等に取得されるカメラと被写体との距離を表す測距情報と、ズームの倍率を表すズーム倍率情報とを取得する（ステップＳ２０１）。

続いて、カメラ１は、ステップＳ２０１において取得した測距情報とズーム倍率情報とに基づいて、表示用画像を生成する際にフレーム画像の高さ方向の上下を削除する一定の割合を決定する（ステップＳ２０２）。ここで、カメラ１は、図８（Ａ）に示すように、測距情報により示される被写体との距離が大きいほど、一定の割合を小さくする。また、図８（Ｂ）に示すように、測距情報により示される被写体との距離が小さいほど、一定の割合を大きくする。同様に、カメラ１は、ズーム倍率情報により示されるズーム倍率が小さいほど、手振れの影響が小さいと考えられるため、一定の割合を小さくする。また、ズーム倍率情報により示されるズーム倍率が大きいほど、手振れの影響が大きいと考えられるため、一定の割合を大きくする。測距情報およびズーム倍率情報に応じた一定に割合の値は、たとえば、５％〜４０％程度の範囲で適切な値を設定できる。カメラ１は、決定した一定の割合に従って、表示用画像を生成して表示部２０に表示し、ステップＳ２０３の処理に進む。

続いて、ステップＳ２０３〜ステップＳ２０８の処理は、図２における、ステップＳ１０２〜ステップＳ１０６の処理と同様である。したがって、説明は省略する。

ステップＳ２０８においてパノラマ画像合成を行った後、カメラ１は、パノラマ画像の合成が成功したか否かを判断する（ステップＳ２０９）。成否判断は、図６に示すように、フレーム画像の上下におけるぶれが少なく、ユーザーが意図した被写体である部分基準画像ＫＦａを残しつつ、一定の方向に連続した綺麗なパノラマ画像Ｐ３を生成できていれば成功と判断する。一方、図９（Ａ）に示すように、フレーム画像の上下におけるぶれが大きく、図９（Ｂ）、（Ｃ）に示すように、パノラマ画像を生成した際に、撮像されていない領域Ｅ１が生じてしまう場合は、失敗と判断する。

合成が失敗と判断された場合（ステップＳ２０９：ＮＯ）、カメラ１は、割合記憶部として、ステップＳ２０２で決定した一定の割合を、大きくするように修正する（ステップＳ２１０）。カメラ１は、修正された一定の割合に従って表示用画像を生成して表示部２０に表示し、ステップＳ２０３の処理に戻る。合成が成功と判断された場合（ステップＳ２０９：ＹＥＳ）、カメラ１は、ステップＳ２０８において生成したパノラマ画像を、表示部２０のディスプレイに表示する（ステップＳ２１１）。カメラ１は、生成したパノラマ画像を、ＳＤＲＡＭ６３または、記録メディア５０に保存して処理を終了する（ステップＳ２１２）。

以上のように、第２実施形態のカメラ１によれば、被写体までの距離が小さいほど、表示用画像を生成する際にフレーム画像の高さ方向の上下を削除する一定の割合を大きくする。これにより、被写体までの距離が小さく、手振れがパノラマ画像に与える影響の度合いが大きい場合には、表示用画像として表示される狭い範囲と、フレーム画像として撮像される広い範囲との差が大きくなる。したがって、手振れにより撮像したい被写体が表示用画像の範囲外にずれた場合でも、フレーム画像として当該被写体を撮像しておくことができ、パノラマ画像の合成が失敗することを抑止できる。

また、カメラ１は、基準画像ＫＦ以外のフレーム画像を、部分基準画像ＫＦａの高さに限定すると、一定の方向に連続した綺麗なパノラマ画像を生成できない場合、表示用画像を生成する際にフレーム画像の高さ方向の上下を削除する一定の割合を大きくする。これにより、手振れにより撮像したい被写体が表示用画像の範囲外にずれた場合でも、より確実にフレーム画像として当該被写体を撮像しておくことができ、パノラマ画像の合成が繰り返し失敗することを抑止できる。

（第３実施形態）
次に、第３実施形態のカメラ１について説明する。

第１および第２実施形態においては、パノラマ画像の生成は、一続きの連続撮像によって撮像された一定の方向に連続する一連のフレーム画像を合成することにより行われている。しかし、カメラの種類によっては、一続きの連続撮像によって撮像できる幅に制限があり、ユーザーが意図するパノラマ画像を生成できないことがある。そこで、第３実施形態においては、カメラ１は、一定の方向に沿って連続する一連のフレーム画像とは別に、同じ一定の方向に沿って連続する他の一連のフレーム画像をさらに撮像し、一連のフレーム画像および他の一連のフレーム画像からパノラマ画像を生成する。

以下においては、第１および第２実施形態と重複する部分の説明は省略し、第１実施形態と異なる部分を中心に説明する。

第３実施形態に係るカメラ１の構成は、第１および第２実施形態と同様である。

次に、第３実施形態におけるカメラ１の動作について説明する。

図１０は、パノラマ画像の基準画像および合成範囲を変更する様子を示す図である。

図１０において、（Ａ）は、フレーム画像Ｆ４が基準画像ＫＦに設定され、一連のフレーム画像Ｆ１〜Ｆ５の撮像が終了した様子を示す。（Ｂ）は、他の一連のフレーム画像Ｆ６〜Ｆ８の撮像が終了した様子を示す。（Ｃ）は、一連のフレーム画像Ｆ１〜Ｆ５からパノラマ画像Ｐ５を生成し、他のフレーム画像Ｆ６〜Ｆ８を記憶する様子を示す。（Ｄ）は、パノラマ画像Ｐ５に他のフレーム画像Ｆ６〜Ｆ８を合成し、新たなパノラマ画像Ｐ６を生成する様子を示す。（Ｅ）は、フレーム画像Ｆ７を基準画像ＫＦに設定し、フレーム画像Ｆ３〜Ｆ８から新たなパノラマ画像Ｐ７を生成する様子を示す。

図１０（Ａ）〜（Ｃ）に示すように、カメラ１は、一連のフレーム画像Ｆ１〜Ｆ５と他の一連のフレーム画像Ｆ６〜Ｆ８の撮像が終了すると、一連のフレーム画像Ｆ１〜Ｆ５からパノラマ画像Ｐ５を生成し、ＳＤＲＡＭ６３に記憶する。このとき、他の一連のフレーム画像Ｆ６〜Ｆ８は、一連のフレーム画像Ｆ１〜Ｆ５およびパノラマ画像Ｐ５とともに、ＳＤＲＡＭ６３に記憶される。

続いて、図１０（Ｄ）に示すように、カメラ１は、ユーザーからの指示に基づいて、一連のフレーム画像Ｆ１〜Ｆ５から生成したパノラマ画像Ｐ５に、他の一連のフレーム画像Ｆ６〜Ｆ８を合成し、新たなパノラマ画像Ｐ６を生成する。

また、図１０（Ｅ）に示すように、パノラマ画像Ｐ６の生成後、ユーザーからのさらなる指示に基づいて、一連のフレーム画像Ｆ１〜Ｆ５の一部であるフレーム画像Ｆ３〜Ｆ５と、他のフレーム画像Ｆ６〜Ｆ８とから、新たなパノラマ画像Ｐ７を生成する。その際、フレーム画像Ｆ７を基準画像ＫＦとして設定することにより、図３の場合と同様に、基準画像ＫＦとして設定されたフレーム画像Ｆ７を基準として、パノラマ画像の合成を行う。具体的には、図１０（Ｅ）に示すように、ステップ（１）において、カメラ１は、基準画像ＫＦ（Ｆ７）をパノラマ画像の元となる原画像として設定する。次に、ステップ（２）〜（６）において、図３の場合と同様に、フレーム画像Ｆ６、Ｆ５、Ｆ４、Ｆ３、Ｆ８の順番で合成処理を行う。これにより、パノラマ画像Ｐ７が完成する。カメラ１は、パノラマ画像Ｐ７を表示部２０に表示し、ＳＤＲＡＭ６３または記録メディア５０に記憶する。

以上のように、第３実施形態のカメラ１によれば、基準画像を含む一連のフレーム画像とは別に、他の一連のフレーム画像をさらに撮像し、一連のフレーム画像および他の一連のフレーム画像に含まれる任意のフレーム画像を基準画像と合成する。これにより、一続きの連続撮像によって撮像できる範囲に制限がある環境においても、ユーザーの希望どおりの範囲を有するパノラマ画像を生成できる。

また、カメラ１は、一連のフレーム画像および他の一連のフレーム画像に含まれる任意のフレーム画像の中から、新たな基準画像ＫＦを設定し、一連のフレーム画像および他の一連のフレーム画像に含まれる任意のフレーム画像を新たな基準画像ＫＦと合成する。これにより、カメラ１は、任意のフレーム画像を基準画像ＫＦとした、任意の範囲のフレーム画像を含むパノラマ画像を生成できる。したがって、ユーザーは、所望の被写体を綺麗に残した意図した範囲を含むパノラマ画像を、撮像後にいつでも生成できる。

１ カメラ、
１０ 撮像部、
２０ 表示部、
３０ 操作部、
４０ 姿勢検出部、
５０ 記録メディア、
６０ 制御部。

Claims (12)

1. パノラマ画像の生成のために、一定の方向に沿って連続する複数のフレーム画像を撮像する撮像部と、
   前記撮像部による連続撮像中に、ユーザーからの指示を受け付ける受付部と、
   前記受付部がユーザーからの指示を受け付けた際に、前記撮像部により撮像されている前記フレーム画像を基準画像として設定する基準画像設定部と、
   前記基準画像設定部により設定された前記基準画像の周辺に、他のフレーム画像を合成して、パノラマ画像を生成する画像合成部と、
   を有する撮像装置。
2. 前記撮像部により撮像中の前記フレーム画像について、前記一定の方向に交差する高さ方向の上下を一定の割合により削除して、表示用画像として表示する表示部をさらに有し、
   前記画像合成部は、前記基準画像について前記表示部が表示した部分を部分基準画像とし、前記部分基準画像の周辺に、前記部分基準画像の高さに限定した他のフレーム画像の一部を合成して前記パノラマ画像を生成する請求項１に記載の撮像装置。
3. 前記表示部は、被写体までの距離が小さいほど、前記一定の割合を大きくする請求項２に記載の撮像装置。
4. 前記基準画像以外の前記フレーム画像を、前記部分基準画像の高さに限定すると、前記部分基準画像に合成できない場合、前記一定の割合を大きくし、当該一定の割合を記憶する割合記憶部をさらに有する請求項２または請求項３に記載の撮像装置。
5. 前記撮像部は、前記基準画像を含む一連のフレーム画像とは別に、一定の方向に沿って連続する他の一連のフレーム画像をさらに撮像し、
   前記画像合成部は、前記一連のフレーム画像および前記他の一連のフレーム画像に含まれる任意の前記フレーム画像を、前記基準画像と合成する請求項１〜４のいずれか一項に記載の撮像装置。
6. 前記基準画像設定部は、前記画像合成部により撮像された前記一連のフレーム画像および前記他の一連のフレーム画像に含まれる任意の前記フレーム画像の中から、一つのフレーム画像の選択を受け付け、選択されたフレーム画像を新たな基準画像に設定し、
   前記画像合成部は、前記一連のフレーム画像および前記他の一連のフレーム画像に含まれる任意の前記フレーム画像を、前記新たな基準画像と合成する請求項５に記載の撮像装置。
7. パノラマ画像の生成のために、一定の方向に沿って連続する複数のフレーム画像を撮像する撮像ステップと、
   前記撮像ステップにおける連続撮像中に、ユーザーからの指示を受け付ける受付ステップと、
   前記受付ステップにおいてユーザーからの指示を受け付けた際に、前記撮像ステップにおいて撮像されている前記フレーム画像を基準画像として設定する基準画像設定ステップと、
   前記基準画像設定ステップにおいて設定された前記基準画像の周辺に、他のフレーム画像を合成して、パノラマ画像を生成する画像合成ステップと、
   を有する撮像方法。
8. 前記撮像ステップにおいて撮像中の前記フレーム画像について、前記一定の方向に交差する高さ方向の上下を一定の割合により削除して、表示用画像として表示する表示ステップをさらに有し、
   前記画像合成ステップは、前記基準画像について前記表示ステップにおいて表示された部分を部分基準画像とし、前記部分基準画像の周辺に、前記部分基準画像の高さに限定した他のフレーム画像の一部を合成して前記パノラマ画像を生成する請求項７に記載の撮像方法。
9. 前記表示ステップは、被写体までの距離が小さいほど、前記一定の割合を大きくする請求項８に記載の撮像方法。
10. 前記基準画像以外の前記フレーム画像を、前記部分基準画像の高さに限定すると、前記部分基準画像に合成できない場合、前記一定の割合を大きくし、当該一定の割合を記憶する割合記憶ステップをさらに有する請求項８または請求項９に記載の撮像方法。
11. 前記撮像ステップは、前記基準画像を含む一連のフレーム画像とは別に、一定の方向に沿って連続する他の一連のフレーム画像をさらに撮像し、
    前記画像合成ステップは、前記一連のフレーム画像および前記他の一連のフレーム画像に含まれる任意の前記フレーム画像を、前記基準画像と合成する請求項７〜１０のいずれか一項に記載の撮像方法。
12. 前記基準画像設定ステップは、前記画像合成ステップにおいて撮像された前記一連のフレーム画像および前記他の一連のフレーム画像に含まれる任意の前記フレーム画像の中から、一つのフレーム画像の選択を受け付け、選択されたフレーム画像を新たな基準画像に設定し、
    前記画像合成ステップは、前記一連のフレーム画像および前記他の一連のフレーム画像に含まれる任意の前記フレーム画像を、前記新たな基準画像と合成する請求項１１に記載の撮像方法。