JP2008306284A - 撮影装置、表示方法、及びプログラム - Google Patents

Abstract

【課題】複数回の撮影指示により１つのパノラマ画像を撮影する場合に、隣り合う静止画像間の繋ぎ目が適切になるような被写体範囲の位置で２回目以降の撮影指示を行うことができ、且つ、それを容易に行うことができるようにする。
【解決手段】デジタルカメラは、撮像素子１及び撮像回路３を介して入力された画像データが記憶されるＳＤＲＡＭ４と、シャッターボタンの押下により撮影指示が行われた時点に対する現在の時点の当該カメラの姿勢変化を求める処理や、求めた姿勢変化をスルー画像と共に表示部１５の表示画面に表示する処理等を行うＣＰＵ１０等を備える。
【選択図】図１

Description

本発明は、パノラマ撮影機能を搭載した撮影装置、その表示方法、及びそのプログラムに関する。

撮影装置の一例であるデジタルカメラにおいては、パノラマ画像の撮影を可能にするパノラマ撮影機能を搭載したカメラがある。このカメラでは、ユーザがパンニングを行いながら複数回の撮影指示（例えばシャッターボタンの押下）を行うことによって、１つのパノラマ画像を撮影することができる。この場合、カメラでは、複数回の撮影指示に応じて複数の静止画像が撮影され、その複数の静止画像が、隣り合う静止画像間で位置関係が合うように繋ぎ合わされて（合成されて）、１つのパノラマ画像が生成される。そのため、ユーザは、パンニングを行いながら複数回の撮影指示を行う際に、隣り合う静止画像間の繋ぎ目が適切になるような被写体範囲の位置で、２回目以降の撮影指示を行う必要がある。そうしないと、例えば、隣り合う静止画像間の重なり部分が大きくなりすぎて無駄の多いパノラマ画像が生成されてしまったり、隣り合う静止画像間の重なり部分が無いためにパノラマ画像の生成が困難になってしまう等の場合があるからである。

特許文献１には、このようなユーザの負担を軽減するために、表示画面の一部に、前回に撮影した静止画像の一部を表示すると共に、表示画面の残りの部分に、現在の被写体範囲をリアルタイムに表示して、ユーザが表示画面を見ながら、前回に撮影した静止画像の一部と現在の被写体範囲とが繋がるようにカメラを動かすことによって、次の撮影指示を行う際の被写体範囲の位置合わせを容易に行うことができるパノラマ撮影用表示装置が提案されている。

また、パノラマ撮影機能を搭載したデジタルカメラに関し、特許文献２には、撮影するための最適なタイミングをユーザに通知し、パノラマ画像の撮影を効率良く行うことができる電子スチルカメラが提案されている。また、特許文献３には、パノラマ撮影を行う場合に正確な露出制御を行うことができるパノラマ撮影装置が提案されている。

さらに、デジタルカメラに関し、特許文献４には、カメラ背面の表示装置に、被写体像と共に補助線を表示するようにし、その補助線に従ってユーザが撮影の構図を決定することで、被写体と撮影画像の傾きが一致するように撮像装置を水平状態に保持することができる撮像装置が提案されている。
特許第２７４４２６５号公報 特開２０００−３０５２０７号公報 特開平５−１５８１０５号公報 特開２００６−３２４９４８号公報

ところで、上述の特許文献１に提案されている装置では、表示画面の一部が前回に撮影された静止画像の一部の表示のために使用されることから、表示画面上では、その分だけ、現在の被写体範囲がリアルタイムに表示される部分が少なくなってしまう。そのため、２回目以降の撮影指示を行う際の被写体範囲の位置合わせが必ずしも容易とは言えない。例えば、前回に撮影された静止画像と次に撮影される静止画像との間の繋ぎ目部分に相当する位置が、表示画面の一部に表示されている前回に撮影された静止画像の一部によって隠れてしまった場合等には、被写体範囲の位置合わせが容易ではない。

本発明は、上記実情に鑑み、複数回の撮影指示により１つのパノラマ画像を撮影する場合に、隣り合う静止画像間の繋ぎ目が適切になるような被写体範囲の位置で２回目以降の撮影指示を行うことができ、且つ、それを容易に行うことができる撮影装置、その表示方法、及びそのプログラムを提供することを目的とする。

上記目的を達成するため、本発明の第１の態様に係る撮影装置は、画像データを入力する画像データ入力手段と、前記画像データ入力手段により入力された画像データが記憶される画像データ記憶手段と、撮影指示を行う撮影指示手段と、前記撮影指示手段による撮影指示が行われた時点に対する現在の時点の当該撮影装置の姿勢変化を求める姿勢変化検出手段と、前記姿勢変化検出手段により求められた姿勢変化を表わす視覚表示を、前記画像データ入力手段により入力されているスルー画像データに係るスルー画像と共に、表示画面に表示する姿勢情報表示手段とを備えることを特徴とする。

また、本発明の第２の態様に係る撮影装置は、上記第１の態様において、前記撮影指示手段による撮影指示に応じて前記画像データ入力手段により入力され前記画像データ記憶手段に記憶されたスチル画像データをスルー画像データの画素サイズにリサイズし、前記姿勢変化検出手段は、前記リサイズ後のスチル画像データの一部を第１のモニタ領域とし、前記リサイズ後のスチル画像データ上の前記第１のモニタ領域の位置と、前記画像データ入力手段により入力された現在のスルー画像データ上の前記第１のモニタ領域に対応する領域の位置とを比較して、前記第１のモニタ領域の移動量を検出し、当該撮影装置の姿勢変化を求める、ことを特徴とする。

また、本発明の第３の態様に係る撮影装置は、上記第１の態様において、前記姿勢変化検出手段は、前記撮影指示手段による撮影指示の直前又は直後に前記画像データ入力手段により入力され前記画像データ記憶手段に記憶されたスルー画像データの一部を第１のモニタ領域とし、当該スルー画像データ上の前記第１のモニタ領域の位置と、前記画像データ入力手段により入力された現在のスルー画像データ上の前記第１のモニタ領域に対応する領域の位置とを比較して、前記第１のモニタ領域の移動量を検出し、当該撮影装置の姿勢変化を求める、ことを特徴とする。

また、本発明の第４の態様に係る撮影装置は、上記第２又は３の態様において、前記姿勢変化検出手段は、前記第１のモニタ領域に対応する領域の位置に相当する前記表示画面上の位置が当該表示画面内から外れそうな場合に、前記第１モニタ領域に対して第２のモニタ領域を設ける、ことを特徴とする。

また、本発明の第５の態様に係る撮影装置は、上記第４の態様において、前記姿勢変化検出手段は、前記第２のモニタ領域を用いて前記第１のモニタ領域の移動量を検出する、ことを特徴とする。

また、本発明の第６の態様に係る撮影装置は、上記第２又は３の態様において、前記姿勢変化検出手段は、前記第１のモニタ領域を複数設ける、ことを特徴とする。
また、本発明の第７の態様に係る撮影装置は、上記第６の態様において、前記姿勢変化検出手段は、前記複数の第１のモニタ領域の移動量を検出して、当該撮影装置の姿勢変化を求める、ことを特徴とする。

また、本発明の第８の態様に係る撮影装置は、上記第２又は３の態様において、前記第１のモニタ領域に対応する領域の位置に相当する前記表示画面上の位置が当該表示画面内から外れた後に当該表示画面内に戻った場合に、前記姿勢情報表示手段は、前記姿勢変化検出手段により求められた姿勢変化を表わす視覚表示を前記画像データ入力手段により入力されている画像データに係る画像と共に表示画面に表示することを再開する、ことを特徴とする。

また、本発明の第９の態様に係る撮影装置は、上記第４の態様において、前記姿勢変化検出手段は、前記第１のモニタ領域に対応する領域の位置に相当する前記表示画面上の位置が当該表示画面内から外れた場合に、前記第２のモニタ領域を用いて前記第１のモニタ領域の移動量を検出する、ことを特徴とする。

また、本発明の第１０の態様に係る撮影装置は、上記第１の態様において、前記姿勢情報表示手段は、前記姿勢変化検出手段により求められた姿勢変化を表わす視覚表示を、傾きと位置を表す枠として表示する、ことを特徴とする。

また、本発明は、上記の撮影装置の他、その表示方法及びそのプログラムとして構成することもできる。

本発明によれば、複数回の撮影指示により１つのパノラマ画像を撮影する場合に、隣り合う静止画像間の繋ぎ目が適切になるような被写体範囲の位置で２回目以降の撮影指示を行うことができ、且つ、それを容易に行うことができる。

以下、図面を参照しながら本発明の実施の形態を説明する。
図１は、本発明の一実施の形態に係る撮影装置であるデジタルカメラのシステム構成を示す図である。

同図において、撮像素子１は、例えばＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等のイメージセンサであって、ＡＦ（Auto-Focus）用レンズ、ズーム用レンズ、絞り、及びシャッター等を含むレンズ系ユニット２を通して入射する被写体像を光電変換してアナログ電気信号を出力する。

撮像回路３は、撮像素子１から出力されたアナログ電気信号に対しＣＤＳ（Correlated Double Sampling）やＡＧＣ（Automatic Gain Control）等のアナログ信号処理を行った後、それをデジタル電気信号に変換し、さらに画素補間処理や色補正処理等のデジタル信号処理を行って、それを画像データとして出力する。この画像データはＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）４に一時的に記憶される。

撮像回路３と、ＳＤＲＡＭ４と、ＡＥ（Automatic Exposure）部５と、ＡＦ部６と、画像処理回路７と、着脱メモリ８と、動きベクトル検出回路９と、ＣＰＵ１０と、レンズ駆動回路１１は、バス１２を介して接続されている。

ＳＤＲＡＭ４は、撮像回路３から出力された画像データや、画像処理回路７による処理中の画像データ等の一時記憶用として使用される。例えば、撮像回路３から出力された、静止画像に係る画像データ（以下「スチル画像データ」という）や、スルー画像（ライブ画像）に係る画像データ（以下「スルー画像データ」という）等が一時的に記憶される。なお、スルー画像とは、撮像素子１に結像されている被写体像をリアルタイムに表示部１５に表示するようにしたときの画像のことをいう。

ＡＥ部５は、撮像回路３から出力された画像データに基づいて自動露出を行う。ＡＦ部６は、撮像回路３から出力された画像データに基づいて自動焦点調節を行う。
画像処理回路７は、画像データを記録する際や記録されている画像データを表示する際などに例えばＪＰＥＧ（Joint Photographic Experts Group）方式等による画像データの圧縮処理や伸張処理を行う。また、複数の静止画像に係るスチル画像データを隣り合う静止画像間の位置関係が合うように繋ぎ合わせて（合成して）１つのパノラマ画像に係る画像データを生成する処理や、画像を構成する画素数を増減させる画像の拡大・縮小処理（リサイズ処理）等といった、画像データに対する各種の画像処理を行う。

着脱メモリ８は、当該デジタルカメラに着脱自在の例えばｘＤ−ピクチャーカード（登録商標）やコンパクトフラッシュ（登録商標）カード等のメモリカードであって、画像データ等が記録される。

動きベクトル検出回路９は、撮像回路３から出力された画像データを基に動きベクトルを検出して、後述の主観測点や補助観測点の移動量を求める。また、動きベクトル検出回路９は、内部にＲＡＭを備えている。

ＣＰＵ１０は、内蔵メモリ１３に記録されているカメラプログラムを読み出し実行することによって当該デジタルカメラ全体の動作を制御する。内蔵メモリ１３は、例えばフラッシュメモリ等の、電気的に書き換え動作を行わせることが可能な不揮発性メモリであり、ＣＰＵ１０により実行されるカメラプログラムの他、そのカメラプログラムの実行中に使用される各種データ等が記録されている。

レンズ駆動回路１１は、ＣＰＵ１０の制御の下にレンズ系ユニット１を駆動する。
表示駆動回路１４は、ＣＰＵ１０の制御の下に表示部１５を駆動する。表示部１５は、表示駆動回路１４の駆動の下に、画像データに係る画像等を表示する。

通信Ｉ／Ｆ１６は、例えばＵＳＢ（Universal Serial Bus）やその他の通信規格で外部機器と接続するためのインターフェースである。
操作部１７は、ユーザからの各種指示を受け付け、それをＣＰＵ１０へ通知するための各種ボタンを含む。例えば、シャッターボタン（レリーズボタン）、電源ボタン、メニューボタン、上下左右ボタン（上ボタン、下ボタン、左ボタン、右ボタン）、及び、ＯＫボタン等を含む。なお、シャッターボタンは、撮影指示を行うためのボタンである。

電源回路１８は、装填されている電池１９から供給される電力を、所定の電力に変換して、当該デジタルカメラの各部へ供給する。
次に、このような構成を有するデジタルカメラで行われるパノラマ撮影動作について詳細に説明する。

はじめに、パノラマ撮影動作の概要を図２乃至図４を用いて説明する。
本実施形態に係るデジタルカメラでは、パノラマ撮影モードが設定されているときに、ユーザがパンニングを行いながら複数回の撮影指示を行うと、その複数回の撮影指示に応じて複数の静止画像を撮影し、隣り合う静止画像間の位置関係が合うように、その複数の静止画像を繋ぎ合わせて（合成して）１つのパノラマ画像を生成することが可能になっている。また、そのときには、ユーザが撮影指示を行う毎に、撮影した被写体範囲に相当する範囲を表す枠をスルー画像と共に表示部１５の表示画面に表示することが可能になっている。

例えば、被写体とする風景を図２(a) に示した風景とした場合において、ユーザが撮影モードとしてパノラマ撮影モードを設定すると、図２(b) に示したように、現在の被写体範囲２２がスルー画像として表示部１５の表示画面２１に表示される。

ここで、ユーザが１回目の撮影指示（シャッターボタンの押下）を行うと、その撮影指示に応じて現在の被写体範囲２２が撮影され、図２(c) に示したように、表示画面２１には、現在の被写体範囲２２のスルー画像と共に、撮影された被写体範囲（以下「撮影範囲」という）２３（２２）に相当する範囲を表す枠２４が表示される。このように、撮影範囲に相当する範囲が枠として表示されるので、表示画面２１のほとんどの部分をスルー画像の表示に使用することが可能になっている。なお、この枠は、前回の撮影時に対する現在のデジタルカメラの姿勢変化（傾き及び位置）を表すものでもある。

ここで、ユーザがデジタルカメラを右にパンニングすると、図３(a) に示したように、表示画面２１には、右にパンニングされた分だけ右に移動した現在の被写体範囲２５のスルー画像と共に、被写体範囲が右に移動した分だけ撮影範囲２３に相当する範囲を表す枠２４が左に移動して表示される。

そして、ユーザがデジタルカメラをさらに右にパンニングすると、図３(b) に示したように、表示画面２１には、さらに右にパンニングされた分だけさらに右に移動した現在の被写体範囲２６のスルー画像と共に、被写体範囲がさらに右に移動した分だけ撮影範囲２３に相当する範囲を表す枠２４がさらに左に移動して表示される。

この図３(b) に示した表示画面２１のように、１回目の撮影範囲２３に相当する範囲を表す枠２４の右端部分が表示画面２１の左端にあるときに、ユーザが２回目の撮影指示を行うことによって、１回目の撮影指示に応じて撮影された静止画像の右端部分と２回目の撮影指示に応じて撮影された静止画像の左端部分とを無駄なく適切に繋ぎ合わせる（合成する）ことができる。

なお、前述の図２(c) に示した状態であるときに、ユーザがデジタルカメラを左にパンニングして右回転させると、図３(c) に示したように、表示画面２１には、左にパンニングされた分だけ左に移動すると共に右回転させられた分だけ右回転した現在の被写体範囲２７のスルー画像と共に、被写体範囲が左に移動して右回転した分だけ撮影範囲２３に相当する範囲を表す枠２４が右に移動して左回転して表示される。

また、図２(b) に示した状態であるときにデジタルカメラが右に回転させられると、図４(a) に示したように、表示画面２１には、右に回転させられた分だけ右回転した現在の被写体範囲２８のスルー画像が表示される。

ここで、ユーザが１回目の撮影指示を行うと、その撮影指示に応じて現在の被写体範囲２８を撮影し、図４(b) に示したように、表示画面２１には、現在の被写体範囲２８（２９）のスルー画像と共に、撮影範囲２９（２８）に相当する範囲を表す枠３０が表示される。

ここで、ユーザがデジタルカメラを左回転させて図２(b) に示した元の状態に戻すと、図４(c) に示したように、表示画面２１には、左回転させられた分だけ左回転した現在の被写体範囲３１のスルー画像と共に、被写体範囲が左回転した分だけ撮影範囲２９に相当する範囲を表す枠３０が右回転して表示される。

なお、例示はしないが、ユーザのパンニングによっては、撮影範囲２３（２９）と現在の被写体範囲とが離れてしまい、撮影範囲２３（２９）に相当する範囲を表す枠２４（３０）が表示画面２１内に表示されなくなる場合もあるが、このような場合には、撮影範囲２３（２９）の一部と現在の被写体範囲の一部とが重なるようにユーザがデジタルカメラを動かすことによって、再び、撮影範囲２３（２９）に相当する範囲を表す枠２４（３０）を表示画面２１内に表示させることが可能である。

このように、表示部１５の表示画面に、スルー画像と共に前回の撮影範囲に相当する範囲を表す枠を表示することによって、ユーザは、次の撮影指示を行う際に、現在の被写体範囲の位置を、前回に撮影した静止画像と次に撮影する静止画像との間の繋ぎ目が適切になるような被写体範囲の位置へ容易に合わせることができる。よって、ユーザは、２回目以降の撮影指示を行う際に、このようにして被写体範囲の位置合わせを行うことによって、隣り合う静止画像間を無駄なく適切に繋ぎ合わせたパノラマ画像を得ることができる。

次に、パノラマ撮影動作の詳細を図５乃至図１４を用いて説明する。
図５は、本実施形態に係るデジタルカメラの基本動作を示すフローチャートである。
同図に示したように、本フローでは、まず、パワーＯＮしたか否か（電源ボタンがＯＮしたか否か）を判定する（Ｓ１）。ここで、その判定結果がＮＯの場合には本判定を繰り返す。

一方、Ｓ１の判定結果がＹＥＳの場合には、デジタルカメラの状態をパワーＯＮ状態へ遷移する（Ｓ２）。
続いて、メニューボタンが押下されたか否かを判定し（Ｓ３）、その判定結果がＹＥＳの場合には、詳しくは後述のメニュー動作（図６参照）を行う（Ｓ４）。

Ｓ３の判定結果がＮＯの場合、又は、Ｓ４の後は、現在の動作モードが撮影モードであるか否かを判定し（Ｓ５）、その判定結果がＹＥＳの場合には、詳しくは後述の撮影モード動作（図７参照）を行う（Ｓ６）。

Ｓ５の判定結果がＮＯの場合、又は、Ｓ６の後は、現在の動作モードがその他の特定の動作モード（例えば再生モード等）であるか否かを判定し（Ｓ７）、その判定結果がＹＥＳの場合には、その他の特定の動作モードに応じた動作を行う（Ｓ８）。

Ｓ７の判定結果がＮＯの場合、又は、Ｓ８の後は、パワーＯＦＦしたか否か（電源ボタンがＯＦＦしたか否か）を判定する（Ｓ９）。ここで、その判定結果がＹＥＳの場合には、デジタルカメラの状態をパワーＯＦＦ状態へ遷移して（Ｓ１０）、本フローを終了する。一方、その判定結果がＮＯの場合には、Ｓ３へ戻って、上述の処理を繰り返す。

図６は、上記のメニュー動作（Ｓ４）を詳細に示すフローチャートである。
同図に示したように、本フローでは、表示部１５の表示画面に、複数の項目を表示すると共にその一項目の位置にカーソルを表示した上で、まず、上下ボタン（上ボタン又は下ボタン）が操作（押下）されたか否かを判定する（Ｓ１６）。ここで、その判定結果がＹＥＳの場合には、その上下ボタンの操作に応じてカーソルを表示する項目の位置を移動する（Ｓ１７）。

Ｓ１６の判定結果がＮＯの場合、又は、Ｓ１７の後は、ＯＫボタンが操作（押下）されたか否かを判定する（Ｓ１８）。ここで、その判定結果がＹＥＳの場合には、カーソルが表示されている位置の項目に応じた処理を行う（Ｓ１９）。例えば、カーソルが表示されている位置の項目が更に下位の階層の項目を有する場合には、その下位の階層の項目を表示したり、或いは、カーソルが表示されている位置の項目が最下位の階層の項目である場合には、その項目をデジタルカメラに設定したり等といった処理を行う。

Ｓ１８の判定結果がＮＯの場合、又はＳ１９の後は、メニューボタンが操作（押下）されたか否かを判定し（Ｓ２０）、その判定結果がＹＥＳの場合にはリターンし、ＮＯの場合にはＳ１６へ戻って上述の処理を繰り返す。

このようなメニュー動作により、例えば、動作モードとして撮影モードやその他の動作モード（再生モード等）を設定することができ、撮影モードとしてパノラマ撮影モードやその他の撮影モードを設定することができる。

図７は、上記の撮影モード動作（Ｓ６）を詳細に示すフローチャートである。
同図に示したように、本フローでは、まず、撮影モードとしてパノラマ撮影モードが設定されているか否かを判定する（Ｓ２６）。ここで、その判定結果がＮＯの場合には、設定されているその他の撮影モード（パノラマ撮影モード以外の撮影モード）に応じた撮影動作を行い（Ｓ２７）、リターンする。

一方、Ｓ２６の判定結果がＹＥＳの場合には、パノラマ撮影動作を開始する。まず、表示部１５の表示画面にスルー画像の表示を開始してパノラマ撮影待機状態へ遷移する（Ｓ２８）。

なお、スルー画像の表示が開始されると、撮像素子１及び撮像回路３を介して撮像素子１に結像されている被写体像がスルー画像データとして入力され、それがＳＤＲＡＭ４に一時的に記憶されて表示部１５の表示画面に表示される、という一連の処理がリアルタイムに行われる。

続いて、パノラマ撮影動作を開始した後に撮影が行われたか否か（後述のＳ３２の処理が行われたか否か）を判定し（Ｓ２９）、その判定結果がＹＥＳの場合には、詳しくは後述の枠描画処理（図９参照）を行う（Ｓ３０）。

Ｓ２９の判定結果がＮＯの場合、又は、Ｓ３０の後は、シャッターボタン（レリーズボタン）が操作（押下）されたか否かを判定し（Ｓ３１）、その判定結果がＹＥＳの場合には、現在の被写体範囲の静止画像を撮影し（Ｓ３２）、さらに、詳しくは後述の主観測点設定処理（図８参照）を行う（Ｓ３３）。

なお、Ｓ３２では、撮像素子１及び撮像回路３を介して撮像素子１に結像されている被写体像がスチル画像データとして入力され、それがＳＤＲＡＭ４に一時的に記憶される。
Ｓ３１の判定結果がＮＯの場合、又は、Ｓ３３の後は、ＯＫボタンが操作（押下）されたか否かを判定し（Ｓ３４）、その判定結果がＮＯの場合には、Ｓ２９へ戻って上述の処理を繰り返す。

一方、Ｓ３４の判定結果がＹＥＳの場合には、パノラマ撮影動作を開始した後に２回以上の撮影が行われたか否か（前述のＳ３２の処理が２回以上行われたか否か）を判定し（Ｓ３５）、その判定結果がＹＥＳの場合には、パノラマ撮影動作を開始した後にＳ３２で撮影された静止画像に係るスチル画像データを、隣り合う静止画像間の繋ぎ目が適切になるように、繋ぎ合わせて（合成して）１枚のパノラマ画像に係る画像データを生成する処理（パノラマ合成処理）を行う（Ｓ３６）。そして、生成されたパノラマ画像に係る画像データを着脱メモリ８に記録する。

Ｓ３５の判定結果がＮＯの場合、又は、Ｓ３６の後は、リターンする。
図８は、上記の主観測点設定処理（Ｓ３３）を詳細に示すフローチャートである。
同図に示したように、本フローでは、まず、Ｓ３２で撮影した静止画像に係るスチル画像データをＳＤＲＡＭ４から読み出し（Ｓ４１）、そのスチル画像データを画素サイズがスルー画像の画素サイズになるようにリサイズする（Ｓ４２）。そして、そのリサイズ後のスチル画像データを、動きベクトル検出回路９が主観測点の移動量を求める場合に用いる主観測点用比較元画像データとする。

なお、本実施形態では、リサイズ後のスチル画像データを主観測点用比較元画像データとしたが、例えば、Ｓ３１がＹＥＳと判定された時（シャッターボタンが押下された時）の直前または直後に得られたスルー画像データを主観測点用比較元画像データとすることも可能である。

続いて、表示部１５の表示画面に、四角の枠を表示するために必要な４点の初期値を設定し（Ｓ４３）、設定した４点を主観測点として動きベクトル検出回路９に登録し（Ｓ４４）、リターンする。なお、設定した４点を主観測点として動きベクトル検出回路９に登録するとは、その４点の表示画面座標系上の位置座標（対応するＳＤＲＡＭ座標系上の位置座標でもある）を動きベクトル検出回路９のＲＡＭに記憶することをいう。

図９は、上記の枠描画処理（Ｓ３０）を詳細に示すフローチャートである。
同図に示したように、本フローでは、まず、詳しくは後述の主観測点の画面内判定処理（図１３参照）を行い（Ｓ５１）、その結果を判定する（Ｓ５２）。

Ｓ５２において、Ｓ５１の処理の結果が「異常」であると判定された場合には、リターンする。
Ｓ５２において、Ｓ５１の処理の結果が「画面内」であると判定された場合には、主観測点の移動量を元に四角の枠の４隅の表示画面座標系上の位置座標を計算する（Ｓ５３）。

Ｓ５２において、Ｓ５１の処理の結果が「画面外」であると判定された場合には、補助観測点の移動量と、動きベクトル検出回路９のＲＡＭに記憶されている、主観測点と補助観測点との間の位置座標の差分とから、主観測点の表示画面座標系上の位置座標を計算する（Ｓ５４）。そして、その計算により求めた主観測点の位置座標と、Ｓ５１で移動量を取得できた主観測点があった場合には更にその主観測点の移動量とを元に、四角の枠の４隅の表示画面座標系上の位置座標を計算する（Ｓ５５）。

Ｓ５３の後、又は、Ｓ５５の後は、計算により得られた、四角の枠の４隅の表示画面座標系上の位置座標を元に、四角の枠を表示画面に描画（表示）する（Ｓ５６）。なお、ここで描画される四角の枠は、上述のとおり、前回の撮影時に対する現在のデジタルカメラの姿勢変化（傾き及び位置）を表すものでもある。

ここで、四角の枠の描画例を説明する。
図１０(a),(b),(c) は、Ｓ５２の判定で「画面内」と判定されたときの四角の枠の描画過程の一例を模式的に示す図である。同図(a) に示したように、表示画面３６上の点３７、３８、３９、４０を移動後の主観測点とすると、同図(b) に示したように、そのときの主観測点の移動量を元に四角の枠の４隅４１、４２、４３、４４の位置座標が計算され、同図(c) に示したように、その計算結果を元に四角の枠４５が表示画面３６に描画される。

図１１(a),(b),(c),(d) は、Ｓ５２の判定で「画面外」と判定されたときの四角の枠の描画過程の一例を模式的に示す図である。同図(a) に示したように、表示画面５１上の点５２、５３を移動後の２つの主観測点とし、表示画面５１上の点５４、５５を移動後の２つの補助観測点とすると、まず、同図(b) に示したように、補助観測点の移動量と、主観測点と補助観測点との間の位置座標の差分とから、２つの補助観測点に対応する主観測点５６、５７の位置座標が計算される。例えば、点５８の位置から点５４の位置へ移動した補助観測点に対応する主観測点５６の位置座標は、補助観測点の移動量ｄと、主観測点と補助観測点との間の位置座標の差分Ｇとから、計算される。点５９の位置から点５５の位置へ移動した補助観測点に対応する主観測点５７の位置座標も同様にして計算される。なお、表示画面５１上の点６０、６１、６２、６３は、移動前の主観測点の位置を示している。このようにして主観測点５６、５７の位置座標が計算されると、同図(c) に示したように、その主観測点５６、５７の位置座標と、表示画面５１内に存在する２つの主観測点（点６１の位置から点５２の位置へ移動した主観測点と点６３の位置から点５３の位置へ移動した主観測点）の移動量とを元に、四角の枠の４隅６４、６５、６６、６７の位置座標が計算される。そして、同図(d) に示したように、その計算結果を元に四角の枠６８が表示画面５１に描画される。但し、この場合、四角の枠６８は、表示画面５１内に含まれる部分のみが表示されることになる。

このようにして図９のＳ５６で四角の枠が描画されると、続いて、詳しくは後述の補助観測点の設定判定処理（図１４参照）を行い（Ｓ５７）、その結果を判定する（Ｓ５８）。

Ｓ５８において、Ｓ５７の処理の結果が「不要」と判定された場合には、リターンする。
Ｓ５８において、Ｓ５７の処理の結果が「必要」と判定された場合には、表示部１５の表示画面に、補助観測点の設定が必要な主観測点に対して補助観測点を設定し、設定した補助観測点の表示画面座標系上の位置座標（対応するＳＤＲＡＭ座標系上の位置座標でもある）を動きベクトル検出回路９のＲＡＭに記憶する（Ｓ５９）。また、補助観測点が設定された時にＳＤＲＡＭ４に格納されたスルー画像データを、動きベクトル検出回路９が補助観測点の移動量を求める場合に使用する補助観測点用比較元データとする。そして、主観測点と補助観測点との間の位置座標の差分を、動きベクトル検出回路９のＲＡＭに記憶し（Ｓ６０）、リターンする。

ここで、補助観測点の設定例を説明する。
図１２は、その一例を模式的に示す図である。同図に示したように、表示画面７１内の特定範囲（同図の灰色部分）内の例えば主観測点７２に対して補助観測点７３が設定される。ここで、特定範囲とは、補助観測点の設定が必要な範囲を示しており、この範囲内に含まれる主観測点に対して補助観測点が設定される。また、補助観測点が設定されると、補助観測点７３の位置座標と、主観測点７２と補助観測点７３との間の位置座標の差分Ｇが、動きベクトル検出回路９のＲＡＭに記憶される。なお、表示画面７１内の点７４、７５、７６は、他の主観測点を示しており、これらの主観測点も特定範囲内に含まれることから、これらの主観測点に対しても補助観測点が設定されることになる。

図１３は、上記の主観測点の画面内判定処理（Ｓ５１）を詳細に示すフローチャートである。
同図に示したように、本フローでは、まず、ＳＤＲＡＭ４に記憶された現在の被写体範囲のスルー画像データ（最後にＳＤＲＡＭ４に記憶されたスルー画像データ）を読み出し（Ｓ６６）、動きベクトル検出回路９から４つの主観測点の移動量を取得できたか否かを判定する処理を行い（Ｓ６７）、その結果を判定する（Ｓ６８）。なお、動きベクトル検出回路９は、主観測点用比較元画像データと、Ｓ６６で読み出されたスルー画像データと、動きベクトル検出回路９に登録された主観測点の位置座標（図８のＳ４４参照）とに基づいて、４つの主観測点の移動量を求める。

Ｓ６８の判定において、Ｓ６７の処理の結果が「取得できた」場合には、その主観測点の移動量をＣＰＵ１０の内部ＲＡＭに記憶し（Ｓ６９）、本フローの処理結果を「画面内」としてリターンする。

Ｓ６８の判定において、Ｓ６７の処理の結果が「取得できない」場合には、４つの主観測点の中で移動量を取得できなかった主観測点に対して補助観測点が設定されているか否かを判定する（Ｓ７０）。

Ｓ７０の判定結果がＹＥＳの場合には、動きベクトル検出回路９から補助観測点の移動量を取得できたか否かを判定する処理を行い（Ｓ７１）、その結果を判定する（Ｓ７２）。なお、動きベクトル検出回路９は、補助観測点用比較元画像データと、Ｓ６６で読み出されたスルー画像データと、動きベクトル検出回路９に登録された補助観測点の位置座標とに基づいて、補助観測点の移動量を求める。

Ｓ７２の判定において、Ｓ７１の処理の結果が「取得できた」場合には、その補助観測点の移動量と、Ｓ６７で移動量を取得できた主観測点があった場合には更にその主観測点の移動量とを、ＣＰＵ１０の内部ＲＡＭに記憶し（Ｓ７３）、本フローの処理結果を「画面外」としてリターンする。

Ｓ７０の判定結果がＮＯの場合、又は、Ｓ７２の判定においてＳ７１の処理の結果が「取得できない」場合には、本フローの処理結果を「異常」としてリターンする。
このような処理により、表示画面内に移動後の主観測点が４つ含まれる場合には本フローの処理結果を「画面内」としてリターンし、表示画面内に移動後の補助観測点が４つ含まれる場合、又は表示画面内に移動後の補助観測点及び主観測点からなる４つの観測点が含まれる場合には本フローの処理結果を「画面外」としてリターンし、それ以外の場合には本フローの処理結果を「異常」としてリターンする。

なお、上記のＳ６７やＳ７１において、主観測点の移動量や補助観測点の移動量は、次のようにして動きベクトル検出回路９により求められる。
例えば、主観測点の移動量を求める場合、動きベクトル検出回路９は、主観測点用比較元画像データ内における、初期値として設定された主観測点に対応する部分画像データ（第１のモニタ領域とする画像データ）と、読み出されたスルー画像データとを比較し、部分画像データに対応する部分が、スルー画像データ内のいずれの部分にあるかを判定することにより、主観測点の移動量を求める。この場合、まず、部分画像データと、この部分画像データについてのＳＤＲＡＭ座標系上の位置座標とが、動きベクトル検出回路９の内部のＲＡＭに記憶される。そして、その位置座標と、スルー画像データ内における部分画像データに対応する部分についてのＳＤＲＡＭ座標系上の位置座標との差分から、主観測点の移動量が求められる。

補助観測点の移動量についても同様にして求めることができる。但し、この場合は、補助観測点用比較元画像データ内における補助観測点に対応する部分画像データ（第２のモニタ領域とする画像データ）を用いて、補助観測点の移動量が求められる。

図１４は、上記の補助観測点の設定判定処理（Ｓ５７）を詳細に示すフローチャートである。
同図に示したように、本フローでは、まず、ＳＤＲＡＭ４に記憶された現在の被写体範囲のスルー画像データ（最後にＳＤＲＡＭ４に記憶されたスルー画像データ）を読み出し（Ｓ７６）、そのスルー画像データに基づいて動きベクトル検出回路９により求められた主観測点の移動量を取得して、移動後の主観測点の位置が表示部１５の表示画面内の特定範囲内に含まれるか否かを判定する処理を行い（Ｓ７７）、その結果を判定する（Ｓ７８）。

Ｓ７８において、Ｓ７７の処理の結果が「表示画面内の特定範囲内に含まれる」場合には、本フローの処理の結果を「必要」としてリターンする。
Ｓ７８において、Ｓ７７の処理の結果が「表示画面内の特定範囲内に含まれない」場合には、本フローの処理の結果を「不要」としてリターンする。

以上、図５乃至図１４を用いて詳細に説明したように、本実施形態に係るデジタルカメラのパノラマ撮影動作によれば、上述の図２乃至図４を用いて例示したように、表示部１５の表示画面に、スルー画像と共に前回の撮影範囲に相当する範囲を示す枠（四角の枠）が表示されるようになるので、ユーザは、次の撮影指示を行う際に、現在の被写体範囲の位置を、前回に撮影した静止画像と次に撮影する静止画像との間の繋ぎ目が適切になるような被写体範囲の位置へ容易に合わせることができる。よって、ユーザは、２回目以降の撮影指示を行う際に、このようにして被写体範囲の位置合わせを行うことによって、隣り合う静止画像間を無駄なく適切に繋ぎ合わせたパノラマ画像を得ることができる。

なお、本実施形態に係るデジタルカメラにおけるパノラマ撮影動作では、４つの主観測点、４つの補助観測点、又は、主観測点及び補助観測点からなる４つの観測点というように、４つの観測点を元に前回の撮影範囲に相当する範囲を示す枠を表示画面に表示するものであったが、枠を表示する際に用いる観測点数は４つに限らず、前回の撮影範囲に相当する範囲を示す枠を表示可能であるならば、それ以外の複数とすることも可能である。

また、本実施形態に係るデジタルカメラでは、１つの主観測点に対して１つの補助観測点を設定したが、１つの主観測点に対して複数の補助観測点を設定することも可能である。

図１５(a),(b) は、その一例を説明する図である。
同図(a) は、１つの主観測点に対して２つの補助観測点を設定するようにした例を説明する模式図である。この例では、主観測点８１が表示画面８２内の特定範囲内（同図(a) の灰色部分内）に含まれた場合に、主観測点８１に対して、まず、表示画面中央に第１の補助観測点８３を設定し、更に、主観測点８１と第１の補助観測点８３とを結ぶ直線に直角に交わる直線上に第２の補助観測点８４を設定する。この場合、第１及び第２の補助観測点８３、８４の位置座標と、主観測点８１と第１の補助観測点８３との間の位置座標の差分とが、動きベクトル検出回路９の内部のＲＡＭに記憶される。

また、この場合において、同図(b) に示したように、移動後の第１の補助観測点８３が表示画面８２内の特定範囲外（同図(b) の灰色部分外）に含まれ、且つ、移動後の第２の補助観測点８４が特定範囲内（同図(b) の灰色部分内）に含まれた場合には、第１の補助観測点８３と第２の補助観測点８４とを結ぶ直線の延長線上に新たに第２の補助観測点８４´を設定し、それまでの第２の補助観測点８４を破棄する。この場合、破棄された第２の補助観測点８４の代わりに、新たな第２の補助観測点８４´の位置座標が、動きベクトル検出回路９の内部のＲＡＭに記憶される。

また、本実施形態に係るデジタルカメラでは、主観測点と補助観測点の位置に関するデータとして、主観測点の位置座標、補助観測点の位置座標、及び主観測点と補助観測点との間の位置座標の差分等を、動きベクトル検出回路９の内部のＲＡＭに記憶し、これらのデータに基づいて、前回の撮影範囲に相当する範囲を示す枠を表示画面に表示するようにしていたが、主観測点と補助観測点の位置に関するデータとして、例えば、図１６(a),(b) に示すようなデータを記憶し、それらのデータに基づいて表示画面に枠を表示するようにすることも可能である。

図１６(a) は、異なる４つのカメラの姿勢における、動きベクトル検出回路９の内部のＲＡＭに記憶された主観測点と補助観測点の位置に関するデータの一例を示す図であり、同図(b) は、計算により求められるデータの計算手法の一例を示す図である。同図(a) において、Ａ、Ｂ、Ｃ、Ｄは主観測点であり、Ｆは補助観測点である。同図(a) に示した「計算」は、同図(b) の「計算」に対応する。従って、例えば同図(a) の「計算1.1」は、同図(b) の「計算1.1」の手法を用いて計算により求められるデータであることを示している。このような主観測点と補助観測点の位置に関するデータを用いて、前回の撮影範囲に相当する範囲を示す枠を表示画面に表示するようにすることも可能である。

以上、本発明について詳細に説明したが、本発明は上記実施形態に限定されず、本発明の要旨を逸脱しない範囲において、各種の改良及び変更を行っても良いのはもちろんである。

一実施の形態に係る撮影装置であるデジタルカメラのシステム構成を示す図である。 (a),(b),(c) は、パノラマ撮影動作の概要を説明する図である。 (a),(b),(c) は、パノラマ撮影動作の概要を説明する図である。 (a),(b),(c) は、パノラマ撮影動作の概要を説明する図である。 一実施の形態に係る撮影装置であるデジタルカメラの基本動作を示すフローチャートである。 メニュー動作（Ｓ４）を詳細に示すフローチャートである。 撮影モード動作（Ｓ６）を詳細に示すフローチャートである。 主観測点設定処理（Ｓ３３）を詳細に示すフローチャートである。 枠描画処理（Ｓ３０）を詳細に示すフローチャートである。 (a),(b),(c) は、Ｓ５２の判定で「画面内」と判定されたときの四角の枠の描画過程の一例を模式的に示す図である。 (a),(b),(c),(d) は、Ｓ５２の判定で「画面外」と判定されたときの四角の枠の描画過程の一例を模式的に示す図である。 補助観測点の設定例を模式的に示す図である。 主観測点の画面内判定処理（Ｓ５１）を詳細に示すフローチャートである。 補助観測点の設定判定処理（Ｓ５７）を詳細に示すフローチャートである。 (a),(b) は、１つの主観測点に対して複数の補助観測点を設定する変形例を説明する図である。 (a),(b) は、前回の撮影範囲に相当する範囲を示す枠を表示画面に表示する際に使用される、主観測点と補助観測点の位置に関するデータの変形例を示す図である。

符号の説明

１ 撮像素子
２ レンズ系ユニット
３ 撮像回路
４ ＳＤＲＡＭ
５ ＡＥ部
６ ＡＦ部
７ 画像処理回路
８ 着脱メモリ
９ 動きベクトル検出回路
１０ ＣＰＵ
１１ レンズ駆動回路
１２ バス
１３ 内蔵メモリ
１４ 表示駆動回路
１５ 表示部
１６ 通信Ｉ／Ｆ
１７ 操作部
１８ 電源回路
１９ 電池
２１ 表示画面
２２ 現在の被写体範囲
２３ 撮影された被写体範囲（撮影範囲）
２４ 枠
２５、２６、２７、２８ 現在の被写体範囲
２９ 撮影された被写体範囲（撮影範囲）
３０ 枠
３１ 現在の被写体範囲
３６ 表示画面
３７、３８、３９、４０ 点
４１、４２、４３、４４ 枠の４隅
４５ 枠
５１ 表示画面
５２、５３、５４、５５ 点
５６、５７、５８、５９ 点
６０、６１、６２、６３ 点
６４、６５、６６、６７ 枠の４隅
６８ 枠
７１ 表示画面
７２ 主観測点
７３ 補助観測点
７４、７５、７６ 点
８１ 主観測点
８２ 表示画面
８３ 第１の補助観測点
８４、８４´ 第２の補助観測点

Claims (12)

1. 画像データを入力する画像データ入力手段と、
   前記画像データ入力手段により入力された画像データが記憶される画像データ記憶手段と、
   撮影指示を行う撮影指示手段と、
   前記撮影指示手段による撮影指示が行われた時点に対する現在の時点の当該撮影装置の姿勢変化を求める姿勢変化検出手段と、
   前記姿勢変化検出手段により求められた姿勢変化を表わす視覚表示を、前記画像データ入力手段により入力されているスルー画像データに係るスルー画像と共に、表示画面に表示する姿勢情報表示手段と、
   を備えることを特徴とする撮影装置。
2. 前記撮影指示手段による撮影指示に応じて前記画像データ入力手段により入力され前記画像データ記憶手段に記憶されたスチル画像データをスルー画像データの画素サイズにリサイズし、
   前記姿勢変化検出手段は、前記リサイズ後のスチル画像データの一部を第１のモニタ領域とし、前記リサイズ後のスチル画像データ上の前記第１のモニタ領域の位置と、前記画像データ入力手段により入力された現在のスルー画像データ上の前記第１のモニタ領域に対応する領域の位置とを比較して、前記第１のモニタ領域の移動量を検出し、当該撮影装置の姿勢変化を求める、
   ことを特徴とする請求項１記載の撮影装置。
3. 前記姿勢変化検出手段は、前記撮影指示手段による撮影指示の直前又は直後に前記画像データ入力手段により入力され前記画像データ記憶手段に記憶されたスルー画像データの一部を第１のモニタ領域とし、当該スルー画像データ上の前記第１のモニタ領域の位置と、前記画像データ入力手段により入力された現在のスルー画像データ上の前記第１のモニタ領域に対応する領域の位置とを比較して、前記第１のモニタ領域の移動量を検出し、当該撮影装置の姿勢変化を求める、
   ことを特徴とする請求項１記載の撮影装置。
4. 前記姿勢変化検出手段は、前記第１のモニタ領域に対応する領域の位置に相当する前記表示画面上の位置が当該表示画面内から外れそうな場合に、前記第１モニタ領域に対して第２のモニタ領域を設ける、
   ことを特徴とする請求項２又は３記載の撮影装置。
5. 前記姿勢変化検出手段は、前記第２のモニタ領域を用いて前記第１のモニタ領域の移動量を検出する、
   ことを特徴とする請求項４記載の撮影装置。
6. 前記姿勢変化検出手段は、前記第１のモニタ領域を複数設ける、
   ことを特徴とする請求項２又は３記載の撮影装置。
7. 前記姿勢変化検出手段は、前記複数の第１のモニタ領域の移動量を検出して、当該撮影装置の姿勢変化を求める、
   ことを特徴とする請求項６記載の撮影装置。
8. 前記第１のモニタ領域に対応する領域の位置に相当する前記表示画面上の位置が当該表示画面内から外れた後に当該表示画面内に戻った場合に、前記姿勢情報表示手段は、前記姿勢変化検出手段により求められた姿勢変化を表わす視覚表示を前記画像データ入力手段により入力されている画像データに係る画像と共に表示画面に表示することを再開する、
   ことを特徴とする請求項２又は３記載の撮影装置。
9. 前記姿勢変化検出手段は、前記第１のモニタ領域に対応する領域の位置に相当する前記表示画面上の位置が当該表示画面内から外れた場合に、前記第２のモニタ領域を用いて前記第１のモニタ領域の移動量を検出する、
   ことを特徴とする請求項４記載の撮影装置。
10. 前記姿勢情報表示手段は、前記姿勢変化検出手段により求められた姿勢変化を表わす視覚表示を、傾きと位置を表す枠として表示する、
    ことを特徴とする請求項１記載の撮影装置。
11. 撮影装置で行われる表示方法であって、
    撮影指示が行われた時点に対する現在の時点の前記撮影装置の姿勢変化を求め、
    求めた前記撮影装置の姿勢変化を表わす視覚表示を、入力されているスルー画像データに係るスルー画像と共に、表示画面に表示する、
    ことを特徴とする表示方法。
12. 撮影装置のコンピュータに実行されるプログラムであって、前記コンピュータを、
    撮影指示手段により撮影指示が行われた時点に対する現在の時点の前記撮影装置の姿勢変化を求める姿勢変化検出手段、
    前記姿勢変化検出手段により求められた姿勢変化を表わす視覚表示を、画像データ入力手段により入力されているスルー画像データに係るスルー画像と共に、表示画面に表示する姿勢情報表示手段、
    として機能させるためのプログラム。