JP2008289095A - 撮像装置、表示方法、及びプログラム - Google Patents

Abstract

【課題】パノラマ画像を構成する画像の撮影タイミングにユーザによるパンニング操作が適正な速度で且つ適正な方向へ行われるように支援することによって、使い勝手が良くなり、且つ、被写体ぶれの無いパノラマ画像を得ることができるようにする。
【解決手段】デジタルカメラは、撮像素子２等により得られた画像データに係る画像を表示する表示部１５と、第１の時点に撮像素子２等により得られた画像データに係る第１の画像と第１の時点よりも後の第２の時点に撮像素子２等により得られた画像データに係る第２の画像とから第１の画像に表された被写体位置に対する第２の画像に表された被写体位置の移動量を検出する処理や、表示部１５に表示された画像と共に、検出された移動量を移動軌跡として表示部１５に表示させる処理等を行うＣＰＵ１３とを備える。
【選択図】図１

Description

本発明は、パノラマ撮影機能を搭載した撮像装置、その表示方法、及びそのプログラムに関する。

撮像装置の一例であるデジタルカメラにおいては、撮影機能として、通常撮影機能の他にパノラマ撮影機能を搭載したカメラがある。
図１０は、そのようなデジタルカメラにおける通常撮影機能による通常撮影とパノラマ撮影機能によるパノラマ撮影を概念的に示す図である。同図に示したように、通常撮影では、ユーザがシャッターボタン（レリーズボタン）を１回押下すると、１回の撮影が行われ、１枚の画像１０１が得られる。一方、パノラマ撮影では、ユーザがシャッターボタンを１回押下すると、１回目の撮影が行われ、パンニング操作を行うと、２回目以降の撮影が自動的に複数回行われる。そして、各撮影で得られた画像（同図の例では画像１０２乃至１０５）が繋ぎ合わされて１枚のパノラマ画像１０６が作成される。このようなパノラマ撮影機能によれば、ユーザは２回目以降の撮影のシャッタータイミングを意識する必要はなく、手軽にパノラマ撮影を行うことができる。なお、パノラマ撮影機能には、この他にも、２回目以降の撮影のシャッタータイミングをシャッターボタンにより手動で行うことができるものもあるし、２回目以降の撮影のシャッタータイミングを手動により行うか、又は自動により行うかを設定できるものもある。

ところで、特許文献１には、画像を繋ぎ合せるためのオーバーラップ技術に関し、３次元ジャイロ等の各種センサによって測定したデジタルカメラによる撮影時の移動情報に基づいて、デジタルカメラの撮影時の移動方向や移動距離を演算し、隣接する被写体フレームを抽出してパノラマ画像を作成する手法が提案されている。また、特許文献２には、撮影画角を適切に維持するための補助線の表示技術に関し、表示装置に表示された補助線を用いてユーザがカメラの水平状態を維持できるようにした手法が提案されている。さらに、特許文献３には、パンニング操作を適正に行うためのパンニング状態の表示技術に関し、パノラマ撮影時のパンニング状態をビューファインダ等に表示し、ユーザが適正なパンニング操作を行えるようにした手法が提案されている。
特開２００４−１２８６８３号公報 特開２００６−３２４９４８号公報 特開平８−２２３４８１号公報

上述のようなパノラマ撮影機能を使って撮影を行う場合、ユーザによるデジタルカメラのパンニング操作によっては、２回目以降の撮影で得られた画像に表されている被写体にぶれ（以下単に「被写体ぶれ」という）が生じてしまい、ユーザが満足するようなパノラマ画像が得られない場合がある。これは、２回目以降の撮影時において、デジタルカメラの撮影条件（例えばシャッタースピード等）に対して、ユーザによるデジタルカメラのパンニング操作が早いためと考えられる。そこで、少なくとも２回目以降の各撮影時において、ユーザによるデジタルカメラのパンニング操作が適正な速度で且つ適正な方向へ行われるように支援するための技術が望まれている。

このような技術は、上記特許文献１や２に提案されている手法を用いても実現することはできない。そもそも特許文献１及び２はパンニング操作によって生じ得る被写体ぶれを防止するものとして提案されたものではなく、その対策は何ら示されていない。一方で、上記特許文献３に提案されている手法を用いれば、パンニング操作を適正に行うことができるかもしれないが、パノラマ画像を構成する画像が何れのタイミングで撮影されるのかがわからないために、ユーザは常にパンニングインジケータが基準インジケータの中心にあるようにパンニング操作をしなければならず、使い勝手が悪い。

本発明は、上記実情に鑑み、パノラマ画像を構成する画像の撮影タイミングにユーザによるパンニング操作が適正な速度で且つ適正な方向へ行われるように支援することによって、使い勝手が良くなり、且つ、被写体ぶれの無いパノラマ画像を得ることができる、撮像装置、その表示方法、及びそのプログラムを提供することを目的とする。

上記目的を達成するため、本発明の第１の態様に係る撮像装置は、被写体を撮像して画像データを得る撮像手段と、前記撮像手段により得られた画像データに係る画像を表示する表示手段と、第１の時点に前記撮像手段により得られた画像データに係る第１の画像と、前記第１の時点よりも後の第２の時点に前記撮像手段により得られた画像データに係る第２の画像とから、前記第１の画像に表された被写体位置に対する、前記第２の画像に表された被写体位置の移動量を検出する移動量検出手段と、前記表示手段に表示された画像と共に、前記移動量検出手段により検出された移動量を移動軌跡として前記表示手段に表示させる表示制御手段と、を有することを特徴とする。

また、本発明の第２の態様に係る撮像装置は、上記第１の態様において、前記表示制御手段は、静止画像の撮影が行われた時点から現在の時点までの間に前記撮像手段により得られた画像データに係る画像に表された被写体位置の時間的変化を、前記静止画像の撮影が行われた時点を起点とする移動軌跡として表示させる、ことを特徴とする。

また、本発明の第３の態様に係る撮像装置は、上記第１の態様において、前記表示制御手段は、撮影指示が行われた時点から現在の時点までの間に前記撮像手段により得られた画像データに係る画像に表された被写体位置の時間的変化を、前記撮影指示が行われた時点を起点とする移動軌跡として表示させる、ことを特徴とする。

また、本発明の第４の態様に係る撮像装置は、上記第１の態様において、前記移動量検出手段により検出された移動量に基づいて、静止画像の撮影が行われた時点の後に最初に前記撮像手段により得られた画像データに係る画像に表された被写体位置からの移動量が、前記表示手段の１表示画面相当量に達したことを検出したときは、次の静止画像の撮影を行う、ことを特徴とする。

また、本発明の第５の態様に係る撮像装置は、上記第４の態様において、前記移動量検出手段により検出された移動量に基づいて、静止画像の撮影が行われた時点の後に最初に前記撮像手段により得られた画像データに係る画像に表された被写体位置からの移動量が、前記表示手段の１表示画面相当量に達したことを検出したとき、または、撮影指示に応じて、前記移動軌跡の表示位置を当該移動軌跡の起点側の前記表示画面内の端部に変更する、ことを特徴とする。

また、本発明の第６の態様に係る撮像装置は、上記第１の態様において、前記移動量検出手段は、前記第１の時点に前記撮像手段により得られた画像データと前記第２の時点に前記撮像手段により得られた画像データとから動きベクトルを検出し、当該動きベクトルに基づいて、前記第１の画像に表された被写体位置に対する前記第２の画像に表された被写体位置の移動量を検出する、ことを特徴とする。

また、本発明の第７の態様に係る撮像装置は、上記第１の態様において、前記表示手段は、前記撮像手段により得られた複数の静止画像用の画像データに係る画像を合成して１つの合成画像を生成する際に許容される垂直方向の移動許容幅範囲を、前記撮像手段により得られた画像データに係る画像と共に表示する、ことを特徴とする。

また、本発明の第８の態様に係る撮像装置は、上記第１の態様において、前記移動量検出手段により検出された移動量に基づく移動速度が許容値を超える場合に警告する警告手段を更に有する、ことを特徴とする。

また、本発明の第９の態様に係る撮像装置は、上記第１の態様において、前記撮像手段により撮像された複数の静止画像用の画像データを１つの画像データに合成する画像合成手段と、前記画像合成手段により合成された画像データを記録する記録手段と、を更に有することを特徴とする。

また、本発明の第１０の態様に係る撮像装置は、上記第１の態様において、最初の静止画像の撮影時にＩＳＯ感度を最大に設定して撮影を行い、以降の静止画像の撮影時には前記ＩＳＯ感度を最大に設定したままで且つ撮影された前記最初の静止画像の露出に合うようにシャッタースピードを設定して撮影を行う、ことを特徴とする。

また、本発明の第１１の態様に係る撮像装置は、上記第１の態様において、当該撮影装置を動かす速度を誘導するための移動速度を設定する設定手段を更に有し、前記表示手段は、前記設定手段により設定された移動速度に応じて、当該撮像装置を動かす速度又は及び次の静止画像の撮影を誘導するための誘導指標を更に表示する、ことを特徴とする。

また、本発明の第１２の態様に係る撮像装置は、上記第１の態様において、前記表示制御手段は、前記撮像手段により得られた複数の静止画像用の画像データに係る静止画像分の移動軌跡を前記表示手段に連続して表示させる、ことを特徴とする。

また、本発明は、上述の撮像装置の他、その表示方法及びそのプログラムとして構成することもできる。

本発明によれば、パノラマ画像を構成する画像の撮影タイミングにユーザによるパンニング操作が適正な速度で且つ適正な方向へ行われるように支援することによって、使い勝手が良くなり、且つ、被写体ぶれの無いパノラマ画像を得ることができる。

以下、図面を参照しながら本発明の実施の形態を説明する。

図１は、本発明の一実施の形態に係る撮像装置であるデジタルカメラのシステム構成を示す図である。
同図において、撮影レンズ１は、被写体像を撮像素子２に結像させる。撮像素子２は、例えばＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等のイメージセンサであって、撮影レンズ１の作用により結像されている被写体像を光電変換してアナログ電気信号を出力する。撮像部３は、ノイズ成分を低減させるＣＤＳ（Correlated Double Sampling）部及び信号レベルを安定化させるＡＧＣ（Automatic Gain Control）部等を有し、撮像素子２から出力されたアナログ電気信号のノイズ成分を低減させると共に信号レベルを安定化させて出力する。Ａ／Ｄ部４は、撮像部３から出力されたアナログ電気信号をデジタル電気信号に変換し、そのデジタル電気信号を画像データとして出力する。

Ａ／Ｄ部４と、画像バッファメモリ５と、表示処理部６と、内蔵メモリ７と、外部メモリ８と、有線Ｉ／Ｆ９と、無線Ｉ／Ｆ１０と、圧縮伸張部１１と、画像処理部１２と、ＣＰＵ１３は、バス１４を介して接続されている。

画像バッファメモリ５は、例えばＤＲＡＭ（Dynamic Random Access Memory）等のメモリであって、Ａ／Ｄ部４から出力された画像データや、画像処理部１３による処理中の画像データ等の一時保存用として使用される。例えば、静止画像用の画像データや、スルー画像（ライブ画像）用の画像データ等が一時的に保存される。なお、スルー画像とは、撮像素子２に結像されている被写体像をリアルタイムに表示部１５に表示するようにしたときの画像のことをいう。

表示処理部６は、画像データを基に表示部１５が表示可能な画像信号を生成して表示部１５に出力する処理を行う。表示部１５は、例えばＬＣＤ（Liquid Crystal Display）等であって、表示処理部６から出力された画像信号に応じた画像を表示画面に表示する。

内蔵メモリ７は、当該デジタルカメラに予め内蔵されているメモリであって、画像データ等が記録される。外部メモリ８は、当該デジタルカメラに着脱自在の例えばｘＤ−ピクチャーカード（登録商標）やコンパクトフラッシュ（登録商標）カード等のメモリカードであって、画像データ等が記録される。

有線Ｉ／Ｆ９は、例えばＵＳＢ（Universal Serial Bus）やその他の有線通信規格で外部機器と接続するためのインターフェースである。無線Ｉ／Ｆ１０は、例えばＩｒＤＡ（Infrared Data Association）やその他の無線通信規格で外部機器と接続するためのインターフェースである。

圧縮伸張部１１は、画像データを記録する際や、記録されている画像データを表示する際などに、例えばＪＰＥＧ（Joint Photographic Experts Group）方式等による画像データの圧縮処理や伸張処理を行う。

画像処理部１２は、撮影時刻が異なる複数の静止画像用の画像データを合成して（繋ぎ合わせて）１つのパノラマ画像用の画像データを生成する処理や、撮影時刻が異なる２つのスルー画像用の画像データから動きベクトルを検出する処理を行う。また、その他にも、ガンマ補正やホワイトバランス補正等の補正処理や、画像を構成する画素数を増減させる画像の拡大・縮小処理（リサイズ処理）等といった、画像データに対する各種の画像処理を行う。

ＣＰＵ１３は、ＦｌａｓｈＲＯＭ１６に格納されているカメラプログラムを読み出して実行することによって当該デジタルカメラ全体の動作を制御する。また、表示制御部１３ａは、詳しくは後述するパノラマ撮影中における表示部１５の表示を制御するものであって、ＣＰＵ１３がカメラプログラムの実行により表示制御を行うことによって実現されるものである。ＦｌａｓｈＲＯＭ１６は、電気的に書き換え動作を行わせることが可能な不揮発性メモリであり、ＣＰＵ１７により実行されるカメラプログラムの他、そのカメラプログラムの実行中に使用される各種データ等が格納されている。

操作部１７は、ユーザからの各種指示を受け付け、それをＣＰＵ１３へ通知するための各種ボタンを含む。例えば、後述のシャッターボタン（レリーズボタン）、メニューボタン、上下左右ボタン、及び、ＯＫボタン等を含む。なお、シャッターボタンは、撮影指示を行うためのボタンである。マイク（録音部）１８は、音声をデジタルデータである音声データに変換するものであり、音声の録音に使用される。

次に、このような構成を有するデジタルカメラの動作の一つとして、パノラマ撮影動作について詳細に説明する。但し、本実施形態では、ユーザがシャッターボタンを押下してからデジタルカメラを左側から右側へパンニング操作を行ってパノラマ撮影を行う場合を例に、そのパノラマ撮影動作を説明する。

はじめに、パノラマ撮影動作の概要を説明する。
本実施形態に係るデジタルカメラでは、パノラマ撮影動作を開始すると、表示部１５の表示画面に、スルー画像と共に、ユーザによるパンニング操作が適正な速度で且つ適正な方向へ行われるように誘導するための指標としてのゾーンと、実際にユーザにより行われているパンニング操作の状況を表す移動軌跡とが表示され、ユーザが表示画面上のゾーンによる誘導に移動軌跡が沿うようにパンニング操作を行うことによって、被写体ぶれの無いパノラマ画像を得ることが可能になっている。

図２は、パノラマ撮影動作中に表示部１５に表示された画面例を示す図である。図３は、パノラマ撮影動作中に表示部１５に表示された一連の画面例を模式的に示す図である。
図２に示したように、パノラマ撮影動作中には、表示画面に、スルー画像と共に、上記のゾーン２１と移動軌跡２２が表示される。

ゾーン２１は、推奨スピードゾーン２１ａ、軌道修正奨励ゾーン２１ｂ、及び警告コメント表示ゾーン２１ｃの３種類の部分ゾーンで構成されている。推奨スピードゾーン２１ａは、現在の移動軌跡（同図の黒丸）２２ａが当該推奨スピードゾーン２１ａ内に含まれている場合に、ユーザによるパンニング操作が適切に行われていることを示す部分ゾーンである。軌道修正奨励ゾーン２１ｂは、現在の移動軌跡２２ａが当該軌道修正奨励ゾーン２１ｂに含まれている場合に、ユーザによるパンニング操作に対し軌道修正を奨励することを示す部分ゾーンである。警告コメント表示ゾーン２１ｃは、現在の移動軌跡２２ａが当該警告コメント表示ゾーン２１ｃに含まれている場合に、ユーザによるパンニング操作が速すぎることを示す部分ゾーンであって、この場合には、図３の画面例の一つに示したように、表示画面に警告表示が行われるようになっている。

これら３種類の部分ゾーンは、パノラマ撮影動作が開始すると、時間の経過と共に変化して表示される。本例の場合には、パンニング操作が左側から右側へ行われることを想定しているため、図３に示したように、時間の経過と共に、推奨スピードゾーン２１ａが移動許容速度ｖに応じた一定の速度で左側から右側へ移動するように表示され、それに伴って軌道修正奨励ゾーン２１ｂ及び警告コメント表示ゾーン２１ｃが変化して表示される。なお、図３では、軌道修正奨励ゾーン２１ｂ及び警告コメント表示ゾーン２１ｃの図示を省略している。

ここで、上記の移動許容速度ｖは、次式により与えられる。
移動許容速度ｖ ＝ β／（１／α） [pixel/sec]
βは、仮に撮像素子２をＣＣＤとすると、ＣＣＤ上の被写体ぶれの許容値[pixel]である。また、１／αは、予め定められたシャッタースピード[sec]である。詳しくは後述するが、本実施形態に係るデジタルカメラでは、パノラマ撮影動作中における静止画像の撮影において、シャッタースピードが必ず１／αよりも高速のシャッタースピードの下で撮影が行われるようになっている。従って、ユーザによるパンニング操作が移動許容速度ｖ以下である場合には、被写体ぶれの無い静止画像を撮影することができる。

また、推奨スピードゾーン２１ａは、図３に示したように、パノラマ撮影動作中における静止画像の撮影が終了する毎にゾーン２１上の左端に位置して表示され、再び右側へ移動するように表示される。

パノラマ撮影動作中における静止画像の撮影（但し２回目以降の静止画像の撮影）は、現在の移動軌跡２２ａが表示画面の右端に位置した時点で行われる。すなわち、静止画像を撮影した後の移動軌跡２２の移動量が、ゾーン２１の水平方向（左右方向）の長さである１表示画面分に達すると、次の静止画像の撮影が行われる。従って、推奨スピードゾーン２１ａがゾーン２１上の右端に位置した時に同時に移動軌跡２２ａがゾーン２１上の右端に位置していることが、パノラマ撮影動作中における静止画像の好適な撮影タイミングとなる。よって、少なくとも、推奨スピードゾーン２１ａがゾーン２１上の右端に位置した時に移動軌跡２２ａがゾーン２１上の右端に位置するようにユーザがパンニング操作を行えば、被写体ぶれの無い静止画像を撮影することができる。

ゾーン２１の垂直方向（上下方向）の幅は、撮影した複数の静止画像を繋ぎ合わせて（合成して）パノラマ画像を作成する際に許容される垂直方向の移動許容幅を示している。
以上のような表示により、ユーザは、パンニング操作中に、現在の移動軌跡２２ａが推奨スピードゾーン２１ａ内に含まれているときには、現在のパンニング操作が適切に行われていることを認識することができる。また、現在の移動軌跡２２ａが軌道修正奨励ゾーン２１ｂに含まれているときには、移動軌跡２２ａが推奨スピードゾーン２１ａ内に含まれるようにパンニング操作の軌道を修正した方が好ましいことを認識することができる。また、現在の移動軌跡３３ａが警告コメント表示ゾーン２１ｃ内又はソーン２１外に含まれているときには、現在のパンニング操作が不適切に行われていることを認識して、現在の移動軌跡２２ａが推奨スピードゾーン２１ａ内に含まれるようにパンニング操作を修正することができる。よって、ユーザは、パノラマ撮影中におけるパンニング操作を適切な速度で且つ適切な方向へ行うことができる。

また、推奨スピードゾーン２１ａがゾーン２１上の右端に位置した時に同時に移動軌跡２２ａがゾーン２１上の右端に位置していることが、パノラマ撮影動作中における静止画像の好適な撮影タイミングになるので、ユーザは、少なくとも、推奨スピードゾーン２１ａがゾーン２１上の右端に位置した時に移動軌跡２２ａがゾーン２１上の右端に位置するようにパンニング操作を行うことによって、被写体ぶれの無いパノラマ画像を得ることができる。従って、ユーザは、必ずしも現在の移動軌跡２２ａが常に推奨スピードゾーン２１ａ内に含まれるようにパンニング操作を行う必要は無いので、使い勝手が良くなる。

図４は、以上のような動作を含むパノラマ撮影動作のフローチャートを示す図である。
同図において、撮影モードとして通常撮影モードが設定されているときに、ユーザによるメニューボタン、上下左右ボタン、及びＯＫボタンの操作により撮影モードが通常撮影モードからパノラマ撮影モードに変更設定されると、そのパノラマ撮影モードの設定を検知して（Ｓ１）、ＩＳＯ感度を最大値（ＭＡＸ）に設定する（Ｓ２）。ここで最大値に設定されたＩＳＯ感度は、その後、撮影モードがパノラマ撮影モードから他の撮影モードへ変更されるまで、最大値に設定されたままとなる。

なお、通常撮影モードやパノラマ撮影モードといった撮影モードが設定されているときには、基本的に、表示部１５にスルー画像の表示が継続的に行われるスルー画状態となる。

続いて、ユーザによるシャッターボタンの押下を検知したか否かを判定する（Ｓ３）。ここで、その判定結果がＮＯの場合には、本判定を繰り返す。
一方、Ｓ３の判定結果がＹＥＳの場合には、最大値に設定されているＩＳＯ感度の下で静止画像を撮影し（Ｓ４）、表示部１５の表示画面を初期化する（Ｓ５）。この表示画面の初期化では、スルー画像と共に、上述の図２及び図３を用いて説明したゾーンと移動軌跡を初期化して表示する。すなわち、推奨スピードゾーンをゾーン上の左端の位置に表示し、それに伴って軌道修正推奨ゾーン及び警告コメント表示ゾーンをゾーン上に表示する。また、現在の移動軌跡として、ゾーンの左端であってゾーンの垂直方向の幅の中心位置に黒丸をプロット表示する。但し、Ｓ３の判定がＹＥＳになった後の２回目以降のＳ５の処理では、最後に移動軌跡としてプロット表示された黒丸を、垂直方向の位置を変更せずに、ゾーンの左端側に移動して表示すると共に、それ以外の移動軌跡を消去する。

また、Ｓ５の処理では、さらに、後述のＳ１４の処理で判定の対象となる、動きベクトルから抽出された水平成分の移動量の累積値Ｓを０にクリアする（Ｓ＝０）。
続いて、スルー画像用の画像データを取り込み（Ｓ６）、取り込んだスルー画像用の画像データを画像バッファメモリ５に保存する（Ｓ７）。但し、第１のスルー画像用の画像データとして設定されている画像データが画像バッファメモリ５に保存されていない場合には、取り込んだスルー画像用の画像データを第１のスルー画像用の画像データとして設定して保存する。又は、第１のスルー画像用の画像データとして設定されている画像データが画像バッファメモリ５に保存されていて、第２のスルー画像用の画像データとして設定されている画像データが画像バッファメモリ５に保存されていない場合には、取り込んだスルー画像用の画像データを第２のスルー画像用の画像データとして設定して保存する。

続いて、第１及び第２のスルー画像用の画像データとして設定されている２つの画像データから、第１のスルー画像用の画像データとして設定されている画像データに係るスルー画像に表されている被写体位置に対する、第２のスルー画像用の画像データに設定されている画像データに係るスルー画像に表されている被写体位置の移動量を表す動きベクトルを検出する（Ｓ８）。但し、第２のスルー画像用の画像データとして設定されている画像データが保存されていない場合には、本処理（Ｓ８）及び続くＳ９の処理を行わずに、Ｓ６へ戻る。従って、この場合には、次のＳ６で取り込まれるスルー画像用の画像データは、第２のスルー画像用の画像データとして設定されて保存されることになる。

図５はＳ８の処理を概念的に示す図であり、図６はＳ８の処理を模式的に示す図である。
図５及び図６に示したように、例えば、スルー画像用の画像データｉ（１）が第１のスルー画像用の画像データとして設定されて画像バッファメモリ５に保存され、スルー画像用の画像データｉ（４）が第２のスルー画像用の画像データとして設定されて画像バッファメモリ５に保存された場合、動きベクトルは、第１のスルー画像用の画像データとして設定されている画像データｉ（１）と、第２のスルー画像用の画像データとして設定されている画像データｉ（４）との間の差分を検出することにより求められる。これにより、第１のスルー画像用の画像データとして設定されている画像データに係るスルー画像に表されている被写体位置に対する、第２のスルー画像用の画像データとして設定されている画像データに係るスルー画像に表されている被写体位置の移動量を求めることができる。なお、詳しくは後述するが、このようにして求めた移動量に基づいて、表示部１０の表示画面に移動軌跡が表示される。

図４のＳ８の処理が終了すると、続いて、そのＳ８で検出された動きベクトルから、水平方向にデジタルカメラが動かされたことを検知したか否かを判定する（Ｓ９）。この検知では、動きベクトルから水平方向の移動量を抽出し、その移動量が所定量以上である場合に、デジタルカメラが水平方向に動かされたと検知する。

Ｓ９において、その判定結果がＮＯの場合には、第２のスルー画像用の画像データとして設定されている画像データにおいて、その設定を解除し、Ｓ６へ戻る。従って、この場合には、次のＳ６で取り込まれるスルー画像用の画像データは、第２のスルー画像用の画像データとして設定されて保存されることになる。

一方、Ｓ９の判定結果がＹＥＳの場合には、Ｓ８で検出された動きベクトルから、水平方向及び垂直方向の移動量を抽出し、その移動量の相当量を現在の移動軌跡として表示部１５に表示する（Ｓ１０）また、このＳ１０では、第１のスルー画像用の画像データとして設定されている画像データにおいて、その設定を解除すると共に、第２のスルー画像用の画像データとして設定されている画像データを第１のスルー画像用の画像データとして設定して、第２のスルー画像用の画像データとして設定されている画像データにおいて、その設定を解除する。

図７(a),(b),(c) は、Ｓ１０の一部処理を概念的に示す図である。
同図(a) に示したように、例えば、第１のスルー画像用の画像データとして設定されている画像データに係るスルー画像をＺ枚目のスルー画像とし、第２のスルー画像用の画像データとして設定されている画像データに係るスルー画像をＺ＋α枚目のスルー画像とし、この２つのスルー画像用の画像データとの間で得られた動きベクトルから抽出された水平方向及び垂直方向の移動量を、同図(b) に示したΔｘ及びΔｙとする。この場合、同図(c) に示したように、その水平方向の移動量Δｘの相当量と、その垂直方向の移動量Δｙの相当量を、現在の移動軌跡として表示部１５に黒丸３１でプロット表示する。但し、現在の移動軌跡として黒丸３１をプロット表示する際には、前回の移動軌跡としてプロット表示された黒丸３２から、水平方向の移動量Δｘの相当量と垂直方向の移動量Δｙの相当量だけ移動した位置にプロット表示する。

なお、同図(c) において、移動軌跡としてプロット表示されている黒丸３１以外の黒丸は、過去にＳ１０の処理により同様にして移動軌跡としてプロット表示された黒丸であり、黒丸３３は、Ｓ３の判定がＹＥＳになった後に初めてＳ５の処理が行われた時に移動軌跡としてプロット表示された黒丸である。

また、同図(c) においては、説明の便宜のために、移動軌跡としてプロット表示された黒丸と黒丸との間隔を大きめに示しているが、実際の処理では、この間隔は小さくなり、上述の図２及び図３を用いて説明したように、移動軌跡としてプロット表示された黒丸は全体として線のように表示される。

なお、同図(c) では、ゾーン２１において、推奨スピードゾーン、軌道修正推奨ゾーン、及び警告コメント表示ゾーンの図示を省略している。
図４のＳ１０の処理が終了すると、続いて、そのＳ１０において表示した移動軌跡（現在の移動軌跡としてプロット表示した黒丸）がゾーン内に存在するか否かを判定する（Ｓ１１）。なお、この判定は、ユーザによるパンニング操作が、パノラマ画像を作成する際の画像合成に許容されるレベルであるか否かを判定するものでもある。Ｓ１１の判定において、その判定結果がＮＯの場合には、警告表示を行い（Ｓ１２）、Ｓ１４へ進む。

一方、Ｓ１１の判定結果がＹＥＳの場合には、Ｓ１０において表示した移動軌跡（現在の移動軌跡としてプロット表示した黒丸）が警告コメント表示ゾーン内に存在するか否かを判定する（Ｓ１３）。なお、この判定は、ユーザによるパンニング操作が、被写体ぶれを生じるレベルであるか否かを判定するものでもある。Ｓ１３の判定において、その判定結果がＹＥＳの場合には、警告表示を行い（Ｓ１２）、Ｓ１４へ進む。この場合の警告表示では、上述の図３の画面例の一つに示したように、例えば「少々ゆっくり動かしてください」等といったメッセージが表示部１５の表示画面に表示される。

一方、Ｓ１３の判定結果がＮＯの場合、或いは、Ｓ１２の処理の後は、続いて、Ｓ８で検出された動きベクトルから抽出された水平成分の移動量Δｘを累積値Ｓに加算し（Ｓ←Ｓ＋Δｘ）、累積値Ｓが所定量Ｘ以上（Ｓ≧Ｘ）であるか否かを判定する（Ｓ１４）。なお、所定量Ｘは、ゾーンの水平方向の長さである１表示画面に相当する量であり、この判定は次の静止画像の撮影タイミングであるか否かを判定するものでもある。

図８は、Ｓ１４の処理を概念的に説明する図である。
同図に示したように、本処理（Ｓ１４）が繰り返し行われることによって、その都度、Ｓ８で検出された動きベクトルから抽出された水平成分の移動量Δｘが累積値Ｓに累積されていき、その累積値Ｓが所定量Ｘ以上（Ｓ＝Δｘ₁＋Δｘ₂＋Δｘ₃＋…Δｘ_n≧Ｘ）になると、次の静止画像の撮影タイミングとなり、Ｓ１４の判定がＹＥＳになる。

このようにしてＳ１４の判定が行われ、その判定結果がＹＥＳの場合には、続いて、次の静止画像を撮影するときのシャッタースピードとして、Ｓ３の判定がＹＥＳになった後に初めにＳ４で撮影された静止画像の露出に合わせたシャッタースピード（シャッター速度）を確定し（Ｓ１５）、Ｓ４へ戻る。なお、Ｓ１５のシャッタースピードの確定では、Ｓ２にてＩＳＯ感度が最大値に設定されていることから、より高速のシャッタースピードを確定することができる。従って、次のＳ４で行われる静止画像の撮影では、Ｓ１５で確定された高速のシャッタースピードの下で静止画像の撮影が行われるので、被写体ぶれの無い静止画像を撮影することができる。但し、Ｓ１５の処理では、必ず、上述の１／αよりも高速のシャッタースピードが確定されるようになっており、それよりも遅いシャッタースピードは確定されないようになっている。

一方、Ｓ１４の判定結果がＮｏの場合には、続いて、パノラマ撮影終了指示を検知したか否かを判定する（Ｓ１６）。なお、パノラマ撮影終了指示は、例えばシャッターボタンの押下により行うことができる。この場合にはパノラマ撮影の開始及び終了の指示をシャッターボタンのみで行うことができる。

Ｓ１６の判定結果がＹＥＳの場合には、これまでに（Ｓ３の判定がＹＥＳになった後から現時点までに）Ｓ４で撮影された静止画像の画像データを繋ぎ合わせて（合成して）パノラマ画像の画像データを作成する処理（パノラマ合成自動処理）を行い（Ｓ１７）、そのパノラマ画像の画像データを外部メモリ８（又は内部メモリ７でも良い）に記録し（Ｓ１８）、Ｓ３へ戻る。

一方、Ｓ１６の判定結果がＮＯの場合には、続いて、Ｓ３の判定がＹＥＳになってから一定時間が経過したか否かを判定する（Ｓ１９）。このＳ１９の判定結果がＹＥＳの場合には、Ｓ１７へ進み、上述したＳ１７及びＳ１８の処理を行ってＳ３へ戻る。一方、Ｓ１９の判定結果がＮＯの場合には、Ｓ６へ戻る。この場合は、次のＳ６で取り込まれるスルー画像用の画像データは、第２のスルー画像用の画像データとして設定されて保存されることになる。

以上、本実施形態に係るデジタルカメラによれば、ユーザは、パノラマ撮影中のパンニング操作を適正な速度で且つ適正な方向へ行うことができるので、被写体ぶれの無いパノラマ画像を得ることができる。

また、そのパンニング操作においては、ユーザは、必ずしも現在の移動軌跡が常に推奨スピードゾーン内に含まれるようにパンニング操作を行う必要は無く、少なくとも推奨スピードゾーンがゾーン上の右端に位置した時に現在の移動軌跡がゾーン上の右端に位置するようにパンニング操作を行えば良いので、使い勝手を向上させることができる。

なお、本実施形態に係るデジタルカメラでは、ユーザがデジタルカメラを左側から右側へパンニング操作をする場合の例を説明したが、右側から左側へパンニング操作をする場合にも同様にして処理を行うことができることは述べるまでもない。

また、本実施形態に係るデジタルカメラでは、推奨スピードゾーンがゾーン上の右端に位置した時に同時に現在の移動軌跡がゾーン上の右端に位置していることが、パノラマ撮影動作中における静止画像の好適な撮影タイミングであることから、推奨スピードゾーンがゾーン上の右端に位置した時に、音声、振動、又は表示等によって、推奨スピードゾーンがゾーン上の右端に位置したことを告知するように構成することも可能である。

また、本実施形態に係るデジタルカメラにおいて、パノラマ撮影動作中における２回目以降の静止画像の撮影時に、音声、振動、又は表示等によって、静止画像の撮影画像が行われたことを告知するように構成することも可能である。

また、本実施形態に係るデジタルカメラでは、パノラマ撮影動作中における２回目以降の静止画像の撮影を自動で行うものであったが、これをユーザが手動で行うように構成することもできる。

また、本実施形態に係るデジタルカメラでは、パノラマ撮影動作中において、前回の静止画像の撮影から次回の静止画像の撮影までの１静止画像分の移動軌跡を表示可能にするものであったが、例えば複数静止画像分の移動軌跡を連続して表示可能に構成することもできる。

図９は、そのように構成したときの表示画面例を模式的に示す図である。
同図に示した例は、５つの静止画像分の移動軌跡を連続して表示可能に構成した例である。この例では、ゾーン４１上に、５つ分の撮影画像のシャッタータイミングの位置を示す線４２（４２ａ、４２ｂ、４２ｃ、４２ｄ、及び４２ｅ）が表示される。従って、現在の移動軌跡４３が、ゾーン４１上の線４２（線４２の延長線も含む）の位置に達したときに静止画像の撮影タイミングとなって静止画像の撮影が行われる。そして、現在の移動軌跡４３が表示画面の右端（ゾーン４１上の線４２ｅ（線４２ｅの延長線も含む））の位置に達して静止画像の撮影が行わると、上述した本実施形態と同様に、ゾーン４１と移動軌跡４３の初期化が行われる。すなわち、推奨スピードゾーン４１ａがゾーン４１上の左端に位置して表示され、それに伴って軌道修正奨励ゾーン及び警告コメント表示ゾーンがゾーン４１上に表示され、さらに、最後にプロット表示された移動軌跡が表示画面の左端側に移動して表示され、その他の移動軌跡は消去される。なお、図９においては、ゾーン４１上の軌道修正奨励ゾーン及び警告コメント表示ゾーンの図示を省略しているが、実際には、上述した本実施形態と同様に、それらのゾーンも表示される。

また、このように複数静止画像分の移動軌跡を連続して表示可能に構成する場合に、パノラマ画像を構成する静止画像数が予め定められている場合には、その定められている静止画像数分の移動軌跡を連続して表示可能に構成するようにすることもできる。

また、本実施形態に係るデジタルカメラでは、パノラマ撮影終了指示をシャッターボタンの押下により行うことができるとしたが、その他のボタンの押下など他の手法によりパノラマ撮影終了指示を行うようにすることもできる。

以上、本発明について詳細に説明したが、本発明は上記実施形態に限定されず、本発明の要旨を逸脱しない範囲において、各種の改良及び変更を行っても良いのはもちろんである。

一実施の形態に係る撮像装置であるデジタルカメラのシステム構成を示す図である。 パノラマ撮影動作中に表示部に表示された画面例を示す図である。 パノラマ撮影動作中に表示部に表示された一連の画面例を模式的に示す図である。 パノラマ撮影動作のフローチャートを示す図である。 Ｓ８の処理を概念的に示す図である。 Ｓ８の処理を模式的に示す図である。 (a),(b),(c) はＳ１０の一部処理を概念的に示す図である。 Ｓ１４の処理を概念的に説明する図である。 複数静止画像分の移動軌跡を連続して表示可能に構成したときの表示画面例を模式的に示す図である。 通常撮影機能による通常撮影とパノラマ撮影機能によるパノラマ撮影を概念的に示す図である。

符号の説明

１ 撮影レンズ
２ 撮像素子
３ 撮像部
４ Ａ／Ｄ部
５ 画像バッファメモリ
６ 表示処理部
７ 内蔵メモリ
８ 外部メモリ
９ 有線Ｉ／Ｆ
１０ 無線Ｉ／Ｆ
１１ 圧縮伸張部
１２ 画像処理部
１３ ＣＰＵ
１４ バス
１５ 表示部
１６ ＦｌａｓｈＲＯＭ
１７ 操作部
１８ マイク（録音部）
２１ ゾーン
２２ 移動軌跡
３１、３２、３３ 移動軌跡
４１ ゾーン
４２ 線
４３ 移動軌跡
１０１、１０２、１０３、１０４、１０５ 画像
１０６ パノラマ画像

Claims (14)

1. 被写体を撮像して画像データを得る撮像手段と、
   前記撮像手段により得られた画像データに係る画像を表示する表示手段と、
   第１の時点に前記撮像手段により得られた画像データに係る第１の画像と、前記第１の時点よりも後の第２の時点に前記撮像手段により得られた画像データに係る第２の画像とから、前記第１の画像に表された被写体位置に対する、前記第２の画像に表された被写体位置の移動量を検出する移動量検出手段と、
   前記表示手段に表示された画像と共に、前記移動量検出手段により検出された移動量を移動軌跡として前記表示手段に表示させる表示制御手段と、
   を有することを特徴とする撮像装置。
2. 前記表示制御手段は、静止画像の撮影が行われた時点から現在の時点までの間に前記撮像手段により得られた画像データに係る画像に表された被写体位置の時間的変化を、前記静止画像の撮影が行われた時点を起点とする移動軌跡として表示させる、
   ことを特徴とする請求項１記載の撮像装置。
3. 前記表示制御手段は、撮影指示が行われた時点から現在の時点までの間に前記撮像手段により得られた画像データに係る画像に表された被写体位置の時間的変化を、前記撮影指示が行われた時点を起点とする移動軌跡として表示させる、
   ことを特徴とする請求項１記載の撮像装置。
4. 前記移動量検出手段により検出された移動量に基づいて、静止画像の撮影が行われた時点の後に最初に前記撮像手段により得られた画像データに係る画像に表された被写体位置からの移動量が、前記表示手段の１表示画面相当量に達したことを検出したときは、次の静止画像の撮影を行う、
   ことを特徴とする請求項１記載の撮像装置。
5. 前記移動量検出手段により検出された移動量に基づいて、静止画像の撮影が行われた時点の後に最初に前記撮像手段により得られた画像データに係る画像に表された被写体位置からの移動量が、前記表示手段の１表示画面相当量に達したことを検出したとき、または、撮影指示に応じて、前記移動軌跡の表示位置を当該移動軌跡の起点側の前記表示画面内の端部に変更する、
   ことを特徴とする請求項４記載の撮像装置。
6. 前記移動量検出手段は、前記第１の時点に前記撮像手段により得られた画像データと前記第２の時点に前記撮像手段により得られた画像データとから動きベクトルを検出し、当該動きベクトルに基づいて、前記第１の画像に表された被写体位置に対する前記第２の画像に表された被写体位置の移動量を検出する、
   ことを特徴とする請求項１記載の撮像装置。
7. 前記表示手段は、前記撮像手段により得られた複数の静止画像用の画像データに係る画像を合成して１つの合成画像を生成する際に許容される垂直方向の移動許容幅範囲を、前記撮像手段により得られた画像データに係る画像と共に表示する、
   ことを特徴とする請求項１記載の撮像装置。
8. 前記移動量検出手段により検出された移動量に基づく移動速度が許容値を超える場合に警告する警告手段を更に有する、
   ことを特徴とする請求項１記載の撮像装置。
9. 前記撮像手段により撮像された複数の静止画像用の画像データを１つの画像データに合成する画像合成手段と、
   前記画像合成手段により合成された画像データを記録する記録手段と、
   を更に有することを特徴とする請求項１記載の撮像装置。
10. 最初の静止画像の撮影時にＩＳＯ感度を最大に設定して撮影を行い、以降の静止画像の撮影時には前記ＩＳＯ感度を最大に設定したままで且つ撮影された前記最初の静止画像の露出に合うようにシャッタースピードを設定して撮影を行う、
    ことを特徴とする請求項１記載の撮像装置。
11. 当該撮影装置を動かす速度を誘導するための移動速度を設定する設定手段を更に有し、
    前記表示手段は、前記設定手段により設定された移動速度に応じて、当該撮像装置を動かす速度又は及び次の静止画像の撮影を誘導するための誘導指標を更に表示する、
    ことを特徴とする請求項１記載の撮像装置。
12. 前記表示制御手段は、前記撮像手段により得られた複数の静止画像用の画像データに係る静止画像分の移動軌跡を前記表示手段に連続して表示させる、
    ことを特徴とする請求項１記載の撮像装置。
13. 第１の時点に被写体を撮像して得た第１の画像データと、前記第１の時点よりも後の第２の時点に被写体を撮像して得た第２の画像データとから、前記第１の画像データに係る画像に表された被写体位置に対する、前記第２の画像データに係る画像に表された被写体位置の移動量を検出し、
    撮像により得られた画像データに係る画像と共に、検出した前記移動量を移動軌跡として表示する、
    ことを特徴とする撮像装置の表示方法。
14. 撮像装置のコンピュータに実行されるプログラムであって、前記コンピュータを、
    第１の時点に撮像手段により撮像され得られた画像データに係る第１の画像と、前記第１の時点よりも後の第２の時点に前記撮像手段により撮像され得られた画像データに係る第２の画像とから、前記第１の画像に表された被写体位置に対する、前記第２の画像に表された被写体位置の移動量を検出する移動量検出手段、
    表示手段に表示された撮像により得られた画像データに係る画像と共に、前記移動量検出手段により検出された移動量を移動軌跡として前記表示手段に表示させる表示制御手段、
    として機能させるためのプログラム。