JP2010193245A - 撮像装置、撮像方法及び撮像プログラム - Google Patents

Abstract

【課題】「パノラマ撮影」モードの設定等のユーザの操作を要することなく、パノラマ画像を得ることができる撮像装置を提供する。
【解決手段】撮像装置は、時間的に連続する複数枚の画像を取得し、画像を取得中にパン動作を検出した場合に（ステップＳＡ１）、複数枚の画像を合成してパノラマ画像を生成する（ステップＳＡ３）。パン動作の誤検出による不自然なパノラマ画像の生成を防ぐために、被写体中の特徴物を検出した場合はパノラマ画像を生成しないか、特徴物を除去した状態で画像を合成してパノラマ画像を生成する。
【選択図】図２

Description

本発明は、例えばデジタルカメラ等の撮像装置に係り、特に「パノラマ撮影」モードの設定等のユーザの操作を要することなくパノラマ画像を得ることができる撮像装置、撮像方法及び撮像プログラムに関するものである。

従来より、撮像装置を用いて風景や建物・記念物などを撮影することが行われており、近年、複数枚の画像を１枚の画像に合成して広い画角のパノラマ画像を得ることが行われている。このようにして得られたパノラマ画像は、通常の撮影モードで得られる通常画像の画角よりも広いため、非常に迫力のある画像として楽しまれている。

さらにはこれらの中には、デジタルカメラによる撮影時の移動情報を各フレームに対応して画像データに付与してメモリカード又は内蔵メモリに記録して、記録された移動情報が付与された画像データから移動情報をスプリット手段によって抽出して、該抽出移動情報に基づいて演算手段によってデジタルカメラの撮影時の移動方向や移動距離を演算し、画像加工手段によって隣接する被写体フレームを抽出して、パノラマ画像を作成するものも存在する（例えば、特許文献１）。

このようなパノラマ画像を得るためには、ユーザによる撮像装置の操作を必要とし、事前にメニュー画面にて「パノラマ撮影」モードを設定しておいたり、「パノラマ撮影」をするためのコマンド選択をしたりと、「パノラマ撮影」モードに移行するための操作が必要であった。また、「パノラマ撮影」モードから「通常撮影」モードに移行するためには、モード設定を元に戻すなどの操作が必要であった。

特開２００４−１２８６８３号公報

本発明は、かかる従来の課題に鑑みてなされたものであり、ユーザの操作を要することなく、自動的にパノラマ画像を生成することができる撮像装置、撮像方法及び撮像プログラムを提供することを目的とする。

前記課題を解決するため請求項１記載の発明に係る撮像装置にあっては、撮像素子によって時間的に連続する複数枚の画像を取得する撮像手段と、前記撮像手段による画像の取得中にパン動作を検出するパン動作検出手段と、前記パン動作検出手段によるパン動作の検出を行うと、前記撮像手段によって取得した複数枚の画像を合成してパノラマ画像を生成するパノラマ画像生成手段と、を備えたことを特徴とする。

また、請求項２記載の発明に係る撮像装置にあっては、前記パン動作は流し撮りによるものであるか否かを判定する流し撮り判定手段を更に備え、前記パノラマ画像生成手段は、前記流し撮り判定手段が流し撮りではないと判定した場合に、前記撮像手段によって取得した複数枚の画像を合成してパノラマ画像を生成することを特徴とする。

また、請求項３記載の発明に係る撮像装置にあっては、前記パン動作は特徴物を追随して撮影する流し撮りによるものであるか否かを判定する流し撮り判定手段を更に備え、前記パノラマ画像生成手段は、前記流し撮り判定手段が流し撮りであると判定した場合に、前記撮像手段によって取得した複数枚の画像から前記特徴物を除去し、除去された後の複数枚の画像を合成してパノラマ画像を生成することを特徴とする。

また、請求項４記載の発明に係る撮像装置にあっては、前記流し撮り判定手段は、前記撮像手段によって撮像した画像の各々を比較して同一の被写体を検出する検出手段を備え、該検出手段が同一の被写体を検出した場合に流し撮りであると判定することを特徴とする。

また、請求項５記載の発明に係る撮像装置にあっては、前記流し撮り判定手段は、前記撮像手段によって撮像した画像の動きベクトルを比較して同一の被写体を検出する検出手段を備え、該検出手段が同一の被写体を検出した場合に流し撮りであると判定することを特徴とする。

また、請求項６記載の発明に係る撮像装置にあっては、前記パン動作検出手段は、前記複数枚の画像の各々との間における被写体部分のずれ量及びずれ方向を示す動きベクトルを取得するベクトル取得手段を備え、前記ベクトル取得手段により取得された動きベクトルに基づいて、パン動作を検出することを特徴とする。

また、請求項７記載の発明に係る撮像装置にあっては、前記複数枚の画像から前記パノラマ画像を生成することができるパノラマ化条件が設定され、前記パノラマ画像生成手段は、前記パノラマ化条件が満たされたときに、パノラマ画像を生成することを特徴とする。

また、請求項８記載の発明に係る撮像装置にあっては、前記パノラマ化条件が満たされないときに、その旨をユーザに通知する通知手段を備えることを特徴とする。

また、請求項９記載の発明に係る撮像方法にあっては、撮像素子によって時間的に連続する複数枚の画像を取得する工程と、撮影した画像の取得中にパン動作を検出する工程と、パン動作の検出を行うと、取得した複数枚の画像を合成してパノラマ画像を生成する工程と、を有することを特徴とする。

さらに、請求項１０記載の発明に係る撮像プログラムにあっては、撮像装置が有するコンピュータに、撮像素子によって時間的に連続する複数枚の画像を取得する工程と、撮影した画像の取得中にパン動作を検出する工程と、パン動作の検出を行うと、取得した複数枚の画像を合成してパノラマ画像を生成する工程と、を実行させることを特徴とする。

本発明によれば、時間的に連続する複数枚の画像を取得中にパン動作を検出した場合に、複数枚の画像を合成してパノラマ画像を生成することで、ユーザの操作を要することなく、自動的にパノラマ撮影モードへと移行することができる。

本発明の第１の実施の形態の撮像装置の電気的構成を示したブロック図である。 図１の撮像装置が通常撮影モードから自動的にパノラマ処理に移行するときの処理手順を示すフローチャートである。 図１の撮像装置の操作イメージを示す図である。 図１の撮像装置が自動的にパノラマ処理に移行するときの概要を説明する図である。 図１の撮像装置が動画撮影時に自動的にパノラマ処理に移行するときの処理手順を示すフローチャートである。 図１の撮像装置がモニタリング時に自動的にパノラマ処理に移行するときの処理手順を示すフローチャートである。 図１の撮像装置が高速連写撮影時に自動的にパノラマ処理に移行するときの処理手順を示すフローチャートである。 被写体を追随して撮影しているときを判別してパノラマ処理を行う、本発明の第２の実施の形態の撮像装置の処理手順を示すフローチャートである。 動く特徴物を追随しているときに検出される動きベクトルの一例を示す図である。 被写体を追随して撮影しているときであってもパノラマ処理を行う、本発明の第３の実施の形態の撮像装置の処理手順を示すフローチャートである。 画像を複数のスリットに分割するパノラマ処理を説明する図である。 画像を複数のスリットに分割するパノラマ処理を説明する図である。

＜第１の実施の形態＞
図１は、本発明の第１の実施の形態の撮像装置であるデジタルカメラの電気的構成を示したブロック図である。このデジタルカメラは、基本となる動作モードとして撮影を行うための記録モードと、撮影した画像を再生するための再生モードとを有し、記録モードは下位モードとして通常撮影モードとパノラマ撮影モードとが設けられたものである。

図１に示すように本実施の形態の撮像装置であるデジタルカメラは、撮影レンズ１と、シャッタ２と、撮影レンズ１により収束された撮影光をシャッタ２を介して受光するとともに、受光面に結像された被写体の光学像を光電変換し画像信号として出力する撮像素子であるＣＭＯＳセンサ３、ＣＭＯＳセンサ３の出力信号をデジタルの画像データへ変換するＡ／Ｄ変換器４、変換後の画像データを逐次記憶するＤＲＡＭ５を備えている。なお、ＤＲＡＭ５には、複数枚の画像データが格納される。

シャッタ２の動作は、ＣＰＵ９の命令に従いシャッタ制御部８により制御され、ＣＭＯＳセンサ３及びＡ／Ｄ変換器４の動作はＣＰＵ９の命令に従い受光制御部１０により制御される。ＤＲＡＭ５に格納された１枚分の画像データ、すなわちＲＡＷデータはデモザイク部１１により画素毎に色情報を補間されてＹＵＶデータに変換された後、液晶表示コントローラ６を介して液晶表示器７にスルー画像として表示される。なお、変換されたＹＵＶデータもＤＲＡＭ５に一時的に記憶される。

記録モードでの撮影時にデモザイク部１１によりＹＵＶデータに変換された画像データは、ＣＰＵ９によってＪＰＥＧ等の所定の圧縮方式に従い圧縮された後、外部記憶メモリ１２に静止画ファイル又は動画ファイルとして記録される。外部記憶メモリ１２に記録された画像データは、再生モードにおいては、必要に応じてＣＰＵ９に読み出されて伸張された後、液晶表示コントローラ６を介して液晶表示器７において表示される。その他、液晶表示器７には、ユーザに対する種々の通知が表示される。液晶表示器７は、本発明の通知手段として機能する。なお、外部記憶メモリ１２は、例えばカメラ本体に着脱自在なメモリカードや、カメラ本体に内蔵されたフラッシュメモリ等により構成される。

また、ＣＰＵ９には、シャッタ制御部８、受光制御部１０、デモザイク部１１、外部記憶メモリ１２、キー入力ブロック１３、メモリ１４、特徴物検出部１５、マッチング部１６、画像合成加算部１７、ＳＲＡＭ１８等が接続されている。キー入力ブロック１３は、ユーザによるデジタルカメラの操作に使用される、電源キーやシャッタキー、モード切替キー等を含む複数のスイッチ類から構成される。メモリ１４は、ＣＰＵ９の動作に必要な種々のプログラム、及びプログラムの実行に際して使用される各種のデータ（パノラマ化条件の判定データ等）が記憶されたものである。

ＣＰＵ９は、メモリ１４に記憶されたプログラムに従い、キー入力ブロック１３におけるいずれかのキーの操作に応じてデジタルカメラの各部の動作を制御するとともに、前述した画像データの圧縮・伸張処理を行う。また、ＣＰＵ９は、本発明の撮像手段、パン動作検出手段として機能する。

特徴物検出部１５は、１フレーム分の画像から特徴物（例えば、人物、顔等）を検出して抽出する。特徴物の検出方法は公知の方法を適宜用いることができる。なお、この検出処理のために専用の回路を設けても良いし、ＣＰＵ９で顔検出用プログラムを実行させるようにしてもよい。特徴物検出部１５は、本発明の検出手段として機能する。

マッチング部１６は、ＳＲＡＭ１８を作業メモリとして使用し、ＣＭＯＳセンサ３により撮像された複数枚の画像同士でマッチングを行い、被写体部分の相対的なずれ量及びずれ方向を示す動きベクトルを取得してＣＰＵ９に出力する、本発明のベクトル取得手段として機能する。

画像合成加算部１７は、ＣＰＵ９の指示に応じ、ＣＭＯＳセンサ３により撮像された複数枚の画像を位置合わせして合成する、本発明のパノラマ画像生成手段として機能する。

次に、以上の構成からなるデジタルカメラにおいて、記録モードの下位モードである通常撮影モードからパノラマ撮影モードへと自動的に移行するときの動作について説明する。図２は、通常撮影モードから自動的にパノラマ処理に移行するときの本実施の形態の撮像装置のＣＰＵ９の処理手順を示すフローチャートである。また、通常撮影モード時の撮影方式として、「動画撮影」、「モニタリング」、「高速連写撮影」など、様々な方式を含むことができる。

記録モードにおいては、ＣＭＯＳセンサ３によって時間的に連続する複数枚の画像（例えば、１秒間に１０枚〜６０枚の画像）のＲＡＷデータを取得し、ＤＲＡＭ５に記憶する。この間に、ＣＰＵ９はパン動作の有無を検出しており（ステップＳＡ１）、パン動作がなく、所定時間経過していない場合は（ステップＳＡ２）、処理をステップＳＡ１に戻してパン動作の有無を検出する。また、パン動作がなく、所定時間経過している場合は（ステップＳＡ２）、本サブルーチンを終了する。

一方で、ステップＳＡ１においてパン動作を検出した場合は、パノラマ処理を実行する（ステップＳＡ３）。ＣＰＵ９は、パン動作中のＲＡＷデータをデモザイク部１１によってＹＵＶデータに変換してＤＲＡＭ５に記憶する。このとき、ＲＡＷデータを輝度成分のみからなる輝度画像データに変換し、変換後の輝度画像データもＤＲＡＭ５に記憶することができる。輝度画像データは、複数枚の画像（ＹＵＶデータ）の合成時における位置合わせ作業に十分なサイズの縮小画像データである。

以上、パン動作の検出を契機としてパノラマ処理を行い、パノラマ画像を得ることができる。

次に、図３及び図４を参照して、本実施の形態の撮像装置のパノラマ画像の生成の概要について説明する。図３は、本実施の形態の撮像装置であるデジタルカメラの操作イメージを示す図であり、図４は、自動的にパノラマ処理に移行するときの本実施の形態の撮像装置のＣＰＵ９の処理の概要を示す図である。

ＣＭＯＳセンサ３により撮像された画像は所定の処理手順を経て液晶表示器７に表示される。ユーザがデジタルカメラを動かすと、それに応じてＣＭＯＳセンサ３により撮像された画像がＤＲＡＭ５に記憶され、記憶された画像からパン動作の有無を検出する。パン動作の検出は、マッチング部１６により取得される動きベクトルに基づいて行われる。例えば、動きベクトルの方向が正から負に反転したときをパン動作検出の開始とし、次に動きベクトルの方向が負から正に反転したときをパン動作検出の終了とすることができる。または、動きベクトルのずれ量が一定の閾値を超えたときをパン動作検出の開始とし、一定の閾値を下回るまでをパン動作と検出することができる。また、動きベクトルの方向の変化と、動きベクトルのずれ量とを組み合わせて、パン動作を検出するようにしてもよい。

図４の例では、ＣＭＯＳセンサ３によって撮像された複数枚の画像がリングバッファに蓄積されている。リングバッファのバッファｉｎｄｅｘが２、すなわち２番目の画像で、全体動きベクトル（ＧＭＶ）が左方向から右方向に遷移し、リングバッファのバッファｉｎｄｅｘが３、すなわち３番目の画像で、動きベクトルのずれ量が一定の閾値を超えている。この時点で、ＣＰＵ９は、パン動作を検出したと判断し、４番目の画像からパノラマ状態フラグを１にセットして、パノラマ画像生成のために処理する画像として指定する。こうしてパノラマ処理が開始（ＳＴＡＲＴ）する。ＣＰＵ９は、動きベクトルの方向が反転する前の３３番目の画像までパノラマ状態フラグを１にセットして、パノラマ処理を継続（ＣＯＮＴ）する。これによって、４番目から３３番目の画像までがパノラマ画像生成のために処理する画像として指定される。ＣＰＵ９は、動きベクトルの方向が反転した３４番目の画像のパノラマ状態フラグを０にセットしてパノラマ処理を終了（ＥＮＤ）する。

４番目から３３番目までの画像に対しては、ＹＵＶデータと輝度画像データに変換されてＤＲＡＭ５に記憶され、画像合成加算部１７によるパノラマ画像の生成が行われる。

以下、この処理手順を、「動画撮影」、「モニタリング」、「高速連写撮影」の各動作中に実行する場合について詳細に説明する。
［動画撮影時］

図５を参照して、動画撮影時に図３及び図４に示す処理を行ってパノラマ画像を生成する場合について詳細に説明する。図５は、本実施の形態において、動画撮影時に自動的にパノラマ処理に移行するときのデジタルカメラのＣＰＵ９の処理手順を示すフローチャートである。

まず、初期化処理が行われる（ステップＳＢ１）。これにより、リングバッファ上のバッファｉｎｄｅｘがリセットされて０になり、ＤＲＡＭ５に一時的に記憶されている全ての画像のパノラマ状態フラグをＮＯにして、状態を「パノラマ待機中」とする。

次に、ＣＭＯＳセンサ３によって撮像される画像の取得を待つ（ステップＳＢ２）。ＣＭＯＳセンサ３からは撮像される１フレームの画像の取得を待ち、ＤＲＡＭ５に１フレームの画像が記憶されたら、通常の動画処理を行う（ステップＳＢ３）。すなわち、ＤＲＡＭ５に格納された１フレームの画像を液晶表示コントローラ６を介して液晶表示器７に表示するための各種処理を行う。

次に、マッチング部１６においてＧＭＶ算出処理を行う（ステップＳＢ４）。ＧＭＶ算出の具体的手法については後述する。

次に、ＣＰＵ９は、状態が「パノラマ待機中」か否かを判断し（ステップＳＢ５）、パノラマ待機中であると判断した場合は、パノラマ開始条件を満たすか否かを判断する（ステップＳＢ６）。パノラマ開始条件を満たさないと判断した場合は、終了ボタンが押下されたか否かを判断し（ステップＳＢ７）、押下されていない場合は、処理をステップＳＢ２に戻す。このとき、リングバッファ上のバッファｉｎｄｅｘを１だけインクリメントする。

なお、ステップＳＢ６のパノラマ開始条件は、ステップＳＢ４において算出した前フレームとの全体動きベクトル（ＧＭＶ）を比較することによって行われる。例えば、３フレーム分の全てのＧＭＶ水平成分が正方向であるか、所定の範囲に入っているか、また、３フレーム分の全てのＧＭＶ垂直成分が正方向であるか、所定の範囲に入っているか等によって、条件の成否を判断するようにしてもよい。

ステップＳＢ６において、パノラマ開始条件を満たすと判断した場合は、パノラマ開始処理を行う（ステップＳＢ８）。すなわち、画像のパノラマ状態フラグをＳＴＡＲＴとしてパノラマ撮影を開始し、「パノラマ待機中」の状態を「パノラマ継続中」に遷移して、液晶表示器７には「パノラマ撮影中」であることを表示する。そして、終了ボタンが押下されたか否かを判断し（ステップＳＢ７）、押下されていない場合は、処理をステップＳＢ２に戻す。このとき、リングバッファ上のバッファｉｎｄｅｘを１だけインクリメントする。

ステップＳＢ５において状態が「パノラマ待機中」でないと判断した場合は、「パノラマ継続中」か否かを判断する（ステップＳＢ９）。例えば、ステップＳＢ８において「パノラマ継続中」に状態が遷移した場合は、ステップＳＢ９においてパノラマ継続中と判断され、パノラマ継続条件を満たすか否かを判断する（ステップＳＢ１０）。ここで、パノラマ継続条件を満たすと判断した場合は、パノラマ継続処理を行う（ステップＳＢ１１）。すなわち、画像のパノラマ状態フラグをＣＯＮＴとしてパノラマ撮影を継続し、「パノラマ継続中」の状態を維持し、終了ボタンが押下されたか否かを判断する（ステップＳＢ７）。終了ボタンが押下されていない場合は、処理をステップＳＢ２に戻す。このとき、リングバッファ上のバッファｉｎｄｅｘを１だけインクリメントする。

また、ステップＳＢ１０のパノラマ継続条件は、ステップＳＢ４において算出した前フレームとの全体動きベクトル（ＧＭＶ）を比較し、画像を合成してパノラマ画像を生成することのできる所定のフレーム数の上限以下であるかどうかによって行われる。例えば、３フレーム分の全てのＧＭＶ水平成分が正方向であるか、所定の範囲に入っているか、また、パノラマ開始からのＧＭＶの垂直成分の積分結果が正であるか、所定の範囲に入っているか、さらには、パノラマ状態フラグが「ＣＯＮＴ」であるフレーム数が、所定のフレーム数の上限以下であるか否かによって、条件の成否を判断するようにしてもよい。

一方、ステップＳＢ１０においてパノラマ継続条件を満たさないと判断した場合は、パノラマ完了処理を行う（ステップＳＢ１２）。すなわち、画像のパノラマ状態フラグを０にセットして、「パノラマ継続中」の状態を「パノラマ完了」に遷移させてパノラマ撮影を完了し、液晶表示器７には「パノラマ撮影完了」であることを表示する。そして、終了ボタンが押下されたか否かを判断し（ステップＳＢ７）、押下されていない場合は、処理をステップＳＢ２に戻す。このとき、リングバッファ上のバッファｉｎｄｅｘを１だけインクリメントする。

ステップＳＢ９において状態が「パノラマ継続中」でないと判断した場合は、パノラマ再開条件を満たすか否かを判断する（ステップＳＢ１３）。ここで、パノラマ再開条件を満たすと判断した場合は、パノラマ再開処理を行う（ステップＳＢ１４）。すなわち、ＤＲＡＭ５に一時的に記憶されている全ての画像のパノラマ状態フラグをＮＯにして、状態を「パノラマ待機中」とする。また、液晶表示器７に「パノラマ撮影完了」と表示されているときは、それを消去する。そして、終了ボタンが押下されたか否かを判断し（ステップＳＢ７）、押下されていない場合は、処理をステップＳＢ２に戻す。このとき、リングバッファ上のバッファｉｎｄｅｘを１だけインクリメントする。

ステップＳＢ７において終了ボタンが押下されたと判断したときは、動画終了処理を行い（ステップＳＢ１５）、状態が「パノラマ完了」又は「パノラマ継続」かを判断して（ステップＳＢ１６）、状態が「パノラマ完了」又は「パノラマ継続」である場合は、パノラマ処理を行う（ステップＳＢ１７）。パノラマ処理は、状態が「パノラマ継続中」である画像（ＳＴＡＲＴ及びＣＯＮＴ）に対して、それらの画像を合成してパノラマ画像を生成するものである。なお、パノラマ処理後には、ユーザに通知をして、生成されたパノラマ画像を残し、ＤＲＡＭ５に格納された全ての画像を消去するか否かをユーザに選択することもできる。

ステップＳＢ１６において状態が「パノラマ完了」又は「パノラマ継続」でないと判断した場合又はステップＳＢ１７においてパノラマ処理が終了したら、撮影を終了する。

また、ステップＳＢ１３のパノラマ再開条件は、パノラマ終了からの経過時間が所定時間を超えた場合に、パノラマ再開条件を満たすと判断される。これにより、再度パノラマ撮影をしたい場合でも、ユーザの特別な操作を必要とせずに、所定時間の経過のみで行うことができる。或いは、パノラマ再開条件をユーザによる所定の操作を契機としてもよい。

このように、動画撮影中のパニングを検出することによって、パノラマ画像を生成することができる。特に、動画撮影中の時間的に連続する複数枚の画像間の動きベクトルの変移からパノラマ化条件を満たすか否かを判別することで、ユーザによるパノラマ撮影モードへの移行操作の指定がなくても、動画撮影の選択操作だけでパノラマ画像を得ることができる。また、動画撮影によってパノラマ画像が得られた場合に、最終的に外部記憶メモリ１２に動画を記憶するのかパノラマ画像を記憶するのかをユーザに選択させることによって、動画のみを所望しているユーザに対して不要なパノラマ処理（ステップＳＢ１７）を省略することができるので、不要なパノラマ処理時間の削減、不要なメモリ消費量の増大を防ぐことができる。

また、液晶表示器７に「パノラマ撮影中」や「パノラマ継続中」であることを表示することによって（ステップＳＢ８やステップＳＢ１１）、パノラマ撮影を意識しているユーザに対して撮影状態を知らせることができるとともに、パノラマ撮影を行うためのパノラマ化条件（パン動作の移動速度等）をユーザが体感して学習することができる。

また、パノラマ再開条件を設定することによって（ステップＳＢ１３）、所望の撮影ができていないと判断した場合に、ユーザの操作を要することなく次のパノラマ撮影に移ることができる。

［モニタリング時］
次に、図6を参照して、モニタリング時に図３及び図４に示す処理を行ってパノラマ画像を生成する場合について詳細に説明する。図６は、本実施の形態において、モニタリング時に自動的にパノラマ処理に移行するときのデジタルカメラのＣＰＵ９の処理手順を示すフローチャートである。なお、ステップＳＣ１からＳＣ１４までは、ステップＳＢ１からＳＢ１４までの処理とほぼ同様であり、ステップＳＢ３の動画処理がＳＣ３のモニタリング処理に変更されている点のみが相違するので、同様の説明は省略する。

デジタルカメラの電源ＯＮや、再生モードから記録モードへの移行、撮影処理の完了などで、デジタルカメラはモニタリングを開始し、液晶表示器７にスルー画像が表示される。そして、シャッタボタンの押下によって、ＣＰＵ９は通常は静止画撮影処理を行うことになるが、本実施の形態では、１回のシャッタボタン押下を契機にパノラマ画像を得ることができる。

図６のステップＳＣ７において、モニタリング中にシャッタボタンが押下されたことを検出したと判断したときは、状態が「パノラマ完了」又は「パノラマ継続」かを判断する（ステップＳＣ１５）。状態が「パノラマ完了」又は「パノラマ継続」である場合は、ＤＲＡＭ５にステップＳＣ２及びステップＳＣ３で格納された複数枚の画像データがあるので、ユーザによるパノラマ選択に基づいて（ステップＳＣ１６）、パノラマ処理を行い（ステップＳＣ１７）、撮影を終了する。

一方、ステップＳＣ１５において状態が「パノラマ完了」又は「パノラマ継続」でない場合や、ステップＳＣ１６においてユーザがパノラマ選択をしなかった場合は、通常の静止画処理を行い（ステップＳＣ１８）、撮影を終了する。

このように、モニタリング状態においては、ユーザによる１回のシャッタボタンの押下を契機として、パノラマ画像を生成するか、通常の静止画画像を生成するかを選択することができる。
［高速連写撮影］

次に、図７を参照して、高速連写撮影中に図３及び図４に示す処理を行ってパノラマ画像を生成する場合について詳細に説明する。図７は、本実施の形態において、高速連写撮影時に自動的にパノラマ処理に移行するときのデジタルカメラのＣＰＵ９の処理手順を示すフローチャートである。なお、ステップＳＤ１からＳＤ１２までは、ステップＳＢ１からＳＢ１２までの処理とほぼ同様であり、ステップＳＢ３の動画処理がＳＤ３の連写処理に変更されている点のみが相違するので、同様の説明は省略する。

連写撮影は、デジタルカメラのシャッタボタンの押下によって開始し、ステップＳＤ７におけるシャッタボタンの開放又は連写枚数上限の到達によって終了する。すなわち、シャッタボタンの押下から、シャッタボタンが開放されるか所定の連写枚数上限に到達するまでは、ステップＳＤ２からステップＳＤ１２までの処理を繰り返す。

図７のステップＳＤ７において、シャッタボタンの開放又は連写枚数上限への到達を検出したと判断したときは、状態が「パノラマ完了」又は「パノラマ継続」かを判断する（ステップＳＤ１３）。状態が「パノラマ完了」又は「パノラマ継続」である場合は、ＤＲＡＭ５にステップＳＤ２及びステップＳＤ３で格納された複数枚の画像データがあるので、ユーザによるパノラマ選択に基づいて（ステップＳＤ１４）、パノラマ処理を行い（ステップＳＤ１５）、撮影を終了する。

一方、ステップＳＤ１３において状態が「パノラマ完了」又は「パノラマ継続」でない場合や、ステップＳＤ１４においてユーザがパノラマ選択をしなかった場合は、通常の連写処理を行い（ステップＳＤ１６）、撮影を終了する。

このように、高速連写状態においては、連写撮影中にパニングするだけで、パノラマ画像を生成するか、通常の連写処理によって得られる複数枚の静止画画像を生成するかを選択することができる。

なお、高速連写撮影によってパノラマ画像が得られた場合に、最終的に外部記憶メモリ１２に連写された静止画画像を記憶するのかパノラマ画像を記憶するのかをユーザに選択させることによって、静止画画像のみを所望しているユーザに対して不要なパノラマ処理（ステップＳＤ１５）を省略することができるので、不要なパノラマ処理時間の削減、不要なメモリ消費量の増大を防ぐことができる。

パノラマ化条件を満たしていないと判断した場合、液晶表示器７に「パノラマ撮影完了」であることを表示するので、ユーザは、パノラマ画像が生成されないことを事前に知ることができる。また、パノラマ化条件（パン動作の移動速度等）を満たしていないと判断した場合、「画角の移動が早い」などの注意を液晶表示器７に表示することによって、ユーザに具体的に原因を通知してもよい。これにより、より確実に、所望の画角範囲でパノラマ画像を生成することができるし、撮影を繰り返すうちに、パノラマ化条件を満たす画角の移動速度をユーザが体感して学習することができる。特に、連写処理による１枚の静止画画像と次の１枚の静止画画像とで画角速度が速すぎると、ＧＭＶが算出できずにパノラマ開始条件やパノラマ継続条件を満たさない可能性があることから、ユーザへの通知は有効である。

また、パノラマ撮影完了後に所定の操作によってパノラマ撮影状態をリセットすることによって、不用意なカメラ操作（画角変位等）による、必要であったパノラマ画像データの消失を防ぐことができる。

本実施の形態では、パン動作を検出して自動的にパノラマ処理を行う場合について、「動画撮影」、「モニタリング」、「高速連写撮影」に分けて詳細に説明したが、例示にすぎず、本発明を限定するものではない。本実施の形態の撮像装置は、「動画撮影」、「モニタリング」、「高速連写撮影」の何れか一つ以上または類似の動作を実行するようにしてもよいし、あるいは、様々な修正を加えてもよい。

ユーザがパン動作を行う場合は、パノラマ撮影に限らず、動く被写体を追随して撮影を行う、例えば、流し撮りを撮影している場合も想定される。本発明によると、ユーザが動く被写体を追随して撮影を行っているのか否かを判断して、ユーザが動く被写体を追随して撮影を行っていない場合に限り、自動的にパノラマ処理を行うこともできる。これについて、次の実施の形態で詳細に説明する。

＜第２の実施の形態＞
第２の実施の形態の撮像装置は、図１〜図５を参照して説明した第１の実施の撮像装置と構成及び動作が略同様であるので、同様の構成には同様の符号を付して、説明の重複を省略する。

記録モードの下位モードである通常撮影モードからパノラマ撮影モードへと自動的に移行するときの本実施の形態の撮像装置の動作について説明する。図８は、通常撮影モードが設定されているときの本実施の形態の撮像装置のＣＰＵ９の処理手順を示すフローチャートである。また、既に説明したように、通常撮影モード時の撮影方式として、「動画撮影」、「モニタリング」、「高速連写撮影」など、様々な方式を含むことができる。

記録モードにおいては、ＣＭＯＳセンサ３によって時間的に連続する複数枚の画像（１秒間に５０枚又は６０枚の画像）のＲＡＷデータを取得し、ＤＲＡＭ５に記憶する。この間に、ＣＰＵ９はパン動作の有無を検出しており（ステップＳＥ１）、パン動作がなく、所定時間経過していない場合は（ステップＳＥ２）、処理をステップＳＥ１に戻してパン動作の有無を検出する。また、パン動作がなく、所定時間経過している場合は（ステップＳＥ２）、本サブルーチンを終了する。

一方で、ステップＳＥ１においてパン動作を検出した場合は、被写体中の特徴物をＣＭＯＳセンサ３によって追随中か否かを判断する（ステップＳＥ３）。すなわち、特徴物検出部１５によって被写体中の特徴物を検出し、この特徴物が次の画像でも検出できるかどうかを比較判断して、同じ特徴物が前後の画像で確認できた場合は、特徴物追随中であると判断する。一方、特徴物検出部１５によって被写体中の特徴物を検出したが、この特徴物が次の画像では検出できなかった場合は、特徴物追随中でないと判断する。特徴物の検出は、画角の略中央付近に一定領域を設けておき、かかる領域内の被写体の動きに合せてデジタルカメラを追従させている場合には、撮影前後の画像内に同一の被写体（特徴物）が存在することになる。このようにして、特徴物検出部１５は特徴物追随中か否かを判断することができる。なお、ＣＰＵ９、ＣＭＯＳセンサ３は、本発明の検出手段、流し撮り判定手段を構成する。

また、ステップＳＥ３において、撮影前後の画像内に同一の被写体（特徴物）が存在するか否かによって特徴物追随中か否かを判断する処理について説明したが、本発明はこれに限定されず、適当であれば如何なる手法を用いてもよいことは明らかである。図９に、左方向に走行している車に対して、デジタルカメラを左方向に動かして流し撮りを行うときに検出される動きベクトルの一例を示す。図９に示すように、動きのある特徴物を追随している場合、背景の動きベクトルが右向きの大きなものであるのに対し、追随している特徴物の動きベクトルは特徴物の背景の動きベクトルに比べて小さなものになる。これは流し撮りの際には追随されている被写体（特徴物）が画面内で略静止状態になるようカメラが操作されるためである。特徴物検出部１５は、この同一画像の中の動きベクトルの差に基づいて特徴物を追随しているか否かを判定するようにしてもよい。

ステップＳＥ３において特徴物追随中であると判断した場合は、パノラマ合成を行わずに、通常処理を行う（ステップＳＥ４）。仮にパノラマ合成を行うと、特徴物の追随をパン動作として誤検出しまった結果、特徴物が複数回写った不自然なパノラマ画像が生成されてしまうため、パノラマ合成を禁止したものである。通常処理により、パン動作の誤検出によるパノラマ画像の生成を防ぐことができる。

一方、ステップＳＥ３において特徴物追随中でないと判断した場合、すなわち、被写体中に特徴物がないと判断した場合は、ＤＲＡＭ５に格納された前後の画像が所定角移動しているか否かを判断し（ステップＳＥ５）、所定角移動していない場合は処理をステップＳＥ１に戻す一方、所定角移動している場合は、所定角移動後ごとの画像でパノラマ処理をする（ステップＳＥ６）。

以上、特徴物追随中と判断した場合にはパノラマ合成を禁止する処理について説明した。 このように、特徴物を除去してパノラマ合成を行うことで、特徴物の追随をパン動作として誤検出しまった結果、特徴物が複数回写った不自然なパノラマ画像が生成されてしまうことがないので、本実施の形態の撮像装置によると、パン動作の誤検出による不自然なパノラマ画像の生成を防ぐことができる。

従来、特定の被写体を追随して撮影する流し撮り撮影などの場合、被写体とともに空や風景など、様々な背景部分の情報も副次的に撮影されている。しかし、これらの背景部分の情報のほとんどは注目されることなく、処理されてきた。本発明によると、ユーザが動く被写体を追随している場合であっても、自動的にパノラマ処理を行うことができる。さらに、本発明によると、特定の被写体を追随して撮影する流し撮り撮影などの場合に、被写体とともに副次的に撮影されてきた背景情報を用いてパノラマ合成を行うことも可能である。これについて次の実施の形態で詳細に説明する。

＜第３の実施の形態＞
第３の実施の形態の撮像装置は、図１〜図５を参照して説明した第１の実施の撮像装置と構成及び動作が略同様であるので、同様の構成には同様の符号を付して、説明の重複を省略する。

記録モードの下位モードである通常撮影モードで特定の被写体を追随して撮影している際に、パノラマ合成を自動的に行うときの本実施の形態の撮像装置の動作について説明する。図１０は、通常撮影モードが設定されているときの本実施の形態の撮像装置のＣＰＵ９の処理手順を示すフローチャートである。また、既に説明したように、通常撮影モード時の撮影方式として、「動画撮影」、「モニタリング」、「高速連写撮影」など、様々な方式を含むことができる。なお、ステップＳＦ１からステップＳＦ３までの処理は、ステップＳＥ１からステップＳＥ３までの処理と同様であるから、説明を省略する。なお、ＣＰＵ９、ＣＭＯＳセンサ３は、本発明の検出手段、流し撮り判定手段を構成する。また、ステップＳＦ５及びステップＳＦ６の処理も、ステップＳＥ５及びステップＳＥ６の処理と同様であるから、説明を省略する。

本実施の形態では、ステップＳＦ３において特徴物追随中であると判断した場合、かかる特徴物を含まない領域でパノラマ合成可能か否かを判断する（ステップＳＦ４）。ステップＳＦ４において、特徴物を含まない領域でパノラマ合成可能と判断した場合は、かかる特徴物を除去してパノラマ処理を行う（ステップＳＦ６）。一方、特徴物を含まない領域でパノラマ合成不可能と判断した場合は、処理をステップＳＥ１に戻す。

ステップＳＦ４における、かかる特徴物を含まない領域でパノラマ合成可能か否かを判定する処理、及びステップＳＦ６における、特徴物を除去するパノラマ処理については、様々な手法が想到可能である。一例として、画像全体をスリットに分割して、特徴物検出部１５が検出した特徴物を含まないスリット画像の集合を、特徴物を含まない領域としてステップＳＦ４の判定を行い、ステップＳＦ６のパノラマ合成処理を行う手法について説明する。

図１１（ａ）〜図１２（ｅ）に、一例として、左方向に走行している車を追随して撮影した画像を、スリット分割した図を示す。図１１（ａ）〜図１２（ｅ）を参照して、スリット分割を用いたステップＳＦ４とステップＳＦ６の処理手順について説明する。

図１１（ａ）に示すように、ＣＭＯＳセンサ３によって撮影された画像において、車の進行方向には車の存在していないスリットが４つ存在している。ＣＰＵ９は、ステップＳＦ４で、矢印Ｉで示す、車前方のスリットを基準として、パノラマ合成が可能か否かを判断するようにしてもよい。図１１（ａ）で、矢印Ｉの前後に、車の撮影されていないスリット（下部に実線を引いたスリット部分）が充分に存在すると判断した場合は、パノラマ合成が可能と判断して、パノラマ処理を開始する。まず、図１１（ａ）で、車の撮影されていないスリット（下部に実線を引いたスリット部分）をパノラマ合成用に保存する。図１１（ｂ）〜図１１（ｃ）に示すように、パノラマ合成用に保存された領域（下部に斜線を引いたスリット部分）を車が移動すると、車の移動とともにカメラも動き、図１１（ｄ）〜図１２（ｂ）に示すように、パノラマ合成用に保存可能な新たな領域（下部に実線を引いたスリット部分）が撮影される。下部に実線を引いたスリット部分を直ちにパノラマ合成用に保存をする。その後、図１２（ｃ）〜図１２（ｄ）に示すように、パノラマ合成用に保存された領域（下部に斜線を引いたスリット部分）を車が移動する。こうして、移動している特徴物を追随しながらも、特別な画像処理を行うことなく、特徴物を除去したパノラマ合成を容易に行うことができる。

上述の方法は、一例にすぎず、スリットの代わりに、画像を複数のクラスタに分割して同様の処理を行うなど、様々な手法が想到可能である。また、適当であれば、画像処理を行って特徴物を画像から除去するようにしてもよいことは明らかである。

このように、特徴物を除去してパノラマ合成を行うことで、特徴物の追随をパン動作として誤検出しまった結果、特徴物が複数回写った不自然なパノラマ画像が生成されてしまうことがないので、パン動作の誤検出による不自然なパノラマ画像の生成を防ぐことができる。また、特定の被写体を追随して撮影する流し撮り撮影などの場合に、被写体とともに副次的に撮影されてきた、空や風景など、様々な背景部分の情報も有効に利用することもできる。

様々な実施の形態の撮像装置について説明したが、本発明の撮像装置は、ＣＰＵとメモリを含む、撮像装置が有するコンピュータを上述した各手段として機能させる撮像プログラムによって動作させることができる。撮像プログラムは、通信回線を介して配布することも可能であるし、ＣＤ−ＲＯＭ等の記録媒体に書き込んで配布することも可能である。

以上、本発明について様々な実施の形態を、図面を参照して詳述してきたが、具体的な構成はこれらの実施の形態に限られるものではない。本発明の目的を実現可能な範囲における様々な変形、改良等は本発明の範囲に含まれる。

３ ＣＭＯＳセンサ
５ ＤＲＡＭ
７ 液晶表示器
８ シャッタ制御部
９ ＣＰＵ
１０ 受光制御部
１１ デモザイク部
１２ 外部記憶メモリ
１３ キー入力ブロック
１４ メモリ
１５ 特徴物検出部
１６ マッチング部
１７ 画像合成加算部
１８ ＳＲＡＭ

Claims (10)

1. 撮像素子によって時間的に連続する複数枚の画像を取得する撮像手段と、
   前記撮像手段による画像の取得中にパン動作を検出するパン動作検出手段と、
   前記パン動作検出手段によるパン動作の検出を行うと、前記撮像手段によって取得した複数枚の画像を合成してパノラマ画像を生成するパノラマ画像生成手段と、
   を備えたことを特徴とする撮像装置。
2. 前記パン動作は流し撮りによるものであるか否かを判定する流し撮り判定手段を更に備え、
   前記パノラマ画像生成手段は、前記流し撮り判定手段が流し撮りではないと判定した場合に、前記撮像手段によって取得した複数枚の画像を合成してパノラマ画像を生成することを特徴とする請求項１記載の撮像装置。
3. 前記パン動作は特徴物を追随して撮影する流し撮りによるものであるか否かを判定する流し撮り判定手段を更に備え、
   前記パノラマ画像生成手段は、前記流し撮り判定手段が流し撮りであると判定した場合に、前記撮像手段によって取得した複数枚の画像から前記特徴物を除去し、除去された後の複数枚の画像を合成してパノラマ画像を生成することを特徴とする請求項１記載の撮像装置。
4. 前記流し撮り判定手段は、前記撮像手段によって撮像した画像の各々を比較して同一の被写体を検出する検出手段を備え、該検出手段が同一の被写体を検出した場合に流し撮りであると判定することを特徴とする請求項２または３に記載の撮像装置。
5. 前記流し撮り判定手段は、前記撮像手段によって撮像した画像の動きベクトルを比較して同一の被写体を検出する検出手段を備え、該検出手段が同一の被写体を検出した場合に流し撮りであると判定することを特徴とする請求項２または３に記載の撮像装置。
6. 前記パン動作検出手段は、前記複数枚の画像の各々との間における被写体部分のずれ量及びずれ方向を示す動きベクトルを取得するベクトル取得手段を備え、
   前記ベクトル取得手段により取得された動きベクトルに基づいて、パン動作を検出することを特徴とする請求項１から５のいずれか記載の撮像装置。
7. 前記複数枚の画像から前記パノラマ画像を生成することができるパノラマ化条件が設定され、
   前記パノラマ画像生成手段は、前記パノラマ化条件が満たされたときに、パノラマ画像を生成することを特徴とする請求項１から６のいずれか記載の撮像装置。
8. 前記パノラマ化条件が満たされないときに、その旨をユーザに通知する通知手段を備えることを特徴とする請求項７記載の撮像装置。
9. 撮像素子によって時間的に連続する複数枚の画像を取得する工程と、
   撮影した画像の取得中にパン動作を検出する工程と、
   パン動作の検出を行うと、取得した複数枚の画像を合成してパノラマ画像を生成する工程と、
   を有することを特徴とする撮像方法。
10. 撮像装置が有するコンピュータに、
    撮像素子によって時間的に連続する複数枚の画像を取得する工程と、
    撮影した画像の取得中にパン動作を検出する工程と、
    パン動作の検出を行うと、取得した複数枚の画像を合成してパノラマ画像を生成する工程と、
    を実行させることを特徴とする撮像プログラム。

Images