JP2021185689A - 撮像装置、プログラム、記録媒体、及び制御方法 - Google Patents

Abstract

【課題】パノラマ画像の元となる画像の撮影中に、パノラマ画像に含まれない可能性のある画像領域をユーザが認識することを支援する技術を提供する。【解決手段】パノラマ画像の合成のための複数の画像を撮影する撮影手段と、前記複数の画像を撮影する際に用いる光学系の状態に基づいて、前記複数の画像のそれぞれにおいて前記パノラマ画像の合成に用いられない領域を取得する取得手段と、前記取得手段が取得した領域を表示する表示手段と、を有することを特徴とする撮像装置を提供する。【選択図】図７

Description

本発明は、撮像装置、プログラム、記録媒体、及び制御方法に関する。

複数の単位画像からパノラマ状の全体画像（パノラマ画像）を生成する技術が知られている（特許文献１）。特許文献１の撮像装置は、撮影方向を順次変化させて撮影範囲の一部を構成する単位画像を撮像し、単位画像の一部を構成する所定サイズの画像領域を、互いに重複領域が生じるように切り出し、切り出された画像領域を順次重ね合わせる。これにより、撮影範囲全体を表すパノラマ画像が生成される。また、特許文献２には、撮影方式がパンニング撮影であると判別された場合に、撮像画像に対して、焦点距離を半径とする仮想円筒面上に対する円筒座標変換を行い、変換後の画像からパノラマ画像を生成する技術が開示されている。

特開２００５−３２８４９７号公報 特開平１１−３３１６９６号公報

図３（Ａ）に示すように、円筒座標変換を行うと、変換後の画像の両端において、上下方向（高さ方向）のサイズ（画素数）が元画像よりも小さくなる。従って、カメラを横方向に移動させてパノラマ画像を撮影する場合、最終的に生成されるパノラマ画像の上下方向の画素数の減少を抑制するために、変換後の画像の端部を用いずに、中央付近の領域からパノラマ画像を生成する処理が行われる（図３（Ｂ）参照）。図３（Ｂ）において、斜線部が画像保存領域（パノラマ画像の生成に用いられる画像領域）であり、他の領域（非保存領域）は保存されない。カメラを縦方向に移動させてパノラマ画像を撮影する場合も、上下方向（高さ方向）と左右方向（横方向）との関係が入れ替わるが、同様の現象が発生する。なお、図３（Ｂ）には画像の左半分のみが図示されているが、右半分も同様である。

また、円筒座標変換の変換係数によっては、画像の上下方向が直線にならない場合もある。この場合も同様に、画像保存領域が狭くなる。

図３（Ａ）において焦点距離（ｆ）が１８ｍｍの場合と１１ｍｍの場合との比較から理解できるように、円筒座標変換に伴うサイズ減少は焦点距離が短いほど顕著である。パノラマ画像は、眼前に広がる雄大な風景などを被写体にすることが多く、焦点距離が短い広角レンズの利用頻度が高くなりがちであるので、上記の問題がより顕著に発生する。

しかしながら、従来のカメラは、パノラマ画像の撮影中に撮像素子から出力される所謂スルー画像を液晶画面に表示する。そのため、ユーザは、パノラマ画像の撮影中に、スルー画像のうちのどの領域が画像保存領域となるか（どの領域からパノラマ画像が生成されるか）を知ることができない。

本発明はこのような状況に鑑みてなされたものであり、パノラマ画像の元となる画像の撮影中に、パノラマ画像に含まれない可能性のある画像領域をユーザが認識することを支援する技術を提供することを目的とする。

上記課題を解決するために、本発明は、パノラマ画像の合成のための複数の画像を撮影する撮影手段と、前記複数の画像を撮影する際に用いる光学系の状態に基づいて、前記複数の画像のそれぞれにおいて前記パノラマ画像の合成に用いられない領域を取得する取得手段と、前記取得手段が取得した領域を表示する表示手段と、を有することを特徴とする撮像装置を提供する。

なお、その他の本発明の特徴は、添付図面及び以下の発明を実施するための形態における記載によって更に明らかになるものである。

本発明によれば、パノラマ画像の元となる画像の撮影中に、パノラマ画像に含まれない可能性のある画像領域をユーザが認識することを支援することが可能となる。

デジタルカメラ１００のブロック図。 パノラマ撮影の概要について説明する図。 （Ａ）円筒座標変換の概念図、（Ｂ）円筒座標変換後の画像における画像保存領域と非保存領域とを説明する図。 デジタルカメラ１００が実行する撮影処理のフローチャート。 パノラマ撮影処理のフローチャート。 パノラマ撮影処理のデータフローを示す図。 パノラマ撮影処理におけるライブビュー表示の例を示す図。 パノラマ撮影処理におけるライブビュー表示の例を示す図。 パノラマ撮影処理におけるライブビュー表示の例を示す図。

以下、添付図面を参照して、本発明の実施形態を説明する。なお、本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されるわけではない。また、実施形態の中で説明されている特徴の組み合わせすべてが、本発明に必須とは限らない。また、別々の実施形態の中で説明されている特徴を適宜組み合せることも可能である。

［第１の実施形態］
図２を参照して、パノラマ撮影の概要について説明する。図２（Ａ）に示すように、ユーザは、デジタルカメラ１００を動かしながら、複数の画像を順次撮影する。デジタルカメラ１００の移動は、自動雲台等により行ってもよい。図２（Ｂ）に示すように、ユーザは、撮影された各画像に被写体の共通領域（重複領域）が含まれるように、撮影を行う。

デジタルカメラ１００は、撮影した各画像に対して、光学レンズ（撮影レンズ）の歪曲を補正する処理と、光学レンズの焦点距離を半径とする仮想円筒にマッピングする処理（円筒座標変換処理）とを行う。そして、デジタルカメラ１００は、各画像の共通領域の特徴点を抽出し、その特徴点がどのくらい動いたかを示す移動ベクトルを検出する。デジタルカメラ１００は、その移動ベクトルに基づき、例えばアフィン変換の係数への変換を行い、特徴点が一致するように２枚の画像を重ね合わせる。これにより、共通領域以外の部分が拡張された画像が得られる。これを複数回繰り返すことで、１枚の撮影画像よりも広範囲をカバーするパノラマ画像を生成可能である。

図１は、デジタルカメラ１００のブロック図である。図１において、１０１は撮影レンズである。１０２はＡＦ（オートフォーカス）駆動回路である。ＡＦ駆動回路１０２は、例えばＤＣモータやステッピングモータによって構成され、マイクロコンピュータ１２３の制御によって撮影レンズ１０１のフォーカスレンズ位置を変化させることによりピントを合わせる。１０３は絞りである。１０４は絞り駆動回路である。絞り駆動回路１０４は、絞り１０３を駆動する。駆動されるべき量は、マイクロコンピュータ１２３によって算出される。これにより、光学的な絞り値が変化する。

１０５は、撮影レンズ１０１から入射した光束をファインダ側と撮像センサ１１２側との間で切り替えるための主ミラーである。主ミラー１０５は、通常時はファインダ側へと光束を導くよう反射させるように配されているが、撮影が行われる場合やライブビュー表示の場合には、撮像センサ１１２へと光束を導くように上方に跳ね上がり光束中から待避する。また、主ミラー１０５は、その中央部が光の一部を透過できるようにハーフミラーとなっており、光束の一部を、焦点検出を行うためのセンサ（不図示）に入射するように透過させる。

１０６は、主ミラー１０５から透過してきた光束を反射させ、焦点検出を行うためのセンサや、露光量算出回路１０９内に配置されているセンサに導くためのサブミラーである。１０７は、ミラー駆動回路であり、マイクロコンピュータ１２３の制御によって主ミラー１０５を駆動する。１０８はファインダを構成するペンタプリズムである。ファインダは、他にピント板（不図示）、アイピースレンズ（不図示）などによって構成させる。

１０９は露光量算出回路である。主ミラー１０５の中央部を透過し、サブミラー１０６で反射された光束は、露光量算出回路１０９の内部に配置された光電変換を行うためのセンサに至る。

フォーカス演算に用いるデフォーカス量は、焦点検出を行うためのセンサの出力に基づく演算によって求めることができる。マイクロコンピュータ１２３は、演算結果を評価してＡＦ駆動回路１０２に指示し、フォーカスレンズを駆動させる。

１１０はフォーカルプレーンシャッタである。１１１はシャッタ駆動回路であり、フォーカルプレーンシャッタ１１０を駆動する。フォーカルプレーンシャッタ１１０の開口時間は、マイクロコンピュータ１２３によって制御される。

１１２は撮像センサである。撮像センサ１１２には、ＣＣＤやＣＭＯＳセンサなどが用いられ、撮影レンズ１０１によって結像された被写体像を電気信号に変換する。１１５はＡ／Ｄ変換器である。Ａ／Ｄ変換器１１５は、撮像センサ１１２のアナログ出力信号をデジタル信号に変換する。

１１６は、映像信号処理回路であり、ゲートアレイなどのロジックデバイスにより実現される。映像信号処理回路１１６は、デジタルゲインによって明るさを調整する輝度調整回路１１６ａ、ガンマ特性によって輝度を調整するガンマ補正回路１１６ｂ、複数枚の画像のぶれ量（移動量）を算出する移動量算出回路１１６ｃを含む。映像信号処理回路１１６はまた、移動量に応じて位置合わせを行う位置合わせ回路１１６ｄ、撮影レンズ１０１の歪曲の補正、円筒座標変換を行う幾何変換回路１１６ｅ、画像のサイズを変倍する変倍回路１１６ｆを含む。映像信号処理回路１１６はまた、画像の一部を切り出すトリミング回路１１６ｇ、複数の画像を合成する合成回路１１６ｊ、現像回路１１６ｋ、Ｊｐｅｇなどの一般的な画像形式への変換処理を行う圧縮・伸長回路１１６ｌなどを含む。

１１７は表示駆動回路である。１１８はＴＦＴや有機ＥＬなどを用いた表示装置である。１１９はメモリコントローラである。１２０はメモリである。１２１はコンピュータ等と接続可能な外部インタフェースである。１２２はバッファメモリである。

映像信号処理回路１１６は、デジタル化された画像データに、フィルタ処理、色変換処理、ガンマ処理を行うと共に、ＪＰＥＧなどの圧縮処理を行い、メモリコントローラ１１９に出力する。その際、処理途中の画像を一時的にバッファメモリ１２２に置くことも可能である。映像信号処理回路１１６は、撮像センサ１１２からの映像信号や、メモリコントローラ１１９から逆に入力される画像データを、表示駆動回路１１７を通して表示装置１１８に出力することも可能である。これらの機能切り替えは、マイクロコンピュータ１２３の指示により行われる。

映像信号処理回路１１６は、必要に応じて撮像センサ１１２の信号の露出情報やホワイトバランスなどの情報をマイクロコンピュータ１２３に出力することが可能である。それらの情報を基に、マイクロコンピュータ１２３はホワイトバランスやゲイン調整の指示を行う。連続撮影動作の場合においては、マイクロコンピュータ１２３は、一旦、未処理画像のままバッファメモリ１２２に撮影データを格納する。その後、マイクロコンピュータ１２３は、メモリコントローラ１１９を通して未処理の画像データを読み出し、映像信号処理回路１１６により画像処理や圧縮処理を行い、連続撮影を行う。連続撮影枚数は、バッファメモリ１２２の大きさや、パノラマ撮影の場合はその画像サイズの大きさに左右される。

メモリコントローラ１１９は、映像信号処理回路１１６から入力された未処理のデジタル画像データをバッファメモリ１２２に格納し、処理済みのデジタル画像データをメモリ１２０に格納する。また、メモリコントローラ１１９は、逆にバッファメモリ１２２やメモリ１２０から画像データを映像信号処理回路１１６に出力する。

メモリ１２０は、取り外し可能である場合もある。メモリコントローラ１１９は、コンピュータ等と接続可能な外部インタフェース１２１を介して、メモリ１２０に記憶されている画像を出力可能である。

１２３はマイクロコンピュータである。１２４は操作部材である。操作部材１２４は、マイクロコンピュータ１２３にその状態を伝え、マイクロコンピュータ１２３は、操作部材１２４の状態変化に応じてデジタルカメラ１００の各部をコントロールする。

１２５はスイッチ１（ＳＷ１）である。１２６はスイッチ２（ＳＷ２）である。ＳＷ１ １２５とＳＷ２ １２６は、レリーズボタンの操作でオンオフするスイッチであり、それぞれ操作部材１２４の入力スイッチのうちの１つである。ＳＷ１ １２５のみオンの状態はレリーズボタン半押し状態であり、マイクロコンピュータ１２３は、この状態でオートフォーカスの動作を行うと共に、測光動作を行う。ＳＷ１ １２５、ＳＷ２ １２６が共にオンの状態はレリーズボタンの全押し状態であり、画像を記録するためのレリーズボタンオン状態である。この状態で撮影が行われる。また、ＳＷ１ １２５、ＳＷ２ １２６がＯＮし続けている間は、連続撮影動作が行われる。

操作部材１２４には、他に、ＩＳＯ設定ボタン、メニューボタン、セットボタン、フラッシュ設定ボタン、単写/連写/セルフタイマー切り替えボタンに対応するスイッチ（不図示）が接続されている。また、操作部材１２４には、メニューや再生画像移動のための移動＋（プラス）ボタン、移動−（マイナス）ボタン、露出補正ボタン、表示画像拡大ボタン、表示画像縮小ボタン、再生スイッチに対応するスイッチ（不図示）が接続されている。また、操作部材１２４には、絞り１０３を設定された絞りに絞り込ませるための絞りボタン、撮影した画像を消去するための消去ボタン、撮影や再生に関する情報表示ボタンなどに対応するスイッチも接続されている。マイクロコンピュータ１２３は、各スイッチの状態を検出する。また、上記プラスボタン及びマイナスボタンの各機能は、回転ダイアルスイッチを備えることによって、より軽快に数値や機能を選択することが可能となる。

１２７は液晶駆動回路である。１２８は外部液晶表示装置である。１２９はファインダ内液晶表示装置である。液晶駆動回路１２７は、マイクロコンピュータ１２３の表示内容命令に従って、文字、画像を用いて動作状態やメッセージ等を表示する外部液晶表示装置１２８やファインダ内液晶表示装置１２９を駆動する。また、ファインダ内液晶表示装置１２９には、不図示のＬＥＤなどのバックライトが配置されており、そのＬＥＤも液晶駆動回路１２７で駆動される。

マイクロコンピュータ１２３は、撮影前に設定されているＩＳＯ感度、画像サイズ、画質に応じた、画像サイズの予測値データをもとに、メモリコントローラ１１９を通して、メモリの容量を確認した上で撮影可能残数を演算することができる。マイクロコンピュータ１２３は、必要に応じて、外部液晶表示装置１２８、ファインダ内液晶表示装置１２９に、撮影可能残数を表示することができる。

１３０は不揮発性メモリ（ＥＥＰＲＯＭ）であり、デジタルカメラ１００に電源が入れられていない状態でも、データを保存することができる。１３１は電源部である。電源部１３１は、各ＩＣや駆動系に必要な電源を供給する。１３２は時計である。マイクロコンピュータ１２３は、時計１３２を用いて、メモリ１２０に記録する画像ファイルに撮影時刻などを保存したり、画像そのものに撮影時刻を重畳したりできる。

１３３はジャイロである。ジャイロ１３３は、２軸もしくは３軸で、デジタルカメラ１００の回転の角速度を検出する。１３４は温度計である。温度計１３４は、ジャイロセンサ付近に配置することが好ましいが、一般的には、デジタルカメラ１００やメモリ１２０の保護のために撮像センサ１１２、メモリ１２０などの近傍に設置しているセンサを流用してもよい。

図４を参照して、デジタルカメラ１００が実行する撮影処理について説明する。図４のフローチャートの各ステップの処理は、特に断らない限り、マイクロコンピュータ１２３が不揮発性メモリ１３０に格納された制御プログラムを実行してデジタルカメラ１００の各部を制御することにより実現される。ユーザによりＳＷ２ １２６が押下されると、撮影処理が開始する。なお、マイクロコンピュータ１２３は、予め露光量算出回路１０９によって露光量を算出し、絞り量、蓄積時間、ＩＳＯ感度を決定しておくものとする。

Ｓ４０２で、マイクロコンピュータ１２３は、露光を行う。具体的には、マイクロコンピュータ１２３は、予め決定した絞り量を絞り駆動回路１０４に通知し、絞り１０３を目標の絞り量にする。また、マイクロコンピュータ１２３は、撮像センサ１１２、Ａ／Ｄ変換器１１５などに電源を入れ、撮影準備を行う。準備が完了すると、マイクロコンピュータ１２３は、ミラー駆動回路１０７を駆動して被写体像を撮像センサ１１２に結像させるようにする。シャッタ駆動回路１１１は、フォーカルプレーンシャッタ１１０のうち不図示の先幕を開けて被写体像が撮像センサ１１２に結像するようにする。続いて、シャッタ駆動回路１１１は、予め決定した蓄積時間後にフォーカルプレーンシャッタ１１０のうち不図示の後幕を閉じて、撮像センサ１１２に予め決定した蓄積時間の間だけ光が入るようにする。

Ｓ４０３で、マイクロコンピュータ１２３は、Ａ／Ｄ変換器１１５を介して映像信号処理回路１１６に画像信号を読み出し、バッファメモリ１２２に格納する。

Ｓ４０４で、マイクロコンピュータ１２３は、現像回路１１６ｋを用いて、読み出した画像信号を画像データに変換する現像を行う。この時、マイクロコンピュータ１２３は、画像が適正になるようホワイトバランス処理や、ガンマ補正回路１１６ｂを用いて暗部にゲインをかける処理などの画像処理を行ってもよい。

Ｓ４０５で、マイクロコンピュータ１２３は、圧縮・伸長回路１１６ｌを用いて、得られた画像データをＪＰＥＧなどの汎用的なデータフォーマットへと変換する圧縮処理を行う。

Ｓ４０６で、マイクロコンピュータ１２３は、圧縮された画像データを、ＳＤカードやコンパクトフラッシュ（登録商標）などのメモリ１２０へと保存する。

なお、マイクロコンピュータ１２３は、Ｓ４０４の画像処理や現像処理を行わず、Ｓ４０５において、読み出した画像信号をそのままを可逆圧縮し、Ｓ４０６において、可逆圧縮された画像信号をメモリ１２０に保存してもよい。圧縮処理を行うか否かの切り替えは、ユーザが操作部材１２４を用いて行うことができる。

次に、パノラマ撮影モードの概要について説明する。パノラマ撮影は、デジタルカメラ１００を横方向に移動しながら撮影するモードと、縦方向に移動しながら撮影するモードがあるが、ここでは横方向に移動しながら撮影する例を示す。

ユーザが操作部材１２４によってデジタルカメラ１００をパノラマ撮影モードに設定すると、マイクロコンピュータ１２３は、撮像センサ１１２、Ａ／Ｄ変換器１１５へと電源供給を行い、初期設定を行う。また、マイクロコンピュータ１２３は、主ミラー１０５を上げ、シャッタ駆動回路１１１はフォーカルプレーンシャッタ１１０を開いて、被写体像が撮影レンズ１０１を通して撮像センサ１１２へと結像されるようにする。

撮像センサ１１２からの信号は、Ａ／Ｄ変換器１１５でデジタル信号へと変換され、映像信号処理回路１１６の現像回路１１６ｋで現像される。また、現像された信号は、輝度調整回路１１６ａ、ガンマ補正回路１１６ｂで適当な画像へと変換され、変倍回路１１６ｆで表示装置１１８に適した画像サイズへと変倍され、表示装置１１８に表示される。これを１秒間に２４回乃至６０回繰り返して行うことで、いわゆるライブビュー表示を行うことができる。

ユーザは、ライブビュー表示を確認しながら、画角を合わせる。パノラマ撮影の場合は、ユーザは、広範囲の被写体の中で特にメインとなる被写体にデジタルカメラ１００を向け、ＳＷ１ １２５を押す。ＳＷ１ １２５が押下されると、マイクロコンピュータ１２３は、露光量を算出する。ライブビュー表示が行われていないときは、サブミラー１０６に反射された光を露光量算出回路１０９が受光し、最適な露光量を算出する。ライブビュー表示中は、映像信号処理回路１１６に含まれる不図示の露光量算出回路が最適な露光量を算出する。マイクロコンピュータ１２３は、算出された露光量に基づき、絞り駆動回路１０４を用いて絞り１０３を駆動したり、撮像センサ１１２の感度や蓄積時間を制御したりする。一方、ＡＦ駆動回路１０２は、撮影レンズ１０１を駆動し、焦点を合わせる。撮影の準備を終えると、マイクロコンピュータ１２３は、不図示のブザー等でユーザに知らせる。

次に、ユーザは、デジタルカメラ１００を、最初に撮影したい方向に向け、ＳＷ２ １２６を押下する。ＳＷ２ １２６が押下されると、デジタルカメラ１００は、実際にパノラマ撮影を行う。

以下、図５及び図６を参照して、パノラマ撮影処理の詳細について説明する。図５のフローチャートの各ステップの処理は、特に断らない限り、マイクロコンピュータ１２３が不揮発性メモリ１３０に格納された制御プログラムを実行してデジタルカメラ１００の各部を制御することにより実現される。

Ｓ５００で、マイクロコンピュータ１２３は、レンズ情報を取得する。このレンズ情報には、後述する歪曲やレンズ周辺部の光量の低下を補正するためのデータや、後述する円筒座標変換に使用する焦点距離などが含まれる。

Ｓ５０１で、マイクロコンピュータ１２３は、１枚目の撮影を行う。撮像センサ１１２、Ａ／Ｄ変換器１１５は、ライブビュー用の駆動に設定されているため、マイクロコンピュータ１２３は、駆動を静止画撮影用に切り替える。マイクロコンピュータ１２３は、絞り１０３を先ほど決めた露光量になるように調整し、フォーカルプレーンシャッタ１１０を開閉して、撮像センサ１１２に被写体像が結像させる。上述した通り、撮像センサ１１２に結像した被写体像は、Ａ／Ｄ変換器１１５でデジタル信号へと変換され、バッファメモリ１２２へと格納される。こうして得られた画像データに対し、映像信号処理回路１１６に含まれる不図示の回路によって、例えば撮像センサ１１２のシェーディングなどの補正が行われる。このように最小限の加工しか行っていない画像データを、ＲＡＷ画像と呼ぶ。図６を参照すると、ＲＡＷ画像６０５は、現像回路１１６ｋによって現像され、現像後画像６０６（ＹＵＶ画像）になる。撮影した画像を表示装置１１８に表示させるため、変倍回路１１６ｆは、現像後画像６０６を表示装置１１８の画素数に応じて縮小し、ＶＲＡＭ６０８に格納する。

Ｓ５０２で、マイクロコンピュータ１２３は、ジャイロ１３３を初期化（リセット）する。この処理は、Ｓ５０６において２枚目の撮影が行われるまでにデジタルカメラ１００がどのくらいスイング（回転）されたかを取得するために行われる。

Ｓ５０３で、マイクロコンピュータ１２３は、歪曲補正処理を行う。即ち、図６に示すように、現像後画像６０６に対して、幾何変換回路１１６ｅにより、既存の技術を用いて撮影レンズ１０１の歪曲収差を補正する処理が行われる。

Ｓ５０４で、マイクロコンピュータ１２３は、Ｓ５０２で取得した焦点距離に基づき、円筒座標変換を行うための仮想円筒の半径を算出する。

Ｓ５０５で、マイクロコンピュータ１２３は、Ｓ５０４において算出した仮想円筒の半径を用いて、円筒座標変換を行う。図６に示すように、幾何変換回路１１６ｅが現像後画像６０６に対して円筒座標変換を行う。また、マイクロコンピュータ１２３は、円筒座標変換後の画像において、画像保存領域（図３（Ｂ））を決定して抽出する。これにより、幾何変換後画像６０７が生成される。なお、画像保存領域の決定基準は特に限定されないが、例えば、マイクロコンピュータ１２３は、十分な画像保存高さが得られるように画像保存領域を決定する。図３（Ａ）に示すように、焦点距離が短いほど、円筒座標変換後の画像の同じ水平位置における高さ方向の画素数が少なくなる。従って、焦点距離が短いほど画像保存領域の幅が小さくなるように、画像保存領域を決定することにより、焦点距離に関わらず十分な画像保存高さを得ることができる。

なお、円筒座標変換と歪曲収差補正はいずれも幾何変換回路１１６ｅで行われるため、上述した通り別のステップで行ってもよいが、同時に行ってもよい。

Ｓ５０６で、マイクロコンピュータ１２３は、２枚目の撮影を行う。撮影の詳細はＳ５０１と同様である。なお、図６において、１枚目の撮影に対応する幾何変換後画像６０７は、２枚目の撮影時には幾何変換後画像６０３となる。

Ｓ５０７で、マイクロコンピュータ１２３は、前回の撮影からのスイング量を取得するために、ジャイロ情報を取得する。マイクロコンピュータ１２３は、ジャイロ情報として、デジタルカメラ１００に対してＹａｗ方向、Ｐｉｔｃｈ方向の２軸を取得するが、光軸に対しての回転であるＲｏｌl方向も含む３軸を取得してもよい。ジャイロ１３３からの出力そのものは角速度である。しかし、パノラマ撮影では前回の撮影からどのくらいスイングされたかに関する情報が必要なので、マイクロコンピュータ１２３は、前回の撮影から今回の撮影までの角速度を積分し、２枚目以降の撮影時に前回からの回転角度を計算する。マイクロコンピュータ１２３は、算出された情報を、図６に示すジャイロ情報６０４として記憶しておく。その後、マイクロコンピュータ１２３は、Ｓ５０２と同様、ジャイロ１３３をリセットする。

Ｓ５０８で、マイクロコンピュータ１２３は、Ｓ５０２で取得したレンズの焦点距離や画角、撮像センサ１１２の情報などから、この回転角度を画素単位の移動量に変換する。一般に、歪曲のないレンズもしくは歪曲補正後の画角（α）は、実効焦点距離をｆ［ｍｍ］、撮像センサ１１２の幅をｗ［ｍｍ］とすると、以下の式１で表される。

α［°］＝２×ａｒｃｔａｎ（ｗ［ｍｍ］÷２÷ｆ［ｍｍ］） ・・・（１）

撮像センサ１１２の１画素あたりのサイズをｐ［μｍ］、スイング角［°］をθとすると、画像における移動量ｄ［ｐｉｘ］は、式２の通りとなる。

ｄ［ｐｉｘ］＝ｔａｎ（α［°］÷２）×ｆ［ｍｍ］／ｐ［μｍ］×１０００
・・・（２）

Ｓ５０９で、マイクロコンピュータ１２３は、Ｓ５０５における１枚目の歪曲収差補正と同様に、２枚目の画像の歪曲収差補正を行う。

Ｓ５１１で、マイクロコンピュータ１２３は、Ｓ５０５と同様、幾何変換回路１１６ｅを用いて円筒座標変換及び画像保存領域の抽出を行い、図６に示す幾何変換後画像６０７を生成する。

Ｓ５１２で、マイクロコンピュータは、移動量算出回路１１６ｃを用いて、前回撮影した画像と今回撮影した画像とに基づいて移動量を算出する。図６に示すように、移動量算出回路１１６ｃは、今回の画像（幾何変換後画像６０７）と前回の画像（幾何変換後画像６０３）とから、移動量を算出する。移動量の算出に関しては既知の方法が使えるが、本実施形態では、移動量算出回路１１６ｃが画像内の特徴点をいくつか見つけ出し、標本化することでアフィン係数６０９を算出するものとする。移動量算出回路１１６ｃは、エッジを検出し、特徴点を抽出し、その移動量を算出する。例えば、特徴点１が座標（ｘ１，ｙ１）から座標（ｕ１，ｖ１）に、特徴点２が座標（ｘ２，ｙ２）から（ｕ２，ｖ２）に、特徴点３が座標（ｘ３，ｙ３）から（ｕ３，ｖ３）にずれていたとする。すると、連立方程式を作ると式３及び式４のようになる。

この方程式を解くことで、ａ〜ｆのアフィン係数を算出することが可能である。４点以上の特徴点が検出できた場合は、近い点を除外して最小二乗法を用いて正規化する。３点見つからない場合や、抽出した３点が直線状になっている場合、３点のうち２点が近い場合は、その値などを調査し移動量の算出が失敗したと判断する。

このようにして画像から算出した移動量（アフィン係数６０９）と、Ｓ５０８で計算した移動量（ジャイロ情報６０４に基づく移動量）とが大きく異なる場合は、画像に繰り返しパターンや移動体が含まれていることが考えられる。そのため、マイクロコンピュータ１２３は、別の条件下で再度移動量を算出したり、このショットを失敗として扱って次の撮影（Ｓ５０６）に戻ったり、或いはパノラマ撮影を失敗として扱ったりする。

Ｓ５１３で、マイクロコンピュータ１２３は、位置合わせ回路１１６ｄを用いて、Ｓ５１２において算出した移動量（アフィン係数）に基づき位置合わせを行う。即ち、図６に示すように、位置合わせ回路１１６ｄは、アフィン係数６０９を用いて位置合わせを行い、位置合わせ画像６１１を生成する。

Ｓ５１４で、マイクロコンピュータ１２３は、合成回路１１６ｊを用いて画像の合成を行う。図６に示すように、今回撮影した画像がＮ枚目の画像である場合、合成回路１１６ｊは、１枚目からＮ−１枚目の画像に基づく合成画像６１０と、Ｎ枚目の画像に基づく位置合わせ画像６１１とを合成する。これにより、合成画像６１２が生成される。なお、Ｎ＝２の場合、合成画像６１０は、幾何変換後画像６０３に相当する。また、水面など動体がある場合は合成結果の画質が落ちるため、合成回路１１６ｊは、画像の境界部分の合成比率を変えることにより画質を向上させてもよい。

Ｓ５１５で、マイクロコンピュータ１２３は、終了指示が行われたか否かを判定する。終了指示が行われた場合、処理はＳ５１６へ進む。終了指示が行われていない場合、処理はＳ５０６に戻り、再びＳＷ２ １２６が押下されると、マイクロコンピュータ１２３は、次の撮影を行い、前回の撮影と同様、Ｓ５０７からＳ５１４の処理を実行する。従って、マイクロコンピュータ１２３は、順次撮影された複数の画像から取得された複数の部分画像（保存画像領域）について、撮影順が連続する２つの部分画像の各ペアの重複領域を重ね合わせる画像合成を行うことにより、パノラマ画像を生成する。

Ｓ５１６で、マイクロコンピュータ１２３は、圧縮・伸長回路１１６ｌを用いて、合成画像６１２をＪｐｅｇなどの汎用フォーマットに圧縮する。

Ｓ５１７で、マイクロコンピュータ１２３は、圧縮された画像をメモリ１２０に保存する。なお、この時に、合成画像の暗部を見やすくするためにガンマ補正回路１１６ｂでγ補正を行ったり、画像全体の色調を統一するために補正を行ったりしてもよい。また、このようにして得られる画像はサイズが大きいため、サイズに変倍回路１１６ｆは、予めユーザが指示したサイズで画像の変倍を行ってもよい。更に、手ぶれなどを考慮し、トリミング回路１１６ｇは、画像の保存前に、最大内接矩形或いは予め決められた領域で、画像の切り出しを行ってもよい。

なお、ここではデジタルカメラ１００を横方向にスイングする例を示したが、縦方向にスイングする場合も同様の処理を実行可能である。

次に、図７を参照して、図５のパノラマ撮影処理において撮影待機状態の間に行われるライブビュー表示について説明する。図７において、７００はスルー画像である。７０１、７０２、７０３は、画像保存領域とそれ以外の領域（非保存領域）との境界線である。７０４は、パノラマ撮影時にデジタルカメラ１００を移動する方向を示している。

境界線７０１の表示位置は、焦点距離に基づいて行われる円筒座標変換後の画像において、パノラマ画像として保存されない領域（非保存領域）の端であることが望ましい。また、望ましくはパノラマ画像撮影開始前の撮影待機状態においては、撮影方向とは反対側の非保存領域をユーザが認識可能であることが望ましい。また、境界線７０２、７０３の表示位置は、焦点距離に基づいて行われる円筒座標変換後の画像において、パノラマ画像として保存されない領域の高さ方向の端であることが望ましい。また、望ましくはデジタルカメラ１００の撮影方向を移動した場合の手ぶれ量も円筒変換量に加えて領域表示されている様態が適切である。

従って、図７において、斜線の領域は、非保存領域の一部に対応し、白の領域は、概ね画像保存領域に対応する。図５のＳ５０５において説明したように、円筒座標変換を行うと、画像の右側の部分においても高さ方向の画素数の減少が発生するため、この部分は画像保存領域としては抽出されない。従って、Ｓ５１４の合成処理に用いられるのは、白の領域のうち、右側の部分を除いた領域である。但し、矢印７０４の方向にデジタルカメラ１００をスイングするパノラマ撮影においては、右側の部分は次回以降の撮影において画像保存領域に含まれる可能性があるため、最終的なパノラマ画像には含まれる可能性がある。

なお、マイクロコンピュータ１２３は、スルー画像の右側の非保存領域を、画像保存領域と区別可能なように表示してもよい。従って、本実施形態では、マイクロコンピュータ１２３は、非保存領域の一部をユーザが認識可能なように表示してもよいし、非保存領域の全体をユーザが認識可能なように表示してもよい。換言すると、マイクロコンピュータ１２３は、ライブビュー表示を行う際に、次に撮影する画像の非保存領域（所定領域）の少なくとも一部を示す情報を表示する。

また、パノラマ撮影は、複数枚の画像（単位画像）を合成してパノラマ画像を作成する。そのため、撮影開始時は、デジタルカメラ１００の移動方向に対して反対側の端（デジタルカメラ１００の移動方向と反対側に位置する領域の少なくとも一部）を表示するのが好ましい。しかし、撮影の途中からは、図８に示すように、デジタルカメラ１００の移動方向と同じ側の端を表示するのが好ましい。

図８において、８００はスルー画像である。８０１、８０２、８０３は、画像保存領域とそれ以外の領域（非保存領域）との境界線である。８０４は、パノラマ撮影時にデジタルカメラ１００を移動する方向を示している。このように、デジタルカメラ１００の移動方向と同じ側の端（デジタルカメラ１００の移動方向と同じ側に位置する領域の少なくとも一部）を明確に表示することで、ユーザはどこまで画像が保存されるかを明確に知ることが可能である。

更に、デジタルカメラ１００は、図７の表示形態と、図８の表示形態とを、適切なタイミング（所定の条件が満たされたタイミング）で切り替えるように構成されてもよい。一般的に、パノラマ撮影時は、保存画像の最小画素数が設定されていることが多い。そこで、デジタルカメラ１００は、撮影開始時にデジタルカメラ１００の移動方向とは反対側の端を表示する図７の表示形態を採用する。そして、デジタルカメラ１００の移動量が、保存画像の最小画素数に相当する移動量に達した場合に、デジタルカメラ１００は、図７の表示形態から図８の表示形態に切り替える。換言すると、既に撮影された１以上の画像と次に撮影する画像とに対応する画像保存領域（部分画像）から生成可能なパノラマ画像の画素数が閾値以上である場合に、図７から図８への切り替えが行われる。或いは、デジタルカメラ１００は、画像の撮影枚数に基づいて図７から図８への切り替えを行ってもよい。例えば、デジタルカメラ１００は、既に撮影された画像の数が閾値以上である場合に、図７から図８への切り替えを行う。

また、図９に示すように、デジタルカメラ１００は、撮影に同期し、移動量に応じて図７の境界線７０１で分割される領域を順次減少させてもよい。即ち、図９においては、デジタルカメラ１００は、最終的に得られるパノラマ画像に含まれない領域の少なくとも一部をユーザが認識可能なように表示する。換言すると、デジタルカメラ１００は、次に撮影する画像の非保存領域（所定領域）のうちの、既に撮影された１以上の画像の各々の非保存領域に含まれる領域の、少なくとも一部を示す情報を表示する。

また、同様に、デジタルカメラ１００は、保存画像の最小画素数に相当する移動量にデジタルカメラ１００の移動量が達した場合、図８の境界線８０１で分割される領域を、デジタルカメラ１００の移動方向の側の端から所定の領域まで順次拡大してもよい。ここで言う所定の領域とは、前述の円筒座標変換などから設定される領域であることを想定している。また、表示を切り替えるのは、デジタルカメラ１００の移動方向に対して垂直な方向であってもよい。即ち、境界線７０１で分割される領域又は境界線８０１で分割される領域を切り替えてもよい。

また、図７乃至図９においては、非保存領域を斜線で示したが、本実施形態の表示形態はこれに限定されず、ユーザが非保存領域を認識可能な任意の表示形態を採用可能である。

以上説明したように、第１の実施形態によれば、デジタルカメラ１００は、撮影方向を移動させながら複数の画像を順次撮影する間に、表示装置１１８にライブビュー表示を行う。この時、デジタルカメラ１００は、次に撮影する画像の非保存領域（所定領域）の少なくとも一部を示す情報を表示する。これにより、パノラマ画像の元となる画像の撮影中に、パノラマ画像に含まれない可能性のある画像領域をユーザが認識することを支援することが可能となる。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００…デジタルカメラ、１０１…撮影レンズ、１１２…撮像センサ、１１６…映像信号処理回路、１１８…表示装置、１２０…メモリ、１２３…マイクロコンピュータ、１２４…操作部材、１３０…不揮発性メモリ

Claims (16)

1. パノラマ画像の合成のための複数の画像を撮影する撮影手段と、
   前記複数の画像を撮影する際に用いる光学系の状態に基づいて、前記複数の画像のそれぞれにおいて前記パノラマ画像の合成に用いられない領域を取得する取得手段と、
   前記取得手段が取得した領域を表示する表示手段と、を有することを特徴とする撮像装置。
2. 前記複数の画像を撮影する際に用いる光学系の状態に基づいて、前記複数の画像に対して幾何変換を行う変換手段と、
   前記変換手段は、前記変換手段が前記幾何変換を行った画像から、前記パノラマ画像に合成に用いられない領域を取得することを特徴とする請求項１に記載の撮像装置。
3. 前記幾何変換は、歪曲収差補正および円筒座標変換処理の少なくとも一方を含むことを特徴とする請求項２に記載の撮像装置。
4. 前記表示手段は、前記取得手段が取得した領域を前記画像とともに表示することを特徴とする請求項１ないし３のいずれか１項に記載の撮像装置。
5. 前記表示手段は、前記画像において、撮影手段の移動方向の反対側の位置に前記取得手段が取得した前記領域を表示する請求項４に記載の撮像装置。
6. 前記表示手段は、前記画像において、撮影手段の移動方向の反対側の位置に前記取得手段が取得した領域を表示し、所定の条件が満たされた以降、前記画像において、撮影手段の移動方向と同じ側の位置に前記取得手段が取得した前記領域を表示する請求項４に記載の撮像装置。
7. 前記所定の条件は、前記撮影手段が既に撮影した１枚以上の画像と次に撮影する画像とから生成可能な前記パノラマ画像の画素数が第１の閾値以上である場合に、満たされることを特徴とする請求項６に記載の撮像装置。
8. 前記所定の条件は、前記撮影手段が既に撮影した画像の数が第２の閾値以上である場合に、満たされることを特徴とする請求項６に記載の撮像装置。
9. 前記表示手段は、前記撮影手段が撮影する画像の、前記取得手段が取得した前記領域のうち、すでに撮像した１枚以上の画像のそれぞれの前記取得手段が取得した前記領域に含まれる領域の、少なくとも一部を示す情報を表示することを特徴とする請求項１ないし８のいずれか１項に記載の撮像装置。
10. パノラマ画像の合成のための複数の画像を撮影する撮影手段と、
    前記撮影手段が撮影した前記画像の一部の領域を表示する表示手段と、を有し、
    前記画像を撮影する際に用いる光学系の運動状態の変化に従い、前記表示手段が表示する前記画像の一部の領域を変化することを特徴とする撮像装置。
11. 前記画像を撮影する際に用いる光学系の運動状態の変化に従い、前記表示手段が表示する前記画像の一部の領域の大きさを変化することを特徴とする請求項１０に記載の撮像装置。
12. 前記表示手段が表示する前記画像の一部は、前記パノラマ画像の合成に用いる領域であることを特徴とする請求項１０または１１に記載の撮像装置。
13. コンピュータを、請求項１ないし１２のいずれか１項に記載の撮像装置の各手段として機能させるためのプログラム。
14. 請求項１３に記載のプログラムを記録するコンピュータ読み出し可能な記録媒体。
15. 撮像装置が実行する制御方法であって、
    パノラマ画像の合成のための複数の画像を撮影する撮影工程と、
    前記複数の画像を撮影する際に用いる光学系の状態に基づいて、前記複数の画像のそれぞれにおいて前記パノラマ画像の合成に用いられない領域を取得する取得工程と、
    前記取得工程が取得した領域を表示する表示工程と、を備えることを特徴とする制御方法。
16. 撮像装置が実行する制御方法であって、
    パノラマ画像の合成のための複数の画像を撮影する撮影工程と、
    前記撮影工程により撮影した前記画像の一部の領域を表示する表示工程と、を備え、
    前記画像を撮影する際に用いる光学系の運動状態の変化に従い、前記表示工程により表示する前記画像の一部の領域を変化することを特徴とする制御方法。

Images