JP2011211260A - パノラマ画像撮像装置及びそのパノラマ画像合成方法 - Google Patents

Abstract

【課題】カメラをパンさせて撮影するだけで、高精度のパノラマ画像が撮影される様にする。
【解決手段】主目的とする被写体を撮影する第１撮影部１と、第１撮影部１と異なる方向の画像を撮影する第２撮影部２と、第１撮影部１及び第２撮影部２を同時並行に駆動して第１撮影部１及び第２撮影部２に各々連続する少なくとも２枚の画像を撮影させる駆動制御手段１５と、第２撮影部２が撮影した前記２枚の画像から該２枚の画像間の移動距離を算出し該移動距離に基づいて第１撮影部１が撮影した前記２枚の画像をパノラマ合成するパノラマ合成手段２６とを備える。
【選択図】図２

Description

本発明はパノラマ画像撮像装置及びそのパノラマ画像合成方法に係り、特に、パノラマ画像の高精度な合成を可能にするパノラマ画像撮像装置及びそのパノラマ画像合成方法に関する。

カメラ（撮像装置）で被写体の静止画像を撮影する場合、カメラの視野角には限度があるため、一回の撮影で広大な視野の撮影はできない。そこで、例えば水平方向（左右方向）に連続する複数枚の静止画像を撮り、これらを一枚に貼り合わせることで、広視野角のパノラマ画像を合成することが行われる。

デジタルカメラが普及したため、デジタルの静止画像データをパノラマ合成するのが容易となり、パノラマ合成機能を搭載したデジタルカメラも増えてきている。

デジタルカメラでパノラマ画像を撮影する場合、ユーザがデジタルカメラを手に持って水平方向にパンさせながら動画を撮影し、あるいは静止画を連写することで、水平方向に連続する複数枚の画像データを得ることができる。

そして、隣接する２枚の画像から特徴点を検出しその特徴点の２枚の画像間の移動ベクトルを算出し、この移動ベクトルを用いて２枚の画像データのうち重複する領域を見つけ出し、重複領域が重なるように２枚の画像データを貼り合わせ合成することが行われる。

しかし、写っている画像が変化の乏しい空間周波数の低い模様の場合、特徴点の検出や移動ベクトルの算出が難しくなり、重複する領域を見つけ出すのが困難で、合成精度の低いパノラマ画像しか生成できないという問題が生じる。

そこで、下記の特許文献１記載のデジタルカメラの様に、カメラ内にジャイロセンサを搭載しておけば、２枚の画像比較によって重なり領域を高精度に検出できなくても、センサ出力からカメラ移動距離を計算して２枚の画像の重なり領域を算出することが可能となる。

特開平６−１０５２１４号公報

しかしながら、上述した特許文献１記載のデジタルカメラでは、ジャイロセンサの検出信号で判断するデジタルカメラ側からの指示に従ってユーザがカメラを正しくセットし撮影する必要があるため、パノラマ画像を撮影するのが面倒である。

本発明の目的は、面倒な操作を必要とせずに自動的に高精度なパノラマ合成を行うことができるパノラマ画像撮像装置及びそのパノラマ画像合成方法を提供することにある。

本発明のパノラマ画像撮像装置は、主目的とする被写体を撮影する第１撮影部と、該第１撮影部と異なる方向の画像を撮影する第２撮影部と、前記第１撮影部及び前記第２撮影部を同時並行に駆動して該第１撮影部及び該第２撮影部に各々連続する少なくとも２枚の画像を撮影させる駆動制御手段と、前記第２撮影部が撮影した前記２枚の画像から該２枚の画像間の移動距離を算出し該移動距離に基づいて前記第１撮影部が撮影した前記２枚の画像をパノラマ合成するパノラマ合成手段とを備えることを特徴とする。

また、本発明のパノラマ画像合成方法は、主目的とする被写体を第１撮影部で撮影し、該第１撮影部と異なる方向の画像を第２撮影部で撮影し、前記第１撮影部及び前記第２撮影部を同時並行に駆動して該第１撮影部及び該第２撮影部に各々連続する少なくとも２枚の画像を撮影させ、前記第２撮影部が撮影した前記２枚の画像から該２枚の画像間の移動距離を算出し該移動距離に基づいて前記第１撮影部が撮影した前記２枚の画像をパノラマ合成することを特徴とする。

本発明によれば、ユーザはカメラをパンするだけでカメラ側が自動的に高精度なパノラマ合成を行うことが可能となる。

本発明の一実施形態に係るパノラマ画像撮像装置の正面図（ａ）及び側面図（ｂ）である。 図１に示すパノラマ画像撮像装置の機能ブロック構成図である。 図１に示すパノラマ画像撮像装置でパノラマ合成する方法の説明図である。 図３の方法でパノラマ画像を撮影する処理手順を示すフローチャートである。 本発明の別実施形態に係るパノラマ画像撮像装置の背面図（ａ）及び側面図（ｂ）である。 図５に示すパノラマ画像撮像装置の機能ブロック構成図である。 本発明の更に別実施形態に係るパノラマ画像撮像装置の正面図（ａ）及び側面図（ｂ）である。 本発明の別実施形態に係る撮影処理手順を示すフローチャートである。 本発明の更に別実施形態に係る撮影処理手順を示すフローチャートである。 本発明の更に別実施形態に係る撮影処理手順を示すフローチャートである。 本発明の更に別実施形態に係る撮影処理手順を示すフローチャートである。 本発明の更に別実施形態に係る撮影処理手順を示すフローチャートである。

以下、本発明の一実施形態について、図面を参照して説明する。

図１は、本発明の一実施形態に係るパノラマ画像撮像装置の正面図（ａ）と側面図（ｂ）である。このパノラマ画像撮像装置１００は、メインとなる第１の撮影ユニット１と、サブとなる第２の撮影ユニット２とを備える。撮影ユニット１は、箱形筐体３の正面部分に沈胴可能なレンズ鏡筒４を備える共にその脇に受発光部５を備える。

撮影ユニット２は、図示の例では箱形筐体３の下側前縁部に設けられており、広角レンズ７が装着されている。これにより、箱形筐体３をユーザが持ってレンズ鏡筒４を被写体に向けたとき、撮影ユニット２は広角レンズ７を通して重力方向下方の地面側を撮像することになる。広角レンズ７の脇には、受発光部８が設けられている。

図１中の双頭矢印ａは撮影ユニット１の撮影画角の一例を示し、双頭矢印ｂは撮影ユニット２の撮影画角の一例を示している。

図２は、図１に示すパノラマ画像を撮像するデジタルスチルカメラ（パノラマ画像撮像装置）１００の機能ブロック構成図である。このパノラマ画像撮像装置１００は、第１の撮像ユニットと、第２の撮影ユニット２と、パノラマ画像撮像装置１００の全体を統括制御するＣＰＵ（駆動制御手段を含む）１５と、ＣＰＵ１５にユーザが指示信号を入力する操作部２１（シャッタボタンや電源ボタン等を含む）とを備える。

第１の撮影ユニット１は、図１のレンズ鏡筒４に収納される撮影レンズ１０と、固体撮像素子１１と、この両者の間に設けられた、絞り１２、赤外線カットフィルタ１３、光学ローパスフィルタ１４を備える。

また、固体撮像素子１１の出力信号を相関二重サンプリング処理したり利得制御するアナログ信号処理部２２と、アナログ信号処理部２２の出力信号をデジタル信号に変換してデータバス３４に出力するＡ／Ｄ変換器２３とを備える。

更に、ＣＰＵ１５の指示により動作する、フラッシュ用の発光部５ａ及び受光部５ｂ（図１（ａ）の受発光部５に対応する。）と、撮影レンズ１０の位置をフォーカス位置に調整したり望遠位置を制御するレンズ駆動部１８と、絞り１２の開口量を制御して露光量が適正露光量となるように調整する絞り駆動部１９と、固体撮像素子１１を駆動する撮像素子駆動部２０とを備える。

第２の撮影ユニット２は、図１で説明した広角の撮影レンズ７と、固体撮像素子４１と、この両者の間に設けられた、絞り４２、赤外線カットフィルタ４３、光学ローパスフィルタ４４を備える。

また、固体撮像素子４１の出力信号を相関二重サンプリング処理したり利得制御するアナログ信号処理部５２と、アナログ信号処理部５２の出力信号をデジタル信号に変換してデータバス３４に出力するＡ／Ｄ変換器５３とを備える。

更に、ＣＰＵ１５の指示により動作する、フラッシュ用の発光部８ａ及び受光部８ｂ（図１（ａ）の受発光部８に対応する。）と、撮影レンズ７の位置をフォーカス位置に調整するレンズ駆動部４８と、絞り４２の開口量を制御して露光量が適正露光量となるように調整する絞り駆動部４９と、固体撮像素子４１を駆動する撮像素子駆動部４０とを備える。

撮影ユニット１に搭載された固体撮像素子１１は、例えば１０００万画素以上を搭載しているのに対し、撮影ユニット２に搭載された固体撮像素子４１は、２〜３百万画素程度で良く、チップ面積も固体撮像素子１１より小さくて良い。

このパノラマ画像撮像装置１００の電気制御系は、メインメモリ２４に接続されたメモリ制御部２５と、画像処理を行うデジタル信号処理部（パノラマ合成手段）２６と、撮像画像をＪＰＥＧ画像に圧縮したり圧縮画像を伸張したりする圧縮伸張処理部２７と、固体撮像素子１１から出力されデジタルデータに変換された画像データをＲ，Ｇ，Ｂ毎に積算し各積算値をデジタル信号処理部２６に出力する積算部２８と、着脱自在の記録媒体２９が接続される外部メモリ制御部３０と、カメラ背面等に搭載された液晶表示部３１が接続される表示制御部３２とを備え、これらは、データバス３４，制御バス３３を介して相互に接続されると共に、ＣＰＵ１５ともデータバス３４，制御バス３３を介して接続される。

更に、本実施形態では、データバス３４，制御バス３３に接続される画像処理部５５が設けられている。この画像処理部５５と第２の撮影ユニット２とで移動距離検出部５６が構成される。即ち、画像処理部５５は、撮影ユニット２で撮影された画像を処理し、画像間の移動距離を検出する。

上述した構成のパノラマ画像撮像装置１００では、撮影ユニット１が、図３（ａ）に示す様に、空や海，雲の画像の様に変化の乏しい画像（空間周波数が低周波な画像）Ａ１，Ｂ１を連続して撮影していても、撮影ユニット１と同時並行的に連動して撮影動作を行う撮影ユニット２は地面側を撮影しているため、図３（ｂ）に示す様に、変化がハッキリした連続画像Ａ２，Ｂ２を撮影している。

つまり、撮影ユニット１による撮像画像はその特徴点がハッキリせず、また特徴点の数が少ないため重複領域を検出するのが困難であっても、撮影ユニット２による撮像画像間の重複領域は容易に検出可能となる。

そこで、図３（ｃ）に示す様に、撮影ユニット２による撮像画像Ａ２，Ｂ２間の移動距離を求め、これを撮像ユニット１による撮像画像Ａ１，Ｂ１間の移動距離にフィードバックすれば、図３（ｄ）に示す様に、精度良くパノラマ画像を合成することが可能となる。

撮影ユニット１の被写体までの距離と撮影ユニット２の被写体までの距離は異なるため、撮影ユニット２の撮像画像Ａ２，Ｂ２の移動距離Ｍ（図３（ｃ）参照）と、撮影ユニット１の撮像画像Ａ１，Ｂ１の移動距離Ｎ（図３（ｄ）とは異なる。

本実施形態のパノラマ画像撮像装置１００では、各撮影ユニット１，２毎に受発光部５，８を設け、夫々がＡＦ測距を行っているため、この測距情報と特徴点情報とにより、移動距離Ｍから移動距離Ｎを算出することができる。本実施形態のパノラマ画像撮像装置１００では、各撮影ユニット１，２毎に受発光部５，８を設け、各々がＡＦ測距を行っているため、この測距情報と特徴点情報により、移動距離Ｍを算出することが出来る。更に、移動距離Ｍと、各レンズの倍率情報から、撮影ユニット１の合成に必要な距離情報Ｎが求められる。例えば、撮影ユニット１側のレンズ倍率をＮα、撮影ユニット２側のレンズ倍率をＭαとした場合、
Ｎ＝（Ｎα／Ｍα）×Ｍ
の式で求めることが可能となる。

図４は、パノラマ画像撮像装置１００におけるパノラマ画像撮影処理手順を示すフローチャートである。パノラマ画像撮像装置１００の撮影モードがパノラマモードのとき本プログラムは実行され、先ず、ステップＳ１で、撮影ユニット１の固体撮像素子１１から出力される画像データが取り込まれ、ステップＳ２で撮影ユニット１のＡＦ測距が実行される。次のステップＳ３では、撮影ユニット１による画像Ａ１の撮影が行われ、ステップＳ４で、画像Ａ１が記録媒体２９（図２）に記録される。

ステップＳ３と同時に撮影ユニット２ではＡＦ測距と画像Ａ２の撮影が行われ（ステップＳ５）、ステップＳ４と並行して画像Ａ２の記録媒体２９への記録が行われる（ステップＳ６）。

ステップＳ４，Ｓ６の後のステップＳ７では、撮影ユニット１の固体撮像素子１１から出力される画像データが取り込まれ、ステップＳ８で撮影ユニット１のＡＦ測距が実施される。

次のステップＳ９では、撮影ユニット１による画像Ｂ１の撮影が行われ、ステップＳ１０で、画像Ｂ１が記録媒体２９（図２）に記録される。

ステップＳ９と同時に撮影ユニット２ではＡＦ測距と画像Ｂ２の撮影が行われ（ステップＳ１１）、ステップＳ１０と並行して画像Ａ２の記録媒体２９への記録が行われる（ステップＳ１２）。

ステップＳ１０，Ｓ１２の次のステップＳ１３では、画像Ａ１，Ｂ１，Ａ２，Ｂ２の特徴点を周知の方法で算出し、ステップＳ１４では、撮影ユニット１で撮影した画像Ａ１，Ｂ１の特徴点の数が所定数より多いか否かを判定する。

ステップＳ１４の判定の結果、特徴点数が所定数以上ある場合には、画像Ａ１，Ｂ１の重複領域を精度良く検出できるためステップＳ１５に進み、画像Ａ１と画像Ｂ１とをパノラマ合成して記録媒体２９に保存し、ステップＳ２０に進んでパノラマモードを継続するか否かを判定し、継続する場合にはステップＳ１に戻り、継続しない場合には本処理を終了する。

ステップＳ１４の判定の結果、画像Ａ１，Ｂ１の特徴点が少ない場合にはステップＳ１６に進み、撮影ユニット２で撮影した画像Ａ２，Ｂ２間の移動距離Ｍを算出する。次のステップＳ１７では、移動距離Ｍが算出できたか否かを判定し、算出できた場合にはステップＳ１８に進み、移動距離Ｍに応じた移動距離Ｎにより画像Ａ１，Ｂ１をパノラマ合成して記録媒体２９に保存し、上記のステップＳ２０に進む。

ステップＳ１７の判定の結果、移動距離Ｍが算出できなかった場合にはステップＳ１９に進んで「パノラマ合成不可」を表示部３１（図２）に表示して上記のステップＳ２０に進み、パノラマモードを継続するか否かをユーザに問い合わせる。

この様に、本実施形態によれば、撮影ユニット１による連続画像間の重複領域が精度良く検出できる場合にはそのままパノラマ合成を行い、重複領域を精度良く検出できない場合には撮影ユニット２による撮影画像間から移動距離を求め、この移動距離に応じて撮影ユニット１による連続画像をパノラマ合成するため、撮影ユニット１が低周波模様を撮影している場合でも高精度なパノラマ合成が可能となる。

実施形態のパノラマ画像撮像装置１００は、２つの撮影ユニット１，２を搭載しているが、移動距離検出用の撮影ユニット２は、高機能は必要とせず、撮像素子も高画素である必要もないため、安価に製造できる。

図５（ａ）は本発明の第２実施形態に係るパノラマ画像撮像装置２００の背面図であり、図５（ｂ）はその側面図である。本実施形態のパノラマ画像撮像装置２００では、第１の撮影ユニット１を正面側に取り付けるのは第１実施形態と同じであるが、第２の撮影ユニット２を背面側（撮影者側）に取り付け、撮影者側を撮影する点が異なる。撮影者側の撮影画像は、特徴点の多い画像となるため、第１実施形態と同様に処理可能であり、処理手順は図４と同じとなる。

しかし、撮影ユニット２の受発光部８を、真正面に向けてしまうと、撮影者までの距離情報を取得してしまうため、広角レンズ７の広角側の端の距離情報を取得する様に外側を向けるのが好ましい。また、後述する実施形態の様に、撮影ユニット２の撮影方向（撮影角度）を撮影ユニット１の撮影方向に対して移動させる（傾ける）駆動機構を設け、撮影ユニット１の撮影方向を検出するセンサの検出信号に応じて撮影ユニット２の撮影方向を変える構成としても良い。

テレビ電話機能付の携帯電話機等では、撮影者側に向けた撮影ユニットが搭載されているため、この第２実施形態を容易に導入可能となる。

図６は、本発明の第３実施形態に係るパノラマ画像撮像装置３００の機能ブロック構成図である。本実施形態は、図２に示す第１の実施形態に比較してジャイロセンサ５８が制御バス３３，データバス３４に接続されている点が異なるだけである。

図７（ａ）は第３実施形態に係るパノラマ画像撮像装置３００の正面図であり、図７（ｂ）は側面図である。図１と同様の部材には同一符号を付してある。パノラマ画像撮像装置３００では、第１の撮影ユニット１に対して水平軸を中心に第２の撮影ユニット２が矢印Ｄ方向に回転可能に取り付けられている点が異なる。

第１実施形態の撮影ユニット２は、地面側を撮影する様に筐体３に取り付けられているが、パノラマ画像撮像装置１００で空（真上）を撮影した場合、撮影ユニット２は地面側を撮影できなくなってしまい、パノラマ合成ができない事態が発生する。

そこで、本実施形態のパノラマ画像撮像装置３００では、撮影ユニット１を収納した筐体３の姿勢をジャイロセンサ５８が検出し、撮影ユニット２が常に地面側等の変化のある画像を撮影できる様に内蔵モータで撮影ユニット２を回転させることを特徴とする。

なお、図７は、説明上の図に過ぎない。撮影ユニット２の筐体を撮影者が把持したら撮影ユニット２は回転不可となってしまうからである。撮影者が把持しない箇所（もっと撮影ユニット１側）の筐体内に撮影ユニット２を回転可能に取り付けておき、この筐体部分を透明体で製造しておけば良い。

図８は、パノラマ画像撮像装置３００におけるパノラマ画像撮影処理手順を示すフローチャートである。図４で説明したフローチャートと同一処理手順には同一ステップ番号を付けてその詳細な説明は省略する。

本実施形態では、図４の処理手順に対して、ステップＳ２のＡＦ測距後にステップＳ２１，ステップＳ２２を実行してからステップＳ３，Ｓ５に進み、ステップＳ８のＡＦ測距後にステップＳ２３，Ｓ２４を実行してからステップＳ９，Ｓ１１に進むことを特徴とする。

ステップＳ２１では、ジャイロセンサ５８にて撮影ユニット１の撮影方向の角度を検出し、ステップＳ２２で、この撮影方向の角度に基づき、第２の撮影ユニット２の撮影方向を、変化がハッキリした画像を撮影できる方向（例えば地面方向）に向くように、撮影ユニット２を回転駆動する。

ステップＳ２３は基本的にはステップＳ２１と同じであり、ステップＳ２４はステップＳ２２と同じである。画像Ａ１を撮影するときの撮影ユニット１の姿勢と、これに連続する画像Ｂ１を撮影するときの撮影ユニット１の姿勢が変化しても、ステップＳ２３，Ｓ２４を設けているため、撮影ユニット２は、画像Ａ２，Ｂ２を同じ姿勢で撮像することができ、画像Ａ２，Ｂ２の特徴点の算出が容易となる。

これにより、真上の空の画像つまり特徴点の検出が難しい低周波模様の画像を撮影ユニット１で撮影する場合でも、精度良くパノラマ画像の撮影が可能となる。

図９は、本発明の別実施形態に係るパノラマ画像撮影処理手順を示すフローチャートである。本実施形態では、図８のステップＳ２３，Ｓ２４を省略したフローチャートとなっている。つまり、撮影ユニット２の撮影方向の角度を１枚目の画像Ａ２と２枚目の画像Ｂ２で同一角度に保っている。これにより、高速処理が可能となる。

図１０は、更に別実施形態に係るパノラマ画像撮影処理手順を示すフローチャートである。本実施形態では、図４の処理手順と基本的に同じであるが、図４のフローチャートに対して、ステップＳ２５，Ｓ２６，Ｓ２８を追加した点が異なる。

ステップＳ２５は、ステップＳ４，Ｓ６の後に実行され、撮影ユニット２が撮影した画像Ａ２の特徴点を算出する。そして次のステップＳ２６で、画像Ａ２の特徴点数が所定数より多いか否かを判定し、多い場合にはステップＳ７に進む。

特徴点数が少ない場合には、ステップＳ２７からステップＳ２８に進み、撮影ユニット２の角度を任意角度だけ回転させ、ステップＳ１に戻る。このステップＳ２８の処理により、画像Ａ２がハッキリしない画像のとき撮影ユニット２が任意の所定角だけ回転するため、特徴点の算出が容易となる画像を取得可能となる。

図１１は、更に別実施形態に係るパノラマ画像撮影処理手順を示すフローチャートである。本実施形態では、図４の処理手順と基本的に同じであるが、図４のフローチャートに対して、ステップＳ３１，Ｓ３２，Ｓ３３，Ｓ３４を追加した点が異なる。

ステップＳ３１は、図１０のフローチャートのステップＳ２６，Ｓ２７の代わりに実行するステップであり、指定されたループ回数だけ撮影ユニット２を回転させて画像を取得したか否かを判定するステップである。指定されたループ回数だけ撮影ユニット２を回転させたときはステップＳ７に進み、指定されたループ回数だけ撮影ユニット２を回転させてないときはステップＳ３２に進み、ステップＳ２８と同じ処理（撮影ユニット２の所定角度分の回転駆動）を行ってステップＳ１に戻る。

ここでループ回数とは、ステップＳ１からステップＳ３１に進みステップＳ３２を通ってステップＳ１に戻る処理ループの回数である。つまり、ループ回数とはステップＳ３２を実行して撮影ユニット２を所定角度分回転させる回数である。これにより、撮影ユニット２が特徴点の多い画像を撮影する確率が高くなる。

ステップＳ３３は、ステップＳ１０，Ｓ１２の後に実行するステップであり、ステップＳ３１と同一処理を行う。ステップＳ３３の判定の結果、指定されたループ回数だけ撮影ユニット２を回転させたときはステップＳ１３に進み、指定されたループ回数だけ撮影ユニット２を回転させてないときはステップＳ３４に進み、ステップＳ２８と同じ処理（撮影ユニット２の所定角度分の回転駆動）を行ってステップＳ７に戻る。これにより、２枚目の画像Ｂ２の特徴点算出が容易となる。

図１２は、更に別実施形態に係るパノラマ画像撮影処理手順を示すフローチャートである。図１１のフローチャートと比較して、ステップＳ３１とステップＳ７との間にステップＳ３７，Ｓ３８，Ｓ３９を設け、ステップＳ３３，Ｓ３４を削除し、ステップＳ１６の代わりにステップＳ１６ａを行う点が異なる。

ステップＳ３１の判定結果が肯定（Ｙｅｓ）となりステップＳ３７に進んだ状態では、それまでの間にステップＳ３２を所定ループ数だけ繰り返しているため、所定ループ数の枚数の画像Ａ２が得られていることになる。

そこで、このステップＳ３７では、各画像Ａ２の夫々の特徴点を算出し、次のステップＳ３８で、最も多い特徴点を持つ画像Ａ２を画像Ａ２maxとする。そして、ステップＳ３９で、画像Ａ２maxが得られた角度と同じ角度に撮影ユニット２を駆動制御し、ステップＳ７以降に進む。

ステップＳ１４の次に進むステップＳ１６ａでは、画像Ａ２maxと、この画像と同じ角度（撮影ユニット２の角度）で撮影された画像Ｂ２とから、移動距離Ｍが算出される。

これにより、本実施形態では、特徴点が多い角度で画像Ａ２，Ｂ２を得ることができ、パノラマ合成の精度が向上する。

以上述べた様に、実施形態のパノラマ画像撮像装置及びそのパノラマ画像合成方法は、主目的とする被写体を第１撮影部で撮影し、該第１撮影部と異なる方向の画像を第２撮影部で撮影し、前記第１撮影部及び前記第２撮影部を同時並行に駆動して該第１撮影部及び該第２撮影部に各々連続する少なくとも２枚の画像を撮影させ、前記第２撮影部が撮影した前記２枚の画像から該２枚の画像間の移動距離を算出し該移動距離に基づいて前記第１撮影部が撮影した前記２枚の画像をパノラマ合成することを特徴とする。

また、実施形態のパノラマ画像撮像装置及びそのパノラマ画像合成方法は、前記第２撮影部は重力方向下方を撮影することを特徴とする。

また、実施形態のパノラマ画像撮像装置及びそのパノラマ画像合成方法は、前記第２撮影部が撮影者側を撮影することを特徴とする。

また、実施形態のパノラマ画像撮像装置及びそのパノラマ画像合成方法は、前記第２撮影部は前記第１撮影部より広角画像を撮影することを特徴とする。

また、実施形態のパノラマ画像撮像装置及びそのパノラマ画像合成方法は、前記第１撮影部が撮影した前記２枚の画像の特徴点が所定数以上ある場合には前記移動距離を用いずに該２枚の画像を該特徴点に基づいてパノラマ合成することを特徴とする。

また、実施形態のパノラマ画像撮像装置及びそのパノラマ画像合成方法は、第２撮影部駆動機構で前記第２撮影部の撮影方向を移動させることを特徴とする。また、実施形態のパノラマ画像撮像装置及びそのパノラマ画像合成方法は、前記第２撮影部駆動機構は、前記第１撮影部の撮影方向を感知するジャイロセンサの検出信号に応じて駆動されることを特徴とする。

また、実施形態のパノラマ画像撮像装置及びそのパノラマ画像合成方法は、前記第２撮影部は前記２枚の画像の夫々を前記第１撮影部の撮影方向に対し同一の撮影角度で撮影することを特徴とする。

また、実施形態のパノラマ画像撮像装置及びそのパノラマ画像合成方法は、前記第２撮影部は前記２枚の画像の夫々を前記第１撮影部の撮影方向に対し異なる撮影角度で撮影することを特徴とする。

また、実施形態のパノラマ画像撮像装置及びそのパノラマ画像合成方法は、前記第２撮影部は前記２枚の画像のうち先に撮影する画像の特徴点が所定数以上となるまで該第２撮影部の撮影方向を変えながら複数枚撮影し特徴点が所定数以上となる画像を前記先の画像とすることを特徴とする。

また、実施形態のパノラマ画像撮像装置及びそのパノラマ画像合成方法は、前記第２撮影部は前記２枚の画像のうち先に撮影する画像として複数枚撮影して該複数枚の画像のうち特徴点が最も多い画像を前記先の画像とすることを特徴とする。

また、実施形態のパノラマ画像撮像装置及びそのパノラマ画像合成方法は、前記２枚の画像のうち後の画像を撮影する前記第２撮影部の前記第１撮影部撮影方向に対する撮影角度を前記先の画像を撮影したときの撮影角度と同じにすることを特徴とする。

以上述べた実施形態によれば、撮影者がパノラマ画像撮像装置を手に持ってパンさせるだけで、高精度なパノラマ画像が自動的に撮影可能となる。

本発明に係るパノラマ画像撮像装置は、カメラユーザがカメラをパンするだけでカメラが自動的に高精度なパノラマ画像を合成するため、パノラマ撮影機能を搭載したデジタルカメラ等として有用である。

１ 第１の撮影ユニット（本撮影用）
２ 第２の撮影ユニット（移動距離検出用）
３ 筐体
５，８ 受発光部
７ 広角レンズ
１０ 撮影レンズ
１１，４１ 固体撮像素子
１５ ＣＰＵ（駆動制御手段）
２６ デジタル信号処理部（パノラマ合成手段）
５５ 移動距離算出用の画像処理部
５６ 移動距離検出部
５８ ジャイロセンサ
１００，２００，３００ パノラマ画像撮像装置
ａ 第１の撮影ユニットの画角
ｂ 第２の撮影ユニットの画角
Ａ１，Ｂ２ パノラマ合成用の画像（第１の撮影ユニットによる画像）
Ａ２，Ｂ２ 移動距離検出用の画像（第２の撮影ユニットによる画像）

Claims (24)

1. 主目的とする被写体を撮影する第１撮影部と、該第１撮影部と異なる方向の画像を撮影する第２撮影部と、前記第１撮影部及び前記第２撮影部を同時並行に駆動して該第１撮影部及び該第２撮影部に各々連続する少なくとも２枚の画像を撮影させる駆動制御手段と、前記第２撮影部が撮影した前記２枚の画像から該２枚の画像間の移動距離を算出し該移動距離に基づいて前記第１撮影部が撮影した前記２枚の画像をパノラマ合成するパノラマ合成手段とを備えるパノラマ画像撮像装置。
2. 請求項１に記載のパノラマ画像撮像装置であって、前記第２撮影部は重力方向下方を撮影するパノラマ画像撮像装置。
3. 請求項１に記載のパノラマ画像撮像装置であって、前記第２撮影部が撮影者側を撮影するパノラマ画像撮像装置。
4. 請求項１乃至請求項３のいずれか１項に記載のパノラマ画像撮像装置であって、前記第２撮影部は前記第１撮影部より広角画像を撮影する広角レンズを搭載したパノラマ画像撮像装置。
5. 請求項１乃至請求項４のいずれか１項に記載のパノラマ画像撮像装置であって、前記第１撮影部が撮影した前記２枚の画像の特徴点が所定数以上ある場合には前記移動距離を用いずに該２枚の画像を該特徴点に基づいてパノラマ合成するパノラマ画像撮像装置。
6. 請求項１乃至請求項５のいずれか１項に記載のパノラマ画像撮像装置であって、前記第２撮影部の撮影方向を移動させる第２撮影部駆動機構を備えるパノラマ画像撮像装置。
7. 請求項６に記載のパノラマ画像撮像装置であって、前記第２撮影部駆動機構は、前記第１撮影部の撮影方向を感知するジャイロセンサの検出信号に応じて駆動されるパノラマ画像撮像装置。
8. 請求項６又は請求項７に記載のパノラマ画像撮像装置であって、前記第２撮影部は前記２枚の画像の夫々を前記第１撮影部の撮影方向に対し同一の撮影角度で撮影するパノラマ画像撮像装置。
9. 請求項６又は請求項７に記載のパノラマ画像撮像装置であって、前記第２撮影部は前記２枚の画像の夫々を前記第１撮影部の撮影方向に対し異なる撮影角度で撮影するパノラマ画像撮像装置。
10. 請求項６又は請求項７に記載のパノラマ画像撮像装置であって、前記第２撮影部は前記２枚の画像のうち先に撮影する画像の特徴点が所定数以上となるまで該第２撮影部の撮影方向を変えながら複数枚撮影し特徴点が所定数以上となる画像を前記先の画像とするパノラマ画像撮像装置。
11. 請求項６又は請求項７に記載のパノラマ画像撮像装置であって、前記第２撮影部は前記２枚の画像のうち先に撮影する画像として複数枚撮影して該複数枚の画像のうち特徴点が最も多い画像を前記先の画像とするパノラマ画像撮像装置。
12. 請求項１０又は請求項１１に記載のパノラマ画像撮像装置であって、前記２枚の画像のうち後の画像を撮影する前記第２撮影部の前記第１撮影部撮影方向に対する撮影角度を前記先の画像を撮影したときの撮影角度と同じにするパノラマ画像撮像装置。
13. 主目的とする被写体を第１撮影部で撮影し、該第１撮影部と異なる方向の画像を第２撮影部で撮影し、前記第１撮影部及び前記第２撮影部を同時並行に駆動して該第１撮影部及び該第２撮影部に各々連続する少なくとも２枚の画像を撮影させ、前記第２撮影部が撮影した前記２枚の画像から該２枚の画像間の移動距離を算出し該移動距離に基づいて前記第１撮影部が撮影した前記２枚の画像をパノラマ合成するパノラマ画像合成方法。
14. 請求項１３に記載のパノラマ画像合成方法であって、前記第２撮影部は重力方向下方を撮影するパノラマ画像合成方法。
15. 請求項１３に記載のパノラマ画像合成方法であって、前記第２撮影部が撮影者側を撮影するパノラマ画像合成方法。
16. 請求項１３乃至請求項１５のいずれか１項に記載のパノラマ画像合成方法であって、前記第２撮影部は前記第１撮影部より広角画像を撮影するパノラマ画像合成方法。
17. 請求項１３乃至請求項１６のいずれか１項に記載のパノラマ画像合成方法であって、前記第１撮影部が撮影した前記２枚の画像の特徴点が所定数以上ある場合には前記移動距離を用いずに該２枚の画像を該特徴点に基づいてパノラマ合成するパノラマ画像合成方法。
18. 請求項１３乃至請求項１７のいずれか１項に記載のパノラマ画像合成方法であって、第２撮影部駆動機構で前記第２撮影部の撮影方向を移動させるパノラマ画像合成方法。
19. 請求項１８に記載のパノラマ画像合成方法であって、前記第２撮影部駆動機構は、前記第１撮影部の撮影方向を感知するジャイロセンサの検出信号に応じて駆動されるパノラマ画像合成方法。
20. 請求項１８又は請求項１９に記載のパノラマ画像合成方法であって、前記第２撮影部は前記２枚の画像の夫々を前記第１撮影部の撮影方向に対し同一の撮影角度で撮影するパノラマ画像合成方法。
21. 請求項１８又は請求項１９に記載のパノラマ画像合成方法であって、前記第２撮影部は前記２枚の画像の夫々を前記第１撮影部の撮影方向に対し異なる撮影角度で撮影するパノラマ画像合成方法。
22. 請求項１８又は請求項１９に記載のパノラマ画像合成方法であって、前記第２撮影部は前記２枚の画像のうち先に撮影する画像の特徴点が所定数以上となるまで該第２撮影部の撮影方向を変えながら複数枚撮影し特徴点が所定数以上となる画像を前記先の画像とするパノラマ画像合成方法。
23. 請求項１８又は請求項１９に記載のパノラマ画像合成方法であって、前記第２撮影部は前記２枚の画像のうち先に撮影する画像として複数枚撮影して該複数枚の画像のうち特徴点が最も多い画像を前記先の画像とするパノラマ画像合成方法。
24. 請求項２２又は請求項２３に記載のパノラマ画像合成方法であって、前記２枚の画像のうち後の画像を撮影する前記第２撮影部の前記第１撮影部撮影方向に対する撮影角度を前記先の画像を撮影したときの撮影角度と同じにするパノラマ画像合成方法。

Images