JP2006217478A - 画像撮影装置及び画像撮影方法 - Google Patents

Abstract

【課題】 パノラマ画像を生成する際に必要となる複数の画像を、大がかりなシステムを用いずに簡単且つ気軽に撮影可能にする。
【解決手段】
カメラ部１は撮影レンズと撮像素子を備えている。移動量算出部８は、ジャイロ部２やＧＰＳ部３の出力から当該装置の移動量を算出する。撮影決定部５は、移動量検出部８により検出された移動量に基づいて、例えばパノラマ画像を生成するのに必要な適度な重なりを持つ画像を撮影するためのタイミングを決定する。画像撮影制御部４は、撮影決定部５が決定した撮影タイミングにより、カメラ部１を制御して自動撮影を行う。画像保存部６は、カメラ部１が自動撮影した複数の画像を格納する。画像合成部７は、画像保存部６に保存されている画像の重なり部分を合成して各画像を繋げることによりパノラマ画像を生成する。
【選択図】 図１

Description

本発明は、例えばディジタルカメラや携帯電話端末などの携帯機器に搭載されたカメラを用い、いわゆるパノラマ画像を生成するための複数の画像を撮影したり、広範な撮影領域をカバーするための複数の画像を撮影するために好適な画像撮影装置及び画像撮影方法に関する。

従来より、いわゆるパノラマ画像は、或る一定間隔の各位置毎若しくは一定角度毎に画像を撮影し、それら撮影により得られた複数の画像の重なる部分をだぶらせながら合成することにより作成されている。このため、パノラマ画像に使用される複数の各画像を撮影する場合には、或る撮影範囲の画像を撮影した後、その隣の撮影範囲の画像を撮影する際に、既に撮影済みの画像とその次の撮影範囲との重なり具合を確認しながら撮影を行う必要がある。

また、特開２０００−１５６８１８号の公開特許公報（特許文献１）には、パノラマ画像に使用される複数の画像を撮影するための技術が開示されている。すなわちこの公報記載の技術によれば、ビデオカメラを自動車に搭載し、自動車を移動させながらビデオカメラにより動画像を撮影し、その動画像の各コマ（フレーム）の中から、パノラマ画像に使用する複数の画像のコマを抜き出し、それら抜き出した各コマ画像を繋げることでパノラマ画像を生成している。

特開２０００−１５６８１８号公報（第３図）

ここで、例えばディジタルカメラを使用し、視野角に換算して例えば１８０度以上の広い領域を網羅するようなパノラマ画像を効率良く生成するためには、当該ディジタルカメラに備えられている液晶画面やファインダーにより画像を確認しながら、それぞれ隣接する撮影範囲について横方向に各々適度な重なりを持つようにして画像の撮影を行う必要がある。

しかしながら、上述のように各々適度な重なりを持つ複数の画像を撮影するのは実際には非常に難しい作業となる。例えば、上記複数の画像を撮影するためには、撮影範囲内で目標となる物体等を決め、その目標物を液晶画面内のどの位置にもってくれば上記横方向に適度な重なりを持つ画像を撮影できるかを判断した上で、その目標物を基準にして撮影を行うことになるが、例えば撮影範囲内に目標にできる物体等がないような場合には、上述のような重なりを持つ画像の撮影自体が困難となる。また、ディジタルカメラの液晶画面を見ながら野外で撮影を行う際に、当該液晶画面の明るさに対して野外の明るさが非常に明るく画面が見難いような場合には、その液晶画面上で画像の適度な重なりを確認しつつ撮影範囲を決めていくのは非常に困難である。さらに、パノラマ画像に使用する複数の画像を撮影する際には、上述したような画像の水平方向（左右方向）の重なりのみならず、垂直方向（上下方向）の画像のズレについても注意を払わなければならない。

一方で、上述した特許文献１に記載のように、パノラマ画像に使用する複数の画像を自動的に撮影する技術を用いれば、上述したような問題を解決することができる。しかしながら、当該特許文献１に記載の技術の場合、自動車及びそれに搭載するビデオカメラ等のような大がかりなシステムが必要になる。また、当該技術の場合、ビデオカメラにより撮影した動画像の中から、最終的にパノラマ画像を生成するのに必要なコマの画像を抜き出すようにしているため、全く使用されない無駄なコマの画像を多数撮影しなければならない。さらに、この技術の場合、ビデオカメラから得られる各画像は、自動車が移動する一定方向の画像に限定されてしまい、また、動画像は一般に一定のフレームレートで撮影されるものであるため、例えばユーザが望む任意の時間に各画像を撮影するようなことは出来ない。

なお、自動車等の移動手段を用いずに複数の画像を自動的に撮影する場合には、ビデオカメラを載せると同時に、そのビデオカメラを例えば水平方向にパンニングさせるためのいわゆるビデオ雲台付きの三脚等からなる特別な撮影システムを用いることになるが、このような撮影システムは、例えば旅先で気軽にパノラマ画像を撮影するような用途には不向きである。

本発明は、このような実情に鑑みて提案されたものであり、パノラマ画像を生成する際に必要となる複数の画像を、大がかりなシステムを用いずに簡単且つ気軽に撮影可能な画像撮影装置及び画像撮影方法を提供することを目的とする。

本発明の画像撮影装置は、少なくとも撮影レンズと撮像素子を備えた撮影手段と、使用者の動きに伴って撮影手段の位置が移動した時にその移動量を検出する移動量検出手段と、移動量検出手段が検出した撮影手段の移動量に基づいて、撮像手段の撮影タイミングを決定する撮影決定手段と、撮影決定手段が決定した撮影タイミングに応じて、撮影手段に撮影を行わせる撮影制御手段と、撮影手段により撮影された画像情報を保持する画像保持手段とを有することにより、上述した課題を解決する。

また、本発明の画像撮影方法は、少なくとも撮影レンズと撮像素子を備えた撮影手段の位置が使用者の動きに伴って移動した時にその移動量を移動量検出手段により検出するステップと、移動量の検出ステップにより検出された移動量に基づいて、撮影決定手段が撮像手段の撮影タイミングを決定するステップと、撮影タイミングの決定ステップにより決定された撮影タイミングに応じて、撮影制御手段が撮影手段に撮影を行わせるステップと、撮影ステップにより撮影手段が撮影した画像情報を画像保存手段に保存するステップとを有することにより、上述した課題を解決する。

すなわち、本発明によれば、例えば撮影手段を水平方向に移動させた時、その撮影手段の移動量を検出し、当該検出した移動量に基づいて撮影手段の撮影タイミングを決定し、その撮影タイミングで撮影手段に撮影を行わせることにより、例えばパノラマ画像を生成する場合等に必要な一連の複数の画像を自動的に取得可能となっている。

本発明においては、一連の複数の画像を自動的に取得可能となされているため、例えばパノラマ画像を生成する際に必要となる複数の画像を、大がかりなシステムを用いずに簡単且つ気軽に撮影できる。

以下、図面を参照しながら、本発明の一実施形態について説明する。

〔画像撮影装置の主要部構成〕
図１には、本発明実施形態の画像撮影装置の主要部の概略構成を示す。

図１において、カメラ部１は、レンズ系と撮像素子及び筐体の使用者側の壁面に設けられることになる液晶モニタ、その他、一般的なディジタルカメラに備えられている各構成要素を備えている。当該カメラ部１から出力された画像信号は、画像撮影制御部４へ送られる。なお、上記カメラ部１からの出力画像の特性は、カラー、白黒の何れでもかまわない。

画像撮影制御部４は、撮影画素数（ピクセル数）やシャッタースピード、露出等のような画像撮影時の基本的なパラメータを決定し、そのパラメータに基づいてカメラ部１での画像撮影を制御する。なお、画像撮影制御部４は、本実施形態の画像撮影装置が後述するパノラマ撮影モードに設定されている時のように、当該画像撮影装置が撮影者により移動させられている状態で撮影が行われる場合であっても、その撮影画像にいわゆる「ブレ」が発生しない（目立たない）ようなシャッタースピードやＦ値となるように、カメラ部１のパラメータを制御することも行う。また、画像撮影制御部４は、カメラ部１のレンズ系の現在の画角情報や撮像素子の撮影画素数情報を撮影決定部５へ知らせることも行う。

ジャイロ部２及びＧＰＳ（全地球測位システム）部３は、本実施形態の画像撮影装置自体の移動を検出するための手段として設けられている。ジャイロ部２は、本実施形態の画像撮影装置をユーザが手に持った状態で当該装置を水平方向や垂直方向に移動させた時の角速度或いは角加速度を検出する２軸ジャイロセンサーを備え、当該２軸ジャイロセンサーの検出出力を移動量算出部８へ出力する。ＧＰＳ部３は、本実施形態の画像撮影装置の緯度経度の絶対位置を測定し、その位置情報を移動量算出部８へ出力する。

移動量算出部８は、上記ジャイロ部２からの角速度或いは角加速度情報と、上記ＧＰＳ部３からの絶対位置情報の変化とに基づいて、本実施形態の画像撮影装置の移動量を算出し、その移動量情報を撮影決定部５へ出力する。すなわち、移動量算出部８は、当該画像撮影装置を例えば手に持ったユーザがその位置を動かずに腕を動かしり身体を回転させたりした時の当該装置の移動量や、当該画像撮影装置を持ったユーザ自身がその位置を移動したときの移動量等を算出して、その移動量情報を撮影決定部５へ出力する。

撮影決定部５は、上記移動量算出部８から供給された移動量情報と、上記カメラ部１のレンズ系の現在の画角情報や撮影画素数情報とに基づいて、上記画像撮影制御部４が上記カメラ部１に画像を撮影させるタイミング（つまり撮影のトリガー）を決定し、そのタイミング信号を画像撮影制御部４へ出力する。すなわち、例えば水平方向に長いパノラマ画像を生成するための画像撮影を行う際には、当該撮影決定部５は、上記移動量情報と画角情報若しくは撮影画素数情報とに基づいて、直前に撮影された画像に対して水平方向に適度な重なりを持つ次の画像を撮影するべきタイミングを決定して、その撮影タイミングを画像撮影制御部４へ知らせる。したがって、本実施形態の画像撮影装置において、上記画像撮影制御部４は、当該撮影タイミングに基づいてカメラ部１に画像を自動撮影させることになる。

また、撮影決定部５は、上記移動量算出部８からの移動量情報と、上記カメラ部１のレンズ系の現在の画角情報や撮影画素数情報とに基づいて、直前に撮影された画像の撮影範囲と、その次に画像を撮影する撮影範囲との間の垂直方向（上下方向）のズレ量を求め、当該画像撮影装置のユーザ（撮影者）に対して垂直方向のズレに基づく所定の通知信号をも生成し、当該通知信号を通知部９へ出力する。すなわち本実施形態の画像撮影装置において、当該撮影決定部５は、直前に撮影された画像とその次に撮影される画像の垂直方向（上下方向）のズレ量を求めることにより、ユーザに対して、良好なパノラマ画像を得るための正確な撮影が出来ない恐れがある旨の警告を行うための通知信号や、当該画像撮影装置をどのように移動させれば良好なパノラマ画像の生成に必要な画像を正確に撮影できるかの量的な指示を行うための通知信号等を生成し、その通知信号を通知部９へ出力することも行う。

通知部９は、上記撮影決定部５からの通知信号に基づいて、例えば音や光、液晶モニタ上への表示等により、垂直方向のズレについての情報をユーザに通知する。

以上説明したように、本実施形態の画像撮影装置は、直前に撮影された画像の撮影範囲と、その次に画像を撮影する撮影範囲との間の水平方向（左右方向）及び垂直方向（上下方向）の位置的な差分を求め、それら差分が上記水平方向と垂直方向で各々最適な値となるようにして複数の画像を自動的に撮影することが可能となる。

すなわち、水平方向（横方向）に長いパノラマ画像を生成するために必要な複数の画像を撮影する場合、本実施形態の画像撮影装置は、直前に撮影された画像の撮影範囲とその次に画像を撮影する撮影範囲の水平方向の差分がパノラマ画像を合成するための適度な重なり量に相当する値となるように各画像を自動的に撮影することができ、また、各撮影範囲の垂直方向の差分が、良好なパノラマ画像を得るための少ないズレ量に相当する値以下となるように撮影者に警告若しくは指示を行うことができるようになっている。

また、本実施形態において、上記画像撮影制御部４が上記カメラ部１に撮影させることにより得られた複数枚の画像情報は、画像保存部６へ送られて保存される。なお、当該画像保存部６へのデータ保存形式としては、通常のディジタルカメラで一般的に使用されているフォーマットであるいわゆるＪＰＥＧ（Joint Photographic Coding Experts Group）形式での保存や、撮像素子からの生データであるＲＡＷデータのＲ（赤），Ｇ（緑），Ｂ（青）データ形式での保存など、一般の機器が認識可能な保存形式であれば何れの形式であっても良い。また、画像情報の保存先は、外部メモリや内部メモリ、ハードディスクドライブ等の何れであっても良い。

画像合成部７は、パノラマ画像を生成するために、上記画像保存部６に保存されている複数の画像を読み出し、それら複数の画像の重なり部分を合成しつつ、各画像を水平方向に繋げる。これにより、パノラマ画像が生成されることになる。なお、画像合成部７は、本実施形態の画像撮影装置が必ずしも備えている必要はなく、当該画像合成部７の機能は、外部のパーソナルコンピュータ等などが担当しても良い。

なお、上記画像撮影制御部４、撮影決定部５、移動量算出部８、画像合成部７の各機能は、例えばＣＰＵ等により実現されても良い。

〔実際の撮影シーン〕
次に、図２〜図６を参照しながら、本実施形態の画像撮影装置１０においてパノラマ画像の生成に必要な複数の画像を撮影する際の実際の撮影シーンについて説明する。

図２には、ユーザ（以下、撮影者２０とする）と本実施形態の画像撮影装置１０を横から見た状態であり、撮影者２０が本実施形態の画像撮影装置１０を手に持ち、例えば腕２１を突き出して所望の方向に向いて立ち、撮影を行っている状態を示している。一方、図３には、本実施形態の画像撮影装置１０のみを上から見た状態を示している。

また本実施形態において、画像撮影装置１０のレンズ１１の画角により撮影可能な範囲は、上下方向が図２の撮影範囲ＳＡｔｂであり、水平方向が図３の撮影範囲ＳＡｌｒであるとする。さらに本実施形態において、撮影者２０が立っている地点から当該画像撮影装置１０の保持位置Ｈまでの距離は、図２に示すように、正確には上記回転軸ＲＣから画像撮影装置１０のカメラ部１の撮像素子面までの距離Ｌとして表すことができる。当該距離Ｌは、撮影者２０の腕の長さに大凡等しいことになる。なお、撮影者２０は、撮影時には必ずしも腕を伸ばさなくても良く、撮影者２０は腕を縮めて例えば自分の胸と略々同じ位置で画像撮影装置２０を持って撮影しても良い。この場合、回転軸ＲＣから撮像素子面までの距離Ｌは、非常に短くなる。

上述したような画角のレンズ１１を備えた本実施形態の画像撮影装置１０を用い、例えば、上記レンズ１１による撮影範囲ＳＡｌｒよりも水平方向に広い領域をカバーしたパノラマ画像を撮影するためには、例えば上記撮影者２０が現在立っている地点を回転軸ＲＣとして身体を回転させることで上記画像撮影装置１０の撮影方向を移動させながら、上記レンズ１１の撮影範囲ＳＡｌｒに適度な重なりを持たせるようにして、複数の画像を順次撮影していく必要がある。

また、図４及び図５は、回転軸ＲＣと撮像素子面ＳＦ、撮影範囲ＳＡの位置関係を回転軸ＲＣの斜め上後方側から見た状態を示しており、図６は、それらの位置関係を回転軸ＲＣの上側から見た状態を示している。

ここで、画像撮影装置１０のレンズ１１が単焦点レンズであるか或いはズーム位置が固定されているとした場合、当該画像撮影装置１０のレンズによる撮影画角βは固定となる。

また、図４〜図６に示すように、或る時点での撮影範囲が図中のＳＡ（ＳＡ１）であったとすると、パノラマ画像の生成に必要とされる次の画像は、上記撮影範囲ＳＡ（ＳＡ１）に対して適度な重なりを有した撮影範囲ＳＡ２を撮影して得られる画像となる。言い換えると、撮影範囲ＳＡ１の時のカメラ部１の撮像素子面が図中ＳＦ（ＳＦ１）であったとすると、上記撮影範囲ＳＡ２を撮影する時のカメラ部１の撮像素子面は図中ＳＦ２の位置でなければならない。

このようなことから、本実施形態の画像撮影装置１０は、当該装置１０を手に持って例えば腕を伸ばしている撮影者２０が、回転軸ＲＣを中心にして図４，図５中の矢印ＲＤ方向に身体を回転させたとき、その回転角度αを前述のジャイロ部２やＧＰＳ部３の検出出力を元に計算により求め、当該回転角度αが上記撮像素子面ＳＦ１からＳＦ２までの移動量（この場合は回転弧の長さ）に相当する角度になった時に、既に撮影済みの撮影範囲ＳＡ１に対して適度な重なりを有した撮影範囲ＳＡ２の画像を撮影するタイミングであると判断し、当該タイミングになった時に画像を自動的に撮影することにより、パノラマ画像の生成に必要な画像を得るようにしている。なお、ジャイロやＧＰＳの検出出力から回転角度を計算する方法については、既知の技術が多数存在し、本実施形態ではそれら既知の技術の何れを用いても良い。本実施形態では、ジャイロやＧＰＳの検出出力によって画像撮影装置１０が移動した時の上記回転角度αをより精度良く求めることのできる計算方法を用いることとする。

なお、この説明では、画像撮影装置１０のレンズによる撮影画角βが固定であるとして説明したが、本発明実施形態の画像撮影装置１０は、上記撮影タイミングの決定の際に、レンズの画角情報をも用いているため、撮影画角が可変となされた場合であっても対応可能である。

〔撮影決定部のアルゴリズム〕
次に、図７を参照しながら、本実施形態の画像撮影装置の撮影決定部５が、移動量算出部８からの移動量情報に基づいて画像撮影制御部４に撮影タイミングを知らせる際の処理の手順を説明する。

なお、この図７の処理は、本実施形態の画像撮影装置がパノラマ画像撮影モードに設定された時に実行される処理である。また、図７のフローチャートでは図示を省略しているが、本実施形態の画像撮影装置がパノラマ画像撮影モードに設定された場合、ジャイロ部２及びＧＰＳ部３は当該装置自体の移動を検出し、移動量算出部８はそれらジャイロ部２やＧＰＳ部３からの出力に基づいて本実施形態の画像撮影装置の移動量を算出し、その移動量情報を撮影決定部５へ出力することも行う。

この図７において、本実施形態の画像撮影装置がパノラマ画像撮影モードに入ると、撮影決定部５は、ステップＳ１の処理として、パノラマ画像を生成するために必要な最初の画像（パノラマの一番端になる画像）を撮影する必要があるか否かの判定を行う。

当該ステップＳ１にて、パノラマ画像の生成に必要な最初の画像が未だ撮影されていないと判定（Ｙｅｓ）した時、撮影決定部５は、ステップＳ２の処理に進み、画像撮影制御部４に対して、当該最初の画像の撮影許可を出した後、ステップＳ１へ処理を戻す。当該撮影許可を受けた画像撮影制御部４は、カメラ部１を制御して画像の撮影を行わせ、これにより、上記パノラマ画像の生成に必要な最初の画像が得られ、その画像情報は画像保存部６に保存されることになる。

一方、ステップＳ１にて、パノラマ画像の生成に必要な最初の画像が既に撮影されていると判定（Ｎｏ）した時、撮影決定部５は、ステップＳ３へ処理を進める。

ステップＳ３の処理に進むと、撮影決定部５は、移動量算出部８から出力される前記移動量情報を取得、つまり図２〜図６で説明した回転角度αに対応した情報を取得し、次のステップＳ４へ処理を進める。

ステップＳ４の処理に進むと、撮影決定部５は、移動量算出部８から供給された移動量情報と、前記画像撮影制御部４から知らされている上記カメラ部１の画角情報や撮影画素数情報とに基づいて、直前に撮影された画像とその次に撮影を行う撮影範囲との重なりを計算し、次のステップＳ５へ処理を進める。

ステップＳ５の処理に進むと、撮影決定部５は、上記ステップＳ４で計算された画像の重なりが所定の閾値面積よりも小さくなったか否かを判断する。そして、撮影決定部５は、上記ステップＳ５において、上記ステップＳ４で計算された画像の重なりが所定の閾値面積よりも大きいと判定（Ｎｏ）しているときにはステップＳ３へ処理を戻し、一方、上記ステップＳ４で計算された画像の重なりが所定の閾値面積より小さくなったと判定（Ｙｅｓ）したときにはステップＳ６へ処理を進め、当該ステップＳ６の処理として、上記カメラ部１に画像を撮影させるためのタイミング信号（撮影許可のトリガー信号）を当該画像撮影制御部４へ出力する。

すなわち、より正確で且つ繋ぎ部分が自然なパノラマ画像を作成するためには、隣接する撮影画像間の内容同士を対応付け出来る部分が必要であり、また、効率良くパノラマ画像を作成するためには、隣接する撮影画像間の重なり部分の面積が余り大きくなり過ぎないことが必要である。このため、本実施形態の撮影決定部５では、上記効率と画像内容の対応付けとを考慮して予め決められている所定の閾値面積よりも上記ステップＳ４で計算された画像の重なりの面積が小さくなった時に、画像撮影制御４へ撮影許可の信号を出すようになされている。

なお、図８には、上述した画像の重なりの具体例を示す。この図８の例では、或る撮影対象領域ＳＴ内でパノラマ画像に使用される画像を撮影するための撮影範囲ＳＡ１とその次に撮影される撮影範囲ＳＡ２との重なり部分（画像の重なり部分）が、図中のＯＬにて示す領域となっている。上記撮影決定部５は、当該重なり部分ＯＬの大きさが、前記所定の閾値面積より小さくなったかどうかを判断する。

図７のフローチャートに説明を戻し、上記ステップＳ６の処理後、撮影決定部５は、ステップＳ７にて次の処理を行うため等の所定の後処理を行った後、ステップＳ８へ処理を進める。

ステップＳ８の処理に進むと、撮影決定部５は、予め設定されている所定の撮影量に達したか否か、つまり、パノラマ画像の生成のための必要とされる全ての画像を撮影し終わったか否か判定し、未だ所定の撮影量に達していないと判定（Ｎｏ）した時にはステップＳ３へ処理を戻し、一方、所定の撮影量に達したと判定（Ｙｅｓ）した時には、このパノラマ画像の生成のための処理を終了する。

なお、撮影決定部５は、上記移動量算出部８から供給される移動量情報に含まれる移動方向（水平方向か垂直方向か）に基づいて、画像撮影装置が水平方向か垂直方向の何れの方向に移動しているのかを判断し、その判断結果に基づいて、上記ステップＳ４で画像の重なり計算を自動的に切り替えるようにしても良い。すなわち例えば、画像撮影装置が水平方向に動かされている時には、画像の横方向についての重なり計算を行い、一方、画像再生装置が垂直方向に動かされている時には、画像の縦方向についての重なり計算を行うように自動的に切り替えるようにしても良い。

〔パノラマ画像撮影時の警告，指示の通知〕
次に、パノラマ画像撮影時の警告や指示の通知について説明する。

水平方向（横方向）に長いパノラマ画像を作成するために使用される各画像が例えば垂直方向（上下方向）にズレて撮影された場合、最終的に得られるパノラマ画像の垂直方向の高さは、上記各画像撮影時の垂直方向のズレ分が差し引かれた残りの高さとなり、上記各画像撮影時の垂直方向のズレ分が大きくなればなるほどパノラマ画像の垂直方向の高さは小さく（低く）なってしまう。

したがって、水平方向に長いパノラマ画像の撮影を行う場合、当該パノラマ画像に使用される各画像は、できるだけ同じ高さの領域を撮影した画像であることが望ましい。

このため、本実施形態の画像撮影装置は、パノラマ画像撮影モードにおいて撮影者２０が回転軸ＲＣを中心にして回転しながらパノラマ画像の撮影を行っている際に、各画像撮影時の上下方向のズレを検出し、当該垂直方向のズレが大きくならないように当該撮影者２０に警告若しくは指示を通知するようになされている。

なお、図９には、垂直方向のズレの具体例を示す。この図９の例では、直前に画像が撮影された撮影範囲ＳＡ１とその次に撮影される撮影範囲ＳＡ２とが、図中のＯＬｔｂにて示すように垂直方向にズレている状態を示している。本実施形態において、上記撮影決定部５は、パノラマ画像撮影モード時に、水平方向の重なり領域ＯＬｌｒの判定と同時に、垂直方向のズレ量ＯＬｔｂの判定も行っている。

図１０には、本実施形態の画像撮影装置の撮影決定部５が、移動量算出部８からの移動量情報に基づいて、垂直方向のズレ量を求め、そのズレ量に応じて撮影者２０に警告若しくは指示を通知する際の処理の手順を示す。

なお、この図１０の処理も前述の図７の処理と同様に、本実施形態の画像撮影装置がパノラマ画像撮影モードに設定された時に実行される処理である。また、図１０のフローチャートでは図示を省略しているが、本実施形態の画像撮影装置がパノラマ画像撮影モードに設定された場合、ジャイロ部２及びＧＰＳ部３は当該装置自体の移動を検出し、移動量算出部８はそれらジャイロ部２やＧＰＳ部３からの出力に基づいて本実施形態の画像撮影装置の移動量を算出し、その移動量情報を撮影決定部５へ出力することも行っている。

この図１０において、本実施形態の画像撮影装置がパノラマ画像撮影モードに入ると、撮影決定部５は、ステップＳ１１の処理として、移動量算出部８からの移動量情報と、前記画像撮影制御部４から知らされている上記カメラ部１の画角情報や撮影画素数情報とに基づいて、直前に撮影された画像とその次に撮影を行う撮影範囲との間の垂直方向のズレ量を求める。

次に、撮影決定部５は、ステップＳ１２の処理として、ステップＳ１１にて求めた垂直方向のズレ量が、予め設定されている所定の閾値ズレ量を超えたか否か判定し、越えていないと判定（Ｎｏ）している時にはステップＳ１１へ処理を戻し、越えたと判定（Ｙｅｓ）した時にはステップＳ１３へ処理を進める。

ステップＳ１３の処理に進むと、撮影決定部５は、撮影者２０に対して正確な撮影が行われない恐れがある旨の警告或いは正確な撮影を行うための量的な指示を行うための通知信号や、当該画像撮影装置をどのように移動させればパノラマ画像の生成に必要な画像をより正確に撮影できるかの量的な指示を行うための通知信号を生成し、その通知信号を通知部９へ出力する。なお、上記警告と指示は、例えば、「もう少し上へ向けて下さい」や、「さらに２ｃｍ上に上げて下さい」など、分かり易く、かつ具体的なメッセージの指示であることが望ましい。また、音の高さや大きさにより上記量的な指示を行ったり、発光ダイオード等の点灯、光液晶モニタ上に最適な撮影範囲を示すマークや線等を表示することによって上記量的な指示を行うことも可能である。以上により、撮影者２０は、正確な撮影を行うべきことを知ることができ、また、上記量的な指示にしたがった行動をとることが可能となる。

上記ステップＳ１３の処理後、撮影決定部５は、ステップＳ１４の処理として、パノラマ画像の生成のための必要とされる全ての画像を撮影し終わったか否か判定し、未だ所定の撮影量に達していないと判定（Ｎｏ）した時にはステップＳ１１へ処理を戻し、一方、所定の撮影量に達したと判定（Ｙｅｓ）した時には、このパノラマ画像の生成のための処理を終了する。

〔パノラマ画像の合成例〕
図１１〜図１３には、上述のようにして撮影された複数の画像からパノラマ画像が合成される様子の具体例を示す。

図１１には、或る撮影対象領域ＳＴ内で、パノラマ画像に使用される複数の画像を撮影したときの各撮影範囲の一例を示している。なお、図１１の例では、四つの撮影範囲ＳＡ１〜ＳＡ４について画像の撮影がなされた例を挙げている。この図１１の例のように、各撮影範囲ＳＡ１〜ＳＡ４の撮影により得られた各撮影画像は、図１２の（ａ）〜（ｄ）に示すような撮影画像Ｐ１〜Ｐ４となる。

本実施形態の画像撮影装置では、これら撮影画像Ｐ１〜Ｐ４の情報が画像保存部６に保存された後、必要に応じて読み出され、画像合成部７で水平方向の重なり部分の画像内容を対応付けながら画像合成が行われると共に、垂直方向のズレ分をカットすることにより、例えば図１３に示すようなパノラマ画像ＰＰが生成されることになる。

〔本実施形態の効果〕
以上のように、本実施形態の画像撮影装置によれば、ジャイロ部２やＧＰＳ部３のセンサーによって当該装置の移動量を取得し、その移動量情報を元に、直前に画像が撮影された撮影範囲とその次に画像を撮影する撮影範囲との間の例えば水平方向の差分を自動的に判別し、この差分の判別結果を元に、上記次の画像を撮影するための最適なタイミングを決定し、そのタイミングで上記次の画像を自動的に撮影することにより、パノラマ画像を作成するために必要な適度な重なりをもった複数の画像を容易且つ確実に撮影でき、さらに、それら複数の画像から、必要に応じてパノラマ画像を自動的に生成することが可能となっている。

また、本実施形態の画像撮影装置によれば、撮影者に対して、直前に画像が撮影された撮影範囲とその次に画像を撮影する撮影範囲との間の垂直方向の差分（ズレ）がなるべく少なくなるような通知を行うことができるため、垂直方向の高さが充分なパノラマ画像を生成することが可能となる。

なお、以上説明した実施形態では、複数の撮影画像から横長の一つのパノラマ画像が作成される例を挙げているが、撮影者は必ずしも最終的に１枚のパノラマ画像を得たいとは限らない。すなわち本発明において、パノラマ画像の生成処理については必ずしも行わなくても良い。例えば、撮影者が見た風景や景色を複数の画像により包括的に全て捕らえておけば、その場の雰囲気や撮影者が見たものを欠落させることなく残すことができることになる。このため、本実施形態の画像撮影装置において、上述したように適度な重なりを持った複数の画像を自動的に撮影するようなことを行えば、撮影者が撮りたいと思ったその場全体を包括的に含む画像を自動的且つ正確に撮影することができることになる。

〔携帯電話端末への適用例〕
本発明実施形態の画像撮影装置は、例えば携帯電話端末等の携帯端末に適用可能である。

図１４〜図１６を用い、本実施形態の画像撮影装置を適用した携帯電話端末について以下に説明する。なお、以下に説明するタイプの携帯電話端末は一例であり、本発明はこの例に限定されないことはいうまでもない。

図１４、図１５には、本発明実施形態の画像撮影装置が適用された携帯電話端末の概略的な外観を示している。なお、図１４は、本発明実施形態の携帯電話端末を正面側から観た概略外観図であり、図１５は、当該携帯電話端末を背面側から観た概略外観図である。

本実施の形態の携帯電話端末は、例えば第１の筐体３１と第２の筐体３２を有し、ヒンジ部（連結手段）３６を介して第１の筐体３１と第２の筐体３２が折り重なるように二つ折り可能になされた、いわゆる折り畳み式の携帯電話端末である。すなわち本実施形態の携帯電話端末は、第１の筐体３１と第２の筐体３２がヒンジ部３６により連結され、そのヒンジ部３６を介して各筐体間の位置関係を変更可能となされた端末である。なお、図１４、図１５の例は、当該携帯電話端末を開いた状態を示している。

図１４に示すように、第１の筐体３１には、例えば液晶デバイスにより構成されたメインディスプレイ３３や受話用のスピーカ３５等が備えられている。また、図１５に示すように、当該第１の筐体３１の上記背面側には、撮像素子とレンズ系とを有するカメラ部５０と、当該カメラ部５０による撮影時の補助光用のライト５１と、液晶デバイスにより構成されたサブディスプレイ５２とが設けられている。

第２の筐体３２には、携帯電話端末の主要な回路構成が内蔵されている。この第２の筐体３２の上面（折り畳んだ際に第１の筐体３１のメインディスプレイ３３面と対向する面）には、電話番号や文字等を入力するためのキーボタンであるテンキー（１２キー）３４や、発話キー、クリアキー、終話／電源キーなどの各キー、電子メールの送信指示等を行う際に押下される決定ボタン３９と当該ボタン３９の上下左右に設けられた指示キー４１とを有する十字キーデバイス３８と、送話用のマイクロホン３７等が設けられている。

本実施形態の携帯電話端末が通常備えているその他の構成の図示及びその説明については省略する。

次に、図１６には、本実施形態の携帯電話端末の概略的な内部ブロック構成を示す。

この図１６において、通信アンテナ６１は、例えば内蔵アンテナであり通話や電子メール等のパケット通信のための信号電波の送受信を行う。通信回路６０は、送受信信号の周波数変換、変調と復調等を行う。なお、通信アンテナ６１と通信回路６０は、無線によりネットワークに接続することも可能となされている。

受信された通話音声のデータは、データバスを介してＣＰＵ（Central Processing Unit）等からなる制御部６２へ送られる。制御部６２は、通話音声データを復号化し、その復号化後の音声データをデータバスを介してスピーカ７０へ送る。

スピーカ７０は、第１の筐体３１に設けられている受話用のスピーカ３５やリンガ（着信音）、音楽再生、テレビジョン放送やラジオ放送の音声再生、前述した警告等を音声出力する場合のアラーム音出力用のスピーカであり、ディジタル／アナログ変換器と増幅器を含み、通話音声やリンガ音、アラーム音等のデータをディジタル／アナログ変換及び増幅した後、出力する。これにより、通話音声やリンガ音、アラーム音等が得られることになる。

マイクロホン７１は、第２の筐体３２に設けられている送話用のマイクロホン３７に相当し、アナログ／ディジタル変換器と増幅器を含む。このマイクロホン７１を介して入力された通話音声信号は、増幅器により所定のレベルに増幅された後、アナログ／ディジタル変換器によりディジタル音声データに変換され、データバスを介して制御部６２へ送られて符号化された後、通信回路６０へ送られ、そこで変調、周波数変換等の各種処理を受けた後、通信アンテナ６１から送信される。

表示部６３は、第１の筐体３１のメインディスプレイ３３やサブディスプレイ５２の液晶パネルとそれらの駆動回路、ディスプレイコントローラ、フレームバッファを含み、ディスプレイ上には、文字や映像、当該携帯電話端末を操作するためのＵＩ（ユーザインターフェース）画面、撮影された画像や作成されたパノラマ画像などが表示される。なお、ディスプレイコントローラは、制御部６２が発行する描画命令を実際に処理するための専用コントローラであり、ディスプレイコントローラにて処理された描画データは、例えばフレームバッファに一旦書き込まれた後、メインディスプレイ３３やサブディスプレイ５２に表示される。例えば、携帯機器を操作するためのＵＩ（ユーザインターフェース）などが画面に出力される。

操作部６４は、本実施形態の携帯電話端末の第１の筐体３１上に設けられているテンキー３４や、発話キー、クリアキー、終話／電源キーなどの各キー、決定ボタン３９と指示キー４１とを有する十字キーデバイス３８等と、それら各キーの操作に応じた操作信号を発生する操作信号発生部とを有している。その他、操作部６４として、小型のキーボードやゲーム用パッドが設けられていても良い。

ジャイロ制御部７２は、２軸ジャイロセンサー７３の動作制御と、当該２軸ジャイロセンサー７３からの検出出力の取り込みとそのディジタル情報化等の処理を行う。ディジタル情報化されたジャイロ検出出力は、制御部６２に送られることになる。

ＧＰＳ制御部７６は、ＧＰＳアンテナ７７の動作制御と、当該ＧＰＳアンテナ７７からの検出出力の取り込みとそのディジタル情報化等の処理を行う。ディジタル情報化されたＧＰＳ信号（測位情報）は、制御部６２に送られることになる。

撮像制御部７４は、前述の図１に示した画像撮影制御部４に相当し、カメラ７５の動作制御と、当該カメラ７５から出力された撮影画像信号の処理とを行う。

メモリ６５は、ＲＯＭ（Read Only Memory）とＲＡＭ（Random Access Memory）からなる。ＲＯＭは、ＯＳ（Operating System）、制御部６２が各部を制御するための制御プログラムや各種の初期設定値、フォントデータ、辞書データ、着信音やキー操作音，アラーム音用の各種音データ、電子メールの作成や編集等を行うためのアプリケーションプログラムコード、画像や音声に対して様々な処理を行うためのアプリケーションプログラムコード、本実施形態にかかるパノラマ画像撮影モード用のアプリケーションプログラムコード、その他、携帯電話端末に搭載される各種のアプリケーションプログラムコード、当該携帯電話端末の識別情報（ＩＤ）などを記憶している。このＲＯＭは、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）のような書き換え可能なＲＯＭを含み、電子メールデータ、ユーザにより設定される電話帳や電子メールアドレス帳、写真画像データ、ダウンロードされた写真データや音楽データ、ダウンロードされた着信音，キー操作音，アラーム音用等の音データ、文字データや予測変換の候補単語の登録データや予測変換の学習データ、カメラ７５により撮影された画像データ、その他、各種のユーザ設定値等を保存することも可能となされている。ＲＡＭ（Random Access Memory）は、制御部６２が各種のデータ処理を行う際の作業領域として、随時データを格納する。

制御部６２は、メモリ６５に記憶されているアプリケーションプログラムコードに基づき、上述した通話音声データの符号化や復号化、発着信の制御、電子メールの送受信制御、パノラマ画像撮影モード時の各部の制御、その他、制御バスを介して当該携帯電話端末の各構成要素の制御、各種の演算処理を行う。なお、本実施形態の携帯電話端末において、制御部６２は、上記パノラマ画像撮影モード用のアプリケーションプログラムコードを実行することにより、図１の移動量算出部８の機能と、撮影決定部５の機能と、画像撮影制御部４の一部機能と、パノラマ画像生成まで行う場合の画像合成部７の機能等を実現している。

外部機器インターフェース（Ｉ／Ｆ）７８は、例えば外部メモリやハードディスクドライブ７９などの外部記憶装置を接続するためのインターフェース部である。なお、ハードディスクドライブ７９などの記憶装置は、携帯電話端末内に組み込み装置として装着されていても良い。また、ハードディスクドライブ７９は、記憶担体としての磁気ディスクを固定的に搭載した外部記憶装置であり、記憶容量やデータ転送速度などの点で他の外部記憶装置よりも優れている。当該ハードディスクドライブ７９には、制御部６２が実行すべきオペレーティングシステムのプログラムコードや、アプリケーションプログラムコード、デバイスドライバ、プログラムの実行に必要なデータなどを格納していても良い。また、本発明実施形態のパノラマ画像用の複数の撮影画像データや、それらにより作成されたパノラマ画像データを、このハードディスクドライブ７９に保存することもできる。

その他、図２には図示を省略しているが、本実施形態の携帯電話端末は、音楽を再生したり動画像を再生したりするためのマルチメディア機能や、いわゆる電子財布機能、赤外線や電磁誘導方式等を利用した近距離無線機能などを備えている。

以上のように、本実施形態の携帯電話端末によれば、前述した本発明実施形態の画像撮影装置の機能を備えているため、パノラマ画像を作成するために必要な適度な重なりを持った複数の画像を容易且つ確実に撮影でき、さらには、必要に応じて、それら複数の画像からパノラマ画像を生成することができる。

なお、上述した実施形態の説明は、本発明の一例である。このため、本発明は上述した各実施形態に限定されることなく、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能であることはもちろんである。

例えば、上述の実施形態では、水平方向（横方向）に長いパノラマ画像を生成するのに必要な複数の画像を自動撮影する例を挙げたが、例えば垂直方向（縦方向）や斜め方向に長い画像を生成するのに必要な複数の画像を自動撮影する場合にも本発明は適用可能である。

また、上述の実施形態では、撮影者２０が回転軸ＲＣを中心に回転する例を挙げたが、本発明はそれに限定されず、撮影者２０が徒歩や乗り物により移動しながら複数の画像を撮影するような場合にも適用可能である。

また、上述の実施形態では、パノラマ画像に使用する複数の画像を撮影する際に、それぞれ隣接する画像が適度な重なりを持つように撮影する例を挙げたが、各画像の繋がり部分を正確に繋げることができるのであれば、上記重なり部分は必ずしも設けなくても良い（重なりの量をゼロにしても良い）。

また、本実施形態において、各画像を撮影する際に、その撮影時間や撮影パラメータの情報とＧＰＳ部３による測位情報とから、各画像が何時何処でどのようにして撮影されたのかを、パノラマ画像と共に保存するようにしても良い。

その他、本発明はディジタルカメラやカメラ機能付き携帯電話端末に限定されず、カメラ機能を備えた種々の電子機器に適用可能である。

本発明実施形態の画像撮影装置の主要部の概略的な構成を示すブロック図である。 撮影者と本発明実施形態の画像撮影装置を横から見た状態と垂直方向の撮影範囲の説明に用いる概略図である。 本発明実施形態の画像撮影装置を上側から見た状態と水平方向の撮影範囲の説明に用いる概略図である。 回転軸と撮像素子面と撮影範囲の位置関係を、回転軸の斜め上後方側から見た状態で説明するための図である。 回転軸と撮像素子面と、或る撮影範囲とその次の撮影範囲の位置関係を、回転軸の斜め上後方側から見た状態で説明するための図である。 回転軸と撮像素子面と撮影範囲の位置関係を、回転軸の上側から見た状態で説明するための図である。 本実施形態の画像撮影装置の撮影決定部が、移動量算出部からの移動量情報に基づいて画像撮影制御部に撮影タイミングを知らせる際の処理の手順を示すフローチャートである。 パノラマ画像に使用される各画像を撮影する際の撮影範囲の重なりの具体例を示す図である。 パノラマ画像に使用される画像を撮影する際の撮影範囲の垂直方向のズレの具体例を示す図である。 本実施形態の画像撮影装置の撮影決定部が、移動量算出部からの移動量情報に基づいて、垂直方向のズレ量を求め、そのズレ量に応じて撮影者に警告若しくは指示を通知する際の処理の手順を示すフローチャートである。 或る撮影対象領域内でパノラマ画像に使用される複数の画像を撮影したときの各撮影範囲の一例を示す図である。 図１１の各撮影範囲で撮影された各撮影画像を示す図である。 図１１の各撮影範囲で撮影された各撮影画像の水平方向の重なり部分を合成して生成されたパノラマ画像を示す図である。 本発明実施形態の画像撮影装置が適用された携帯電話端末を開いた状態で正面側から観た概略的な外観図である。 本発明実施形態の画像撮影装置が適用された携帯電話端末を開いた状態で背面側から観た概略的な外観図である。 本実施形態の携帯電話端末の概略的な内部構成を示すブロック図である。

符号の説明

１ カメラ部、２ ジャイロ部、３ ＧＰＳ部、４ 画像撮影制御部、５ 撮影決定部、６ 画像保存部、７ 画像合成部、８ 移動量算出部、９ 通知部、１０ 画像撮影装置、１１ レンズ、２０ 撮影者、２１ 腕、３１ 第１の筐体、３２ 第２の筐体、３３ メインディスプレイ、３４ テンキー、３５，７０ スピーカ、３６ ヒンジ部、３７，７１ マイクロホン、３８ 十字キーデバイス、３９ 決定ボタン、５０，７５ カメラ、４１ 指示キー、５１ ライト、５２ サブディスプレイ、６０ 通信回路、６１ 通信アンテナ、６２ 制御部、６３ 表示部、６４ 操作部、６５ メモリ、７２ ジャイロ制御部、７３ ２軸ジャイロセンサー、７４ 撮像制御部、７５ カメラ、７６ ＧＰＳ制御部、７７ ＧＰＳアンテナ、７８ 外部機器インターフェース、 ７９ ハードディスクドライブ

Claims (9)

1. 少なくとも撮影レンズと撮像素子を備えた撮影手段と、
   使用者の動きに伴って上記撮影手段の位置が移動した時に、その移動量を検出する移動量検出手段と、
   上記移動量検出手段が検出した上記撮影手段の移動量に基づいて、上記撮像手段の撮影タイミングを決定する撮影決定手段と、
   上記撮影決定手段が決定した撮影タイミングに応じて上記撮影手段に撮影を行わせる撮影制御手段と、
   上記撮影手段により撮影された画像情報を保持する画像保持手段とを有する
   ことを特徴とする画像撮影装置。
2. 請求項１記載の画像撮影装置であって、
   上記移動量検出手段は、上記撮影手段の移動時の角速度若しくは角加速度を検出する速度検出手段を有し、当該速度検出手段が検出した角速度若しくは角加速度に基づいて上記撮影手段の移動量を演算することを特徴とする画像撮影装置。
3. 請求項１記載の画像撮影装置であって、
   上記移動量検出手段は、上記撮影手段の移動時の緯度，経度を計測する緯度，経度計測手段を有し、上記緯度，軽度計測手段が計測した緯度，軽度情報に基づいて上記撮影手段の移動量を演算することを特徴とする画像撮影装置。
4. 請求項１記載の画像撮影装置であって、
   上記撮影決定手段は、上記移動量検出手段が検出した移動量と、上記撮影手段の上記撮影レンズの画角とに基づいて、上記撮影手段の撮影タイミングを決定することを特徴とする画像撮影装置。
5. 請求項１記載の画像撮影装置であって、
   上記撮影決定手段は、上記移動量検出手段が検出した移動量と、上記撮影手段の上記撮像素子の撮像画素数とに基づいて、上記撮影手段の撮影タイミングを決定することを特徴とする画像撮影装置。
6. 請求項１記載の画像撮影装置であって、
   上記撮影決定手段は、上記移動量検出手段が検出した移動量に基づいて、上記撮影手段にて直前に撮影された画像の撮影範囲と、その次に上記撮影手段が画像を撮影する撮影範囲との間の水平方向と垂直方向の少なくとも何れかの位置的差分に基づいて、上記撮影手段での撮影タイミングを決定することを特徴とする画像撮影装置。
7. 請求項１記載の画像撮影装置であって、
   当該装置の使用者に所定の通知を行うための通知手段を備え、
   上記撮影決定手段は、上記移動量検出手段が検出した移動量に基づいて、上記撮影手段にて直前に撮影された画像の撮影範囲と、その次に上記撮影手段が画像を撮影する撮影範囲との間の左右方向と上下方向の少なくとも何れか一方の位置的差分に基づいて、上記通知手段に上記所定の通知を行わせることを特徴とする画像撮影装置。
8. 請求項７記載の画像撮影装置であって、
   上記通知手段は、上記所定の通知として、所定の警告通知と上記位置的差分に応じて上記撮影手段を移動させることを使用者に指示する移動指示通知の少なくとも何れかを行うことを特徴とする画像撮影装置。
9. 少なくとも撮影レンズと撮像素子を備えた撮影手段の位置が使用者の動きに伴って移動した時に、その移動量を移動量検出手段により検出するステップと、
   上記移動量の検出ステップにより検出された上記撮影手段の移動量に基づいて、撮影決定手段が上記撮像手段の撮影タイミングを決定するステップと、
   上記撮影タイミングの決定ステップにより決定された撮影タイミングに応じて、撮影制御手段が上記撮影手段に撮影を行わせるステップと、
   上記撮影ステップにより撮影手段が撮影した画像情報を、画像保存手段に保存するステップとを有する
   ことを特徴とする画像撮影方法。
   

Images